The APICULTURAL SOCIETY OF KOREA
1

Current Issue

Journal of Apiculture - Vol. 38 , No. 4

[ Original Article ]
Journal of Apiculture - Vol. 32, No. 3, pp. 191-198
Abbreviation: J. Apic.
ISSN: 1225-0252 (Print)
Print publication date 30 Sep 2017
Received 08 Sep 2017 Revised 26 Sep 2017 Accepted 26 Sep 2017
DOI: https://doi.org/10.17519/apiculture.2017.09.32.3.191

장수말벌 공격 조기 경보 시스템 프로토타입 설계 및 실내 시연
김병순1, * ; 정성민2 ; 김고은3 ; 정철의2, 3, *
1안동대학교 컴퓨터교육과
2안동대학교 대학원 생명자원과학과
3안동대학교 식물의학과

Early Alert System of Vespa Attack to Honeybee Hive: Prototype Design and Testing in the Laboratory Condition
Byungsoon Kim1, * ; Seongmin Jeong2 ; Goeun Kim3 ; Chuleui Jung2, 3, *
1Dept. of Computer Education, Andong National University, Andong GB Korea
2Dept. of Bioresource sciences, Graduate school, Andong National University, Andong GB Korea
3Dept. Plant medicine, Andong National University, Andong GB Korea
Correspondence to : *E-mail: cjung@andong.ac.kr

Funding Information ▼

Abstract

Vespa hornets are notorious predators of honeybees in Korean beekeeping. Detection of vespa hornet attacking on honeybee colony was tried through analysis of wing beat frequency profiling from Vespa mandarinia. Wing beat profiles of V. mandarinia during active flight and resting were distinctively different. From the wing beat profiling, algorithm of automated detection of vespa attack was encoded, and alert system was developed using Teensy 3.2 and Raspberry pi 3. From the laboratory testing, the prototype system successfully detected vespa wing beats and delivered the vespa attack information to the user wirelessly. Further development of the system could help precision alert system of the vespa attack to apiary.


Keywords: Automated detection, Early alert, Vespa mandarinia, Wingbeat profile

서 론

무선 센서 네트워크(Wireless Sensor Network) 기술은 센서 노드의 배치가 용이하고, 시스템 유지 및 관리 비용이 적게 들기 때문에 다양한 응용 서비스에서 활용될 수 있다(Dietlein, 1985; Ferrari et al., 2008). 양봉산업은 양봉꿀벌이나 재래꿀벌의 봉군을 일정한 지역에 집단적으로 또는 분산적으로 배치하여 벌꿀, 프로폴리스, 로얄젤리 등 산물을 생산하거나, 화분매개로의 활용, 그리고 각종 가공과 3차 산업화를 시도하고 있다(Jung and Cho, 2015). 반면 양봉가들은 꿀벌 봉군을 산간지 인근에 배치하기 때문에 봉군의 활력, 상태, 해충 또는 외적의 침입 등에 대한 실시간 정보접근이 어려운 단점이 있다. Kim and Jung(2014)은 꿀벌 봉군 내에 27개의 온도센서를 설치하여 봉군 내 온도의 3차원 분포를 분석한 바 있으며, 이를 바탕으로 ICT(Information and Communication Technology) 융합을 통하여 꿀벌의 벌통 내부의 온도와 습도를 자동으로 측정하고, 그 정보를 사용자의 컴퓨터 또는 웹 시스템으로 전송하는 사물인터넷 기반의 클라우드 시스템을 설계하고 구현한 바 있다(Kim and Jung, 2015). 이를 통하여 양봉가는 제3의 공간에서도 양봉장 내 벌통의 내부 환경에 대한 정보를 파악함으로써 봉군의 건강성을 간접적으로 판단할 수 있게 되었다.

양봉꿀벌을 사육하는 양봉가에게 가을철 봉군 유지의 가장 큰 장애는 말벌류의 공격이다. 국내에는 13종의 말벌이 보고되어 있으며, 대부분 8월 상순부터 11월 초순 사이 꿀벌을 공격함으로써 봉군에 치명적인 피해를 입히며 방치하였을 경우, 벌통 전체가 폐사하는 지경에 이르고 만다(Kim et al., 2006). 등검은말벌 등은 단독 공격형인 반면 장수말벌은 집단공격형 사냥 전략을 가진다(Jung et al., 2007a,b; Choi et al., 2012). 그래서 장수말벌(Vespa mandarinia)의 피해가 가장 큰 것으로 보고되었다. Chang(1994)은 말벌 피해의 88.5%가 장수말벌에 기인함을 보고했으며, 최근 외래생물인 등검은말벌(V. velutina)이 국내에 침입하여 말벌 문제의 복잡성이 높아졌다(Jung et al., 2012a,b; Choi et al., 2013). 특히 장수말벌은 꿀벌 집단을 공격하여 성충을 모두 몰살한 후 유충과 저장벌꿀을 약탈하며, 장수말벌 한 마리가 1분 동안 죽일 수 있는 꿀벌 수는 40여 마리에 달한다. 30~40마리의 장수말벌은 몇 시간 안에 수만 마리의 꿀벌 집단을 몰살시킬 수 있다(Oh, 2007).

본 연구팀은 말벌이 양봉장을 공격할 때 발생하는 음향 정보를 분석하여 실시간으로 그 정보를 해석하여 조기 경보를 내릴 수 있는 방안을 연구하였다. 센서들을 봉군주위에 설치하고 말벌 출현 시 자동으로 탐지하며 그 탐지된 정보를 사용자에게 전달하는 시스템을 구성하였다. 마이크 센서를 이용하여 장수말벌이 비행할 때 발생하는 파동을 분석하여, 장수말벌 특이 프로파일과 대조 분석하여 장수말벌 출현을 자동탐지하고, 말벌 출현 시 양봉가에게 트위터로 경고 메시지를 전송할 수 있는 장수말벌 탐지 시스템을 구현하였다.


재료 및 방법
장수말벌 비행 파동 분석

장수말벌은 2016년 9월 안동대학교 실험양봉장에서 채집하였다. 안동대학교 실험양봉장은 경북 안동시 송천동에 3면이 야산으로 둘러싸인 곳으로 다양한 말벌이 출몰하는 곳이다(Jung et al., 2007a). 말벌 포획기는 철망으로 35×35×45cm(가로×세로×높이)의 직육면체 구조로 제작하였다. 상단면은 개폐형으로 하였으며, 철망의 크기는 0.6×0.6cm로 하였다. 유인액은 아래쪽에서 제공하는 형태로, 오렌지 주스와 막걸리 1:1 비율의 혼합하여 사용하였다. 산 채로 채집된 등검은말벌과 장수말벌은 사육실 내 사육상자로 이송하였다. 사육상자는 25×35×35cm의 아크릴 케이지로써, 측면은 모두 가는 망사로 이루어져 있다. 개체별로 사육 상자에 넣은 후 말벌이 날아다닐 수 있도록 가볍게 건들면서 날아다닐 때와 앉아서 날갯짓 할 때를 구분하여 날갯짓에 의해 발생하는 음파를 녹음하였다. 경우에 따라서는 말벌 다리를 핀셋으로 고정하거나 실로 묶은 후 날갯짓을 유도하여 그 음파를 녹음하였다. 녹음에는 Max9814 마이크를 사용했으며, 음파의 주파수 분석은 소리분석 프로그램인 Sygyt Overtone Analyzer(Sygyt Software, 2016)를 활용하였다. 이 프로그램은 녹음된 소리파일 정보를 파동과 높낮이 등 프로파일 정보로 바꾸어 시각화 해 줌과 동시에 특정 영역대의 파동정보를 절삭가능하게 한다. 장수말벌 12마리의 날갯짓 소리를 녹음한 후 분석하였다. 이후 설정 값에 대한 훈련 및 재생력 확보를 위하여 아크릴로 만든 투명 사각형 박스 안에 장수말벌 3~4마리를 넣고 30~15KHz 주파수 범위와 16비트 해상도를 가진 ATR2500-USB 마이크, 샘플링 율(sampling rate)을 2400Hz으로 설정한 Audacity(Audacity ver. 2.1,2. Audacity Team, 2017)를 이용하여 추가 분석하고 그래프로 시각화하였다.

말벌 경보 시스템의 구성 및 알고리즘

말벌 경보 시스템은 마이크 센서를 이용하여 장수말벌이 비행할 때 발생하는 파동을 분석하고, 장수말벌 날갯짓 파동 특이 프로파일과 대조 분석하여 장수말벌 출현을 자동으로 탐지하고, 말벌 출현 시 양봉가에게 트위터로 경고 메시지를 전송할 수 있는 장수말벌 탐지 시스템을 구현하였다(Fig. 1). 시스템 구성을 위한 기본적 부품으로 소형녹음기(Microphone, Max9814), Microcontroller(Teensy 3.2 Cortex-M4), Raspberry pi 3를 사용하였다.

Fig. 1의 장수말벌 탐지 및 경보 시스템의 프로토타입 구성을 보면 다음과 같다. 장수말벌이 날아다닐 때의 소리를 입력받기 위해 20~20KHz 범위의 소리를 인식할 수 있는 Max 9814 마이크로폰을 사용하였고, 실시간으로 소리의 주파수 분석을 위해 처리 속도가 빠른 72MHz의 Cortex-M4 마이크로프로세서가 탑재된 Teensy 3.2 보드를 사용하였다. 또한 이더넷 네트워크 인터페이스를 가진 라즈베리 파이 보드를 사용하여 트위터(Twitter) 서버에 접속하고 트위터 계정을 가진 스마트폰 사용자에게 알람 메시지를 전송하도록 설계하였다.


Fig. 1. 
System architecture for detection and early alert of vespa attack.

Fig. 2는 장수말벌을 탐지하기 위한 알고리즘을 순서도로 나타낸 것이다. 마이크로폰으로부터 소리를 입력받아 FFT(Fast Fourier Transform) 라이브러리를 사용하여 실시간으로 주파수를 분석하고, 샘플링된 모든 주파수의 크기를 합하였다. 그리고 장수말벌 탐지를 위한 프로파일과 입력 주파수를 비교하여, 설정된 값이 모두 만족되면 탐지되었음을 알리는 경고 메시지를 라즈베리 파이 보드로 전송한다. 라즈베리 파이는 메시지 도착 시 트위터 서버를 통하여 사용자의 스마트폰으로 경고 메시지를 전송한다.


Fig. 2. 
Detection Algorithm for Vespa mandarinia.

말벌 경보 시스템의 작동 시연

말벌 경보 시스템의 작동 시연은 Fig. 3 과 같이 2016년 11월 3일 오전 안동대학교 실험온실 내에서 실시하였다. 경보시스템을 장착한 대형 곤충 실험용 아크릴 상자(60×90×90cm)에 장수말벌 3마리를 방사하였다.


Fig. 3. 
Vespa mandarinia detection demonstration.

아크릴 상자 아래에 소리를 입력받을 수 있는 마이크로폰이 설치되어 있으며, 자료 분석용 컨트롤박스와 자료 전송을 위한 무선전송 시스템이 갖추어졌다. 소리는 입력되면 FFT(Fast Fourier Transform) 라이브러리를 사용하여 실시간으로 주파수를 분석하고, 샘플링된 모든 주파수의 크기가 합해진 후 임계치에 도달하면 트위터를 통해 개별 스마트폰으로 전송되는 체계이다.


결과 및 고찰
장수말벌 비행 파동 분석

장수말벌의 비행 파동 분석 결과 앉아 있으면서 날갯짓을 할 때와 실재 비행 시 발생하는 파동은 확연하게 구분됨을 알 수 있었다(Fig. 4, 5). Fig. 45는 Audacity의 주파수 스펙트럼 분석기능을 사용하여 주파수 스펙트럼을 나타낸 것으로, X축은 주파수 값이고Y축은 데시벨 값이다. Fig. 4는 장수말벌이 앉은 채 날갯짓 할 때의 주파수 스펙트럼이고, Fig. 5는 날아다닐 때의 스펙트럼을 나타낸 것이다. 장수말벌 날갯짓 파동은 100, 200, 300, 400, 500, 600, 700, 800, 900, 1000Hz 대역의 유효 주파수 성분들로 구성되어 있다. 그리고 장수말벌이 날아갈 때 200Hz 이하의 주파수 성분들의 데시벨 값은 날지 않을 때와 20dB 이상 차이가 나고, 300Hz 이하의 주파수 성분들이 연속적으로 구성되어 있음을 알 수 있다.


Fig. 4. 
Typical frequency spectrums of non-flying wing beats of Vespa mandarinia.


Fig. 5. 
Typical frequency spectrums of wing beats of Vespa mandarinia during active flight. These wing beat patterns were used to judge Vespa attack to honeybee hive.

주파수 스펙트럼의 분석된 값을 통해 우리는 장수말벌 탐지를 위해 데시벨 값이 큰 유효주파수로서 100, 200, 300, 500, 600, 700, 900Hz 등을 사용하고, 소리 크기를 구분하기 위해 유효 주파수 대역의 [최저 주파수, 최고 주파수, 소리 크기 임계치] 값을 사용하였다. 소리크기의 임계치 값은 다음 수식을 이용한다.

소리 크기=특정주파수의 최고값과 최저값 안의 주파수특정 주파수 범위 이외의 주파수

이를 바탕으로 주파수 스펙트럼을 장수말벌 비행 음파를 탐지하도록 수정후 사용하였다(Table 1). 주파수 스펙트럼 특성을 이용한 장수말벌 탐지를 위해 Fig. 45의 주파수 스펙트럼을 토대로 장수말벌 주파수 프로파일(profile)을 구성하였으며, 프로파일의 각 대역은 (최저 주파수, 최고 주파수, 소리 크기)의 튜플(tuple)로 구성된다. 튜플이란 사물의 순서 있는 열거를 뜻한다. 본 연구에서 사용한 값은 Table 1과 같다. 애초 설정에서부터 실험을 하면서 장수말벌 탐지인식률을 높이기 위해 여러 큰 대역의 주파수를 두 개의 좁은 대역으로 나누었으며, 소리 크기 임계치 값을 조정하였다.

Table 1. 
Wing beat profile tuple (frequency Hz, and strength) of Vespa mandarinia for the automatic detection
[90, 110, 4], [95, 105, 4], [190, 210, 6], [195, 205, 6], [290, 300, 3], [300, 310, 3], [390, 400, 2.5], [400, 410, 2.5], [490, 500, 3], [500, 510, 3], [590, 600, 3], [600, 610, 3], [690, 700, 2.5], [700, 710, 2.5], [890, 900, 3], [900, 910, 3]

말벌 경보 시스템의 작동

본 시스템은 장수말벌이 탐지되면 시스템 보드에서 LED 등이 깜빡 거리며, 이 정보를 무선통신망을 이용하여 트위터 계정을 통해 전송된다. 장수말벌의 비행이 감지되자 시스템 보드의 빨간색 LED 등이 켜졌음을 보여주고(Fig. 6a), 수 초 이내에 사용자의 스마트폰 메시지로 말벌이 공격하고 있음을 알리는 경고 메시지가 트위터 계정을 통해 도착했음을 보여준다(Fig. 6b).


Fig. 6. 
Testing of Vespa detection and alert system. When vespa was detected, a red light alarm began blinked (a), and then the information is wirelessly transferred to user by alert message on smart phone (b).

이 논문은 마이크 센서를 이용하여 장수말벌이 날아다닐 때의 주파수 스펙트럼을 실시간으로 분석하고, 장수말벌의 특징적인 주파수 대역을 찾아서 장수말벌을 탐지하여 양봉가에게 트위터를 통한 알림 메시지를 전송하는 시스템의 구성과 알고리즘을 제시하였다.

최근 생태계 전반과 양봉산업에서 말벌의 피해는 점점 증가하는 추세이다(Kang et al., 2015; Jeong et al., 2015). 그러나 말벌의 피해를 줄이기 위한 뾰족한 방법은 매우 제한적이다. 대표적인 방법으로 사람이 포획하는 방법, 그물망치기, 말벌집 제거하기, 농약 묻혀 날려 보내기, 말벌포획기 사용, 초산류를 함유한 유인제 사용 등이 있으나, 모두가 사람이 지키거나 수시로 순시를 하여야 하는 번거로움과 말벌을 구제할 때 따르는 위험 부담이 있다(Oh, 2007; Jung, 2012; Choi et al., 2015). 그래서 많은 노력이 말벌 특이 트랩 개발에 집중되기도 하였다. Abrol(1994)은 썩은 생선이나 닭고기, 양고기 등 동물성 단백질이 중요하고, Jung et al.(2007b)는 사과와 포도 과즙에 유인력이 높았음을 보고하였다. Kang et al.(2016)은 꿀벌 추출물 등을 추가했을 때 등검은말벌 유인효과가 더 높아질 수 있다는 Rome et al.(2011) 등의 주장을 확인한 바 있다. 그럼에도 불구하고 장수말벌과 등검은말벌을 위시한 말벌류는 가을철 양봉가의 가장 큰 골칫거리이며 동시에 월동 실패를 유도하는 중요한 생물적 재해이다(Jeong et al., 2016).

이 연구는 ICT 기술을 활용하여 말벌의 양봉장으로의 침입을 탐지하고 이를 공간적으로 떨어져 있는 사용자에게 전달할 수 있음을 보여주었다. 유시곤충의 날개는 크기와 날갯짓를 할 때 발생하는 파동이 각기 다르다. 예를 들면 꿀벌은 240Hz 이상의 파동을 일으키나, 말벌류는 대개 100Hz 근처의 파동을 일으킨다(Byrne, 1988). 말벌류 중에서도 크기 등에 따라서 파동 프로파일이 다르다. 또한 꿀벌은 말벌의 공격에 대한 방어행동으로써 소리를 발생시키기도 한다(Papachristoforou et al., 2008). 이러한 비행 시 발생하는 파동 정보를 활용하여 장수말벌 특이 파동 프로파일을 통해 장수말벌의 양봉장 침입을 탐지하고 이를 경보하는 시스템은 향후 우리 양봉산업에 매우 유용하게 활용될 수 있다. 정보통신 분야의 기술혁신 부분인 무선 센서 네트워크 및 사물인터넷을 통한 정보의 신속한 제공을 통해 말벌의 침입에 대한 탐지 및 조기경보가 가능함을 보였다. 물론 본 시스템의 시연이 실내 제한된 공간에서 이루어진 것이지만, 향후 추가적 연구가 뒷받침되면 응용 가능성은 높다.


적 요

말벌류는 국내 양봉 산업에 가장 큰 피해를 입히는 생물군이다. 다양한 트랩 개발 및 포획 방법이 제시되고 있으나 아직까지 뚜렷한 해결책을 제시하지 못하고 있다. 본 연구팀은 장수말벌 특이 날갯짓 파동 프로파일 분석을 통하여, 장수말벌이 양봉장으로 공격해 들어올 때 이를 자동으로 탐지하고 그 정보를 사용자에게 전달할 수 있는 시스템을 개발하고 실험실 현장에서 검증하였다. 장수말벌 파동 프로파일은 명확하게 설정되었으며, 앉아서 날갯짓을 할 때와 실재 비행할 때의 파동 프로파일은 명확히 구분되었다. 이정보를 활용하여, 시스템을 구성하고 그 시스템은 장수말벌을 탐지하면 바로 트위터를 통하여 사용자에게 말벌 경보를 전송하는 방식으로 설계하였다. 시스템의 검증은 야외 온실 내 케이지에서 수행하였다. 수행결과 시스템은 성공적으로 말벌의 비행활동을 탐지하여 그 결과를 사용자에게 전달하였다. 비록 이 시스템은 실내 제한된 조건에서 검증되었지만, 향후 시스템의 개선 및 정확도가 향상된다면 양봉산업 현장에서 활용 가능성이 높다.


Acknowledgments

이 논문은 제1저자의 2016학년도 안동대학교 연구비 지원을 받았으며, 연구 환경 설정에 도움을 준 안동대학교 Bee Lab에 감사드린다.


인 용 문 헌
1. Audacity Team, (2017), Audacity ver. 2.1.2, web access 2017.06.18.
2. Byrne, D. N., Buchmann, S. L., and Spangler, H. G., (1988), Relationship between wing loading, wingbeat frequency and body mass in homopterous insects, J. Exp. Biol., 135, p9-23.
3. Chang, Y. D., Lee, M. Y., Yim, Y. H., and Youn, Y. N., (1993), Species and visiting patterns of wasps (Hymenoptera: Vespoidea) in apiary, Korean J. Apic., 8, p22-28.
4. Choi, M. B., Martin, S. J., and Lee, J.W., (2012), Distribution, spread and impact of the invasive hornet Vespa velutina in South Korea, J. Asia-Pac. Entomol., 15, p473-477.
5. Dietlein, D. G., (1985), A method for remote monitoring of activity of honeybee colonies by sound analysis, J. of Apic. Research, 24(3), p176-183.
6. Ferrari, S., Silva, M., Guarino, M., and Berckmans, D., (2008), Monitoring of swarming sounds in bee hives for early detection of the swarming period, Computers and Electronics in Agriculture, 64(1), p72-77.
7. Jeong, S. M., Lee, C. Y., Kim, D. W., and Jung, C., (2016), Questionnaire study on the overwintering success and pest management of honeybee and damage assessment of vespa hornets in Korean, Korean J. Apic., 31(3), p201-210.
8. Jung, C., (2012a), Spatial Expansion of an Invasive Hornet, Vespa velutina nigrithorax Buysson (Hymenoptera: Vespidae) in Korea, Korean J. Apic., 27, p87-93.
9. Jung, C., (2012b), Initial state risk assessment of an invasive hornet, Vespa velutina nigrithorax Buysson (Hymenoptera: Vespidae) in Korea, Korean J. Apic., 27, p95-104.
10. Jung, C., and Cho, S. K., (2015), Relationship between honeybee population and honey production in Korea: A historical trend analysis, Korean J. Apic., 30, p7-12.
11. Jung, C., Kang, M. S., and Kim, D., (2007a), Vespid wasps (Hymenoptera) occurring around apiaries in Andong, Korea : II. Trap catches and seasonal dynamics, Korean J. Apic., 22, p63-70.
12. Jung, C., Kang, M. S., Kim, D., and Lee, H. S., (2007b), Vespid wasps (Hymenoptera) occurring around apiaries in Andong, Korea I. Taxonomy and life history, Korean J. Apic, 22, p53-62.
13. Kang, E. J., Lee, M. L., Lee, M. Y., Kim, H. K., and Cho, Y. S., (2016), Attractive Effect using Honeybee extraction Against Vespa velutina nigrithorax Buysson (Hymenoptera: Vespidae) Queen, Korean J. Apic., 31, p195-199.
14. Kim, B., and Jung, C., (2014), Automatic environmental monitoring of honeybee hive: Prototype design, Korean J. Apic., 29, p187-192.
15. Kim, B., and Jung, C., (2015), Design and implementation of cloud based realtime temperature and humidity monitoring system of honey bee colony, Korean J. Apic., 30, p263-267.
16. Kim, Y. S., Lee, M. Y., Les, M. L., Nam, S. H., and Park, Y. M., (2006), Development of natural luring liquid against the wasps inflicting honeybees, Korean J. Apic., 21, p37-42.
17. Oh, M. S., (2007), Study on the Environment-friendly Control of the Vespa mandarina - 1. Group attack prevention by plant cultivation in front of beehives, Korean J. Apic., 26, p101-108.
18. Papachristoforou, A, Sueur, J,, Rortais, A., Angelopoulos, S., Thrasyvoulou, A., and Arnold, G., (2008), High frequency sounds produced by Cyprian honeybees Apis mellifera cypria when confronting their predator, the Oriental hornet Vespa orientalis, Apidologie, 39, p468-471.
19. Rome, Q., Adrien, P., Muller, F., and Villemant, C., (2011), Monitoring and control modalities of a honeybee predator, the yellow-legged hornet Vespa velutina nigrithorax (Hymenoptera: Vespidae), Aliens: The Invasive Species Bulletin, 31, p7-15.
20. Sygyt Software, (2016), Sygyt Overtone Analyzer, http://www.sygyt.com/en/ downloaded 2016.09.10., web accessed 2017.06.18.