![The APICULTURAL SOCIETY OF KOREA](/images/basic/pubreader_back.gif)
황말벌과 꿀벌의 음향 측정과 주파수 특성
Abstract
Vespid wasps (Vespa spp.) are the most noxious pests on apiculture, resulting in significant economic losses. Early monitoring and management are the first step to prevent the damages from vespid wasps. In this study, the acoustic signals from wasps and honey bees were measured by a microphone with a preamplifier and an analog-digital converter. In frequency analysis of the acoustic signals from wasps and honey bees, there were differences between the two species. While the fundamental frequency of the wasps was analyzed to be about 100 Hz with the strong harmonic frequencies, that of the honey bees was about 200~250 Hz. The 2nd harmonic signals from wasp were strongest while the fundamental ones from honey bees were. These different sound features generated by wasps or honey bees might be applied to develop the early monitoring system of the incursion of wasps to the apiary.
Keywords:
Vespid wasp, Honeybee, Sound, Apiculture서 론
꿀벌은 다양한 양봉산물의 생산을 담당하고 있을 뿐 아니라, 화분매개곤충으로서 농작물의 생산에 중요한 역할을 담당하고 있다 (Klein et al., 2007). 꿀벌에 의한 수분은 농작물 품질의 향상에도 기여한다 (Klatt et al., 2013). 그러므로 꿀벌의 존재가 인간의 생존과 생태계의 건강에 중대한 영향을 미칠 것은 명백하다.
최근 많은 나라에서 심각한 봉군의 감소를 겪고 있다 (Potts et al., 2010; VanEngelsdorp et al., 2011). 이러한 원인으로는 농약에 의한 환경오염이나 영양적인 문제 혹은 새로운 질병 등의 다양한 가설이 제시되고 있으나 아직까지 그 원인이 명확히 밝혀져 있지는 않다 (Underwood and VanEngelsdorp, 2007).
양봉산업의 생산성에 위해가 되는 꿀벌의 질병 원인체로는 virus, bacteria를 위시하여 진균 (fungi), 원충, 내·외부기생충 등이 다양하게 알려져 있다 (최 등, 1986; 이 등, 2003; 최 등, 2008; Yoo and Yoon, 2009; Evans and Schwarz, 2011). 또한 포식해충인 말벌류도 꿀벌에 많은 피해를 입히는 해충으로 알려져 있다 (조, 1999; 정 등, 2007a, 2007b).
현재 국내에 분포하는 말벌아과는 3속 18종으로 보고되었다 (최 등, 2013). 말벌은 8월 상순부터 11월 초순 사이 꿀벌을 공격함으로써 봉군에 치명적인 피해를 입히며, 그대로 방치하였을 경우 봉군이 소멸하는 지경에 이르게 되어 결과적으로 양봉농가의 노동력이 분산되고 봉군의 월동력이 떨어지게 되므로 전반적인 양봉관리에 차질을 빚게 된다 (김 등, 2006).
최근, u-IT (Ubiquitous Information Technology) 기법을 1차산업에 도입하여 농업생산성 향상에 기여한 예가 다수 있는 바, 그 예로서 양돈산업, 광어양식산업, 원예작물 등의 분야에서 다양하게 보고되고 있다 (황 등, 2010; 강 등, 2011; 황 등, 2014). 양봉산업에도 이러한 IT 기법을 적용할 수 있다면, 양봉산업의 생산성을 크게 제고할 수 있을 것으로 사료된다. 즉, 말벌침입의 징후를 감지하여 실시간으로 농가에 통지하는 경보시스템이 개발된다면, 신속한 대응을 통하여 말벌침입에 따른 피해를 줄일 수 있을 것으로 사료된다. 또한, 말벌이 사육상 내부까지 침입하여 끼치는 피해를 막기 위하여 ‘일시적인 소문 자동폐쇄’ 등의 제어장치의 선택도 고려될 수 있을 것이다.
이의 적용을 위하여, 말벌이 발생시키는 특정 주파수의 음향 신호를 선별하여 말벌의 접근을 감지할 수 있다면 말벌 피해를 막기 위한 신속한 조치의 설정이나 제어장치의 개발에 응용이 가능할 것으로 사료된다. 장수말벌의 경우, 이러한 시도가 김 등 (2017)에 의하여 조기경보시스템으로서 제안된 바 있다.
본 연구는, 제주지역에서 출몰하는 말벌인 황말벌 (Vespa simillima xanthoptera Cameron)과 (정 등, 2014) 꿀벌 (Apis. melifera)의 음향신호를 측정하고 그 주파수 특성을 비교 분석하였다. 이러한 황말벌과 꿀벌의 음향 특성의 차이를 응용하여 말벌의 접근을 조기에 감지함으로써 말벌의 피해방지를 위한 대책마련에 적용 가능성을 확인하기 위한 기초적인 정보를 얻기 위하여 수행되었다.
재료 및 방법
음향 신호의 측정 방법
말벌 및 꿀벌의 음향특성을 비교, 분석하기 위하여 제주대학교 내 시험 양봉장 내부에 유인장치 (다목 에코텍, 대한민국)를 지면에서 약 1.5 m 높이에 설치하였다. 설치한 유인장치 내부에는 시판되는 말벌유인제 (장수말벌유인액 (주)다목에코텍, 대한민국)를 보충하여 유인된 말벌을 포획하였다. 포획된 말벌은 모두 황말벌 (Vespa simillima xanthoptera Cameron)이었다 (정 등 2014).
이렇게 포획한 황말벌 (Vespa simillima xanthoptera Cameron)과 학교 내 시험 양봉장에서 사양되고 있는 군세가 안정된 이탈리안 계통의 서양종 꿀벌 (Apis melifera)을 음향측정에 사용하였다. 말벌의 음향신호는 실내 실험실에서 측정하였으며, 꿀벌의 음향신호는 양봉장의 벌통 소문입구에서 측정하였다. 두 경우 모두 장비와 분석 시스템을 동일하게 구성하였으며, 구체적인 음향 측정 방법과 장비는 Fig. 1의 블록다이어그램과 같다. 즉, 마이크로폰 (Microphone set Type 26CA & CC supply Type 12AL G.R.A.S., Denmark)에서 측정된 벌의 음향 신호는 전치증폭기 (Pre-amplifier Vp1000 Reson, Denmark)를 통해 증폭된 후, 아날로그-디지털 변환기 (AD-Converter USB-6351, National Instruments, USA)로 입력된다. 디지털 신호로 변환된 음향 신호는 컴퓨터로 입력되며, 그래픽 기반 프로그래밍 소프트웨어 (LabVIEW National Instruments, USA)를 통해 분석 및 저장하였다. 전치증폭기는 1 kHz 고주파 필터링과 20 dB의 증폭을 수행하도록 설정하였으며, 아날로그-디지털 변환 시 샘플링 주파수는 100 kHz으로 설정하였다. 15~30초 동안 음향신호를 측정 및 저장하여 벌의 움직임에 따라 연속적으로 소리가 측정될 수 있도록 하였다.
말벌의 경우 채집망 안에 말벌을 넣어 둔 후, 날개 짓을 유도하여 음향신호를 발생시켰다. 한번 날개 짓을 유도시킬 때마다 10회 내외의 간헐적인 날개 짓을 하였으며 이를 통해 발생된 음향신호는 채집망 가까이 설치된 마이크로폰을 통해 녹음되었다. 짧은 말벌의 음향신호를 포함하여 15초 동안 5회 측정되었다.
꿀벌 음향신호 측정을 위해서 양봉장 내에 음향 측정 실험 장비를 설치하였으며, 마이크로폰을 벌통 입구에 위치시켰다. 여러 마리의 꿀벌이 벌통 입구에서 수시로 출입하였으며, 출입 시에 마이크로폰 주위를 날아다니는 꿀벌의 음향신호가 측정되었다. 음향신호 측정은 30초 동안 5회 측정되었다.
음향 신호의 분석 방법
채집된 말벌 및 양봉장 꿀벌의 음향신호 특성을 파악하기 위하여 실험을 통해 측정된 15~30초의 음향 신호 중 벌의 음향신호가 포함된 약 1초의 지속시간을 갖는 벌의 음향신호만을 추출하여 분석하였다. 음향신호 추출과 분석은 MATLAB (Mathworks, USA) 프로그램을 사용하였으며 푸리에 변환 (Fast-Fourier Transform, FFT)과 스펙트로그램 (Short-Time Fourier Transform, STFT)을 이용해 시간-주파수의 특징을 분석하였다. 푸리에 변환은 1초 동안의 신호 전체를 100 kHz로 샘플링을 했으며 절대값을 취하였다. 스펙트로그램의 경우 FFT 길이는 32768, 윈도우 (window)는 2048 샘플 그리고 오버랩 (overlap)은 1024 샘플로 설정하였다.
결과 및 고찰
말벌 음향 신호 분석 결과
추출된 말벌의 음향신호 중 대표적인 신호를 선정하여 Fig. 2에 나타내었다. Fig. 2A의 음향신호는 약 1초 이내의 지속시간을 가지며 0.3초 정도에 뚜렷한 신호가 발생하며 약 0.1초까지 진폭이 0.1 V 정도까지 커지다가 그 이후 시간에 따라 감소하는 경향을 보인다. 추출된 다른 음향신호를 분석해본 결과 신호의 지속시간과 진폭에 시간변화가 있었으며 이는 날개 짓을 통한 말벌의 움직임이 일정하지 않고 경우에 따라 달랐기 때문으로 판단된다. 신호의 파형을 확대해 보면 펄스 형태의 신호가 반복적으로 나타나는 것을 확인할 수 있다. 펄스의 반복주기는 약 10 ms이다.
![Fig. 2. Fig. 2.](/xml/20506/ASK_2019_v34n1_7_f002.jpg)
Acoustic signals measured from an individual Vespa simillima xanthoptera Cameron in the laboratory. (A) The waveform of the extracted signal in time domain with enlarge shaded area. (B) Frequency spectrum plotting magnitude in relative units (V*sampling number). (C) Spectrogram for time-frequency analysis. Colorbar scale is Power/frequency [dB/Hz].
한편, 말벌 음향신호의 주파수 스펙트럼은 파형에 비해 신호의 특성을 잘 나타내고 있다. Fig. 2B에 나타난 신호의 주파수 스펙트럼을 살펴보면 약 100 Hz에 기본 주파수가 나타나고 있으며 이후 약 200 Hz부터 약 1 kHz까지 약 100 Hz 간격으로 하모닉 성분이 나타나는 것을 확인할 수 있다. 2차 하모닉 성분인 200 Hz 성분에 가장 많은 에너지가 집중되어 있으며 3차 하모닉인 300 Hz 성분은 기본주파수와 비슷한 진폭을 보이고 있는 것이 특징이다. 4차 하모닉 성분인 400 Hz는 다소 감소하였다가, 500 Hz부터 다시 증가 약 800 Hz 이후부터 서서히 감소하는 추세를 보인다. 추출된 다른 말벌 음향신호의 경우 3차 하모닉 이상의 주파수 성분들은 진폭변화 양상이 경우에 따라 달랐으나, 대부분의 신호에서 기본주파수에 비해 2차 하모닉 성분이 크게 나타났다.
Fig. 2C는 Fig. 2A신호의 스펙트로그램을 나타낸다. 파형의 진폭 증가에 따라 약 0.3~0.5초 사이에 진폭이 큰 주파수성분이 집중적으로 나타나고 있는 것을 확인할 수 있으며 그 때에 약 2 kHz 이상까지 고차 하모닉 성분이 관찰되고 있다. 0.3초 이하, 0.5초 이상의 신호의 경우, Fig. 2A에서 보듯이 시간 축에서는 신호가 뚜렷하지 않아도 스펙트로그램에서는 200 Hz 성분의 신호가 관측되며 하모닉 성분도 약하게 관측이 된다.
꿀벌 신호 분석
말벌의 음향신호와 마찬가지로, 추출된 꿀벌 음향신호 중 음향특성을 잘 드러내는 신호를 선정하여 Fig. 3에 나타내었다. Fig. 3A는 시간 축에 나타낸 꿀벌 음향신호의 파형을 나타내며 1초 이내의 음향신호가 발생한 것을 볼 수 있다. 신호 발생 초기 지점인 0.3초부터 약 0.38초까지 약 0.08초 동안 진폭이 0.2 V 정도까지 증가하였으며 이 후 다소 감소하여 최대 진폭의 약 1/3 진폭을 갖는 음향 신호가 약 0.6초간 지속 된 후 사라진다. 추출된 다른 음향신호를 조사한 결과, 신호의 지속시간과 신호의 진폭이 서로 달랐으며 특징적인 면을 발견하기 어려웠다. 이는 마이크로폰 주변을 날아다니는 꿀벌의 개체 수, 비행 경로 (마이크로폰과의 거리) 및 속도가 경우마다 달랐기 때문으로 판단된다. 말벌 음향신호와 마찬가지로, 꿀벌의 음향신호도 펄스 형태의 파형이 반복적으로 나타나는 것을 볼 수 있으며 펄스의 반복 주기는 약 4 ms이다.
![Fig. 3. Fig. 3.](/xml/20506/ASK_2019_v34n1_7_f003.jpg)
Acoustic signals measured at the gate of a beehive of Apis mellifera. (A) The waveform of the extracted signal in time domain with enlarge shaded area. (B) Frequency spectrum plotting magnitude in relative units (V*sampling number). (C) Spectrogram for time-frequency analysis. Colorbar scale is Power/frequency [dB/Hz].
한편, 꿀벌 신호의 주파수 스펙트럼은 파형에 비해 신호의 특성을 잘 나타내고 있다. Fig. 3B의 주파수 스펙트럼을 살펴보면 약 250 Hz 정도에 기본주파수 성분이 나타나며 약 500, 800, 1050 Hz에 하모닉 성분이 나타나는 것을 볼 수 있다. 말벌의 신호에 비해 약 2~2.5배 높은 주파수를 나타내는 것을 알 수 있다. 추출된 다른 꿀벌 음향신호를 분석해 보면 기본주파수의 경우 약 200~250 Hz 사이에 나타나고 있으며 2차 하모닉 성분의 경우 약 400~500 Hz로 나타났다.
Fig. 3C는 Fig. 3A 신호의 스펙트로그램을 나타내며, 주파수의 시간변동을 확인할 수 있다. 주파수 축을 따라서 기본주파수와 그 하모닉 성분들이 나타나며 시간에 따라서 각 주파수 성분의 증감을 관찰할 수 있다. 신호의 진폭이 증가되는 약 0.4초 부근에서는 주파수 변조가 발생하여 주파수와 그 하모닉 성분들이 다소 증가하였다가 감소하는 것을 알 수 있다. 약 0.32초의 경우 기본주파수가 약 250 Hz였고, 1차 하모닉 주파수는 약 520 Hz였던 반면, 약 0.38초에서는 기본주파수가 280 Hz, 1차 하모닉 주파수가 약 570 Hz로 각각 30 Hz, 50 Hz가 증가하였다. 그러나 약 0.05초 이후 원래의 주파수로 돌아왔다. 추출된 다른 꿀벌 음향신호의 경우에도 약 50 Hz 이내의 시간에 따른 주파수 변화가 관측되나 주파수 변화가 발생하는 시점과 그 형태가 파형에 따라 다양한 양상을 나타낸다. 그러나 50 Hz 이상으로 큰 폭의 주파수 변화가 나타나지 않으며 짧은 시간 발생하므로 평균적인 주파수 변화에는 큰 영향을 미치지 않았다.
말벌 음향 신호와 꿀벌 음향 신호의 구분
말벌과 꿀벌의 음향신호를 측정하여 비교하였다. 음향측정 시스템은 같았으나 말벌 음향신호는 실험실 내에서 1개체로부터 발생하는 소리를 측정하여 분석한 반면, 꿀벌 음향신호는 양봉장 내의 꿀벌 통 입구에서 다수의 꿀벌로부터 발생하는 음향신호가 측정되었으므로 정량적인 비교에 있어서 한계가 있었다. 그러므로 시간 축 신호의 진폭과 지속시간 및 파형 변화의 차이를 단일 개체간의 차이로 해석하기에는 무리가 있다. 그러나 주파수 축에서의 신호를 분석한 결과 말벌의 기본 주파수는 약 100 Hz이며 꿀벌의 기본 주파수는 약 250 Hz로 분명하게 구분이 됨을 확인할 수 있었다. 말벌의 기본 주파수가 낮은 것으로 보아 말벌의 날개짓 빈도는 꿀벌의 그것에 비해서 작은 것으로 판단된다. 황말벌 한 개체가 독립적으로 혹은 적은 개체수로 비행하며 꿀벌 집단을 공격한다면 이러한 황말벌 한 개체와 꿀벌 통 입구에서 다수의 꿀벌의 신호를 측정하여 비교하는 것은 말벌의 조기 경보 시스템을 현장에 적용하기 위한 보다 현실적인 방법일 수도 있다.
말벌과 꿀벌의 음향신호를 구분하는 것은 패턴인식 관점으로 볼 때 두 가지 클래스를 구분하는 문제에 해당한다. 이를 위해서는 먼저 각 클래스의 신호적 특징을 추출하는 일이 선행되어야 한다. 본 연구에서는 신호의 시간적 특징과 주파수적 특징을 살펴보았다. 파형의 경우 대부분 불규칙적으로 발생하고 있으므로 시간적인 특징을 파악하기는 어려웠다. 이는 마이크로폰 앞에서 이동하는 벌의 움직임이 규칙적이고 지속적이지 않기 때문인 것으로 사료된다. 현장에서 벌이 내는 음향신호를 정밀하게 측정하기 위해서는 벌이 움직이지 않는 상태일 때 이거나 벌을 따라 마이크로폰의 방향과 거리를 유지하며 측정해야 하나 이는 현실적으로 어려우며 본 연구의 방향과도 맞지 않다. 꿀벌 통의 입구부근에 마이크로폰을 설치하는 말벌 침입 경보 시스템을 가정 할 경우, 본 실험을 통해 측정된 것과 유사한 형태의 신호가 측정된다고 가정한다면 시간적인 파형으로부터 특징을 추출하기보다 주파수 특징을 선정하는 것이 두 종을 구분하는데 적합할 것으로 판단된다.
이때 사용 가능한 주파수 특징으로는 기본주파수, 1, 2차 하모닉 주파수 등이 있다. 다른 문헌들 (Michelsen et al., 1987; Spangler, 1991; Nieh and Tautz, 2000; Hrncir et al., 2005)과 본 연구의 실험을 통해 확인된 결과 꿀벌의 경우 200 Hz 이상에서 기본주파수가 나타나므로, 기본주파수가 약 100 Hz인 말벌과 충분히 구분 가능할 것으로 판단된다. 이 경우 두 종의 기본주파수 사이인 150 Hz 정도로 문턱치를 설정하면 구분이 가능할 것이다.
그러나 보다 신뢰성 있는 구분을 위해서는, 보다 많은 데이터를 취득하여 기본주파수와 2, 3차 하모닉 주파수의 발생 분포를 관측하고 확률밀도함수를 추정하여 그에 맞는 문턱치 값을 설정해야 한다. 가우시안 분포 (Gaussian distribution)를 가정할 경우, 이차 분류기 (Quadratic classifier)를 통해서도 구분이 가능하다 (Duda et al., 2012).
말벌과 꿀벌 음향신호의 보다 정량적인 측정과 분석 및 비교를 위해서는 단일 개체와 군집의 행동양식 등을 관찰하며 그에 따른 음향신호를 측정하고 분석하는 일이 필요하다. 또한, 형태학적으로 다양한 여러 종류의 말벌에 대한 음향 특성의 조사연구가 추가적으로 필요할 것이며, 이를 응용한다면 양봉산업의 말벌피해를 감소시킴에 도움이 될 것으로 사료된다.
Acknowledgments
Geon Kim and HanSoo Kim are co-first authors and contributed equally.
본 연구는 농림축산식품부의 재원으로 농림수산식품기술기획평가원의 첨단생산기술개발사업 (115102-03)의 지원을 받아 수행되었으며, 저자 일동은 이에 감사하는 바입니다.
References
- 강성수, 김세한, 이준욱, 강형중, (2011), USN 기반 농업 IT 융합기술 동향, Electron. Telecommun. Trends, 26(6), p97-107.
- 김병순, 정성민, 김고은, 정철의, (2017), 장수말벌 공격 조기 경보 시스템 프로토타입 설계 및 실내 시연, J. Apic., 32(3), p191-198.
- 김영수, 이만영, 이명렬, 남성희, 박영미, (2006), 포식해충 말벌 유인제 개발, J. Apic., 21(1), p37-42.
- 유미선, 윤병수, (2009), 국내 꿀벌 질병의 발생 빈도, J. Apic., 24(4), p273-278.
- 이명렬, 최지영, 이만영, 김영수, (2003), 국내 꿀벌 노제마병의 감염수준, J. Apic., 18(2), p151-154.
- 정영석, 조종문, 김철영, 정철의, 김동순, 김윤주, 임윤규, (2014), 제주지역 양봉장에 출몰하는 황말벌, J. Apic., 29(4), p349-351.
- 정철의, 강문수, 김동원, (2007a), 경북 안동지방 양봉장 주변에 발생하는 주요 말벌류. I. 분류 및 생활사, J. Apic., 22(1), p53-62.
- 정철의, 강문수, 김동원, (2007b), 경북 안동지방 양봉장 주변에 발생하는 주요 말벌류. II. 트랩 포획 및 발생 동태, J. Apic., 22(1), p63-70.
- 조상균, (1999), 말벌의 구제방법, J. Apic., 14(2), p127-129.
- 최문보, 김정규, 이종욱, (2013), 한국산 말벌과의 종목록 정리 및 분포에 대한 고찰, Korean J. Appl. Entomol., 52(2), p85-91.
- 최승윤, 우건석, 김영수, (1986), 꿀벌응애에 관한 설문조사 및 분석, J. Apic., 1(1), p62-75.
- 최용수, 이명렬, 이만영, 이광길, (2008), 국내 꿀벌에서의 바이러스진단 및 질병발생 현황 조사, J. Apic., 23(2), p153-159.
- 황성일, 김외영, 이석용, (2014), u-양식장을 적용한 ICT 기반 스마트 양식장 시스템 사례 연구, J. Korean Ins. Commun. Sci., 39(2), p173-181.
- 황정환, 이명훈, 주휘동, 이호철, 강현중, 여현, (2010), 유비쿼터스 농업환경에서의 돈사 통합관리 시스템 구현, The J. Korean Ins. Commun. Sci., 35(2), p252-262.
- Duda, R. O., E. H. Peter, and G. S. David, (2012), Pattern classification, 2nd ed., p680, John Wiley & Sons, New Jersey.
-
Evans, J. D., and R. S. Schwarz, (2011), Bees brought to their knees: microbes affecting honey bee health, Trends Microbiol., 19(12), p614-620.
[https://doi.org/10.1016/j.tim.2011.09.003]
-
Hrncir, M., F. G. Barth, and J. Tautz, (2005), Vibratory and Airborne-Sound Signals in Bee Communication (Hymenoptera), p421-436, in Insect Sounds and Communication: Physiology, Behaviour, Ecology, and Evolution Drosopoulos, S., M. F. Claridge, p552CRC press, Florida.
[https://doi.org/10.1201/9781420039337.ch32]
-
Klatt, B. K., A. Holzschuh, C. Westphal, Y. Clough, I. Smit, E. Pawelzik, and T. Tscharntke, (2014), Bee pollination improves crop quality, shelf life and commercial value, Proceedings of the Royal Society B: Biol. Sci., 281(1775), 20132440.
[https://doi.org/10.1098/rspb.2013.2440]
-
Klein, A.-M., B. E. Vaissiere, J. H. Cane, I. Steffan-Dewenter, S. A. Cunningham, C. Kremen, and T. Tscharntke, (2007), Importance of pollinators in changing landscapes for world crops, Proceedings of the Royal Society B: Biological Sciences., 274, p303-313.
[https://doi.org/10.1098/rspb.2006.3721]
-
Michelsen, A., W. F. Towne, W. H. Kirchner, and P. Kryger, The acoustic near field of a dancing honeybee, (1987), J. Comp. Physiol. A., 161, p633-643.
[https://doi.org/10.1007/bf00605005]
- Nieh, J. C., and J. Tautz, Behavior-locked signal analysis reveals weak 200-300 Hz comb vibrations during the honeybee waggle dance, (2000), J. Exp. Biol., 203, p1573-1579.
-
Potts, S. G., S. P. M. Roberts, R. Dean, G. Marris, M. A. Brown, R. Jones, P. Neumann, and J. Settele, (2010), Declines of managed honey bees and beekeepers in Europe, J. Apic. Res., 49(1), p15-22.
[https://doi.org/10.3896/ibra.1.49.1.02]
-
Spangler, H. G., (1991), Do honey bees encode distance information into the wing vibrations of the waggle dance?, J. lnsect. Behavior., 4(1), p15-20.
[https://doi.org/10.1007/bf01092547]
- Underwood, R. M., and D. Van Engelsdorp, (2007), Colony Collapse Disorder: Have we seen this before?, Bee Culture, 35, p13-18.
- Van Engelsdorp, D., J. Hayes Jr., R. M. Underwood, D. Caron, and J. S. Pettis, (2011), A survey of managed honey bee colony losses in the United States, fall 2009 to winter 2010, (2011), J. Apic. Res., 50(1), p1-10.