YOLO란 1단계 검출 방식으로 빠른 인식 속도를 보여주는 객체 인식 딥러닝 모델이다. 입력된 이미지를 일정한 크기로 n×n 개의 그리드를 생성한 후, 각 그리드마다 바운딩 박스 (bounding box)를 생성하고 해당 객체의 클래스를 예측한다. YOLO는 2015년 발표 당시, 2단계 검출 방식인 RCNN과 비교했을 때 압도적으로 빠른 추론 속도와 유용한 정확도를 보여주었으며 YOLO에 기반한 모델들은 지금까지 실시간 객체 탐지에 넓게 활용되고 있다. 실험에 사용한 YOLO 모델은 최근 가장 많이 활용되는 YOLOv5, YOLOX, YOLOv7이다. Table 1은 각 YOLO 모델의 세부 구조를 나타낸 것이다.

YOLOv5는 Pytorch 기반으로 구현한 YOLO 시리즈 중 하나이며 복합 스케일링 기법 (Tan and Le, 2019)을 적용하여 모델의 성능과 연산량에 따라 small, medium, large, extreme 네 종류로 나누었으며, 활성화 함수로 hard swish (Howard et al., 2019)를 사용하여 학습 및 추론 속도를 개선하였다. YOLOX는 PAFPN (Lin et al., 2017)을 통해 Multi-Scale Feature Map을 얻는다. 낮은 해상도의 Feature Map에서는 큰 객체를 추출하고 높은 해상도의 Feature Map에서는 작은 객체를 추출하는 neck을 갖고 있다. Backbone과 neck은 YOLOv3와 동일한 SPP (He et al., 2015) 방식이 적용되어 있지만, head를 분리하여 기존 모델과 차별점을 주었다. YOLOv7은 보다 우수한 실시간 객체 검출 성능을 달성하고자 여러 계층의 가중치가 더 많은 기능을 학습하기 위해 경로를 효율적으로 제어하는 구조인 E-ELAN을 사용했다. RepVGG (Ding et al., 2021) YOLOv5와 YOLOv7은 Anchor-based 방식을 사용하며 YOLOX는 Anchor-free 방식을 사용한다 (Zhang et al., 2020).

두 방식의 차이점을 Fig. 1에 상세히 나타내었다. Fig. 1(a)의 Anchor-based 방식은 사전에 정의된 크기와 종류의 사각형 영역인 앵커 (anchor)를 사용해 데이터셋 이미지 내 객체의 위치와 크기를 예측한다. 앵커는 이미지 내에서 다양한 종횡비와 크기를 가진다. 딥러닝 모델은 앵커를 기반으로 물체의 위치를 예측하며 예측한 위치와 실제 객체의 위치 사이의 IoU (Intersection over Union)를 계산한다. IoU는 두 개의 경계 상자가 얼마나 겹치는지 측정하는 값이다. 앵커 박스와 실제 객체의 영역을 표시한 상자 간 IoU의 값이 특정 임계값보다 크다면 정답이라고 간주한다. IoU의 값이 클수록 객체 위치에 대한 검출 능력이 높다는 것을 의미한다. Anchor-based는 학습데이터를 바탕으로 사전에 정의된 n개의 앵커 박스를 이용하여 학습을 통해 객체의 영역을 추론한다. Fig. 1의 (b)는 Anchor-free 방식을 묘사했다. Anchor-free는 사전 정의된 앵커에 의존하지 않고 객체의 위치와 크기를 예측하는 방식이다. 객체의 중심점 위치와 크기에 대해 예측값을 생성하거나 객체의 주요 특징을 감지하여 위치를 파악한다. 앵커를 사용하지 않아 객체 감지를 좀 더 유연하게 할 수 있다. Anchor-based는 학습 데이터 기반으로 높은 정확도를 보여준다는 장점이 있으나 객체의 특징 (비율)이 학습된 것에서 벗어나면 예측 성능이 크게 떨어진다. 다만 Anchor-free는 미리 정의한 앵커 없이 객체를 탐지하는 방식이기 때문에 학습이 되지 않은 다양한 객체의 크기에도 예측 성능이 크게 떨어지지 않는다. 딥러닝 모델에 따른 객체 탐지의 성능은 mAP (Mean Average Precision)를 평가 지표로 사용한다. mAP는 딥러닝 모델의 예측 결과를 기반으로 정밀도/재현율 곡선을 생성한다. 정밀도는 모델이 예측한 객체 중 실제 객체로 올바르게 감지한 비율이며 재현율은 실제 객체 중 모델이 올바르게 감지한 객체의 비율이다. 정밀도/재현율 곡선 아래의 면적을 계산한 값의 평균이 mAP이다. mAP를 통해 모든 클래스에 대해 얼마나 효과적으로 객체를 탐지하는지 나타내는 종합적인 성능 지표를 얻는다. 이때 IoU는 0.5를 기준으로 한다. 즉 추론된 객체와 Ground Truth간에 겹치는 비율이 50% 이상인 결과에 대하여 mAP를 계산하여 추론의 정밀도를 평가한다.

Fig. 1.  
Comparison between anchor-based method and anchor-free method. (a) Anchor boxs of the learning dataset according to predetermined size and aspect ratio. (b) Anchor-free method predicts the center point.

Fig. 2는 기본 학습 데이터셋에 포함된 말벌의 종류이다. 기본 데이터셋은 말벌류 5종 (등검은말벌, 말벌, 꼬마장수말벌, 장수말벌, 털보말벌)과 양봉꿀벌로 총 6종이다. Table 2와 같이 말벌 영상이 학습용으로 5,705장, 유효성 검사용으로 900장, 검증을 위해 900장으로 이루어진 데이터셋이다.

Fig. 2.  
Vespa dataset. (a) Apis mellifera, (b) V.velutina nigrithorax, (c) V. crabro, (d) V. ducalis, (e) V. mandarina, (f) V. silmilima.

기본 데이터셋은 객체가 이미지 내에서 많은 면적 비율을 차지하는 일반적인 학습용 데이터셋이다. 추가적으로 작은 객체에 대한 검출 성능을 향상시키기 위한 학습용 데이터를 제작했다. 기본 데이터셋을 기반으로 실제 현장에서 촬영된 카메라 영상 속 말벌의 면적 비율과 흡사하도록 데이터셋을 수정한다. 말벌과 카메라의 거리를 40 cm로 제한할 때 대부분 말벌은 크기에 따라 차이가 있지만 영상 전체 면적 대비 말벌 객체의 크기는 대략 1% 미만의 비율을 차지한다. 따라서 학습 데이터도 실제 면적 비율을 고려하여 임의로 객체의 면적이 영상 전체 면적의 0.3%가 되도록 제작했다. 0.3% 데이터셋의 수는 기본 데이터셋과 동일하다. 즉, 기본 데이터셋을 이용하여 상기에 설명한 방법으로 학습용, 유효성 검사용, 테스트용으로 동일한 수의 0.3% 데이터셋을 생성한다.

Fig. 3은 0.3% 데이터셋을 생성하는 과정이다. 먼저 기본 데이터셋 내에 존재하는 말벌 영상 중 배경을 제외하고 객체 (말벌) 영역만을 라벨링한다. 라벨링된 객체 영상 중 왼쪽 위에서부터 가로 및 세로 20픽셀씩 추출 후 저장한다. 추출한 배경은 라벨링된 객체의 비율이 전체 영상 내 면적의 0.3%의 비율을 차지하도록 넓이를 재구성한다. 말벌 영역만을 라벨링한 가로 및 세로 길이는 일정하지 않고 같은 종류의 말벌이라도 영상마다 길이가 다양하다. 가로와 세로의 길이의 비율을 유지하면서 배경의 넓이를 재구성하기에는 어려움이 있다. 따라서 객체가 배경의 0.3%의 면적 비율을 차지하도록 하는 재구성된 배경의 넓이를 쉽게 제작하기 위해 정사각형 모양으로 추출하였다. 라벨링된 객체의 영상의 가로와 세로 길이를 통해 넓이를 구하고 그 넓이의 마지막으로 재구성한 배경 중앙에 원본 말벌 영상을 결합한다.

Fig. 3.  
Process to produce the 0.3% dataset.

혼합 (Mixed) 데이터셋은 두 가지를 제작했다. 하나는 기본 데이터셋과 0.3% 데이터셋에서 무작위로 선출하여 기본 데이터셋과 개수를 맞춘 데이터셋이다. 다른 하나는 객체의 크기가 기본 데이터셋, 3% 데이터셋, 0.3% 데이터셋으로 총 3단계로 작아지는 데이터셋으로 제작했다. 마찬가지로 기본 데이터셋과 개수를 동일하게 조절하였다.

Fig. 4는 학습용으로 사용되는 기본 데이터셋, 3% 데이터셋, 0.3% 데이터셋에 포함된 영상의 예시이다. 전술한 바와 같이 현장에서 카메라로 촬영하는 말벌은 대략 영상 면적 대비 1% 미만으로 획득된다. 따라서 말벌의 면적 비율을 차례대로 일반적인 데이터셋의 비율인 기본 데이터셋부터 3% 데이터셋 그리고 0.3% 데이터셋까지 3단계로 비율이 작아지도록 혼합 데이터셋을 제작하여 YOLO 모델 학습에 이용했다.

Fig. 4.  
Configuration of vespa training dataset. (a) Basic training dataset, (b) 3% training dataset, (c) 0.3% training dataset.

YOLOv5, YOLOX, YOLOv7을 이용하여 준비한 데이터셋 3가지를 각 모델별로 3번의 학습을 각각 진행한다. 학습을 진행한 하드웨어 환경은 GPU NVIDIA RTX4090이며 소프트웨어 환경은 Ubuntu 18.04, CUDA 11.6, CUDNN 8.9.0, OpenCV 4.8.0, Python 3.8.10이다.

Fig. 5는 3가지 YOLO 모델을 3가지 데이터셋으로 학습을 거친 후 테스트하는 과정이다. YOLO 모델을 학습하면 가중치 (weight) 데이터가 여러 개 생성된다. 가중치를 이용해 영상 내에 존재하는 객체를 탐지하고 분류할 수 있다. 생성된 가중치 중에서 평가 지표가 가장 높은 best. pth를 테스트에 사용할 가중치로 선정했다. 최종적으로 YOLO 모델 3개마다 데이터셋 3종류를 학습하여 총 9개의 가중치를 이용하여 테스트를 진행한다. 테스트를 마치면 각 테스트의 결과로 mAP가 산출된다. 학습된 데이터셋 종류와 YOLO 모델을 비교하여 mAP가 가장 높은 경우를 찾아 검출 결과가 가장 좋은 YOLO 모델과 효과적인 학습 데이터셋으로 결정한다.

Fig. 5.  
Process of training and test for 3 YOLO models using the 3 datasets.

Table 3은 각 모델을 각 데이터셋에 학습한 후 얻은 가중치에 대해 가장 보편적으로 활용되는 척도 IoU 0.5를 기준으로 학습 mAP를 측정한 결과이며 mAP를 통해 모델의 실질적인 성능 평가가 가능하다. 선행 연구 (Everingham, 2010)를 참고하여 IoU 값을 0.5로 설정하였다. 예측한 영역과 실제 객체의 영역의 IoU 값이 0.5보다 크다면 Positive, 그렇지 않으면 Negative로 분류되어 mAP를 계산한다. mAP가 높을수록 딥러닝 모델이 객체에 대해 정확하게 감지하고 바운딩 박스를 예측한다는 것을 나타낸다. 학습 mAP는 모델이 훈련 데이터셋에 대해서 얼마나 잘 학습되었는지를 나타내는 지표이다. YOLOv7이 Basic, 0.3%, Mixed 3가지 데이터셋 학습에서 각각 96%, 97.8%, 96.1%로 YOLO 모델 중 모두 높은 학습 mAP를 나타내는 것을 확인할 수 있다. YOLOX는 3가지 데이터셋을 학습한 결과로 각각 95%, 92%, 93.5%가 나왔으며 특히 0.3% 데이터셋을 학습했을 때 YOLO 모델 중 가장 낮은 mAP를 나타냈다. YOLOv5의 3가지 학습 결과는 순서대로 95%, 95%, 95.9%를 나타냈으며 가장 학습 결과가 높은 YOLOv7과 mAP가 3% 미만 차이로 비슷한 수준의 학습 결과를 보였다.

학습을 통해 얻은 9가지 가중치를 4가지의 테스트 데이터셋을 이용해 추론 성능을 평가했다. 학습이 완료된 YOLO 모델을 테스트 데이터셋에 포함된 말벌 영상을 이용해 테스트를 진행했다. 테스트는 학습 데이터와 달리 새로운 데이터를 통해 수행했다. 테스트 mAP는 모델이 실제 환경에서 얼마나 잘 탐지할 수 있는지 반영하며 이를 통해 최종적으로 말벌을 잘 탐지할 수 있다는 객관적인 성능 정보를 얻는다. 즉, mAP가 높을수록 말벌을 탐지하는 성능이 우수하다는 객관적인 지표이다. Table 4는 각 가중치와 테스트 데이터셋을 이용하여 추론했을 때의 mAP이다.

테스트 데이터는 기본 데이터셋, 0.3% 데이터셋, 기본과 0.3%를 합친 Mixed 데이터셋, 기본과 3%와 0.3%를 동일한 비율로 구성한 *Mixed 데이터셋을 사용했다. 테스트 학습 데이터와 테스트 데이터의 성질이 유사한 경우에서 YOLOv5와 YOLOv7이 mAP가 가장 높은 성능을 보여주었다. 예시로 Basic 데이터셋으로 학습한 YOLOv5와 YOLOv7으로 Basic 데이터셋으로 테스트한 결과, 각 mAP가 93.1%, 92.9%를 나타냈다. 다만, 학습 데이터의 성질과 테스트 데이터의 성질이 다르다면 성능이 크게 저하되는 것을 볼 수 있었다. 그 예로 Basic 데이터셋으로 학습한 모델의 가중치는 실제 환경과 유사한 조건으로 맞춘 0.3% 데이터셋으로 테스트를 시행한 결과를 보면 YOLOv5가 30.8%, YOLOv7이 14.7%로 현저히 낮은 mAP가 측정되었다. 하지만, YOLOX는 85.2%로 YOLO 모델 중 압도적으로 우수함을 보여줬다. 두 가지 Mixed 데이터셋으로 학습한 YOLO 모델들은 테스트 데이터셋에 관계없이 준수한 mAP를 보여주었다. 마지막으로 YOLO 모델을 두 가지 Mixed 데이터셋으로 테스트를 진행한 결과는 큰 차이가 없이 비슷한 수준의 mAP를 보여주었다. Fig. 1과 같이 YOLOX는 Anchor-free로 인해 학습 데이터와 테스트 데이터의 객체 크기가 달라도 영향을 크게 받지 않는 특성이 그 이유이다. 다시 YOLOv5와 YOLOv7을 Basic 아닌 0.3% 데이터셋으로 학습한 후 0,3% 데이터셋으로 테스트하면 각각 94%, 95.4%의 결과를 보여준다. Anchor-based 기반인 YOLO 모델을 추론 환경과 유사한 학습 데이터로 학습을 한 후 추론한다면 일반적인 데이터셋으로 추론했을 때보다 높은 성능을 보여준다는 것을 실험 결과를 통해 알 수 있다.

본 연구의 목적은 현장에서도 잘 탐지할 수 있는 YOLO 모델을 알아보기 위한 것이다. 사진으로 이루어진 데이터셋으로 테스트를 진행한 결과인 mAP에 대한 시각적 자료 예시로 말벌을 촬영한 동영상을 탐지하는 추가적인 평가를 수행하였다.

Fig. 6은 모델과 가중치별로 같은 초 단위 동영상의 한 지점을 스크린샷한 사진이다. 영상은 학습한 5종의 말벌류 (등검은말벌, 장수말벌, 꼬마장수말벌, 말벌, 털보말벌) 중에서 말벌 (crabro)이 촬영된 영상이다. 말벌을 인식하면 그 위치에 바운딩 박스가 생기며 말벌의 종류와 바운딩 박스가 말벌을 포함하고 있을 가능성인 confidence score를 보여준다. Confidence score를 보기 쉽도록 바운딩 박스 부분을 편집했다. Fig. 6에서 YOLOv5는 Basic 데이터셋과 Mixed 데이터셋으로 학습한 가중치로 추론한 결과로 말벌을 인식하지 못했으나 0.3% 데이터셋으로 학습한 YOLOv5로 추론하면 말벌의 confidence score가 36%로 인식한 것을 볼 수 있다. Basic 데이터셋으로 학습한 YOLOX는 말벌을 탐지하지 못했으나, 0.3% 데이터셋과 Mixed 데이터셋으로 학습한 후 영상을 추론하면 각각 31.2%, 45.1%로 말벌을 탐지한 것을 확인했다. 마지막으로 YOLOv7 중에서 Basic 데이터셋과 Mixed 데이터셋으로 학습한 가중치로 영상을 추론했을 때 말벌을 인식하지 못하였다. 0.3% 데이터셋으로 학습한 YOLOv7은 두 마리의 말벌을 각각 62%, 43%로 탐지하는 것을 확인했다.

Fig. 6.  
Results of Inference by 3 trained-YOLO models for a Vespa video.

YOLO 모델을 말벌 추론 영상을 실험한 결과로 YOLOv5와 YOLOv7은 0.3% 데이터셋으로 학습했을 때 Basic과 Mixed 데이터셋으로 학습한 결과보다 탐지 능력이 우수한 것을 확인했다. YOLOX는 다른 두 모델과 비교했을 때 학습 데이터셋의 차이로 인한 탐지 능력의 차이가 크게 보이지 않았다. Anchor-based 기반인 YOLO 모델로 탐지를 하기 위해서는 현장과 비슷한 환경으로 맞춰진 데이터셋으로 학습을 하면 그렇지 않은 데이터셋으로 학습하는 것보다 탐지 결과가 비교적 우수한 것을 확인할 수 있다. Anchor-free 기반 YOLO 모델은 학습 데이터셋에 크게 영향을 받지 않는 것을 확인했다.

본 논문에서는 YOLO 모델 중 YOLOv7를 선택하여 실제 추론 환경과 유사하도록 적절한 데이터셋인 0.3% 데이터셋으로 학습한 후 객체 추론을 한다면 일반적인 데이터셋으로 학습하여 추론하는 방법보다 우수한 성능을 보인다는 것을 입증한다.