Enhancing Harmful Animal Recognition At Night Through Image Calibration

이미지 보정을 통한 야간의 유해 동물 인식률 향상

Abstract

Agriculture is being damaged by harmful animals such as wild boars and water deer. It need to get permission to catch a wild boar and farmers are using a lot of methods to chase harmful animals. The methods through deep learning and image processing capture harmful animals with cameras. It is difficult to analyze harmful animals that are active at night. In this case, In this case, using deep learning by image correction can achieve a higher recognition rate.

1. 서론

오늘날 농촌에서는 급격하게 개체 수가 증가한 멧돼지, 고라니와 같은 유해 동물들로 농업 생산량에 피해를 받고 있다. 그뿐만 아니라 도심지에서도 동물들의 출몰이 늘어나고 있다. 하지만 고라니는 멸종 위기 동물로 분류가 되어 있어 함부로 포획할 수 없고, 멧돼지는 허가를 받아야 사냥을 할 수 있어 이로 인한 피해는 계속 늘어날 것으로 보인다. 이러한 문제로 인해 멧돼지와 고라니와 같은 유해 동물을 퇴치하기 위한 장치들이 개발되고 있다.

유해 동물 퇴치 장치의 크기는 다양하며 동물들이 싫어하는 빛, 소리 또는 초음파를 이용하여 쫓는 장치들이 많다[1-2]. 농민들이 가장 많이 이용하고 있는 장치들은 대부분 센서를 기반으로 한 장치들로 사람이나 동물을 구별하지도 못하고 동작한다. 이러한 결과는 센서 오작동으로 인한 문제를 발생시킨다. 예를 들면 전기 목책기를 사용하는 장치는 인명피해를 일으킬 수 있으며, 기계의 자주 들리는 소리는 소음으로 번져 문제가 된다[3]. 또한 동일한 소리를 반복해서 출력을 하게 되면 멧돼지나 고라니는 그 소리에 내성을 가지게 되어 시간이 지나면 올바른 퇴치를 기대하기 어렵다. 이러한 문제점을 해결하기 위해 딥러닝 기술을 이용하여 카메라로 촬영한 유해 동물의 이미지를 분석해 인식 능력을 향상시킨 장치에 대한 연구들이 진행되고 있다. 센서를 기반으로 하는 장치에 비하여 딥러닝의 이용한 장치는 사람과 멧돼지, 고라니를 구분하여 보다 정확한 퇴치를 가능하게 한다.

멧돼지와 고라니의 특성은 사람이 없는 장소와 시간에 많이 활동한다. 늦저녁부터 이른 아침까지 활동량이 가장 많다. 그중 새벽에 출몰 빈도가 가장 높은데, 딥러닝 기술을 사용한 인공지능 유해 동물 퇴치기는 적외선 카메라를 이용하여 야간에 출몰하는 멧돼지와 고라니의 모습을 확인하고 딥러닝을 통해 퇴치 동작을 시행한다[4]. 하지만 적외선 카메라를 이용하여 야간의 멧돼지와 고라니를 촬영한다고 할지라도 적외선 카메라의 적외선이 미치는 거리에 따라 멧돼지와 고라니의 형태가 전부 찍히지 않거나 아예 찍히지 않는 상황이 발생한다. 이렇게 이미지에 완전하게 나오지 않으면 딥러닝을 진행하더라도 올바른 결과를 기대할 수 없다. 결국 이미지는 딥러닝 인식에 영향을 주고 결과적으로는 멧돼지와 고라니가 출몰하더라도 퇴치하지 못하는 결과를 낳는다.

본 논문에서는 야간에 출몰하는 멧돼지와 고라니의 딥러닝 인식에 도움을 주는 이미지 보정을 설명한다. 이를 통해 야간에 출몰이 잦은 멧돼지와 고라니가 인식되지 않거나 정확도가 낮은 경우에도 인식이 가능하도록 히스토그램 평활화(Histogram equalization)와 전경 분리(Background Subtraction)를 적용 후 관심 영역(Regionof interest)을 추출을 진행하여 딥러닝 인식률을 향상시키도록 하였다.

본 논문의 구성은 다음과 같다. 2장에서 딥러닝 유해 동물 퇴치기에 대해 설명한 다음, 3장에서는 딥러닝 유해 동물 퇴치기에 이용한 욜로 모델에 대해 설명하고 4장에서는 이미지 보정에 대해설명한다.5 장에서는 원본 이미지와 이미지 보정을 거친 이미지를 비교하여 딥러닝 인식률 변화에 대한 성능 평가를 한다.마지막으로 6장에서 결론을 맺는다.

2. 딥러닝 유해 동물 퇴치기

2.1 인공지능(AI) 임베디드 보드

딥러닝 유해 동물 퇴치기의 가장 핵심적인 부분은젯슨 나노 보드(JetsonNanoBoard)이다. 젯슨 나노 보드는 엔비디아(NVIDIA)사에서 개발이 되었으며 인공지능 연산을 하기 위해 GPU가 탑재된 소형 보드이다. 젯슨 나노 보드는 딥러닝 연산을 함과 동시에 딥러닝 유해 동물 퇴치기의 전체적인 흐름을 관제한다.

매시간 영상을 촬영하고 딥러닝 연산을 하면 전력 소모가 크므로 PIR센서를 이용한다. PIR센서를 통해 온도를 가진 객체가 있는지 판단을 하고 만약 온도를 가진 객체가 있으면 딥러닝 유해 동물 퇴치기 상단 4방향의 적외선 카메라를 통해 순차적으로 영상을 가져온다. 영상은 적외선 카메라가 구동되는 시간과 안정된 영상을 가지고 오는 시간을 감안하여 카메라 1대당 약 3초의 영상을 가져온다. 카메라는 4방향으로 각 1개씩 존재하며 적외선 카메라를 통해 얻은 영상을 딥러닝 연산에 이용한다. 딥러닝 연산이 주는 결과에 따라 멧돼지와 고라니 퇴치 동작이 결정된다. 만약 멧돼지와 고라니가 있으면 퇴치 동작을 시행하고 사람이 있으면 유해 동물 퇴치기 주의 안내방송을 출력 한다.

퇴치 동작은 빛과 소리와 기피제 분사, 부저로 구성된다. 처음에는 밝은 빛을 동작시키고 두 번째로 소리를 출력한다. 매번 같은 소리를 출력하게 되면 멧돼지나 고라니가 이를 학습에 퇴치 효과가 떨어지므로 개, 호랑이, 사이렌, 총 등과 같은 소리를 랜덤하게 출력한다. 세 번째로 동물이 기피하는 액체를 분사하고 마지막에 부저를 울려 유해 동물에 놀라 도망가도록 한다.

퇴치 동작이 완료가 되면 유해 동물 감지 결과를 LTE-M을 이용하여 서버로 전송한다. 서버로 전송하는 이유는 각 지자체에서 멧돼지와 고라니 분포나 서식, 출몰 빈도를 파악하기 위한 자료로 사용된다.

Fig.1은 딥러닝 유해 동물 퇴치기 구성도를 나타낸다.

Fig. 1. Deep Learning Repellent System architecture.

Fig.1에서 ControlProgram은 젯슨 나노에서 전체적인 흐름을 관제하는 프로그램이다. Control Program에서는 PIR센서에서 신호가 오면 카메라를 동작하고 딥러닝 인식를 시작하게 하며 인식 결과를 받아 퇴치 동작을 시행한다. 그리고 딥러닝 인식 결과를 LTE-M을 통해 서버로 전송한다.

카메라가 4방향으로 있는 이유는 유해 동물 퇴치기는 멧돼지나 고라니가 나타나는 길목에 두는 것이 가장 효과가 좋다. 하지만 유해 동물들은 유해 동물퇴치기를 피해서 옆으로 오거나 뒤로 돌아오는 경우가 있으므로 4방향에 카메라를 두어 사각지대 없이 퇴치 동작을 수행한다.

Message Queue는 딥러닝 결과를 저장하기 위한 시스템 메시지 큐이다. Message Queue에 저장되면 Control Program에서 이를 확인한다.

3. 딥러닝 모델

3.1 욜로(YOLO) 모델

딥러닝 유해 동물 퇴치기는 빠른 퇴치가 중요하다. 퇴치가 지연되는 경우에는 밭이나 논으로 들어갈 수 있으므로 발견 즉시 퇴치하는 것이 좋다. 본 논문에서는 실시간 인식에 적합한 욜로 모델을 이용한다.

욜로는 입력 영상을 Fig. 2와 같이 임의 크기의 Grid형태로 나눈다.Grid를 기준으로 하여 영상 내에 여러 박스들을 그리고 각 박스 안에 찾고자 하는 결과에 부합하는 확률을 계산하여 찾는 모델이다. 한번에 다수의 연산으로 여러 객체를 찾기 때문에 실시간 처리에 적합하다[5].

Fig. 2. Example YOLO precess.

3.2 욜로 V4 모델

본 논문에서는 욜로 모델 중 가장 최근에 나온 욜로 V4를 이용한다.Fig.3은 욜로 V4로 사람, 고라니, 멧돼지를 학습한 결과를 보여주고 있다.

Fig. 3. Result of Training.

사람 데이터는 약 1000여 장, 멧돼지와 고라니는 데이터 부족을 해결하기 위해 멧돼지는 돼지 데이터와 혼합하여 훈련하였고 고라니는 노루, 사슴 데이터로 혼합하여 훈련하였다. 멧돼지는 약 900여 장, 고라니는 약 300여 장을 훈련에 사용하였다.

젯슨 나노 보드는 훈련이 되지 않기에 훈련에는 GPU1660SUPER를 탑재한 데스크톱 PC를 이용하였다.

4. 이미지 보정

4.1 히스토그램 평활화(Histogram Equalization)

어두운 영상을 밝게 하는 방법에는 단순 영상 처리를 활용하는 경우와 딥러닝을 활용하는 경우도 있다. 딥러닝을 활용하는 경우에는 실내와 야외 사진을 구분 없이 학습을 시켜 어두운 이미지의 내부 색들을 학습된 데이터 중 비슷한 색상으로 복원시켜주는 기술이다[6]. 단순 영상 처리로는 전체적인 명암을 일정하게 조절하거나 RGB색상에 대한 밝기 값을 가지고 어두운 부분과 밝은 부분의 차이를 계산한 중간 밝기를 적용하는 퍼치 스트레칭 방법도 있다[7].

본 논문에서는 히스토그램 평활화를 이용하여 진행한다. 흑백 영상에 히스토그램 평활화를 적용하면 영상의 명암 분포가 균일하게 변화되어 어두운 부분이 개선되는 효과를 얻을 수 있다[8,9].다음 Fig.4와 5는 밭에 있는 CCTV에서 가져온 원본 영상과 히스토그램 평활화를 진행하여 비교한 모습이다.

Fig. 4. Orignal Image.

Fig.4와 5를 보면 Fig.5는 멧돼지 영역이 옅은 색으로 나온 것을 볼 수 있지만, Fig.6은 멧돼지 영역이 조금 짙어진 것을 볼 수 있다. 이러한 명암의 차이는 흑백 영상에서 어두워서 잘 안 보이는 영역이나 빛으로 인해 주변과 비교해 밝은 부분을 보정 하여 딥러닝 인식률을 향상시킨다[10,11].

Fig. 5. Result of applying Histogram Equalization.

Fig. 6. Result of Applying Background Subtraction.

4.2 전경 분리

움직이는 객체를 찾아내기 위해서는 배경과 움직이는 객체를 분리하는 작업이 필요하다. 그 작업을 할 수 있는 기술이 전경 분리(BackgroundSubtrac- tion)이다.전경 분리는 새로운 프레임이 들어올 때, 이전 프레임과 비교하여 이전 프레임과 현재 프레임의 차이를 가지고 움직이는 객체를 찾는다. 전경 분리를 하면 움직이는 객체를 찾을 수 있어 움직이는 고라니나 멧돼지의 영역을 추출하여 딥러닝 인식에 사용한다[12,13].

다음 Fig.6은 히스토그램을 적용한 영상에 전경분리 기술 중 MOG2를 이용하여 전경 분리를 한 모습이다.

Fig.6을 보면 멧돼지가 보이긴 하지만 멧돼지의 전체 영역이 불분명하게 보인다. 이런 경우에는 딥러닝을 하기 위해 관심 영역을 추출하면 몸통이 잘린 형태가 나오기 때문에 좋지 않다. 위와 같은 문제는 모 폴로 지(Morphology)의 침식(Erode)와 팽창(Dilate)를 이용하면 해결된다. 이와 동시에 나뭇잎이 흔들거리거나 벌레가 나타날 때 발생할 수 있는 자그마한 노이즈도 제거 가능하다.

다음 Fig. 7은 모폴로지를 적용한 모습이다.

Fig. 7. Result of Applying Morphology on Fig. 6.

Fig.7을 보면 Fig.6이 비해 다소 큰 형태로 모폴로지가 적용되었으나 모폴로지가 필요보다 적게 적용이 되면 멧돼지 형태의 일부가 잘리거나 노이즈가 없어지지 않는 경우가 있다. 이러한 경우에는 형태가 완전하지 않아 딥러닝 인식을 실패할 수도 있고 노이즈를 인식하느라 멧돼지를 인식하는 시간이 지연될 수 있다. 이러한 상황을 고려하면 멧돼지의 크기보다 조금 크게 모폴로지를 적용하여 딥러닝 인식에 무리가 없도록 하는 것이 좋다.

4.3 관심 영역 추출(Region of Interest)

딥러닝 인식을 할 때, 배경이 많이 포함된 이미지보다 찾고자 하는 객체만 있는 경우에 딥러닝 정확도가 향상된다. 찾고자 하는 객체 이외에 이미지에 포함된 다른 영역 연산하는 과정이 줄어들기 때문이다. 앞서 진행한 전경 분리와 모폴로지를 통하여 영상에서 멧돼지가 있는 곳을 찾아냈다. 다음 Fig.8은 전경분리와 모폴로지를 적용한 결과를 히스토그램 평활화를 거친 영상과 겹쳐 멧돼지가 있는 영역을 표시한 것이다.

Fig. 8. Result of Mark the Wild Boar.

전경 분리와 모폴로지를 거친 영상을 히스토그램 평활화를 거친 영상과 겹치면 히스토그램 평활화 영상에 멧돼지가 어디에 있는지 나타낼 수 있다. 박스는 전경 분리와 모폴로지의 결과로 나타낸 부분을 표시한 것이다. 박스의 좌표를 이용하면 멧돼지의 영역을 추출할 수 있다.

Fig.9은 멧돼지가 있는 부분을 관심영역으로 추출한 모습이다.

Fig 9. Result of Extraction Wild Boar Area.

Fig.9를 보면 앞서 Fig.5에서 박스로 표시한 부분을 이미지로 추출한 모습이다.Fig.9는 Fig.8과 달리 배경이 많이 줄어들었으며 중심에 멧돼지가 존재한다. 또한 이영역에서 멧돼지 부분이 가장 많이 차지하는 것을 볼 수 있다. 이렇게 찾고자 하는 객체가 잘 보이는 이미지를 이용하면 딥러닝 인식 결과가 향상 된다[14].

5. 딥러닝 인식률 비교

5.1 딥러닝 인식률 비교

테스트 환경은 엔비디아사의 젯슨 나도 보드에서 진행이 되었으며 OS는 Ubunut18.04를 이용하였다. Fig.10은 멧돼지 원본 영상 딥러닝 인식률을 나타낸 결과이며 Fig.11은 히스토그램 평활화, 전경 분리, 모폴로지 적용, 관심 영역 추출을 적용한 보정된 이미지로 딥러닝 인식률을 나타낸 결과이다.

Fig. 10. Result of Deep-Learning of Original Wild Boar Image.

Fig. 11. Result of Deep-Learning of Calibrated Wild Boar Image.

원본 영상을 이용한 Fig.10은 27%의 인식률을, 이미지 보정을 거친 Fig.11은 96%의 인식률을 보여준다. 원본 이미지와 이미지 보정을 한 이미지의 딥러닝 인식률 결과는 약 70%정도의 인식률 향상이 있는 것을 볼 수 있다.

다음 Fig.12와 13은 고라니의 영상에 적용한 모습이다.

Fig. 12. Result of Deep-Learning of Original Water Deer Image.

Fig. 13. Result of Deep-Learning of Calibrated Water Deer Image.

Fig.12는 원본 이미지를 사용했을 때 딥러닝 인식가 되지 않았으며 Fig.13은 이미지 보정을 거친 후 딥러닝 인식 결과 48%의 정확도가 나왔다. Fig.12는데이터 부족으로 인하여 고라니를 인식하지 못하였다.

6. 결론

본 논문에서는 딥러닝 인식률 향상을 위한 전처리과정 중에 히스토그램 평활화, 전경 분리, 모폴로지, 관심 영역 추출과 같은 이미지 보정에 대해 연구하였다. 제안된 방법으로 실험한 결과 멧돼지는 원본 영상의 딥러닝 인식 결과는 27%, 이미지 보정 후 딥러닝 인식 결과는 96%를 보여주었다.고라니는 원본 영상 인식에는 실패하였으며 보정된 이미지는 48% 의 정확도를 보였다. 고라니는 데이터가 충분하지 못하여 원본 영상은 딥러닝 인식에 어려움이 있었으나 보정된 이미지에서는 인식가 되는 결과를 보여주었다. 데이터가 부족한 경우에도 이미지 보정을 통하여인식가 가능하다는 것을 보아 이는 데이터 부족으로 인한 단점을 개선할 수 있을 것으로 보인다. 딥러닝훈련에 있어서 데이터를 많이 수집하는 것이 중요하지만 멧돼지나 고라니 같은 야간에 활동하는 동물들의 이미지 데이터는 수집하기가 힘들기 때문에 이미지 보정을 통하여 딥러닝 인식률을 향상시키는 것도 도움 된다.

카메라에 촬영된 영상에서 멧돼지나 고라니의 크기는 거리에 따라 각양각색이다. 멧돼지와 고라니의 크기에 따라 매번 모폴로지의 필터 및 반복횟수를 조정하는 것은 불가능하다. 영상 처리를 통한 딥러닝 인식률 향상과 더불어 고라니와 멧돼지 크기에 따라서 문제없이 관심 영역을 추출할 방법이 개발되면 야간에 멧돼지와 고라니를 찾는 작업이 수월하게 되어 유해 동물을 쫓는데 큰 도움이 될 것으로 기대한다.

※ This work was supported by a Research Grant of Andong National University.