Enhancing Object Recognition in the Defense Sector: A Research Study on Partially Obscured Objects

국방 분야에서 일부 노출된 물체 인식 향상에 대한 연구

Abstract

Recent research has seen significant improvements in various object detection and classification models overall. However, the study of object detection and classification in situations where objects are partially obscured remains an intriguing research topic. Particularly in the military domain, unmanned combat systems are often used to detect and classify objects, which are typically partially concealed or camouflaged in military scenarios. In this study, a method is proposed to enhance the classification performance of partially obscured objects. This method involves adding occlusions to specific parts of object images, considering the surrounding environment, and has been shown to improve the classification performance for concealed and obscured objects. Experimental results demonstrate that the proposed method leads to enhanced object classification compared to conventional methods for concealed and obscured objects.

최근 연구를 통해 다양한 물체 탐지 및 분류 모델은 전반적으로 크게 성능 향상이 이루워졌지만, 물체가 부분적으로 노출된 상황에서의 물체 탐지 및 분류에 대한 연구는 미흡한 실정이다. 특히, 군사 분야에서 무인전투체계가 물체를 탐지하고 분류하는 데 사용되는 경우, 군사적 상황에서 물체는 일반적으로 부분적으로 가려진 상태나 위장된 상태일 가능성이 높다. 본 연구에서는 부분적으로 가려진 물체의 분류 성능을 향상시키는 방법을 제안한다. 이 방법은 물체 이미지 상에 특정 부분을 주변 환경을 고려하여 가리는 부분을 추가하여 은·엄폐 및 위장된 물체에 대한 분류 성능을 개선시켰다. 실험결과로 제안 방법을 적용하였을 때 은·엄폐 및 위장된 물체에 대해서 기존 방법에 비해 물체 분류 향상이 있음을 볼 수가 있었다.

1. 서론

최근 다양한 탐지 모델과 분류 모델이 등장하면서 물체의 위치를 식별하고 분류하는 능력이 향상되고 있다[1]. 하지만 과연 이러한 모델들이 물체가 온전히 노출되지 않은(Partial exposed) 상황에서도 물체를 잘 탐지하고 분류하는 것은 도전적인 과제이다. 예를 들어, 실제 군의 미래 전장 환경은 UAV, UGV 등 무인전투체계[2]가 다양한 영상 및 이미지 정보를 활용하여 전장 정보를 수집하고 이를 바탕으로 물체를 탐지하고 분류할 것이다. 그런데 대부분의 전장 상황에서 감시·정찰 장비가 탐지해야 할 물체는 완전히 노출된 상황(Fully-Exposed)보다는 부분적으로 노출된 은·엄폐된 상황이거나 위장(Camouflage)된 상황일 가능성이 높다. 이러한 상황에서 완전히 노출된 데이터로만 학습된 모델을 그대로 사용할 경우, 부분적으로 노출된 물체에 대해서 탐지 성능이 저하될 수가 있다.

본 연구에서 물체가 부분적으로 가려진 상태에서 객체 분류 성능을 향상시키는 방법을 제안하였다. 이 방법에서, 은·엄폐 및 위장과 같은 상황에서 주변 환경을 고려하여 부분적으로 물체를 가리는 Cutout 기법[3]을 응용하였다. 국방 분야에서 감시·정찰 장비가 물체가 은·엄폐된 상황과 위장된 물체를 탐지해야 하는 상황에서 물체를 탐지하고 분류하는 모델의 정확도를 높이는 방법에 대해 소개하고 이를 실험적으로 증명하였다.

이 논문의 나머지 구성은 다음과 같다. 2장에서 제안방법에 대한 관련연구를 소개하고 3장에서 제안 방법에 대해서 설명한다. 4장에서 실험 환경, 실험 결과, 분석에 대해서 기술하였다. 5장에서 국방 분야에서 적용할 수 있는 방안에 대해서 다루었고 마지막으로 6장에서 이 논문의 결론으로 구성되어 있다..

2. 관련연구

2.1 이미지 분류 모델

이미지 분류모델은 다층 분류 지도 학습모델[4]이 기본이다. 데이터 측면에서, 3개 이상의 이미지 분류에 대해서 각 이미지와 이미지에 해당되는 정답값이 있는 훈련 데이터셋을 기본으로 한다. 이미지의 경우, 컬러이미지의 경우, 3개 채널로 빨간색, 녹색, 파란색으로 구성되며 가로와 세로 사이즈의 픽셀로 0부터 255까지의 숫자로 구성되어 있다. 각 채널에서 픽셀의 값은 밝기의 크기를 나타내면 0이면 수치가 작은 것이고 255이면 해당 색깔이 가장 큰 것을 의미한다. 모델 측면에서, 분류 모델은 다층퍼셉트론으로 입력값을 flatten하여 입력층에 전달하고 입력층, 은닉층, 출력층마다 모델의 가중치와 각 노드의 값을 가중합하고 그 결과를 ReLU[5]와 같은 활성화함수을 통해서 다음층에 전달하는 방식이 이루어진다. 출력층에서는 다층 분류의 경우, 활성화함수로 소프트맥스 함수[6]를 사용하며 출력층의 노드의 개수는 데이터셋의 클래스의 수와 동일하여 각 클래스별 확률값으로 전환한다. 그 확률값 중에 가장 큰값을 그 해당 이미지의 분류 결과로 제공한다. 학습 방법에서는 다중 분류의 경우, 크로스 엔트로피를 이용한다. 이때, 이미지에 대한 정답값은 원핫 인코딩을 통해서 표현하며, 이미지에 대한 모델의 예측값은 소프트맥스 함수를 거친 각 클래스별 확률값을 제공한다. 크로스 엔트로피를 최소화하는 모델의 파라미터를 업데이트 하는 과정으로 경사하강법이 사용된다. 이러한 학습방법을 여러번의 과정을 통해서 진행하며 모델의 파라미터는 학습데이터에 있는 이미지와 그 이미지의 정답값에 대해서 모델의 예측값이 정답값과 유사해지도록 업데이트가 된다.

하지만 이러한 다층퍼셉트론은 입력층에서 입력값이 flatten하여 들어가기 때문에 이미지에 대한 위치정보가 손실되는 한계점이 있다. 이러한 점을 보완하기 위해서 컨볼루션 뉴럴네트워크[7]는 컨볼루션 층과 풀링 층을 이용하여 이미지 상의 공간정보를 유지하면서 여러개의 특징맵들을 만들고 풀링층을 통해서 특징맵의 차원을 축소하여 다층 퍼셉트론이 이미지 분류에서 갖고 있는 한계점을 개선하였다. 이미지 분류 모델에서 컨볼루션 뉴럴 네트워크는 여전히 많이 사용되고 있으며 데이터의 양이 많지 않고 특정 이미지에 대한 정보가 중요할 때 주로 이용된다. 이 연구에서는 컨볼루션 뉴럴네트워크 중에 ResNet18 [8]이라는 모델을 사용하였고 이 모델은 각 층마다 residual 모듈을 이용하여 각 층에 들어가는 입력값을 출력값에도 입력값을 더하는 식으로 기존 정보를 유지하고 모델이 업데이트 하는 과정에서도 그러한 손실을 줄이는 방식으로 개선된 방법이다.

2.2 이미지 Cutout 방법

Cutout 방법은 Terrance DeVries et al. [3]이 제안한 데이터 증강 기법으로 무작위로 훈련 데이터 내 임의의 영역을 사각형으로 마스킹하는 데이터 증강 및 정규화 기술이다. 이는 CNN의 견고성과 전반적인 성능을 향상하는 데 사용된다. 이미지 Cutout 방법은 이미지 분류 모델에서 이미지를 전처리하는 방법 중에 하나이다. 이미지 정보에서 특정 부분을 잘라내어서 그 정보가 없이도 이미지 분류를 잘할 수 있도록 하는 데이터 전처리 기술이다. 예를들어, 컬러이미지의 경우, 빨간색, 녹색, 파란색 채널로 되어 있으며 각 채널별로 가로, 세로 높이로 픽셀이 있다. 그 픽셀 정보값에 대해서 특정 영역에 해당되는 네모칸을 설정하여 그 3개 채널의 픽셀값을 다 0으로 바꾸는 방법을 적용하여 그 특정 영역에 대한 정보를 손실시키는 방법이다. 이 방법은 데이터의 회전 등 데이터 증강과 관련되어 있으며 데이터 수가 부족하고 모델의 성능을 개선시키기 위한 방법이다. 이 논문에서 제안하는 2가지의 제안방법은 Cutout 방법을 은·엄폐 상황에서 적용될 수 있는 방안과 Cutout 방법을 응용하여 위장된 물체를 간단한 전처리하는 방안이다. 자세한 사항은 3장에서 원리와 방법에 대해서 기술하였다.

3. 제안방법

제안방법은 크게 상황(은·엄폐 및 위장)에 따라 2가지가 있다.

첫 번째는 물체가 장애물에 은·엄폐했을 경우를 표현하기 위해 Cutout 방법을 적용하였다. 은·엄폐의 경우 정면에서 바라보았을 때 아예 가려지거나 부분적으로 가려지게 보여진다. Cutout 기법을 적용한다면 은·엄폐를 통해 가려진 부분을 간단한 전처리로도 표현할 수 있다.

두 번째는 물체가 주변 환경과 유사하게 위장했을 경우를 표현하기 위해 Cutout 방법을 응용하였다. 군의 작전 간 위장의 경우 위장 패턴으로 주변 환경과 유사한 것을 이용한다. 따라서 은·엄폐와 같이 완전히 픽셀 값을 0으로 채워 검은색으로 표현하는 Cutout 방법보다는 이를 응용하여 잘린 부분에 인접 픽셀 값을 그대로 갖다 붙임으로써 주변 환경과 유사하게 위장을 하는 효과를 표현할 수 있다.

그림 1과 그림 2는 위에서 제안한 각각의 방법이다. 그림 1은 기존 Cutout 기법을 적용한 것으로 기존 이미지에서 임의의 위치에 임의의 크기의 도형을 잘라내어 해당 영역의 픽셀값을 모두 0으로 채워냈다.

그림 1. Cutout을 적용한 데이터 전처리(은·엄폐) 원리

그림 2. Cutout을 응용한 데이터 전처리(위장) 원리

그림 2는 Cutout 기법을 응욯한 것으로 Cutout 기법을 적용한 영역에 0이 아닌 같은 크기의 주변 영역의 픽셀 값으로 대체하는 것을 표현하였다.

위와 같은 방식으로 데이터를 전처리하여 국방에서 적용될 수 있는 은·엄폐 및 위장 관련 물체 탐지에 대한 요소를 반영하였다.

4. 실험 및 평가

본 실험을 진행한 실험환경은 Tensorflow 머신 러닝 라이브러리를 사용하였으며, GPU는 NVIDIA Quadro RTX 8000을 사용하였다.

4.1 데이터셋

데이터셋은 CIFAR-10[9]을 사용하였다. CIFAR-10은 10개의 클래스로 라벨링이 되어 있으며 RGB(Red, Green, Blue)로 3개 처널에 각각 32x32 픽셀의 60000개의 컬러 이미지로 구성되어 있다. 이 중에 훈련데이터셋으로 5만개를 사용하였고 테스트 데이터셋으로 1만개를 사용하였다.

4.2 분류 모델

학습 모델로는 ResNet18[8]을 사용하였다. ResNet18은 18개 층으로 이루어진 ResNet을 의미한다. 하이퍼 파라미터로 Optimizer은 SGD[10]를 사용하였고, Learning rate는 0.1, Momentum은 0.9, Batch size 128, Epoch은 200으로 설정하였다.

4.3 제안방법을 이용한 데이터 처리

제안방법 적용을 위해서, 실험군은 훈련 데이터셋과 테스트 데이터셋에 모두 제안된 2가지의 Cutout 방식을 적용하였다. 대조군은 훈련 데이터셋은 원본 이미지 그대로 사용하고 테스트 데이터셋에만 제안된 2가지 방법을 적용하였다. 픽셀 크기는 랜덤하게 설정하였으며 특정영역을 0으로 채우거나(제안방법 1) 주변환경으로 대체하도록적용(제안방법 2) 하였다.

4.4 분석결과

그림 3은 두 가지의 제안방법을 적용한 이미지 예시를 보여준다. 첫 번째로 그림 3 (a)에서 이미지 내에 임의의 위치와 임의의 크기로 은폐 및 엄폐될 영역을 설정한다. 두 번째로 그림 3 (b)에서 그 설정된 해당 위치에서 그 주변 환경과 유사한 이미지를 대체하여 군사적으로 은폐 및 엄페 환경을 고하여 데이터를 처리하였다. 그림에서 보면 각 영역별로 할당된 영역에 주변환경에 그림이 대체된 것을 볼 수가 있다.

그림 3. 상황에 따른 제안 방법

표 1은 제안 방법에 대한 정확도를 보여준다. 표 1에서 보면 전처리를 적용하지 않은 대조군은 제안된 전처리를 적용한 실험군에 비해서 은·엄폐 상황에서 5.82%p 향상이 있었고 위장 상황에서 6.19%p 향상이 있었다.

표 1. 대조군과 실험군의 정확도 비교

따라서, 은폐 및 엄폐, 위장을 고려하였을 때, 제안방법을 통해서 데이터 전처리로 학습한 모델이 좀 더 좋은 성능을 갖는 것을 볼 수가 있다.

5. 국방 분야에서의 제안방법 활용

공헌점 측면에서, 국방분야에서, 이미지 분류모델에 대한 중요성이 있고 전방부대에 과학화장비에 이미지 탐지 및 분류에 대한 기술이 적용되는 시점이다. 따라서 이미지가 특정영역이 은폐나 엄폐로 특정영역이 다른 것으로 대체되었을 때, 이미지 분류 성능을 향상시키는 것이 중요하다. 그러한 점에서 이 연구는 은폐 및 엄폐, 위장에 대해서 실험적인 데이터를 통해서 그 가능성과 방법론을 제시했다는 점에서 의미가 있다고 본다.

연구의 전제조건 측면에서, 제안 방법은 은폐 및 엄폐, 위장에 대해서 기존 주변환경과 유사하다는 전제조건을 가졌다. 왜냐하면 은폐 및 엄폐 환경 자체에 대한 이미지를 생성하는 것이 쉽지 않은 문제이기 때문에 주변환경과 유사한 것을 이용해서 은폐 및 엄폐를 한다는 점을 가정해서 특정영역을 주변 환경으로 대체하였다. 향후 연구는 좀 더 실질적인 은폐 및 엄폐에 대한 사진을 사람에 의한 작업과 그 이미지에 대한 라벨링 작업이 데이터 생성이 필요할 것이라고 본다.

군사적 활용 측면에서, 국방부에 있는 데이터 중에 이미지 데이터도 있지만 텍스트 데이터, 음성 데이터 등에 대한 정보가 있다. 따라서 텍스트, 음성 데이터에서 특정 부분이 제대로 들리지 않았지만 그것에 대해서 분류하거나 예측하는 모델에 대한 필요성이 있을 수 있다. 따라서 향후 연구에는 이미지 분야 뿐만 아니라 음성이나 텍스트 분야에 대한 연구 확장이 가능하다.

6. 결론

본 논문에서는 국방 분야에서 감시·정찰 장비가 은·엄폐된 물체를 탐지해야 하는 상황과 위장된 물체를 탐지해야 하는 상황에서 탐지 모델이 물체를 잘 탐지할 방법을 제안하였다. 제안한 방법은 은·엄폐 상황과 위장 상황을 고려한 Cutout 방식을 적용한 방법이다. 실험결과로써 제안방법은 기존 방법과 대비하여 은·엄폐 상황에서는 5.82%p, 위장 상황에서는 6.19%p 정확도 향상을 보였다.