Comparison of Semantic Segmentation Performance of U-Net according to the Ratio of Small Objects for Nuclear Activity Monitoring

핵활동 모니터링을 위한 소형객체 비율에 따른 U-Net의 의미론적 분할 성능 비교

Abstract

Monitoring nuclear activity for inaccessible areas using remote sensing technology is essential for nuclear non-proliferation. In recent years, deep learning has been actively used to detect nuclear-activity-related small objects. However, high-resolution satellite imagery containing small objects can result in class imbalance. As a result, there is a performance degradation problem in detecting small objects. Therefore, this study aims to improve detection accuracy by analyzing the effect of the ratio of small objects related to nuclear activity in the input data for the performance of the deep learning model. To this end, six case datasets with different ratios of small object pixels were generated and a U-Net model was trained for each case. Following that, each trained model was evaluated quantitatively and qualitatively using a test dataset containing various types of small object classes. The results of this study confirm that when the ratio of object pixels in the input image is adjusted, small objects related to nuclear activity can be detected efficiently. This study suggests that the performance of deep learning can be improved by adjusting the object pixel ratio of input data in the training dataset.

원격탐사 기술을 활용한 접근불능 지역에 대한 핵활동 모니터링은 핵 비확산을 위해 필수적이다. 최근에는 딥러닝을 이용하여 핵활동 관련 객체를 탐지하는 연구가 활발하게 수행되고 있으나, 고해상도 위성영상 내 소형객체는 클래스 불균형 발생 빈도가 높다. 이로 인해 소형객체 탐지 성능이 저하되는 문제점이 존재한다. 이에 본 연구에서는 입력 데이터 내 핵활동 관련 소형객체의 비율이 딥러닝 모델 성능에 미치는 영향을 분석하여 탐지 정확도를 개선하기 위한 방안을 도출하고자 한다. 이를 위해 소형객체 비율이 상이한 6가지 학습자료를 구축하여 학습자료별로 U-Net 모델 학습을 진행하고, 다양한 종류의 소형객체가 포함된 test dataset을 이용하여 학습된 U-Net 모델 간 정량적·정성적 비교평가를 수행하였다. 그 결과, 입력영상 내 객체 픽셀 비율을 조절하였을 때 핵활동 관련 소형객체를 효과적으로 탐지할 수 있는 것이 확인되었으며, 이를 통해 훈련 자료 내 객체 비율을 조정하여 딥러닝 모델 성능을 향상시킬 수 있을 것으로 판단된다.

1. 서론

주변국의 핵활동 정보 수집은 핵 비확산을 위해 중요한 사안이다. 특히 대한민국은 지속적으로 핵개발을 수행하고 있는 북한의 최근방 지역으로 주기적인 핵활동 모니터링이 필수적이다(Park et al., 2013). 그러나 북한을 비롯한 핵활동이 이루어지는 지역은 국가 안보 등의 이유로 접근불능 지대가 대다수이기 때문에 지속적인 모니터링 수행에 한계가 있다. 따라서 접근 불능 지역에 대해 비접촉 방식으로 정보 취득이 가능한 위성영상이 주로 핵활동 감시 임무의 핵심데이터로 활용되고 있다.

Lee et al. (2018)는 북한의 풍계리 핵실험장 지역의 고해상도 영상레이더와 광학영상의 6차 핵실험 전·후 영상을 비교하여 해당 지역의 지표변위량을 추정하고 지표변화를 관측하는 연구를 수행하였다. 또한 Seong et al. (2021)은 YOLOv4 네트워크를 이용하여 북한 영변지역의 다시기·다종 위성영상 내 객체를 탐지하고, 변화탐지 기법에서 객체탐지 모델의 활용 가능성을 평가하는 연구를 수행하였다. 이와 같이 최근에는 컴퓨터 비전 분야에서 우수한 성능을 보이는 딥러닝 기술과 다시기 (multi-temporal) 고해상도 위성영상을 이용하여 도로의 포장 여부, 공장의 가동 상황, 수송 매체의 이동 등 핵활동 관련 객체의 변화를 탐지하는 방식으로 모니터링이 수행된다.

하지만 소형 차량, 크레인 등의 소형객체는 위성영상 내 차지하는 면적이 협소하여 비관심 데이터와의 클래스 불균형이 발생한다(Lee et al., 2020). 일반적으로 딥러닝 모델은 라벨 데이터(label data) 클래스 간 균형 잡힌 분포를 가정하고 학습이 진행되므로, 데이터셋의 클래스간 불균형이 심할 경우 딥러닝 모델의 성능이 저하된다(Japkowicz, 2000). 이러한 문제점은 소수 클래스를 복제하는 오버 샘플링, 다수 클래스의 비율을 낮추는 언더 샘플링을 이용해 불균형 정도를 낮추는 등 입력 데이터를 변형하여 개선할 수 있다(Johnson and Khoshgoftaar, 2019). 그러나 클래스 불균형 해소를 위한 입력 데이터 변형 시 정보 손실이나 과적합(overfitting) 문제가 발생할 수 있다. 따라서 딥러닝을 활용하여 효과적으로 핵활동 관련 소형객체를 탐지하기 위해서는 클래스간 균형과 입력 데이터의 변형 정도의 trade-off를 고려하여 입력 데이터의 최적 소형객체 클래스 비율을 파악하는 것이 중요하다.

이에 본 연구에서는 딥러닝 기반의 핵활동 모니터링 정확도 개선을 위해 입력 데이터의 소형객체 클래스 비율이 모델 성능에 미치는 영향을 분석하고자 한다. 이를 위해 입력 영상 내 소형 승용차, 크레인, 컨테이너 등의 소형객체가 차지하는 비율을 다양화하여 6종류의 데이터셋을 구축하였다. 이후 U-Net 모델을 학습시키고, 학습된 모델 간 정량적, 정성적 결과 비교를 통해 소형객체 비율이 모델 성능에 미치는 영향을 분석하였다.

2. 연구 방법

본 연구의 전체적인 흐름은 Fig. 1과 같다. AI 인프라 오픈소스 플랫폼인 AI Hub에서 제공되는 위성영상 객체판독 AI 데이터셋을 취득하여 라벨 데이터를 재구조화 한다. 그리고 핵활동과 관련된 객체를 중심으로 6종류의 소형객체 비율별 의미론적 분할 훈련 자료를 구축한다. 각 훈련 자료를 이용하여 U-Net 모델을 학습한 후, 소형객체 비율에 따른 정확도를 비교분석 한다.

Fig. 1. Flowchart of the study.

1) 핵활동 관련 클래스 및 학습 데이터 선정

본 연구에서 활용할 핵활동 관련 주요 객체를 특정하기 위해서는, 북한의 핵시설 동향 및 원자력 시설 및 설비에 대한 이해를 요구한다. 38 North에서는 다양한 분야의 전문가들이 북한의 군사, 정치, 경제 등에 대한 정보를 제공하고 있으며, 2012년을 기점으로 북한의 서해위성 발사장(Sohae satellite launching station), 영변 원자력 연구소(Yongbyon nuclear research center) 등을 촬영한 고해상도 위성영상을 분석하여 기고문을 발표하고있다. 이에, 본 연구에서는 38 North의 핵활동 영상 분석전문가들의 기고문을 참고하여 핵활동과 관련된 객체클래스를 선정하였다. Fig. 2는 영상 분석 전문가들이 판단한 영변 원자력 연구소의 핵물질 생산 활동 진행 여부를 확인할 수 있는 지표로, crane과 vehicle (Fig. 2(a)),construction (Fig. 2(b)), pump house와 truck (Fig. 2(c)) 등이 포함된 것을 알 수 있다. 기고문을 바탕으로 가설건축물에 해당하여 북한 핵시설 증강을 위한 건물 증축 여부를 판단할 수 있는 container와 건물 증축 과정에 필수적으로 이용되는 crane, 원자로 가동을 위한 냉각수의공급에 이용되는 pump house, 핵물질의 수송을 파악할수 있는 vehicle (small car, truck, railcar) 등을 연구에서 사용할 핵활동 관련 소형객체로 선정하였다. 본 연구에서핵활동 모니터링에 이용하고자 하는 의미론적 분할 기반의 변화탐지 딥러닝 모델은 기존에 이용되던 화소 및객체기반의 변화탐지 기법에 비해 좋은 결과를 보이나,모델 학습에 많은 양의 데이터를 요구하는 한계점이 존재한다. 최근 이러한 한계를 없애고, 딥러닝 기술 성장을 촉진하기 위해 국가기관 및 기업이 제작한 학습용 데이터를 개방하는 오픈소스 학습 데이터셋이 증가하는경향을 보이고 있다. 본 연구에서는 고해상도 위성영상을 기반으로 객체 클래스를 포함하고 있는 오픈소스 데이터셋 중 Defence Science and Technology Laboratory(DSTL) Satellite Imagery Feature Detection 데이터셋과 AIHub에서 제공되는 위성 영상 객체 판독 데이터셋의 ‘관심 객체 검출’ 학습 데이터셋을 후보군으로 선정하였다.그 후 데이터의 공간 특성과 앞서 선정한 핵활동 관련클래스들의 포함 여부를 기준으로 후보군을 비교하여본 연구의 딥러닝 모델 학습 데이터로 활용할 오픈소스학습 데이터셋을 선정하였다(Table 1). DSTL 데이터셋은 공간해상도가 높은 장점이 있었으나, 앞서 선정한 핵활동 관련 클래스가 대부분 포함되지 않았다. 반면 AIHub 데이터셋의 경우 0.5–0.7m의 공간해상도로 DSTL데이터셋에 비해 공간해상도가 낮으나 small car, crane등의 소형객체 식별이 가능할 것으로 판단되며, 앞서 선정한 핵활동 관련 클래스의 대다수를 포함하고 있다. 이에 따라 ‘관심 객체 검출’ 데이터셋을 연구에 가장 부합하는 데이터셋으로 판단하여 본 연구의 학습 데이터로이용하였다.

Fig. 2. Indicators of nuclear activity in Yongbyon nuclear research center (Pabian et al., 2018; Pabian et al., 2021): (a) vehicle and crane, (b) new construction, and (c) pump house and trucks.

Table 1. Comparison of candidate opensource datasets

2) 라벨 데이터 재구조화 및 소형객체 비율별 훈련 자료 구축

다양한 오픈소스 학습 데이터셋 중, 본 연구의 학습 데이터로 선정된 ‘관심 객체 검출’ 데이터셋은 고해상도 광학 위성인 KOMPSAT-3, 3A에서 취득한 0.7 m, 0.5 m 공간해상도의 Level 1G 위성 영상을 1024 × 1024 크기로 분할하여 training image 1,748장과 validation image 220장을 제공한다. 위성 정보와 좌표 정보가 포함된 RGB 밴드 위성영상이 KML, TIFF, PNG 파일로 제공되며, 각 위성영상에 대한 실제 지리 좌표와 위성영상 내 관심 객체의 bounding box의 좌표, 클래스 ID 등의 정보를 담은 GeoJSON 파일이 라벨 데이터로 제공된다.

‘관심 객체 검출’ 데이터셋은 목표 클래스 15종과 추가 6종의 객체클래스를 제공하며, 본 연구에서는 관심 객체 검출 데이터셋에서 제공하는 21종의 클래스 중 앞서 선정한 핵활동 관련 클래스에 해당하는 7가지 클래스를 사용하였다(Table 2). 사용된 객체 클래스의 ID와 클래스별 bounding box로 정의된 객체의 개수, 어노테이션(annotation) 기준은 Table 3와 같다.

Table 2. Offered classes for dataset

Table 3. Selected classes related to nuclear activity

본 연구의 학습데이터로 선정된 ‘관심 객체 검출’ 데이터셋의 경우 Fig. 3(a)와 같이 bounding box로 라벨링 되어 객체탐지 목적의 데이터셋으로 제공되고 있어 의미론적 분할을 위한 딥러닝 모델의 학습자료로 활용이 불가능하다. 그러나 선정된 클래스의 대부분이 box 형상이므로, 제공된 bounding box 형태의 라벨을 폴리곤(polygon)화하여 의미론적 분할 데이터로 이용 가능할 것으로 판단하였다. 이에 본 연구에서는 GeoJSON 파일로 제공된 bounding box의 좌표 정보를 활용하여 Fig. 3(b)와 같이 소형객체의 픽셀 단위 분류가 가능한 의미론적 분할 목적의 라벨 데이터로 변형하였다.

Fig. 3. Modification of label data: (a) original image with bounding box, (b) label image for multiclass semantic segmentation, and (c) label image for binary class semantic segmentation.

클래스별 데이터 분포를 확인한 결과, Table 3와 같이 소형 승용차 관련 데이터가 412,987개로 전체 객체의 대부분을 차지하고 있으며, 크레인 데이터는 651개에 불과하다. 이처럼 데이터셋 내 클래스 불균형이 존재하여 이를 활용하여 다중 분류를 수행할 경우 모델의 성능 저하로 이어질 위험이 있다. 이에 본 연구에서는 7개의 클래스를 단일 라벨로 통합해 이진 분류(binary classification)를 위한 라벨 데이터로 변형하였다(Fig. 3(c)).

변형한 이진 분류 라벨 데이터에서 소형 객체가 영상내에 균등하게 분포하지 못하고 일부 지역에 편향되어 있거나(Fig. 4(a)), 소형 객체가 극히 적거나(Fig. 4(b)) 존재하지 않는 등(Fig. 4(c)) 클래스 불균형이 극심한 영상이 일부 존재하는 것을 확인하였다. 이를 개선하는 것을 목표로 소형객체가 존재하지 않는 영상을 제거하고 영상 내에 특정 비율 이상의 객체 픽셀이 존재하도록 언더 샘플링을 수행하였다. 이렇게 생성된 image patch에서 최적의 성능을 얻을 수 있는 소형객체 픽셀 비율을 확인하기 위해 영상 내에 소형객체가 존재하는 비율에 따라 학습 자료를 구축하였다.

Fig. 4. Class imbalance data found on 1024 × 1024 images: (a) fewer object pixels in one place, (b) extremely few object pixels, and (c) no object pixels in image patch.

소형객체 비율별 훈련 자료 구축 과정은 Fig. 5와 같다. 1024 × 1024 화소 크기의 원영상을 256 × 256 화소 크기의 16개 image patch로 분할한다고 가정했을 때, Case 1은 전체 16개의 image patch를 포함한다. Case 2는 객체 픽셀 비율이 0%를 초과하는 image patch만을 포함하므로, 객체 픽셀 비율이 0%인 image patch를 제외한 14개를 포함한다. Case 3은 객체 픽셀 비율이 1% 이상인 image patch만을 포함하므로, 객체 픽셀 비율이 1% 이하인 image patch를 제외한 11개를 포함한다. 같은 방식으로 Case 4는 10개, Case 5와 6은 7개의 image patch를 포함한다. 본 연구에서 이용한 32 × 32 화소 크기로 구축된 훈련 자료는 Table 4와 같이 6가지로 구분된다.

Fig. 5. Example of image patch classification by small object pixel ratio.

Table 4. Training datasets based on ratio of small object

3) 소형객체 탐지를 위한 U-Net 모델 구축

고해상도 위성영상 내 핵활동 관련 소형객체의 object 탐지를 위해 본 연구에서는 pixel-wise 분류를 위한 UNet 네트워크를 이용하였다. U-Net은 대표적인 의미론적 분할 모델로, 계산량의 과도한 증가를 막기 위해 contracting path로 불리는 인코더(encoder)와 expanding path로 불리는 디코더(decoder) 구조를 도입하였다.

본 연구에서 활용하는 U-Net의 구조는 Fig. 6과 같다 (Ronneberger et al., 2015). Contracting path는 8개의 convolution layers와 4개의 max pooling layers로 구성되어 있으며, 입력영상에 대한 고차원 특징정보를 추출한다. Expandingpath는9개의convolutionlayers와4개의transposed convolutional layers로구성되어있으며, concatenation연산을 통한 skip connection을 수행하여 대칭되는 contracting path의 고차원 특징정보와 expanding path에서 추출한 위치정보를 함께 이용함으로써 입력영상과 동일한 크기의 특징맵(feature map)을 생성한다.

Fig. 6. Architecture of U-Net (Ronneberger et al., 2015).

3. 연구결과 및 분석

본 연구에서는 모델별 학습 가중치를 테스트 데이터에 적용하여 정량적, 정성적 비교평가를 수행하였다. 클래스 불균형을 고려할 수 있는 성능 평가 지표인 F1-score와 Kappa 계수, 그리고 ground truth와 prediction 영역의 교집합과 합집합의 비율을 계산하는 Intersection over Union (IoU)를 이용하여 정량적 평가를 수행하였다. 또한 테스트 데이터 중 객체 비율이 낮은 영상과 객체 비율이 높은 영상을 대상으로 학습된 모델별 결과를 시각화 하여 정성적 평가를 수행하였다.

구축된 훈련 자료의 image patch 수는 최대 1,912,832장, 최소 113,470장으로, Case별 image patch 수의 차이가 크며, 이를 그대로 활용할 경우 학습데이터 수 차이로 인해 결과에 대한 객관성을 부여하기 어렵다. 이러한 점을 고려하여 소형객체 비율별로 재구축된 6가지 훈련 자료의 학습 데이터 양을 동일하게 하였으며, 데이터 수가 가장 적은 Case 6의 훈련 자료 수를 기준으로 각 Case에서 랜덤으로 113,000장을 추출하여 학습에 사용하였다. 추출한 샘플 데이터(sample data)를 75:25의 비율로 나누어 각각 training data와 validation data로 이용하였으며, 원 영상을 32 × 32 화소 크기로 조정한 10,000장의 image patch를 test data로 이용하였다. 모델 학습을 위한 하이퍼파라미터(hyperparameter)는 batch size 512, learning rate는 0.001, optimizer는 Adam, loss function은 Binary cross entropy, 그리고 epoch은 50으로 설정하였다.

6개의 딥러닝 모델의 정량적 평가 결과는 Table 5와 같다. 전체 image patch를 이용하여 학습한 Case 1과 배경 영상만 존재하는 image patch를 제거한 Case 2 사이에서 모델 성능이 큰 폭으로 향상되는 것을 확인하였다. 또한 Case 4에서 Kappa 계수 0.5431, F1-Score 0.5927, IoU 0.4212로 세 가지 평가지표에서 모두 가장 높은 값을 얻었으며, Case 4를 기점으로 Case 2–3에서 정량적 평가지표가 증가하는 반면 Case 5–6에서는 평가지표가 감소하는 것을 확인할 수 있다(Fig. 7). 그러나 bounding box 형태의 객체 탐지 데이터를 화소 단위로 객체를 탐지하는 의미론적 분할 데이터로 변형하였기 때문에, crane과 같은 비정형 객체의 탐지에서 실제 객체와 라벨 형태간의 차이가 존재하였다. 이로 인하여 평가 지표의 신뢰성이 다소 떨어져 Case 2–6에서의 모델별 성능 차이에 대하여 유의미하게 비교평가 할 수 없었다.

Table 5. Quantitative evaluation of small object detection performance by U-Net

Fig. 7. Modelperformance comparisongraph for 6 models.

6개 모델의 정성적 평가 결과는 Fig. 8과 같다. 시각적 평가를 위해 객체 비율이 적은 영상(Fig. 8(a))과 객체 비율이 높은 영상(Fig. 8(b))을 대표로 선정하여 분석하였다. Fig. 8(a)는 객체 픽셀 비율이 5.47%이며, 트럭 클래스가 포함된 영상의 모델별 예측 결과로, Case 1을 제외한 모든 모델에서 객체를 식별하였다. Fig. 8(b)는 객체 픽셀 비율이 48.54%이며, 개별/그룹컨테이너 클래스가 포함된 영상의 모델별 예측 결과이다. Case 1에서는 영상 내 모든 핵활동 관련 객체를 탐지하지 못했으며, 하단의 비관심 객체를 핵활동 관련 객체로 오탐지하였다. Case 2–4에서는 좌상단의 객체는 탐지하지 못했으나, 우하단의 객체는 일부 영역을 탐지하였다. 또한 하단의 비관심 객체를 핵활동 관련 객체로 오탐지하였다. Case 5–6에서도 좌상단의 객체를 탐지하지 못했으나, 우하단의 객체를 식별하였다. 그러나 다른 모델들과 마찬가지로 하단의 비관심 객체를 오탐지하는 경향을 보였다. 이를 통해 입력 데이터의 비율을 조정해 의미론적 분할 성능 개선이 가능할 것으로 사료된다.

Fig. 8. Qualitative evaluation of small object detection performance by U-Net: (a) Patch 1 and (b) Patch 2.

4. 결론

본 논문에서는 입력 영상의 소형객체 데이터 비율이 U-Net 모델의 성능에 미치는 영향에 대하여 분석하였다. 그 결과 배경만 존재하는 영상을 포함하여 학습한 Case 1의 모델과 배경만 존재하는 영상을 제외하고 학습한 Case 2의 정량적 평가 지표가 평균 0.2264 차이나는 것을 확인했으며, Case 4에서 3가지 평가 지표에 대해 가장 높은 값을 얻었다. 정성적인 비교평가에서도 Case 1은 모든 객체를 탐지하지 못했으나, Case 2–6에서는 대부분의 객체를 성공적으로 탐지하였다. 따라서 배경만 존재하는 영상을 제거하고 적정 비율로 조정된 학습 데이터에서 학습 시 비교적 정확한 탐지 결과를 얻을 수 있다는 결론을 도출할 수 있었다. 그러나 객체 탐지 데이터를 의미론적 분할 데이터로 변환하는 과정에서 일부 객체에서 실제와 라벨 형태 간의 차이가 생겨, 모델별 성능을 유의미하게 비교평가 할 수 없었다는 한계점이 존재한다. 추후 본 실험 결과를 바탕으로 의미론적 분할 라벨 데이터를 생성하여 소형 객체 탐지 결과의 신뢰성을 높이고, 데이터 증강(data argumentation)을 이용하여 모델 성능을 개선하는 연구를 시행할 예정이다.