Change Detection Using Deep Learning Based Semantic Segmentation for Nuclear Activity Detection and Monitoring

핵 활동 탐지 및 감시를 위한 딥러닝 기반 의미론적 분할을 활용한 변화 탐지

Abstract

Satellite imaging is an effective supplementary data source for detecting and verifying nuclear activity. It is also highly beneficial in regions with limited access and information, such as nuclear installations. Time series analysis, in particular, can identify the process of preparing for the conduction of a nuclear experiment, such as relocating equipment or changing facilities. Differences in the semantic segmentation findings of time series photos were employed in this work to detect changes in meaningful items connected to nuclear activity. Building, road, and small object datasets made of KOMPSAT 3/3A photos given by AIHub were used to train deep learning models such as U-Net, PSPNet, and Attention U-Net. To pick relevant models for targets, many model parameters were adjusted. The final change detection was carried out by including object information into the first change detection, which was obtained as the difference in semantic segmentation findings. The experiment findings demonstrated that the suggested approach could effectively identify altered pixels. Although the suggested approach is dependent on the accuracy of semantic segmentation findings, it is envisaged that as the dataset for the region of interest grows in the future, so will the relevant scope of the proposed method.

위성 영상은 핵 활동 탐지와 검증을 위한 효율적인 보조자료로 핵시설과 같이 접근이 어렵고 정보가 제한된 지역에 매우 유용하다. 특히 장비의 이동 또는 시설물의 변화와 같이 핵실험을 준비하는 과정은 시계열 분석을 통해 충분히 식별 가능하다. 본 연구에서는 핵 활동과 관련된 주요 객체의 변화를 탐지하기 위하여, 다시기 영상의 의미론적 분할 결과의 차이를 이용하였다. AIHub에서 제공하는 KOMPSAT 3/3A 영상으로 구성된 객체 판독 데이터셋에서 건물, 도로, 소형 객체의 정보를 추출하여 학습하였으며, U-Net, PSPNet, Attention U-Net에 대하여 주요 파라미터를 변경하며 대상 객체 추출에 적합한 의미론적 분할 모델을 분석하였다. 의미론적 분할 결과의 차영상으로 생성된 결과에 객체 정보를 포함하여 최종 변화 탐지를 수행하였으며, 제안 기법을 임의의 변화를 포함한 시뮬레이션 영상에 적용한 결과, 변화 객체를 효과적으로 추출할 수 있었다. 본 연구에서 제시된 변화 탐지 기법을 적용하기 위해서는, 의미론적 분할의 정확도가 우선적으로 확보되어야 하는 제약이 있으나, 추후 실험 대상 지역에 대한 학습데이터셋이 증가할 수록 적용 가능한 분석 범위가 증가할 것으로 기대된다.

1. 서론

2022년(9월 기준) 북한의 미사일 발사 횟수는 27회로 역대 가장 많은 미사일 도발을 감행하고 있으며, 미국과 일본 등 다양한 국가에서 북한의 7차 핵실험 가능성을 보고했다(BBC News, 2022). 또한, 우크라이나-러시아 전쟁으로 인해 세계 안보가 위협받고 있으며, 러시아의 핵무기 사용 가능성에 대한 우려가 제기되고 있다. 주변국의 핵 위협이 고조되는 가운데, 비 접근 지역에 대한 핵 활동·시설과 관련된 정보를 신속하고 정확하게 취득하는 것은 국가 안보 측면에서 매우 중요하다. 위성영상을 통한 원격 탐사는 접근이 불가능한 지역의 정보를 광역적이고 주기적으로 취득할 수 있다는 점에서 다양한 분야에서 활용된다(Lee et al., 2021). 최근에는 센서 기술의 발달과 KOMPSAT 시리즈를 비롯한 차세대 중형위성, 초소형 위성 등의 국가 운용 위성의 증가로 인해 1 m 이하 고해상도 영상을 주기적으로 취득할 수 있다. 또한, 누리호 발사체의 성공으로 국내 위성 사업이 탄력을 받을 것으로 예상되고 있으며, 추후 위성 영상의 활용 가능성이 더욱 증가할 것으로 기대된다. 많은 양의 위성 영상이 구축되면서, 영상처리 분야에서 딥러닝이 우수한 성능을 입증하고 있다(Kim et al., 2022). 딥러닝을 활용한 영상 처리는 훈련 데이터로부터 학습된 정보를 통해 분류, 객체 탐지 등을 수행한다. 딥러닝은 확보된 훈련 자료로부터 스스로 특징을 추출하고 학습하기 때문에 학습데이터가 증가할수록 좋은 성능을 기대할 수 있으며, 학습된 모델을 바탕으로 새롭게 얻어진 영상에 바로 적용할 수 있다는 점에서 주기적인 영상 분석이 필요한 분야에 더욱 효율적인 방법이다. 이러한 이점으로 인하여, 딥러닝 기반의 핵 활동 객체 탐지 분석 기법의 적용성을 검토하는 연구가 진행되었다(Sung et al., 2021). 딥러닝 기반의 객체 탐지 모델은 객체의 모양과 위치를 특정하기 위해 바운딩박스(bounding box)를 사용하며, 객체 탐지 결과를 통해 변화 지역을 추출하는 것은 다시기 영상에서 동일 객체의 바운딩박스 유무를 육안 판독하거나 Intersection over Union (IoU) 평가지표를 활용하여 판단하게 된다. 그러나 객체 탐지를 통한 변화 탐지 방법은 다수의 객체가 추출되었을 때, 다시기 영상에서 동일 객체를 매칭하는 것이 어렵고 변화의 공간적 형상을 파악하고 탐지 결과를 정량적으로 평가하기 어려운 한계가 존재한다. 반면, 딥러닝 기반 의미론적 분할(semantic segmentation)을 통한 변화 탐지는 임계치 설정에서 사용자 개입을 최소화할 수 있으며, 변화 추정 지역의 공간적 형상을 화소 단위로 특정하여 참조 자료에 대한 정량적 평가가 가능하다. 따라서 본 연구에서는 보다 효율적으로 핵 활동과 관련된 객체의 신속하고 정확한 변화 탐지를 수행하기 위하여 딥러닝 기반의 의미론적 분할을 활용하며, 다시기 영상의 분할 결과를 통해 변화지역을 추출하는 방법을 제시하고자 한다.

2. 연구 동향

위성 영상은 핵 활동 탐지와 검증을 위한 보조자료로, 핵시설과 같이 접근이 어렵고 정보가 제한된 지역에 매우 유용하다. 북한의 핵실험 형태와 같이 지하 수평 터널 실험 시에는 핵실험으로 인한 지표면의 변화가 거의 나타나지 않기 때문에 핵실험 탐지 측면에서 직접적인 탐지를 수행하기 어려우나, 장비의 이동 또는 시설물의 변경과 같이 실험을 준비하는 과정은 시계열 분석을 통해 충분한 식별이 가능하다. 현재 다양한 기관들이 핵활동과 관련된 공개 정보를 활용한 분석을 수행하고 있으며, 위성 영상의 시계열 변화를 통해 비공개 또는 신고되지 않은 핵 활동 정보를 효율적으로 활용할 경우, 주변국의 핵 활동 관련 주요 시설 및 현황에 대한 이해를 제고할 수 있다.

Park et al. (2021)은 북한 평산 우라늄 광산의 시계열 위성영상을 분석하여 광석 처리 경로와 우라늄 생산량을 예측하는 연구를 통해 평산 우라늄 공장의 광석 처리 단계와 생산 속도 및 재고량에 대한 정량적 분석을 수행하였다. Sung et al. (2021)은 핵 활동 모니터링을 수행하기 위하여, 고해상도 위성영상에서 핵 활동 관련 객체의 변화양상을 분석하였으며, 딥러닝 모델 기반 객체 탐지 활용 가능성을 평가하였다. 해당 연구에서는 AIHub의 위성영상 객체 판독 자료를 활용하였으며, 핵 활동과 관련된 주요 객체로써 소형 차량, 대형차량, 저장탱크에 대한 학습을 진행하였다. 주요 객체에 대한 변화는 다시기 영상에서 객체의 탐지 유무에 따라 평가되었으며, 대형차량에 비해 소형 객체에 대한 탐지정확도가 떨어지는 것을 확인하였다. 또한, Lee et al. (2018)은 2017년 9월 북한에서 발생한 인공지진 신호에 근거하여 6차 핵실험에 의한 주변 지표 변화 연구를 위해 ALOS-2위성을 활용하였다. 오프셋 트레킹(offset tracking)방법을 활용하여 핵실험 전후 위성 레이더 영상의 강도 영상과 교차상관기법을 이용하여 상관관계를 추정하였으며, 그 결과 6차 핵실험 장소를 기준으로 최대 3 m의 지표 변위를 관측하였다.

핵 활동 징후를 파악하기 위한 영상 분석에 있어서 정확성과 신속성은 매우 중요한 요소이기 때문에 전문 분석가에 의한 육안 판독은 현재까지 가장 많이 사용되는 방법 중 하나이다. 최근 다양한 위성의 운용으로 영상이 급증하면서 딥러닝/머신 러닝을 활용하여 중요한 분석 대상을 추출하고, 이를 육안 판독의 보조자료로써 활용하는 연구가 수행되고 있다. Park et al. (2022)은 Airbus에서 촬영한 고해상도 위성영상을 활용하여 차량관련 객체(vehicle, railcar)를 추출하여 통계를 분석하여 북한의 동향을 분석하였다. 실제 통계량과의 비교 결과, 북한과 중국과의 거래량의 증가할수록 차량 통행량이 증가하는 것을 정량적으로 확인하였으며, 머신 러닝을 통한 객체 탐지의 자동화 결과를 판독의 보조자료로 활용하였다. 핵 활동 및 시설과 관련된 변화 탐지를 위한 선행 연구들은 주로 차량 탐지에 기반하고 있으며, 변화 탐지를 정량적으로 평가하기 어렵다는 한계가 있다. 이에 본 연구에서는 대상 객체를 건물, 도로, 소형 객체로 구분하여 변화 탐지를 수행하고자 한다.

3. 연구 방법

1) 학습 데이터 생성

본 연구에서는 핵 활동 영상 판독 전문가의 분석 기고문(38North 등)의 정량분석을 통해 도출된 중요 인자와 핵연료주기에 대한 이해를 바탕으로 핵 활동과 관련된 객체를 선정하였다. Table 1은 핵 활동 및 시설과 관련된 주요 인자를 나타내며, 이와 관련된 대상 객체로서 건물, 도로, 소형차량, 버스, 트럭, 기차 등을 선정하였다. 해당 객체를 포함하는 데이터셋 중 추후 구축 및 활용 가능성을 고려하여 KOMPSAT 3/3A 위성으로 제작된 AIHub (https://www.aihub.or.kr/)의 위성영상 객체 판독 데이터셋을 활용하였다.

Table 1. Class types related to nuclear activities and nuclear facilities

위성영상 객체 판독 AI 데이터셋은 관심 객체 검출, 건물 윤곽 추출 및 종류 구별, 도로 윤곽 추출 및 종류 구별, 위성영상 전처리를 위한 구름 검출, 레이더 영상을 이용한 전천후 수계 검출 총 5종으로 구성된다. 본 연구에서는 핵 활동 및 시설과 관련된 정보를 포함하고 있는 관심 객체 검출, 건물 및 도로의 윤곽 추출 및 종류 구별등세 가지 데이터셋을 활용하였다. 각 데이터셋이 포함하는 영상의 개수와 본 연구에서 고려한 세부 클래스는 Table 2와 같다. 세 가지 데이터셋은 미국, 이집트 등 다양한 지역에 대하여 구축되었으며, 클래스 별로 일부 중복되는 영상을 포함한다(Fig. 1).

Table 2. A summary of the datasets utilized in the investigation

Fig. 1. Redundancy between the datasets.

건물 및 도로 데이터셋의 경우, 클래스의 구분이 이용 정보를 포함하기 때문에 영상 정보만으로 구분이 어려운 한계가 있다. 따라서 본 연구에서는 건물 및 도로 데이터셋의 관심 객체를 하나의 클래스로 통합하여 이진 분류하였다. Fig. 2는 건물 라벨 영상의 이진화 예시를 나타낸다. 마찬가지로, 관심 객체 검출 데이터셋 중핵활동과 관련된 소형 차량, 버스, 트럭, 기차, 크레인, 개별 컨테이너를 ‘소형 객체’를 나타내는 하나의 클래스로 통합하였다. 이때, 관심 객체 검출 데이터셋은 객체 탐지를 위한 바운딩박스 형태로 제공되는데, 의미론적 분할 데이터로 활용하기 위하여 클래스 ID에 따라서 폴리곤 내의 픽셀을 특정 화소값으로 지정한 후 래스터 데이터로 저장하였다. 소형 차량과 트럭 등 객체는 객체의 형태가 바운딩박스와 유사하기 때문에 의미론적 분할을 위한 데이터셋으로의 변환이 가능하다고 판단하였다(Fig. 3).

Fig. 2. Regenerating dataset examples: (a) RGB image, (b) original label image, and (c) changed label image.

Fig. 3. Examples of small object datasets: (a) small car, (b) bus, and (c) truck.

소형 객체 데이터셋의 경우, 배경에 비해 관심 객체의 크기가 작고 영상에 분포하는 비율이 매우 낮기 때문에 딥러닝 학습 시, 클래스 불균형으로 인한 문제가 발생한다. 본 연구에서는 클래스 불균형을 해결하기 위한 전처리로써, 1,024×1,024 크기의 원본 위성영상을 256×256 크기의 패치로 나눈 후 배경 화소만 존재하는 void label 패치를 제거하여 최종적으로 Fig. 4와 같이 관심 객체의 비율이 상대적으로 증가하고 유의미한 패치만 학습에 사용하였다.

Fig. 4. Cropping of small object datasets and removing images with void label.

2) 딥러닝 기반의 의미론적 분할

의미론적 분할이란. 미리 정의된 몇 개의 클래스에 대해 영상에 대한 분류를 수행한다는 점에서 장면 분류(scene classification)와 유사하지만, 장면 분류는 영상 전체를 정해진 클래스로 분류하고, 의미론적 분할은 영상의 화소별로 분류를 수행한다는 점에서 차이가 있다. 본 연구에서는 분류 대상 특성에 맞는 의미론적 분할 모델을 활용하고자, U-Net, Pyramid Scene Parsing Network (PSPNet), Attention U-Net을 적용하여 학습 및 검증 자료의 예측 정확도를 비교하였다.

(1) U-Net

U-Net (Ronneberger et al., 2015)은 의미론적 분할에 활용되는 가장 대표적인 모델로서 원격탐사 영상 뿐 만아니라, 의료, 자율주행 등 다양한 분야에서 활용되고 있다. U-Net은 인코더(encoder)와 디코더(decoder) 구조로 되어 있다. 일반적으로 인코딩 단계에서는 입력 영상의 특징을 잘 포착할 수 있도록 채널의 수를 늘리면서 차원을 축소해 나가며, 디코딩 단계에서는 저차원으로 인코딩된 정보만 이용하여 채널의 수를 줄이고 차원을 늘려서 고차원의 영상을 복원한다. 인코딩 단계에서 차원이 축소되면서 영상 객체에 대한 자세한 위치 정보를 잃을 수 있으며, 디코딩 단계에서도 저차원의 정보만을 이용하기 때문에 위치 정보 손실이 발생한다. 이러한 한계를 극복하기 위하여 U-Net에서는 인코딩 단계의 각 레이어에서 얻은 특징을 디코딩 단계의 각 레이어에 합치는(concatenation) 방법을 사용한다.

(2) PSPNet

Pyramid Scene Parsing Network (PSPNet)은 Computer Vision and Pattern Recognition Conference (CVPR) 2017에서 발표된 의미론적 분할 모델로서, Frame Per Second (FPS)가 낮아 실시간으로 사용되기는 어렵지만 높은 분류정확도를 갖는 것으로 알려져 있다(Sun et al., 2021).

PSPNet은 기존의 Fully Convolutional Network (FCN)에 비해 주변 상황과 맞지 않거나, 눈에 잘 띄지 않는 물체의 픽셀 분류 측면에서 global context 정보를 활용하여 문제를 개선하였다. PSPNet에서는 각기 다른 pyramid scale에서 서로 다른 크기의 pooling을 생성하는데, 이때 사용되는 pooling은 Max pooling과 Average pooling을 사용하며, 이를 통해 영상의 sub-region의 전체적인 특징(객체의 형상과 주변과의 관계)을 추출한다.

(3) Attention U-Net

Attention U-Net (Oktay et al., 2018)은 기본적인 U-Net과 비교하여 관심 영역이 아닌 부분은 가중치를 조정하여 특징에서 중요한 영역을 강조할 수 있도록 학습한다. Skip-connection 부분에 Sigmoid 함수를 사용하는 Attention gate를 사용하여 중요한 부분에 대한 학습을 강조하고 필요가 없는 부분의 가중치는 낮게 부과하여 저차원의 특징에서 중요한 부분의 학습에 집중한다(Fig. 5).

Fig. 5. Structure of Attention U-Net (Oktay et al., 2018).

본 연구의 실험 결과, 건물과 도로의 경우 기본적인 U-Net과 PSPNet으로도 대상 객체가 배경과 잘 분류가 되었으나, 소형 객체의 경우 분류 객체의 크기가 작고, 배경과의 비율의 차이가 크기 때문에 U-Net과 PSPNet으로 학습 시, 대상 영역 전체가 배경으로 분류되는 문제가 발생하였다. 클래스간 불균형이 존재할 경우, 배경화소의 영향으로 전체 정확도(overall accuracy)는 높지만, 소수 클래스가 제대로 분류되지 않는 문제가 발생할 수 있다. 이러한 문제를 해결하기 위하여 본 연구에서는 입력 영상을 Crop하여 관심 객체의 상대적인 비율을 향상시키고, 클래스 불균형을 고려할 수 있는 손실함수인 Focal Tversky Loss를 적용하였다.

손실함수는 딥러닝 모델이 각 훈련 배치에서 전체 오류를 계산하는 방법을 정의하는 것으로 역전파를 수행할 때 내부 가중치가 조정되는 과정에 영향을 미치므로 전체 모델 학습에 큰 영향을 끼친다. Focal Tversky Loss는 Tversky 손실함수의 변형으로 초점 손실의 감마 수정자를 포함한다. Tversky 손실은 서로 다른 유형의 오류를 다르게 처리할 수 있도록 조정하는 상수를 활용하여 불균형 의료 데이터 세트에 대한 분할을 최적화하도록 설계되었다. 즉, 이 손실함수는 값이 증가함에 따라 손실함수에서 더 높은 정도로 페널티를 주는 상수에 의해 가중치가 부여되면서 클래스 불균형 문제를 해결한다.

또한, 본 연구에서는 딥러닝 모델 성능에 영향을 줄 수 있는 주요 파라미터를 조정하여 최적의 학습 모델을 선정하기 위하여, 주요 파라미터에 따른 학습 정확도를 비교하였다(Table 3).

Table 3. Deep learning parameters and their types

SGD: Stochastic Gradient Descent

3) 의미론적 분할 결과 비교를 통한 변화 탐지

본 연구에서는 대상 객체 별 최적의 모델과 파라미터를 적용하여 시계열 영상에 대한 의미론적 분할을 수행하며, 두 영상의 차를 산출하여 변화지역을 추출한다. 그러나 학습에 사용된 AIHub 데이터셋은 시계열 영상을 포함하지 않기 때문에, 제안 기법을 적용하여 변화 지역을 추출하기 어렵다. 따라서, 변화 탐지 기법의 성능을 검증하기 위하여 임의로 변화를 생성한 시뮬레이션 영상을 사용하였다(Fig. 6). 시뮬레이션 영상은 영상 합성 프로그램을 사용하여 제작되었으며, 특정 객체를 삭제하면 근접 화소값으로 대체되는 원리이다. 건물과 도로, 건물과 소형 객체가 중첩되어 라벨 정보를 제공하는 지역의 영상 두 곳(Site A, Site B)을 선정하여 시뮬레이션 영상을 생성하였으며, 변화에 대한 참조 영상은 Figs. 6(c) and (f)와 같다.

Fig. 6. Simulation images for change detection. Site A’s (a) before, (b) after, and (c) reference images. Site B’s (d) before, (e) after, and (f) reference images. Red, yellow, and cyan squares represent changes in small objects, buildings, and roads, respectively.

다시기 영상의 의미론적 분할 결과의 차이를 통해 변화가 발생한 화소를 추출할 수 있다. 화소기반 변화 탐지의 경우, 기하보정으로 인한 위치 차이 및 잡음 등의 영향에 취약하기 때문에 변화 전 영상의 객체 정보를 활용하여 객체 내 과반수 이상의 화소가 변화 로 분류되면 해당 객체 내 모든 화소를 변화 화소로 변경하고, 객체 내 과반수 이하의 화소가 변화라면, 해당 객체 내 모든 화소는 비 변화 화소로 변경하는 작업을 추가적으로 수행하였다.

4. 연구 결과

1) 딥러닝 모델 학습 결과

건물, 도로, 소형 객체 데이터셋에 대하여 각각 U-Net, PSPNet, Attention U-Net으로 학습을 진행하였다. 단, 소형 객체의 경우, 클래스 불균형 문제로 인하여, Attention U-Net만 적용하였으며, optimizer, batch size, epoch을 변경하며 모델의 가중치를 저장하였다. 정확도 평가는 테스트셋(건물 70장, 도로 50장, 소형 객체 100장) 전체에 대해 수행하였으며, 예측 결과를 육안으로 확인하기 위하여 임의로 영상을 추출하여 모델 파라미터에 따른 예측 결과를 비교하였다. 건물, 도로, 소형 객체에 대한 테스트 영상은 Fig. 7과 같다.

Fig. 7. Randomly selected test images of (a) a building, (b) road, and (c) small object.

(1) 건물

Fig. 8은 건물 테스트 영상에 대한 예측결과이다. 건물 객체를 가장 잘 구분하여 추출한 것은 U-Net과 Attention U-Net이며, 특히 Attention U-Net의 경우, optimizer를 Adam으로 설정하고 batch size가 16일 때, 참조자료에는 포함되지 않았으나 건물 객체로 추정할 수 있는 흰색 건물까지 추출하였다. PSPNet은 건물의 모양이 뚜렷하게 추출되지 않아 각 객체를 구분하여 추출하는 것이 어려웠다.

Fig. 8. Building image prediction outcomes using three models with varying parameters.

Table 4는 건물 테스트셋에 대한 정확도(F1 score)를 나타낸다. U-Net과 Attention U-Net에 대한 정확도가 0.94로 가장 높았고, 전반적으로 U-Net의 정확도가 Attention U-Net에 비해 높았다. U-Net은 참조 자료에 가깝게 건물을 추출하여 정확도는 높지만, Attention U-Net의 경우, 참조자료에는 누락되었으나, 실제 영상에 존재하는 건물을 추출할 수 있었다. 이는 Attention U-Net이 U-Net에 비해 훈련 데이터셋에 대한 과적합(overfitting) 현상이 적을 수 있음을 시사한다. 모델 별로 batch size에 대한 영향은 크게 발생하지 않았으며, epoch이 증가될수록 정확도가 감소했다. 수치적인 결과로는 epoch을 증가하는 것이 학습에 도움이 되지 않는 것으로 볼 수 있다. epoch이 훈련 데이터 셋의 개수에 비해 지나치게 높을 경우, 과적합현상이 나타나기 때문에 테스트 영상에 대한 정확도는 낮아진다.

Table 4. Building test set accuracy assessment utilizing several models with different parameters (F1 score)

(2) 도로

Attention U-Net의 탐지 결과, U-Net과 PSPNet보다 도로의 경계를 보다 명확하게 추출하였다. 특히 좌 상단 둥근 모양의 도로는 참조자료에는 도로의 경계가 단순하게 표현되어 있지만 실제로는 여러 개의 도로로 이루어진 지역인데, Attention U-Net은 실제 도로의 형태를 정확하게 추출하였다(Fig. 9). PSPNet은 도로가 중간에 끊기거나 연결성이 미흡하였으며, U-Net의 경우 epoch이 낮을 때는 도로의 연결성을 추출하지 못하였으나, epoch이 증가함에 따라 도로의 경계를 더욱 잘 추출하였다.

Fig. 9. Prediction results of a small object image using three models with various parameters.

Table 5는 전체 테스트 영상에 대한 정확도 결과를 보여준다. 수치상으로는 U-Net이 가장 정확한 값을 보였으나, 육안 분석결과, 참조자료에서 누락된 도로도 Attention U-Net에서는 탐지할 수 있는 것을 확인했다. 도로 영상은 전반적으로 epoch 이 증가함에 따라 정확도도 향상하였다.

Table 5. Road test set accuracy assessment utilizing several models with different parameters (F1 score)

(3) 소형 객체

소형 객체 데이터셋은 배경화소와의 클래스 불균형으로 인해, U-Net과 PSPNet으로 학습할 경우, 모든 지역을 배경 화소로 예측하는 문제가 발생하였다. 본 연구에서는 Attention U-Net과 Focal Tversky 손실함수를 적용하여, 소형 객체에 대한 학습을 진행하였으나, 건물과 도로 데이터셋에 비해 예측 정확도는 상대적으로 낮았다. 또한, 학습이 진행될수록 훈련 데이터셋의 정확도는 향상되었으나, 검증 데이터셋의 정확도는 epoch에 따라 크게 향상되지 않았고, 훈련 자료와 검증 자료의 손실 값의 차이가 크게 나타났다.

소형 객체 데이터셋의 테스트 영상은 소형 차량이 주로 분포한다. 특히 주차된 차량의 일부가 epoch 이 증가함에 따라 누락되었다. 또한, Stochastic Gradient Descent SGD)를 사용할 경우, 우측 하단부에 있는 페인트로 덮인 지면이 소형 객체로 추출되었다.Adam 사용 시, epoch이 적을 때는 해당 부분을 소형 객체로 오탐지 하였으나, 학습이 진행되면서 이 부분은 소형 객체로 추출하지 않았다. 그러나 epoch이 증가하면서 소형 객체인 차량, 버스 등이 누락된 것을 확인하였다.

소형 객체 데이터셋은 배경의 비율이 매우 크기 때문에 일반적인 F1 score로 계산할 경우 관심 객체 추출 여부와 상관없이 정확도가 매우 높게 나온다. 따라서 더욱 정확한 평가를 위하여 macro F1 score로 정확도 수치를 산출하였다. Macro F1 score는 각 클래스에 대한 F1 score를 계산한 뒤 산술평균을 통해 F1 score를 계산한다. Macro F1 score는 모든 클래스에 동등한 중요성을 부과하기 때문에 비중이 적은 소형 클래스에 대한 분류 정확도도 배경과 동등하게 반영된다. 소형 객체 데이터셋 테스트 영상 (100장)에 대한 정확도는 Table 6과 같다. 정확도는 optimizer=Adam, batch size 4, epoch 0–50까지가 가장 높았다. 소형 객체의 경우 학습이 진행될수록 omission error가 증가하기 때문에, epoch이 짧을수록 정확도가 높은 것으로 판단된다. 또한, 두 가지 optimizer 모두 batch size가 커질수록 정확도가 감소하였는데, 이 역시 객체의 크기가 작고 소형 객체에 포함되는 클래스의 형태가 다양하므로 batch size가 작을수록 정확도가 높은 것으로 보인다.

Fig. 10. Small objects image prediction outcomes using Attention U-Net with varying parameters.

Table 6. Small object test set accuracy assessment utilizing Attention U-Net with different parameters (macro F1 score)

2) 변화 탐지 결과

본 연구에서는 다시기 영상의 의미론적 분할 결과를 비교하여 변화가 발생한 지역을 추출한다. 이를 위하여 핵 활동 및 시설과 관련 있는 주요 클래스를 건물, 도로, 소형 객체로 선정하였으며 각각의 데이터셋을 U-Net, PSPNet, Attention U-Net으로 학습하였다. 각 데이터셋의 테스트 영상 예측 결과에 대한 F1 score와 육안 판독 결과 최적의 파라미터를 Table 7과 같이 선정하였다.

Table 7. Model and parameter selection based on target objects

건물과 도로의 경우 U-Net이 F1 score의 수치 정확도는 가장 높았으나, 예측 결과를 육안 분석한 결과에서 확인할 수 있듯이, 참조 영상과는 가깝게 추출되지만, 참조 자료에 누락된 건물을 추출하지 못하는 경향을 보인다. Attention U-Net의 경우, U-Net과 F1 score는 유사하였으나, 참조 자료에 누락된 객체를 보다 잘 추출하였다. Commission error (실제 변화하지 않았으나 예측 결과에서는 변화로 추정한 에러)가 omission error (실제 변화했으나 예측 결과에서 변하지 않은 것으로 추정한 에러) 보다 큰 것이 본 연구의 특성상 중요하므로 Attention U-Net을 선정하였다.

변화 전, 후 영상의 의미론적 분할 결과의 차 영상을 통해 변화지역을 추출한 결과는 Fig. 11과 같다 변화 전의 의미론적 분할 결과는 빨간색으로 표시하였으며, 변화 후 추출 결과는 녹색과 같다. 두 시기에 모두 존재하는 객체 외에 한 시기에만 추출된 객체를 변화 화소로 추출하였다. Site A, B는 각각 건물과 소형 객체, 건물과 도로에 대한 차영상의 결과를 합쳐 변화 탐지 영상을 생성하였다. 변화 탐지 결과 영상에는 변화 객체 외에도 변화지역으로 추출된 화소가 존재한다.

Fig. 11. Semantic segmentation result of multi-temporal and difference images. (a) Building segmentation results and (b) Site A difference images. (c) Small object segmentation results and (d) Site A difference images. (e) Building segmentation results and (f) SiteBdifference images.(g)Road segmentation results and (h) SiteBdifference images.

화소기반 변화 탐지의 한계를 개선하기 위하여, 변화 전 영상의 객체 정보를 반영한 결과는 Fig. 12와 같다.Figs. 12(a) and (d)는 Site A, B에 존재하는 변화 탐지 결과를 합친 결과이며, Figs. 12(b) and (e)는 변화 전 영상의 객체 추출 결과이다. 소형 객체가 존재하는 Site A와 B에 대한 소형 차량과 건물의 형태를 반영할 수 있도록 객체를 분할하였다. 객체 정보를 반영한 최종 결과는 Figs. 12(c) and (f)와 같다. 객체 정보 추출 전에는 잡음으로 추정할 수 있는 부분이 효과적으로 제거되었다. 그러나, 도로의 경우 객체 정보를 반영하면서 오히려 도로의 변화된 부분이 누락되는 현상이 발생하였다.

Fig. 12. Initial and final results of change detection. (a), (d) are the initial and (b), (e) represent object boundaries respectively, whereas, (c), (f) are the final results of change detection of Sites A and B.

최종 변화 탐지 결과에 대한 정확도는 Table 8과 같다. 건물과 소형 객체가 존재하는 Site A는 F1 score는 0.830, Kappa coefficient는 0.8294가 나왔으며, 건물과 도로의 변화를 포함한 Site B의 정확도는 F1 score는 0.659, Kappa coefficient 는 0.657이 산출되었다. Site B에 대한 정확도가 낮은 이유는, 변화가 발생한 도로에 객체 정보가 반영되면서 변화 화소가 누락된 문제로 판단된다. Site B의 변화 도로는 경계가 명확하지 않기 때문에 객체 정보를 반영하는 과정이 오히려 정확도를 저하시키는 요인으로 작용하였다(Fig. 13(b)).

Table 8. Accuracy assessment of the final change detection results of Sites A and B

Fig. 13. Overlay of the RGB images and change detection results of (a) a building, (b) road, and (c) small object.

Fig. 13은 변화 전 영상과 본 연구에서 제안한 알고리즘으로 추출한 변화지역을 중첩한 것이다. 건물의 그림자를 제외하고 건물 객체를 변화지역으로 추출하였으며(Fig. 13(a)), 소형 객체도 차량 형상에 따라 변화 화소를 추출하였다(Fig. 13(c)).

5. 결론

본 연구에서는 핵 활동 및 시설의 변화를 효과적으로 탐지하고 감시하고자, 딥러닝 기반의 의미론적 분할 모델을 활용하여 건물, 도로, 소형 객체를 탐지하였으며, 다시기 영상의 의미론적 분할 결과의 차이를 통해 변화 지역을 추출하였다. 학습 데이터셋의 특성을 반영한 적합한 의미론적 분할 모델을 선정하기 위하여, U-Net, PSPNet, Attention U-Net을 적용하고, epoch, batch size, optimizer를 변경하여 학습을 진행하였다. 건물의 경우 U-Net이 테스트 영상에 대한 수치 정확도가 가장 높았으나, 건물 데이터 셋의 참조 자료는 빠진 건물을 포함하는 경우가 많았으므로 실제 영상의 건물을 누락될 확률이 높다고 판단했다. 배경의 비중이 증가하는 도로와 소형 객체의 경우, Attention U-Net이 가장 효율적으로 영상 내 객체를 잘 추출할 수 있었다. 다시기 영상의 추출 결과의 차이를 통해 일차적으로 변화지역을 추출하였으며, 변화 탐지 결과의 정확도 향상을 위하여 변화 전 영상의 객체 정보를 결합하는 과정을 통해 차 영상의 잡음을 효과적으로 제거할 수 있었다. 본 과정을 통하여 잡음 제거 등 화소기반 변화 탐지의 한계를 개선할 수 있었지만, 도로와 같이 형상을 객체화 하기 어려운 지역의 변화는 오히려 미 탐지 되는 한계가 있었다. 추후 관심 대상 지역에 대한 학습 데이터가 구축되고 시계열 영상이 제공될 경우, 제안된 변화 탐지 기법의 적용 가능성이 향상될 것으로 기대된다. 또한, 상대적으로 정확도가 낮았던 소형 객체 등의 학습을 위한 의미론적 분할 모델 개발 및 다양한 손실함수의 적용 가능성을 분석하여 소형 객체의 탐지 정확도 향상을 위한 추가 연구를 수행할 예정이다.