DOI QR코드

DOI QR Code

Development of Proto-type Program for Automatic Change Detection and Cueing of Multi-temporal KOMPSAT-5 SAR Imagery

다중시기 KOMPSAT-5 SAR 위성영상의 자동변화탐지알림 프로토타입 프로그램 개발

  • Chae, Sung-Ho (Satellite Application Division, Korea Aerospace Research Institute) ;
  • Oh, Kwan-Young (Satellite Application Division, Korea Aerospace Research Institute) ;
  • Lee, Sungu (Satellite Application Division, Korea Aerospace Research Institute)
  • 채성호 (한국항공우주연구원 위성활용부) ;
  • 오관영 (한국항공우주연구원 위성활용부) ;
  • 이선구 (한국항공우주연구원 위성활용부)
  • Received : 2022.12.06
  • Accepted : 2022.12.13
  • Published : 2022.12.31

Abstract

Most of the public and private users who use national satellite information such as the KOMPSAT series mainly use Electro-Optical and Infrared (EO/IR) satellite images, and the utilization of Synthetic Aperture Radar (SAR) images is relatively insufficient. As KOMPSAT-5 currently in operation, KOMPSAT-6 and micro SAR satellite constellation systems are scheduled to be launched in the future, the demand for utilization of SAR satellite information is increasing in various fields. Accordingly, it is necessary to possess core technology for SAR utilization that can support the utilization of SAR satellite information for users. Due to the all-weather properties of SAR system, change detection technology is a key application technology. However, until now, the development of technology that automatic change detection and cueing using SAR images is insufficient. Through this study, the requirements of automatic change detection and cueing function using multi-temporal KOMPSAT-5 SAR satellite images were derived and a prototype program was developed. This prototype program aims to secure independent SAR utilization technology and promote the utilization of domestic SAR satellite information by practitioners in public sector organizations in Korea.

KOMPSAT 시리즈 등 국가 위성정보를 활용하는 공공 및 민간의 사용자들은 대부분 광학 영상 중심으로 위성영상을 활용하고 있으며, 상대적으로 Synthetic Aperture Radar (SAR) 영상의 활용은 미흡한 실정이다. 현재 운영 중에 있는 KOMPSAT-5를 비롯하여 향후 KOMPSAT-6 및 초소형 SAR 위성체계 등이 발사 예정에 있기 때문에 다양한 분야에서 SAR 위성정보의 활용요구가 증대되고 있다. 이에 따라 SAR 위성정보 활용을 지원할 수 있는 SAR 활용 핵심 기술 보유가 필요한 시점이다. SAR 특성을 활용한 핵심 활용 기술로 변화탐지 기술이 있지만 현재까지도 SAR 영상을 활용하여 자동으로 변화를 탐지하고 사용자에게 알림하는 기술 개발은 요원한 상태이다. 본 연구는 독자적인 SAR 자동변화탐지알림 기술을 확보하고 우리나라 위성정보활용협의체와 같은 공공분야 기관의 실무자가 실무에 국내 SAR 위성정보를 활용하는 것을 촉진하기 위해 다중시기 KOMPSAT-5 SAR 위성영상의 자동변화탐지알림 기능 요소를 도출하고 프로토타입 프로그램을 개발하였다.

Keywords

1. 서론

한국항공우주연구원 국가위성정보활용지원센터에서는 국가 위성정보의 활용지원을 위하여 Korean Satellite Database (KSATDB)를 운영 및 서비스하고 있다 (https://ksatdb.kari.re.kr/main/main.do). 현 기준(22.11.10.) KSATDB에 등록된 KOMPSAT 활용사례는 총 673건으로 지리(157건, 23%), 재해(152건, 23%), 토양(146건, 22%), 환경(122건, 18%), 해양(96건, 14%) 분야에서 다양하게 KOMPSAT 국가 위성정보가 활용되었다. 총 673건의 활용 사례 중에 KOMPSAT-5의 Synthetic Aperture Radar (SAR) 위성정보 활용 사례는 44건으로 전체의 약 7% 정도에 불과하여 SAR 위성정보의 활용은 매우 저조한 상황이다. 각 분야 별로 KOMPSAT-5 SAR 위성정보의 활용 사례를 살펴보면, 홍수, 싸이클론, 화산, 지반침하로 인한 변화탐지 등 재해 분야가 16건으로 전체 중 36%로 가장 많은 활용사례가 도출되었다. 그 다음으로 해상풍 산출, 선박탐지, 선박 속도 관측, 기름 유출 탐지, 해빙 관측 등의 해양 분야가 13건으로 29%였고, 지표 후 방산란 특성 분석이나 토지피복분류, 도심지 변화탐지, 초해상화, 수치지형도제작 등 지리 분야 관련 활용이 11건으로 25%를 차지한다. 그리고 환경 및 토양과 관련된 활용 사례는 각각 2건으로 각각 5%를 차지하고 있다.

이처럼 현재 국가 위성정보를 활용하는 공공 및 민간 사용자들은 대부분 광학 영상 중심으로 위성영상을 활용하고 있으며, 상대적으로 SAR 영상의 활용은 미흡한 실정이다. 현재 운영 중에 있는 KOMPSAT-5를 비롯하여 향후 KOMPSAT-6 및 초소형 SAR 위성체계 등이 발사 예정에 있기 때문에 다양한 분야에서 SAR 위성정보의 활용요구가 증대되고 있다.

이에 따라 SAR 위성정보 활용을 지원할 수 있는 SAR 활용 핵심 기술 보유가 필요한 시점이다. SAR는 광학센서와 다르게 주간 및 야간, 악천후 상황에서도 타겟을 관측할 수 있다는 장점이 있으며, 이러한 SAR 영상의 특성을 잘 활용하면 다양한 분야에서 활용할 수 있는 가능성을 가지고 있다. 특히, SAR 특성을 활용한 핵심 활용 기술로 변화탐지 기술이 있으며, 세계적으로 타겟 모니터링, 불법 선박 조기 탐지, 불법 건축물 탐지, 광역 재난 피해 확인 등 공공 및 민간에서 다양한 수요로 활발하게 활용이 이루어지고 있다 (Bazi et al., 2005; 2007; Novak, 2013; Kang et al., 2015; Washaya et al., 2018; Canth et al., 2019; Baek and Jung, 2019). 그러나 SAR 영상 기반 변화탐지 기술에 대한 연구 및 기술 개발은 아직 국내에서는 미미한 실정이다. 특히, SAR 원격탐사 분야에서 다양한 기술의 자동화에 대한 연구를 수행해 왔으나 현재까지도 SAR 영상을 활용하여 자동으로 변화를 탐지하고 사용자에게 알림하는 기술 개발은 요원한 상태이다. 따라서 대다수의 국내 사용자들은 해외 영상처리 프로그램을 활용하고 있는 실정이며, 사용자 중 비전문가의 일반 실무자가 SAR 영상으로 변화탐지를 스스로 판단하여 수행하기가 쉽지 않다. SAR 자동변화탐지알림 기술은 위성정보활용협의체와 같은 공공분야 기관의 사용자가 실무에서 활용성이 높은 기능이지만 실제적으로 알고리즘의 복잡성 등의 이유로 실무에서 잘 활용되고 있지 않다.

본 연구는 독자적인 SAR 자동변화탐지알림 기술을 확보하고 우리나라 위성정보활용협의체와 같은 공공분야 기관의 실무자가 실무에 국내 KOMPSAT-5 SAR 위성영상을 활용하는 것을 촉진하기 위해 다중시기 KOMPSAT-5 SAR 위성영상의 자동변화탐지알림 기능 요소를 도출하고 프로토타입 프로그램을 개발하는 것을 목표로 한다.

2. 프로토타입 프로그램 기능 분석 및 설계

KOMPSAT-5 SAR 위성영상의 자동변화탐지알림 프로토타입 프로그램의 개발에 있어 요구되는 기능을 분석한 결과 영상 입력, 입력 영상 분석, 영상 전처리, 자동영상정합, 자동변화탐지, 자동변화탐지 결과 알림, 처리 성능 평가, 단계별 실행의 기능을 도출하였다. 이를 바탕으로 프로토타입 프로그램 설계를 수행하였으며, 요구되는 기능을 분석하여 구체적인 요구사항을 도출하였다. 상세요구사항은 단위 시험이 가능한 단위로 도출하였으며, 이는 각 기능의 검증 및 시험평가 단위가 된다. 사용자 편의성 및 프로토타입 프로그램의 활용성을 높이기 위해 자체 추가 기능도 식별하였다(Table 1).

Table 1. Detailed requirements of proto-type program

OGCSBN_2022_v38n6_4_1955_t0001.png 이미지

OGCSBN_2022_v38n6_4_1955_t0002.png 이미지

상세요구사항을 바탕으로 다중시기 위성SAR 영상의 자동변화탐지알림 Computer Software Configuration Items (CSCI)를 정의하고 구성요소로서 영상입력 및 분석 Computer Software Configuration (CSC), 영상 전처리 CSC, 영상정합 CSC, 변화탐지 CSC, 그리고 변화알림 및 성능평가 CSC를 설계하였다(Fig. 1). 이러한 소프트웨어 기능 요소들은 영상입력 및 분석, 작업영역 설정, 영상 전처리, 영상 정합, 변화영상 생성, 탐지영상 생성, 변화알림의 순으로 운용된다. 전체적인 운용순서 및 데이터 흐름은 Fig. 2와 같다. 각 처리 단계마다의 출력물은 자동으로 저장하여 사용자가 확인할 수 있도록 하였다.

OGCSBN_2022_v38n6_4_1955_f0001.png 이미지

Fig. 1. S/W architecture.

OGCSBN_2022_v38n6_4_1955_f0002.png 이미지

Fig. 2. S/W operation concept.

3. 프로토타입 프로그램 개발

본 연구의 성과물인 본 연구의 성과물인 다중시기 KOMPSAT-5 SAR 위성영상의 자동변화탐지알림 프로토타입 프로그램은 비전문가인 일반 사용자들도 쉽게 활용할 수 있도록 하기 위해 기존의 상용 S/W와 같이 user-friendly한 인터페이스를 가지도록 설계 및 개발하였다. 개발 프로토타입 프로그램의 레이아웃은 Fig. 3과 같다. 입력영상과 정합영상 변화탐지영상을 한 화면에서 비교하며 분석할 수 있도록 레이아웃을 설계/개발하였다. SW의 기본 레이아웃 화면에서 상단에는 처리단계별 메뉴를 구성되어 있다. 좌측의 상하 화면은 참 조영상과 비교영상을 도시하며, 우측의 좌우 화면은 정합영상과 변화탐지 영상을 비교 분석 할 수 있도록 하였다. 그리고 하단에 로그뷰를 통해서 처리상황과 처리시간을 사용자가 쉽게 인지할 수 있도록 하였다.

OGCSBN_2022_v38n6_4_1955_f0003.png 이미지

Fig. 3. S/W layout.

이하 세부절에서는 프로토타입 프로그램의 처리 단계별 구현 결과에 대해 설명한다.

1) 영상입력

영상입력 기능은 변화탐지의 대상이 되는 참조영상과 비교영상 그리고 각 메타데이터를 불러와서 화면에 도시한다. 지원하는 기본 자료형식은 KOMPSAT-5 SAR L1D처리가된HDF5,GeoTiff이다.메타데이터는HDF5형식인 경우 영상 내부에 포함되어 있고, GeoTiff 경우는 별도의 파일(*_Aux.xml)로 제공된다.

입력한 참조영상과 비교영상의 촬영범위 가운데 관심영역을 설정하여 변화탐지 분석을 수행한다. SAR L1D 원본 영상을 그대로 처리하게 되면 변화탐지 분석에 있어서 불필요한 영역까지 포함하게 되며, 이후 변화탐지 각 처리 단계마다 많은 연산량과 처리 시간을 요구한다. 작업영역 설정은 이러한 단점을 극복하는 효과도 제공한다. 작업영역 설정 메뉴를 선택하면 참조영상을 도시하는 새로운 뷰어가 나타난다. 참조영상을 기준으로 마우스로 좌상단과 우하단 위치를 지정하여 관심영역을 생성한다. 관심영역은 영상의 화소 기준으로 5,000 × 5,000 픽셀의 영상크기 이하가 적절하며, 그 이상의 크기는 메모리 사용량 및 처리시간에 있어서 제약이 많이 따른다. 관심영역 설정이 완료되면 기존 참조 영상 뷰와 비교영상 뷰의 도시 영상이 각각 관심영역 기준으로 영상을 잘라서(Crop) 도시한다(Fig. 4).

OGCSBN_2022_v38n6_4_1955_f0005.png 이미지

Fig. 4. Implementation results ofreference andcomparison SAR image input function and Area of Interest (AOI) cropping function.

2) 영상 전처리

본 프로토타입 프로그램에서는 평균필터, 중간값필터, Non-Local Mean (NLM) 필터(Buades et al., 2005)를 제공한다. 전처리를 수행하고 나면 참조영상 뷰와 비교영상 뷰에 각각 도시한다. 각 뷰의 토글버튼으로 전처리 전후 영상을 전환하여 도시한다(Fig. 5).

OGCSBN_2022_v38n6_4_1955_f0004.png 이미지

Fig. 5. Implementation result of Image pre-processing function

3) 영상정합

본 프로토타입 프로그램에서는 참조영상을 기준으로 비교영상을 정합영상으로 변환하여 비교분석한다. 정합 방법은 모델기반 방법과 화소기반 방법을 제공한다. 모델기반 방법은 Normalized Cross-correlation (NCC) 알고리즘이며, 화소기반 방법은 Geoscience Extended Folki (Gefolki) 알고리즘(Brigot et al., 2016)을 제공한다. 정합 방법을 선택한 후 “영상정합” 메뉴를 선택하면 정합영상이 생성되며, 정합영상 뷰에 도시가 된다. 정합영상 뷰에는 참조영상과 정합영상이 함께 도시되어 두 영상간 정합 정도 및 변화를 육안으로 확인 가능하다(Fig. 6).

OGCSBN_2022_v38n6_4_1955_f0006.png 이미지

Fig. 6. Implementation result of Image co-registration function.

참조영상과 정합영상간 도시방법에는 중첩뷰, 링크뷰, 그리고 two channel multi-view (2CMV) 기능을 제공한다(Fig. 7). 중첩뷰는 참조영상 레이어 위에 정합영상 레이어를 중첩하여 도시하는 방법이다. 정합영상의 투명도를 조절하여 참조영상과의 정합 정도를 육안으로 확인한다(Fig. 7(a)). 링크뷰는 마우스의 움직임에 따라 참조영상과 정합영상의 레이어 영역이 변경되어 도시된다. 화면 좌측에는 참조영상이 도시되고 우측에는 정합영상이 도시된다(Fig. 7(b)). 2CMV뷰는 참조영상과 정합영상을 컬러밴드 조합으로 도시하는 방법이다. Red 색상 레이어에 정합영상을 Cyan 색상 레이어에 참조영상으로 구성하였다. 정합영상의 신호가 강한 곳은 Red 색상(새로 생성된 지역일 가능성이 높음)이 강하게 나타나고, 참조영상의 신호가 강한 곳은 Cyan 색상(사라진 지역일 가능성이 높음)이 강하게 나타난다(Fig. 7(c)).

OGCSBN_2022_v38n6_4_1955_f0007.png 이미지

Fig. 7. Implementation result of (a) overlaid image transparency adjustment function, (b) linkview fuction, and (c) 2CMV function.

4) 변화탐지 및 알림

참조영상과 정합영상간의 변화탐지 연산을 통하여 변화영상을 생성한다. 본 프로토타입 프로그램에서는 Amplitude Change Detection (ACD) 기반 변화를 탐지하고, 변화영상을 생성하기 위하여 차(difference) 연산과 비(ratio) 연산을 제공한다. 변화영상에 컬러테이블을 적용하여 새롭게 나타난 객체는 Red, 사라진 객체는 Blue, 변화가 없는 객체나 지역은 Green 색상이 강하게 도시되도록 하였다(Fig. 8).

OGCSBN_2022_v38n6_4_1955_f0008.png 이미지

Fig. 8. Implementation result of difference image generation function.

탐지영상은 Cell Average Constant False Alarm Rate (CA-CFAR; Finn and Johnson, 1968) 알고리즘을 기반으로 생성한다. 설정한 오경보확률(Probability False Alarm, PFA)을 만족하는 변화객체를 탐지하며, 참조영상과 정합영상의 신호강도를 비교하여 정합영상에서 새롭게 나타난(appeared) 객체와 사라진(disappeared) 객체를 구분하여 생성한다. 탐지영상에서 새롭게 나타난 객체는 흰색으로 표시되며, 사라진 객체는 검정색으로 도시된다(Fig. 9).

OGCSBN_2022_v38n6_4_1955_f0009.png 이미지

Fig. 9. Implementation result of change detection function.

변화알림(change cueing)을 위하여 변화탐지된 객체에 대하여 Oriented Bounding Box를 생성하여 도시하는 기능을 제공한다. 탐지영상에서 객체의 색상에 따라 사라진 객체는 Cyan 색상으로, 새롭게 나타난 객체는 Red 색상으로 Box가 표시된다(Fig. 10).

OGCSBN_2022_v38n6_4_1955_f0010.png 이미지

Fig. 10. Implementation result of change cueing function.

5) 부가 기능

본 프로토타입 프로그램에서는 부가기능으로 참조영상과 비교영상의 영영/영상의 중첩률, 속성값의 차이 등을 보여주는 메타데이터 비교 기능을 제공한다(Fig. 11(a)). 또한 구글 지도 상에서의 참조영상을 도시하는 기능을 제공하며 지도위에서 영상의 지리적 위치를 확인할 수 있다(Fig. 11(b)). 이 밖에도 영상정합처리가 끝난 후 정합의 성능을 정량적으로 평가하는 기능을 제공한다. 정합영상의 품질평가 알고리즘은 Feature-similarity (FSIM)을 적용하여 분석한다(Morrone and Burr, 1988; Kim and Lee, 2021). 정합성능평가 처리가 끝나면 하단의 로그창에 정합성능지표가 도시된다. 성능지표는 0~1 사이의 값으로 높은 값일수록 정합성능이 높다고 할 수 있다. 그리고 영상입력 및 작업영역 설정 단계가 완료된 이후부터 변화알림 단계까지 순차적으로 일괄처리하는 기능, 각 단계에서의 파라미터 설정값들을 변경할 수 있는 기능(Fig. 11(c)), 각 단계별 결과에 대하여 특정 형식(Tiff, shp, txt 등)을 지정하여 저장(Fig. 11(d))하는 기능을 제공한다.

OGCSBN_2022_v38n6_4_1955_f0011.png 이미지

Fig. 11. Implementation result of (a) metadata comparison function, (b) image display in Google Maps, (c) option setting fuction, and (d) save result function.

4. 프로토타입 프로그램 적용 시험

본 다중시기 KOMPSAT-5 SAR 위성영상의 자동 변화 탐지알림 프로토타입 프로그램에 대하여 적용 시험을 수행하였다. 입력 자료로 KOMPSAT-5로 도심지역 및 해상 지역을 촬영한 영상과 The CARABAS-II challenge problem의 영상 데이터를 활용하였다. 이하 세부절에서는 프로토타입 프로그램의 적용 시험 결과에 대해 설명한다.

1) The CARABAS-II challenge problem 영상

CARABAS-II challenge problem 데이터셋은 2002년 스웨덴에서 열린 대규모 비행 캠페인에서 수집된 자료이다. 이 캠페인의 목적은 VHF SAR 데이터를 수집하여 나뭇잎으로 가져진 표적에 대한 VHF 대역 변화탐지 성능을 평가하기 위한 데이터셋을 제공하는 것이다. CARABAS-II VHF SAR 시스템은 3.3 m–15 m 사이의 파장을 가지는 20–80 MHz의 HH 편파를 사용하고 2.5 × 2.5 m의 해상도를 가지는 영상을 형성한다(Lundberg et al., 2006). 해당 데이터셋은 공개 데이터로 미 공군 연구소(Air Force Research Laboratory, AFRL) 웹사이트 (https://www.sdms.afrl.af.mil)에서 획득이 가능하다. 따라서 다양한 SAR 변화탐지 알고리즘 개발 연구에서 해당 데이터셋을 많이 활용하고 있다. 촬영된 장소는 스웨덴 최북단에 위치한 군사 테스트 범위인 RFN Vidsel 으로 대부분 숲으로 이루어져 있다. 숲 가운데 탐지해야 할 목표물은 25대의 차량으로서 4.4 × 1.9 × 2.2 m (길이 × 너비 × 높이) 크기의 TGB11 모델 10대, 6.8 × 2.5 × 3.0 m 크기의 TGB30 모델 8대, 7.8 × 2.5 × 3.0 m 크기의 TGB40 모델 7대로 구성되어 있다(Lundberg et al., 2006).

Fig. 12는 참조영상과 비교영상에서의 목표물의 위치이다. 참조영상에서 목표물의 위치(영상에서 좌상단)가 비교영상에서의 위치(영상에서 우하단)로 이동하였다. 변화탐지를 위해 각 처리 단계별 입력 파라미터로는 Table 2와 같다.

OGCSBN_2022_v38n6_4_1955_f0012.png 이미지

Fig. 12. The position of the target in (a)the reference image and (b) comparison image.

Table 2. Image processing parameters of the CARABASII challenge problem dataset

OGCSBN_2022_v38n6_4_1955_t0003.png 이미지

Fig. 13은 시험영상의 변화영상 및 변화탐지알림(Bounding Box)의 결과이다. 변화영상에서 목표물의 위치가 사라진 부분은 파란색으로 강조되어 나타나고, 새롭게 나타난 부분은 빨간색으로 강조되어 나타난다. SAR 영상의 스펙클 노이즈의 영향으로 오탐지 알림 객체가 존재하나 찾고자 하는 탐지대상 물체의 위치를 빠짐없이 찾아냈다.

OGCSBN_2022_v38n6_4_1955_f0013.png 이미지

Fig. 13. Automatic change detection and cueing result using CARABAS-II dataset: (a) difference image generation result and (b) target’s cueing result with rotated bounding box in change detection Image.

2) KOMPSAT-5 HDF 영상 - 도심지 변화탐지

KOMPSAT-5 SAR위성으로광주광역시,전남나주시,전남 화순군을 아우르는 지역을 촬영한 영상을 활용하였으며, 참조영상(2021-04-04)과 비교영상(2022-04-03)은 모두 L1D HDF 영상이며, 약 1년 정도의 촬영시기 차이가 난다. 본 프로토타입 프로그램을 통해 메타데이터 비교한 결과 두 영상 간 영역/영상 중첩률은 각각 99.07%, 98.92%이다. 관심 지역으로 광주의 도심지를 지정하여 자동변화탐지알림 처리를 수행하였다. 작업영역은 크기는 약 5,058 × 5,058 픽셀 이다. 각 처리 단계별 입력 파라미터로는 Table 3과 같다. 화소기반 영상정합 방법을 적용하였으며, FSIM을 이용한 정합 정도의 측정값은 약 0.9393이다.

Table 3. Imageprocessingparametersofdowntownchange detection input KOMPSAT-5 SAR image

OGCSBN_2022_v38n6_4_1955_t0004.png 이미지

OGCSBN_2022_v38n6_4_1955_f0014.png 이미지

Fig. 14. KOMPSAT-5 SAR image for downtown change detection: (a) input KOMPSAT-5 SAR image and AOI setting area, (b) cropped reference image, and (c) cropped comparison image.

Fig. 15는 변화영상과 변화탐지알림 결과이다. 시가지에서의 작은 크기의 탐지 객체들은 스펙클 뿐만 아니라 자동차의 위치, 가로수의 변화 등의 이유로 오탐지율이 증가한다. 약 1년 정도의 시기 차이에서 도시 정비 사업으로 실제 아파트 등의 건축물이 생기거나 주택, 상가 등의 건축물이 사라진 경우도 관찰할 수 있다. 보다 정확한 결과를 도출하기 위해서는 추가 실험을 통해 최적의 파라미터를 찾는 연구가 필요하다.

OGCSBN_2022_v38n6_4_1955_f0015.png 이미지

Fig. 15. Automatic change detection and cueing result using KOMPSAT-5 dataset in downtown area: (a) difference image generation result and (b) target’s cueing result with rotated bounding box in change detection Image.

3) KOMPSAT-5 HDF 영상 - 해상 변화탐지

미국 샌프란시스코 지역을 촬영한 KOMPSAT-5 SAR 위성영상을 입력영상으로 사용하였다. 입력영상은 L1D HDF 영상이며, 참조영상(2021-01-30)과 비교영상(2022-04-23)은 시기적으로 약 1년 3개월의 차이가 난다. 본 프로토타입 프로그램을 통해 메타데이터 비교한 결과 두 영상 간 영역/영상 중첩률은 각각 85.08%, 86.57%이다. 관심지역으로 샌프란시스코 만(San Fransisco Bay) 바다 지역을 설정하였으며 선박들의 위치 변화에 대한 자동변화탐지알림 처리를 수행하였다(Fig. 16). 각 처리 단계별 입력 파라미터로는 Table 4와 같다. 화소기반 영상정합 방법을 적용하였으며, FSIM을 이용한 정합 정도의 측정값은 약 0.75467이다. 해안가 지역은 정합하기 위한 특징점이 다소 부족하다고 할 수 있다. 그래서 오정합 확률을 줄이기가 시가지보다 다소 어려운 경향이 있다.

OGCSBN_2022_v38n6_4_1955_f0016.png 이미지

Fig. 16. KOMPSAT-5 SAR image for maritime change detection: (a) input KOMPSAT-5 SAR image and AOI setting area, (b) cropped reference image, and (c) cropped comparison image.

Table 4. Imageprocessingparameters of maritime change detection input KOMPSAT-5 SAR image

OGCSBN_2022_v38n6_4_1955_t0004.png 이미지

Fig. 17은 변화영상과 변화탐지알림 결과이다. Fig. 17(a)는 변화영상으로 파란색으로 강조된 객체들이 참조영상에서의 선박의 위치이며, 빨간색으로 강조된 객체들이 비교영상에서의 선박의 위치이다. Fig. 17(b)는 참조영상에서의 변화객체의 Bounding Box 영상이다. SAR 영상의 특성상 고스트 효과, 선박 웨이크(wake) 등에 의해 오탐지 객체들이 함께 탐지되는 단점이 보이지만 변화된 선박의 유무를 확인할 수 있다. 마찬가지로 보다 정확한 결과를 도출하기 위해서는 추가 실험을 통해 최적의 파라미터를 찾는 연구가 필요하다.

OGCSBN_2022_v38n6_4_1955_f0017.png 이미지

Fig. 17. Automatic change detection and cueing result using KOMPSAT-5 dataset in maritime area: (a) difference image generation result and (b) target’s cueing result with rotated bounding box in change detection image.

4) 프로토타입 프로그램 영상 크기별 처리시간

임의의 KOMPSAT-5 L1D SAR 영상에 대해서 각 크기별 처리 시간을 측정하였다. Non-local mean (NLM) 필터는 주로 speckle 형태의 랜덤 노이즈를 제거하는데 효율적이라고 알려져 있으나 다른 필터에 비해 상대적으로 처리시간이 오래 걸리는 단점이 있다. 영상정합의 모델기반 방법은 두 영상의 특정 영역을 추출하여 매칭변환 모델을 구하기 때문에 모든 화소가 연산 대상이 되지 않는다. 영상이 커짐에 따라 처리시간에 있어서는 선형적으로 증가하지 않는다. 적용시험을 수행한 컴퓨터의 사양은 Intel (R) Core (TM) i7-10700 CPU @ 2.90GHz, Memory 32.0 GB이다.

Table 5는 KOMPSAT-5 L1D SAR 영상크기별 처리시간 결과이다. 적용시험에 사용된 전처리 필터의 크기는 평균 필터는 5 × 5 픽셀, 중간값 필터는 5 × 5 픽셀, NLM 필터는 7 × 7 픽셀에 search area 21 × 21 픽셀로 설정하였다. KOMPSAT-5 영상에 작업영역을 5,000 × 5,000 픽셀로 설정할 경우, 최소 4분 11초에서 최대 11분 1초가 소요되는 것으로 확인하였다. 본 프로토타입 프로그램에 적용된 영상의 전처리, 정합, 변화탐지 등의 알고리즘은 KOMPSAT-5 등의 대용량 SAR 영상을 처리하는데 많은 컴퓨터 자원과 연산 시간이 소요된다. 현재는 국지적인 관심지역만을 리사이징하여 변화탐지를 수행하면서 그 단점을 보완하고 있다. 향후 대용량 영상의 변화탐지를 위한 병렬처리 방법이나 효율적인 알고리즘 개발 등이 필요할 것으로 보인다.

Table 5. Processing time by input images size

OGCSBN_2022_v38n6_4_1955_t0006.png 이미지

5. 결론

본 연구에서는 독자적인 SAR 자동변화탐지알림 기술을 확보하고 우리나라 위성정보활용협의체와 같은 공공분야 기관의 실무자가 실무에 국내 KOMPSAT-5 SAR 위성영상을 활용하는 것을 촉진하기 위해 실무에 활용 가능한 다중시기 KOMPSAT-5 SAR 위성영상의 자동변화탐지알림 프로토타입 프로그램을 개발하였다. SAR 자동변화탐지알림을 위해 각 처리 단계에 따라 단계별로 요구되는 기능을 상세히 분석하였으며, 이를 프로토타입 프로그램으로 구현하였다. 다중시기 위성 SAR 영상의 전처리, 영상정합 등 변화탐지의 기반이 되는 알고리즘을 구현하여 효과적인 변화탐지가 되도록 하였다. 실제 사용자 중심의 인터페이스를 지원함으로써 사용자가 빠르고 편리하게 사용할 수 있도록 개발하였다. 현재 운용중인 KOMPSAT-5의 SAR 영상자료를 활용하여 자동변화탐지알림 기능을 지원하는 소프트웨어의 기반을 마련하였으며, 향후 KOMPSAT-6 및 군집형 SAR 위성체계 활용의 기초를 마련하였다.

본 연구의 산출물(알고리즘 및 프로토타입 프로그램)은 향후 위성정보활용협의체 기관에서 불법 선박 조기 탐지, 불법 건축물 탐지, 광역 재난 피해 확인 등에 활용할 수 있을 것으로 예상한다. 본 프로토타입 프로그램의 실무에서의 적용을 위하여 향후 자동변화탐지알림 알고리즘 고도화, 대용량 영상의 변화탐지를 위한 병렬처리 방법이나 효율적인 알고리즘 개발 등이 필요할 것으로 보인다.

사사

이 연구는 한국항공우주연구원 “정부위성정보활용 협의체 지원(FR22J00)” 주요사업의 일환으로 수행되었습니다.

The authors appreciate the support that this study has received from “Government Satellite Information Application Consultation Support (FR22J00)”

References

  1. Baek, W.-K. and H.-S. Jung, 2019. A Review of Change Detection Techniques using Multi-temporal Synthetic Aperture Radar Images, Korean Journal of Remote Sensing, 35(5-1): 737-750 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2019.35.5.1.10
  2. Bazi, Y., L. Bruzzone, and F. Melgani, 2005. An unsupervised approach based on the generalized Gaussian model to automatic change detection in multitemporal SAR images, IEEE Transactions on Geoscience and Remote Sensing, 43(4): 874-887. https://doi.org/10.1109/TGRS.2004.842441
  3. Bazi, Y., L. Bruzzone, and F. Melgani, 2007. Image thresholding based on the EM algorithm and the generalized Gaussian distribution, Pattern Recognition, 40(2): 619-634. https://doi.org/10.1016/j.patcog.2006.05.006
  4. Brigot, G., E. Colin-Koeniguer, A. Plyer, and J. Fabrice, 2016. Adaptation and evaluation of an optical flow method applied to coregistration of forest remote sensing images, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 9(7): 2923-2939. https://doi.org/10.1109/JSTARS.2016.2578362
  5. Buades, A., B. Coll, and J.M. Morel, 2005. A non-local algorithm for image denoising, Proc. of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR' 05), San Diego, CA, Jun. 20-25, vol. 2, pp. 60-65. https://doi.org/10.1109/CVPR.2005.38
  6. Canty, M.J., A.A. Nielsen, K. Conradsen, and H. Skriver, 2019. Statistical analysis of changes in Sentinel-1 time series on the Google Earth Engine, Remote Sensing, 12(1): 46. https://doi.org/10.3390/rs12010046
  7. Finn, H.M. and R.S. Johnson, 1968. Adaptive detection mode with threshold control as a function of spatially sampled clutter-level estimates, Rca Review, 29: 414-465.
  8. Kang, A.R., Y.G. Byun, and T.B. Chae, 2015. Development and evaluation of a texture-based urban change detection method using very high resolution SAR imagery, Korean Journal of Remote Sensing, 31(3): 255-265 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2015.31.3.5
  9. Kim, S. and W.D. Lee, 2021. Feasibility Study on FSIM Index to Evaluate SAR Image Co-registration Accuracy, Korean Journal of Remote Sensing, 37(5-1): 847-859 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2021.37.5.1.2
  10. Lundberg, M., L.M. Ulander, W.E. Pierson, and A. Gustavsson, 2006. A challenge problem for detection of targets in foliage, Proc. of Algorithms for Synthetic Aperture Radar Imagery XIII, Orlando, FL, May 17, vol. 6237, pp. 160-171. https://doi.org/10.1117/12.663594
  11. Morrone, C. M. and D. C. Burr, 1988. Feature detection in human vision: A phase-dependent energy model, Proceedings of the Royal Society of London B, 235(1280): 221-245. https://doi.org/10.1098/rspb.1988.0073
  12. Novak, L.M., 2013. Advances in SAR Change Detection: North Atlantic Treaty Organization, https://pdfs.semanticscholar.org/ca6a/1c9304d6c8f336b6b83c5d2c2f1fc67af4a1.pdf?_ga=2.116652038.167531275.1570096722-1930553474.1559270058, Accessed on Nov. 10, 2022.
  13. Washaya, P., T. Balz, and B. Mohamadi, 2018. Coherence change-detection with sentinel-1 for natural and anthropogenic disaster monitoring in urban areas, Remote Sensing, 10(7): 1026. https://doi.org/10.3390/rs10071026