DOI QR코드

DOI QR Code

Analysis of Ship Classification Performances Using OpenSARShip DB

OpenSARShip DB를 이용한 선박식별 성능 분석

  • 이승재 (한국항공우주연구원) ;
  • 채태병 (한국항공우주연구원) ;
  • 김경태 (포항공과대학교 전자전기공학과)
  • Received : 2018.08.31
  • Accepted : 2018.10.16
  • Published : 2018.10.31

Abstract

Ship monitoring using satellite synthetic aperture radar (SAR) images consists of ship detection, ship discrimination, and ship classification. A large number of methods have been proposed to improve the detection and discrimination capabilities, while only a few studies exist for ship classification. Thus, many studies for the ship classification are needed to construct ship monitoring system having high performance. Note that constructing database (DB), which contains both SAR images and labels of various ships, is important for research on the ship classification. In the airborne SAR classification, many methods have been developed using moving and stationary target acquisition and recognition (MSTAR) DB. However, there has been no publicly available DB for research on the ship classification using satellite SAR images. Recently, Shanghai Key Laboratory has constructed OpenSARShip DB using both SAR images of various ships generated from Sentinel-1 satellite of European Space Agency (ESA) and automatic identification system (AIS) information. Thus, the applicability of OpenSARShip DB for ship classification should be investigated by using the concepts of airborne SAR classification which have shown high performances. In this study, ship classification using satellite SAR images are conducted by applying the concepts of airborne SAR classification to OpenSARShip DB, and then the applicability of OpenSARShip DB is investigated by analyzing the classification performances.

위성 SAR 영상을 이용한 선박 모니터링은 선박탐지, 선박변별, 선박식별의 세 단계로 분류할 수 있다. 이 중 선박탐지 및 변별에 대해서는 세계적으로 많은 연구가 이루어졌으나, 선박식별에 대해서는 소수의 연구들만이 존재한다. 따라서 향후 고성능의 선박 모니터링 시스템을 구축하기 위해서는 많은 선박식별 연구가 필요한 상황이다. 선박식별 연구를 수행하기 위해서는 먼저 여러 기종의 선박에 대한 위성 SAR 영상과 이에 대응하는 선박 기종 정보를 모두 획득하여 데이터베이스(database: DB)를 구축하는 것이 중요하다. 항공 SAR 영상을 이용한 표적식별의 경우, 지상표적에 대한 미국 moving and stationary target acquisition and recognition(MSTAR) DB를 이용하여 많은 연구들이 수행되었지만, SAR 위성을 이용한 선박식별의 경우, 아직까지 공개적으로 이용 가능한 DB가 없었다. 이에 최근 중국 Shanghai Key Laboratory에서는 유럽우주국(European Space Agency: ESA)에서 운용하는 Sentinel-1 영상과 자동인식시스템(automatic identification system: AIS)으로부터 획득한 선박정보를 결합하여 선박식별 연구용 DB인 OpenSARShip DB를 구축하였다. 이에 먼저 항공 SAR 영상을 이용한 표적식별에서 높은 성능을 보였던 최근 식별 개념들을 위성 SAR DB에 적용하여 OpenSARShip DB의 활용성을 조사해볼 필요가 있다. 따라서 본 논문에서는 기존 항공 SAR 표적식별에서 높은 성능을 보였던 최근 식별 개념들을 OpenSARShip DB에 적용하여 선박식별을 수행한 후, 그 성능을 분석하여 OpenSARShip DB의 활용성을 조사한다.

Keywords

1. 서론

최근 불법어업, 피랍, 기름유출, 선박추돌 등의 여러 해양 사고에 대처하기 위해 위성 영상을 이용한 선박모니터링 시스템에 대한 연구 및 개발이 위성 선진국들을 중심으로 활발하게 이루어지고 있다(Crisp, 2004). 특히 합성개구레이다(synthetic aperture radar: SAR)위성은 광학위성과는 달리 날씨 및 주·야간에 관계없이 영상을 획득할 수 있을 뿐만 아니라, 관측범위도 넓기 때문에 이를 이용한 선박 모니터링 기술이 각광을 받고 있다. 위성 SAR 영상을 이용한 선박 모니터링은 기존 항공 SAR 영상을 이용한 자동표적인식(automatic target recognition: ATR)과 동일한 과정을 거쳐 수행되며, 이는 선박탐지, 선박변별, 선박식별의 세 단계로 분류할 수 있다. 먼저, 선박탐지 단계에서는 SAR 영상 내 존재하는 여러 물체들을 탐지하여 최종 선박에 대한 후보군을 선정한다. 다음으로, 선박 변별 단계에서는 선박탐지 과정에서 탐지된 선박 후보군 중 클러터를 탐지하여 선박 후보군에서 제거한다. 마지막으로, 선박식별 단계에서는 선박탐지 및 변별과정에서 선정한 선박표적에 대한 정확한 기종정보를 결정하여 유저에게 제공한다. 현재까지 위성SAR 영상을 이용한 선박탐지 및 변별은 세계적으로 많은 연구가 수행되어 왔지만(Brusch et al., 2005; Bentes et al., 2016; Hu et al., 2013; Leng et al., 2016a; Leng et al., 2016b; Schwegmann et al., 2016; Tello et al., 2005; Wang et al., 2014)선박식별에 대해서는 몇몇 소수의 연구만이 존재한다(Bentes et al., 2018; Jiang et al., 2016). 따라서 향후 고성능의 선박 모니터링 시스템을 구축하기 위해서는 많은 선박식별 연구가 필요한 상황이다. 선박식별 연구를 수행하기 위해서는 먼저 여러 기종의 선박에 대한 위성 SAR영상과 이에 대응하는 선박 기종 정보를 모두 획득하여 데이터베이스(database: DB)를 구축하여야 한다. 하지만 실제 DB 구축을 위한 선박의 운용비용과 SAR 위성의 영상 획득 시간 간격 등을 고려해 보았을 때, 선박식별을 위한 DB 구축은 현실적으로 어려운 점이 많다.

한편, 유럽 우주국(European space agency: ESA)에서는 전세계의 환경 및 안보 모니터링을 목적으로 다양한 Sentinel 위성 시리즈를 개발하여 운용하고 있다. 이중합성 개구 레이다(synthetic aperture radar: SAR) 위성인Sentinel-1은 C-밴드에서 동작하며, Stripmap(SM) 모드, Interferometric Wide Swath(IW) 모드, Extra Wide Swath (EW) 모드, Wave(WV) 모드 등 다양한 촬영모드를 지원한다. 또한, Sentinel-1을 통해 획득한 SAR 영상은 모든 유저들에게 공개되고 있어 활용이 점 높아질 것으로 예상된다(Torres et al., 2012).

최근 중국의 Shanghai Key Laboratory에서는 해양 감시 및 선박 식별 연구의 활성화를 위하여 “OpenSARShip” 이라는 DB를 구축하였다(Huang et al., 2018). 현재 모든 유저에게 공개되어 있는 OpenSARShip DB에는 여러 종의 선박에 대한 Sentinel-1 SAR 영상과 자동인식시스템(automatic identification system: AIS)으로부터 획득한 선박정보가 결합되어 있다. 이는 현재 공개된 유일한 선박식별 연구 DB로써 그 가치가 높고, 향후 선박식별 연구에 유용하게 활용 가능할 것으로 예상된다.

항공 SAR 영상의 경우, 미국 moving and stationary target acquisition and recognition(MSTAR) 프로그램을 통해 표적식별 연구를 위한 다량의 지상 표적 DB가 구축되어 있어, 이를 활용한 SAR ATR 연구들이 활발하게 수행되어 왔다(Chen et al., 2016; Dong et al., 2014; Noval et al., 1993; Park and Kim, 2014). 상기 연구들에서 제시한 여러 구분 기법들은 MSTAR DB에 대해 높은 표적식별성능을 보여주었다.

하지만 아직 OpenSARShip DB에 최근 제시된 식별알고리즘을 적용하여 선박식별을 수행하고, 그 성능 및 효율성에 대한 분석을 수행한 연구는 없다. Huang et al.(2018)은 몇몇 패턴인식 알고리즘을 OpenSARShip DB에 적용하여 식별실험을 수행하였으나, 최근 제시된 식별알고리즘을 이용한 성능분석은 수행되지 않았고, 식별실험에 이용한 선박 표적의 종류도 제한적이다. 따라서 최근 SAR 표적식별 연구에서 높은 성능을 보였던 식별 기법들을 OpenSARShip DB에 좀 더 다양하게 적용해보고, 그에 대한 성능 분석을 수행할 필요가 있다.

본 논문에서는 최근 SAR 표적식별 연구에서 제시되었던 식별 개념들이 OpenSARShip DB에도 적용 가능한지에 대한 실험적 분석을 수행한다. 이를 위해 먼저OpenSARShip DB에 선박식별에 적합한 전처리를 적용한다. 다음으로, 템플릿 매칭 구분기(template matching classifier: TMC)(Novak et al., 1993), 극 사상 구분기(polar mapping classifier: PMC)(Park and Kim, 2014), 희소 표현구분기(sparse representation classifier: SRC)(Dong et al., 2014), 딥 러닝 구분기(deep learning classifier: DLC)(Chen et al., 2016) 등을 이용하여 선박식별을 수행한 후, 그 성능과 효율성을 분석한다.

2. OpenSARShip DB

본 장에서는 선박식별 연구를 위해 중국 Shanghi Key Laboratoy에서 구축한 OpenSARShip DB에 대해 기술한다. OpenSARShip DB는 41개의 Sentinel-1 SAR영상들로부터 추출한 총 11346 개의 선박 SAR 영상을 기반으로 하여 구축되었다. 표적 선박은 Cargo, Tanker, Tug, Other Type 등 여러 종류의 선박을 포함한다. OpenSARShip DB에서 각 선박 SAR 영상은 AIS로부터 획득한 선박의 기종 정보와 결합되어 있어, 이를 선박식별 알고리즘 연구에 활용할 수 있다. 각 Sentinel-1 SAR영상은 IW 모드를 이용하여 획득되었고, 수직–수평(vertical-to-horizontal: VH) 편파, 수직–수직(vertical-to-vertical: VV) 편파의 두 가지 편파모드와 single look complex(SLC), ground range detected(GRD)의 두 가지 형식의 영상으로 구성되어 있다. 본 논문에서는 GRD 형식의 SAR 영상을 이용하였다. IW 모드에서 획득한GRD 영상의 경우 거리(range) 방향과 방위(azimuth) 방향의 해상도는 각각 20 m, 22 m이다. Fig. 1과 Fig. 2는 OpenSARShip DB 내 4 종의 동일한 선박들에 대해 각각VH, VV 편파모드를 이용하여 획득한 선박 SAR 영상들을 도시한다.

피1.JPG 이미지

Fig. 1. Ship SAR images in OpenSARShip DB (VH): (a) Cargo, (b) Tanker, (c) Tug, (d) Fishing.

피2.JPG 이미지

Fig. 2. Ship SAR images in OpenSARShip DB(VV): (a) Cargo, (b) Tanker, (c) Tug, (d) Fishing.

Fig. 1과 Fig. 2에서 동일한 선박이라 할지라도 다른 편파모드로 SAR 영상을 획득할 시, 선박 SAR 영상들은 상당히 다른 산란 메커니즘을 보임을 확인할 수 있고, 이는 선박식별 결과에도 영향을 줄 것임을 예측할 수 있다.

또한, OpenSARShip DB는 SNAP3.0 툴박스를 이용하여 방사보정을 수행한 선박 SAR 영상도 포함하고 있다. 방사보정을 수행할 경우, 선박 SAR 영상의 각 픽셀은 정규화 된 레이다 단면적(normalized radar cross section: NRCS)을 나타낸다. Fig. 3은 동일한 선박에 대해 방사보정을 수행하기 전과 후의 SAR 영상을 도시한다. Fig. 3에서 방사보정을 통해 부엽 및 클러터 성분이 크게 감소됨을 확인할 수 있다.

피3.JPG 이미지

Fig. 3. SAR images before and after radiometric calibration: (a) SAR image before radiometric calibration, (b) SAR image after radiometric calibrtion./strong>

3. SAR 표적식별 알고리즘

본 장에서는 SAR 영상을 이용한 선박식별을 위한 전처리 과정과 최근 높은 성능을 보이고 있는 SAR 표적식별의 개념을 간략히 기술하고자 한다.

1) 전처리 과정

레이다를 통해 표적을 관측할 시, 위성과 표적 간의 거리 차이로 인해 SAR 영상의 신호 크기는 변화할 수 있다. 따라서 SAR 영상을 이용하여 표적식별을 수행할 시, 이러한 신호 크기 변화를 제거하기 위해 먼저 각 SAR 영상에 식 (1)과 같이 정규화 과정을 수행하여야 한다.

\(I_{n}(x, y)=\frac{I(x, y)}{\sum_{x=1}^{N} \sum_{y=1}^{M} I(x, y)}\)       (1)

여기서 I(x, y)는 2차원 선박 SAR 영상, In(x, y)는 정규화 후의 선박 SAR 영상이며, N과 M은 각각 SAR 영상의거리 및 방위 방향으로의 픽셀 개수이다.

또한, 선박 촬영 시 레이다와 선박 간에 형성되는 SAR 기하구조는 SAR 영상 내 표적정보의 회전을 야기한다. 동일한 표적이라 할지라도, 미확인 물체로부터 획득하는 표적정보와 훈련 DB 내 표적정보의 회전각(rotation angle) 차이가 클 경우, 그 식별성능은 저하된다. 따라서 각 SAR 영상 내 표적정보의 회전 성분을 제거해줄 필요가 있다. 이를 위해 먼저 Fig. 4(a)와 같이 주성분 분석기법을 이용하여 표적정보의 주축(major axis)을 찾는다. 그 후, 주축이 미리 설정한 기준 축(reference axis)과 일치하도록 표적정보의 회전각(rotation angle)만큼 SAR 영상을 회전시킨다. Fig. 4는 선박 SAR 영상내 기존표적정보와 회전 성분을 제거한 표적정보를 도시한다.

피4.JPG 이미지

Fig. 4. Target response in SAR image and removal of rotational component of target response: (a) Target response in SAR image, (b) Removal of rotational component of target response.

2) SAR 표적식별

기존 항공 SAR ATR의 마지막 단계인 표적식별에 대한 연구는 주로 MSTAR DB를 이용하여 활발히 수행되어왔다. SAR 표적식별의 개념은 기존 템플릿 매칭(template matching classifier: TMC) 구분기(Novak et al., 1993), 최근 등장한 극 사상 구분기(polar mapping classifier: PMC)(Park and Kim, 2014), 희소 표현 구분기(sparse repesentation classifier: SRC)(Dong et al., 2014), 딥 러닝 구분기(deep learning classifier: DC)(Chen et al., 2016) 등의 다양한 기법들이 존재한다.

TMC는식 (2)와 같이 미확인 SAR 영상과 훈련 DB 내SAR 영상들과의 유클리디언 거리(Euclidean distance)를 계산한다.

\(d_{i}\left(\mathbf{X}_{u}\right)=\left\|\mathbf{X}_{u}-\mathbf{X}_{i}\right\|\)       (2)

여기서, xu는 미확인 표적의 SAR 영상이고, xi는 훈련DB 내 i 번째 SAR 영상이다. 그후, di(xu)를 최소로 하는 훈련 DB 내 SAR 영상의 클래스를 미확인 표적의 클래스로 결정한다. 하지만 TMC 수행 시, SAR 영상은 높은 차원을 갖기 때문에 SAR 영상을 그대로 이용한다면, 시간과 메모리 측면에서 비효율적이고, 표적식별에 소요되는 시간을 크게 증가시키게 된다. 따라서 모든 SAR영상에 2차원 주성분 분석 기법을(Yang et al., 2004) 적용하여 차원을 압축한 후, TMC를 이용하여 식별실험을 수행하였다.

PMC는 먼저 Fig. 5(a), (b)와 같이 기존 SAR 영상을 반경 r과 각도 θ로 이루어진 r–θ 극 좌표계에 리샘플링하여 새로운 극 영상 Ip(r, θ)를 형성한다. 또한, Ip(r, θ)를 r방향으로 사상시켜 Fig. 5(c)와 같이 Ir(r)을 형성한다. PMC에서는 표적식별을 위해 먼저 미확인 SAR 영상으로부터 획득한 Ir(r)과 훈련 SAR 영상으로부터 획득한 Ir(r)을 이용하여 유사도가 높은 n개의 훈련 SAR 영상들을 선택한다. 그후, 미확인 SAR로부터 형성한 Ip(r, θ)과 n개의 훈련 SAR 영상들로부터 형성된 Ip(r, θ)를 비교하여 유클리디언 거리를 최소로 하는 클래스를 미확인 표적의 클래스로 결정한다.

피5.JPG 이미지

Fig. 5. Feature vectors obtained using PMC generated from original SAR image: (a) Original SAR image, (b) Polar-mapped image Ip(r, θ), (c) Ir(r) generated from Ip(r, θ).

SRC는 최근 등장한 신호처리 기법인 압축센(compressive sensing: CS) 이론에 기반을 두고 있다. SRC의 기본 개념은 미확인 표적으로부터 형성된 SAR 영상이 훈련DB 내 동일한 클래스의 SAR 영상들의 선형조합으로 표현 가능하다는 것이다. 먼저 M×N 차원을 갖는 훈련 DB 내 SAR 영상들 및 미확인 SAR 영상을 MN×1차원으로변환한다. 다음으로, 임의사상기법을 이용하여 상기 SAR 영상들의 차원을 압축한다(Wright et al., 2009). 그후, 식 (3)과 같은 l1 최소화 문제의 해를 CS 알고리즘을 이용하여 얻는다.

\(\hat{x}_{1}=\operatorname{argmin}_{x}\|x\|_{1}, \quad \text { subject to } A_{x}=y\)       (3)

여기서 y는 차원이 압축된 미확인 SAR 영상, A는차원이 압축된 훈련 DB 내 SAR 영상들이다. 다음으로, 식(4)와 같이 gk(y)를 계산한다.

\(g_{k}(y)=\left\|y-A \delta_{k}\left(\hat{x}_{1}\right)\right\|_{2}, \quad k=1,2, \ldots, C\)(4)

여기서 C는 전체 표적 클래스의 개수이고, δk (x1)은 중에서 k번째 클래스와 연관된 부분만을 선택하는 함수이다. 이때, gk(y)의 값을 최소로 하는 클래스를 미확인 SAR 영상의 클래스로 결정한다.

DLC는 기존 신경망 식별기와 유사하지만, 여러 기능을 하는 다수의 은닉 층을 이용하여 효과적인 신경망구조를 설계할 수 있다는 장점이 있다. 현재 컨볼루션 신경망(convolutional neural networks: CNN) 개념을 기반으로 한 AlexNet(Krizhevsky et al., 2012), GoogLeNet (Szegedy et al., 2015), ResNet(He et al., 2016) 등의 많은DLC 연구가 진행되고 있으며, 최근에는 DLC를 MSTAR DB에 적용한 SAR 표적식별 연구도 수행되었다. DLC를 이용할 경우, 영상으로부터 특징벡터를 따로 추출하지 않아도 훈련 과정에서 자동적으로 식별에 적합한 특징을 습득할 수 있고, 식별 성능도 기존 신경망이나 다른 기계학습 알고리즘에 비해 우수하다고 알려져 있다. 본 연구에서는 Fig. 6과 같이 CNN을 기반으로 한 DLC를 설계한 후, 이를 OpenSARShip DB에 적용하여 선박식별을 수행하였다.

피6.JPG 이미지

Fig. 6. Structure of DLC based on CNN.

4. 시뮬레이션 결과

OpenSARShip DB는 선박의 기종에 따라 SAR 영상의 개수가 다르고, 대부분의 선박에 대해서는 10개 내외의 적은 수의 SAR 영상만이 제공된다. 따라서 선박식별을 위한 훈련 DB 및 시험 DB를 적절히 구축하기 위해, 먼저 선박 SAR 영상의 개수가 충분히 확보된 Cargo, Tug, Tanker의 3종의 선박을 선택하였다. Tg, Tanker의 경우 각각 62, 346개의 SAR 영상을 포함하며, Cargo 선박의 경우 수천 개 이상의 SAR 영상을 포함한다. 본 식별실험에서는 다른 선박과의 개수 차이를 줄여 선박식별 성능이 주로 Cargo 선박에만 의해 결정되는 현상을 막기위해, 임의로 347개의 Cargo 선박 SAR 영상만을 선택하였다. 또한, 10개 내외의 적은 수의 SAR 영상만이 존재하는 Fishing, Passenger, Pilot Vessel 등 6종의 선박SAR 영상을 이용하여 Combined Class를 구성하였고, 이를 식별 실험에 추가적으로 활용하였다. 먼저, 방사보정이 적용되지 않은 선박 SAR 영상들을 이용하여 식별실험을 수행하였다.

훈련 DB는 각 선박에 해당하는 전체 SAR 영상의75%를 임의로 선정하여 구축하였고, 시험 DB는 나머지 SAR 영상을 이용하여 구축하였다. 각 표적식별 성능은 식(5)와 같이 전체 시험 SAR 영상의 개수와 올바르게 구분한 SAR 영상의 개수의 비율로 정의하였다.

\(P_{c}=\frac{N_{c}}{N_{T}} \times 100[\%]\)       (5)

여기서 NT는 전체 시험 SAR 영상의 개수이고, Nc는 올바르게 구분한 시험 SAR 영상의 개수이다.

Table 1은 Cargo, Tug, Tanker의 3종의 선박을 선택하여 식별실험을 수행한 경우, 각 식별 기법으로 획득한 Pc를 보여준다. Table 1에서 대부분의 식별 성능은 편파모드에 따라 변화함을 볼 수 있다. 이는 Fig. 1, 2에서 보인 바와 같이 동일한 선박에 대한 SAR 영상이라 하더라도 편파모드에 따라 SAR 영상의 산란 메커니즘이 크게 변화하기 때문이다. 또한, 모든 기법들 중에서 딥 러닝기술을 이용한 DLC는 편파모드에 관계없이 가장 높은 식별 성능을 보여주고 있다. 특히, VV 편파모드의 경우, TMC, PMC를 이용한 식별 성능에 비해 10% 이상 우수한 79%의 성능을 보여주었다. 물론, Table 1에서 이용한 식별 개념들을 MSTAR DB에 적용한 연구결과들은 대부분 90% 이상의 성능을 보여주었다. 하지만 OpenSARShip DB 내선박 SAR 영상들은 일정한 방위각(azimuth angle)혹은 입사각(incidence angle)에서 획득하지 못했을 뿐만 아니라, 각 표적 선박에 대한SAR 영상의 개수도 MSTAR DB에 비해 크게 적다. 따라서 OpenSARShip DB를 활용하여 식별을 수행할 시, MSTAR DB를 활용하였을 때에 비해 그 성능이 크게 저하될 수밖에 없다. 이러한 점을 미루어 보았을 때, DLC를 이용하여 획득한 80%에 근접한 선박식별 성능은 상당히 우수한 결과라고 판단된다. 더욱이, 본 연구에서 설계한 DLC 구조가 비교적 간단하고, 신경망 구조와 손실함수(loss funtion)의 최적화를 통해 DLC의 성능 향상이 가능하다는 점을 고려해 보았을 때, DLC는 OpenSARShip DB를 활용한 선박식별 연구에 많은 발전 가능성을 보여주고 있다고 사료된다. 따라서 중국 Shanghai Key Laboratory에서 구축한 OpenSARShip DB는 향후 DLC 기반의 선박식별 연구에 효과적으로 활용될 수 있을 것이라고 판단된다. 단, Table 1의 식별 결과들은 제한된 수의 SAR 영상만을이용하여 획득하였기 때문에, 이로부터 각 알고리즘의 절대적인 성능을 판단하기는 어렵다. 각 알고리즘의 절대적인 식별 성능을 정확히 분석하기 위해서는 향후 많은 양의 추가적인 선박 SAR 영상 DB를 구축하여 분석을 수행해야 할 것이다.

Table 1. Classification performances for Cargo, Tug, Tanker ships

테1.JPG 이미지

Table 2는 선박 표적에 변화를 주어 Cargo, Combined Class, Tanker의 3 종의 선박을 선택하여 식별실험을 수행할 때의 를 보여준다. Table 2에서 모든 식별 성능은Table 1의 식별 결과에 비하여 약간 저하되었다. 이는Combined Class에 속한 각 선박의 SAR 영상 수가 적어, 적절한 훈련 DB가 구축되지 않았기 때문이라고 사료된다.

Table 2. Classification performances for Cargo, Combined Class, Tanker ships

테2.JPG 이미지

다음으로, 전처리가 선박식별에 미치는 영향을 분석하기 위해, Table 1과 동일한 선박 SAR 영상들에 대하여 전처리를 수행하지 않고 선박식별을 수행하였다. Table 3은 전처리를 수행하지 않았을 때 선박식별 성능을 보여준다. Table 3에서 전처리가 수행되지 않은 식별 성능은 Table 1의 전처리가 수행된 식별 성능에 비해 대부분 저하되는 것을 볼 수 있다. 따라서 선박식별을 수행하기전, 전처리가 수행되어야 식별 성능을 향상시킬 수 있음을 알 수 있다.

Table 3. Ship classification performances without pre - processing

테3.JPG 이미지

또한, SNAP3.0 툴박스의 방사보정에 따른 선박식별 성능을 분석하기 위해, 방사보정 된 SAR 선박 영상들에 대해서도 Table 1을 위해 이용한 선박 SAR 영상들에 방사보정 수행한 후 식별을 수행하였다. Table 4는 방사보정 된 SAR 영상들을 이용하였을 때의 선박식별 결과이다. Table 4에서 방사보정을 수행하였을 경우, 오히려 식별 성능이 감소하는 것을 볼 수 있다. 이는 방사보정과정에서 부엽 및 클러터 성분을 제거할 시, 표적정보도 손실되기 때문이라고 판단된다. SAR 영상의 경우,표적정보의 손실에 따라 그 성능이 민감하게 변화하기때문에, 부엽 및 클러터성분이 크지 않을 시, 방사보정을 적용하지 않는 것이 선박식별에 더 효과적일 것으로 사료된다.

Table 4. Ship classification performances with radiometric calibration

테4.JPG 이미지

5. 결론 및 향후 연구 방향

본 논문에서는 항공 SAR 표적식별에서 제안되었던 식별 개념들을 최근 공개된 위성 SAR 선박식별을 위한DB인 OpenSARShip DB에 적용하여 그 성능을 분석하고 OpenSARShip DB의 활용성을 조사하였다. 또한, 선박식별 전에 수행하는 전처리 기법과 SNAP3.0 툴박스를 이용한 방사보정이 선박식별 성능에 미치는 영향을 분석하였다. OpenSARShip DB를 활용한 대부분의 식별 결과에서 DLC는 다른 식별 알고리즘들에 비해 우수한 성능을 보였다. 특히, 전처리를 수행한 Cargo, Tug, Tanker의 3 종의 선박 SAR 영상에 대해서는 VV 편파모드에서 79% 이상의 높은 성능을 보여주었다. 본 연구에서 설계한 DLC 구조가 비교적 간단하고, 신경망 구조와 손실함수(loss function)의 최적화를 통해 DLC의 성능 향상이 가능하다는 점을 고려해 보았을 때, DLC는 OpenSARShip DB를 활용한 선박식별 연구에 많은 발전 가능성을 보여주고 있다고 사료된다. 따라서 중국 Shanghai Key Laboratory에서 구축한 OpenSARShip DB는 향후 DLC 기반의 선박식별 연구에 효과적으로 활용될 수 있을 것이라고 판단된다.

향후 선박식별 성능 향상을 위해 DLC의 신경망 구조 및 손실함수를 최적화하는 연구를 추가적으로 수행할 것이다. 또한, 불완전하게 구축된 DB에 의해 야기되는 식별 성능 저하를 해결하기 위해, 최근 화두가 되고있는 one-shot 학습, zero-shot 학습 등에 대한 연구도 수행할 것이다. 더욱이, 선박 식별 연구를 성공적으로 수행하기 위해 Sentinel 위성 등의 해외 위성뿐만 아니라 국내 위성을 이용하여 선박 SAR 영상 DB를 구축할 수 있는 방안을 모색할 계획이다.

References

  1. Bentes, C., D. Velotto, and B. Tings, 2018. Ship classification in TerraSAR-X images with convolutional neural networks, IEEE Journal of Oceanic Engineering, 43(1): 258-266. https://doi.org/10.1109/JOE.2017.2767106
  2. Brusch, S., S. Lehner, T. Fritz, M. Soccorsi, A. Soloviev, and B.V. Schie, 2005. Ship surveillance with TerraSAR-X, IEEE Transactions on Geoscience and Remote Sensing, 49(3): 1092-1103. https://doi.org/10.1109/TGRS.2010.2071879
  3. Bentes, C., A. Frost, D. Velotto, and B. Tings, 2016. Ship-iceberg discrimination with convolutional neural networks in high resolution SAR images, Proc. of EUSAR 2016: 11th European Conference on Synthetic Aperture Radar, Hamburg, Jun. 6-9, pp. 1-4.
  4. Crisp, D.J., 2004. The State-of-Art in Ship Detection in Synthetic Aperture Radar Imagery, DSTO information Sciences Laboratory, Edinburgh, Australia.
  5. Chen, S., H. Wang, F. Xu, and Y.Q. Jin, 2016. Target classification using the deep convolutional networks for SAR images, IEEE Transactions on Geoscience and Remote Sensing, 54(8): 4806-4817. https://doi.org/10.1109/TGRS.2016.2551720
  6. Dong, G., N. Wang, and G. Kuang, 2014. Sparse representation of monogenic signal: with application to target recognition in SAR images, IEEE Signal Processing Letters, 21(8): 952-956. https://doi.org/10.1109/LSP.2014.2321565
  7. Hu, C., L. Ferro-Famil, and G. Kuang, 2013. Ship discrimination using polarimetric SAR data and coherent time-frequency analysis, Remote Sensing, 5(12): 6899-6920. https://doi.org/10.3390/rs5126899
  8. He, K., X. Zhang, S. Ren, and J. Sun, 2016. Deep residual learning for image recognition, Proc. of 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, Jun. 27-30, pp. 770-778.
  9. Huang, L., B. Liu, B. Li, W. Guo, W. Yu, Z. Zhang, and W. Yu, 2018. OpenSARShip: A dataset dedicated to sentinel-1 ship interpretation, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 11(1): 195-208. https://doi.org/10.1109/JSTARS.2017.2755672
  10. Jiang, M., X. Yang, Z. Dong, S. Fang, and J. Meng, 2016. Ship classification based on superstructure scattering features in SAR images, IEEE Geoscience and Remote Sensing Letters, 13(5): 616-620. https://doi.org/10.1109/LGRS.2016.2514482
  11. Krizhevsky, A., I. Sutskever, and G.E. Hinton, 2012. ImageNet classification with deep convolutional neural networks, Proc. of 25th International Conference on Neural Information Processing Systems, Lake Tahoe, Nevada, Dec. 3-6, vol. 1, pp. 1097-1105.
  12. Leng, X., K. Ji, S. Zhou, X. Xing, and H. Zou, 2016a. An adaptive ship detection scheme for spaceborne SAR imagery, Sensors, 16(9): 1345. https://doi.org/10.3390/s16091345
  13. Leng, X., Y. Zhao, K. Ji, S. Zhou, and H. Zou, 2016b. A hierarchical method for ship discrimination in SAR imagery, Proc. of 2016 Progress In Electromagnetic Research Symposium, Shanghai, Aug. 8-11, pp. 3569-3574.
  14. Novak, L.M., G.J. Owirka, and C.M. Netishen, 1993. Performance of a high-resolution polarimetric SAR automatic target recognition system, The Lincoln Laboratory Journal, 6(1): 11-24.
  15. Park, J.I. and K.T. Kim, 2014. Modified polar mapping classifier for SAR automatic target recognition, IEEE Transactions on Aerospace and Electronic Systems, 50(2): 1092-1107. https://doi.org/10.1109/TAES.2013.120378
  16. Schwegmann, C.P., W. Kleynhans, B.P. Salmon, L. W. Mdakane, and R.G.V. Meyer, 2016. Very deep learning for ship discrimination in synthetic aperture radar imagery, Proc. of 2016 IEEE International Geoscience and Remote Sensing Symposium, Hamburg, Jul. 10-15, pp. 104-107.
  17. Szegedy, C., W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich, 2015. Going deeper with convolutions, Proc. of 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, Jun. 7-12, pp. 1-9.
  18. Tello, M., C. Lopez-Martinez, and J.J. Mallorqui, 2005. A novel algorithm for ship detection in SAR imagery based on the wavelet transform, IEEE Geoscience and Remote Sensing Letters, 2(2): 201-205. https://doi.org/10.1109/LGRS.2005.845033
  19. Torres, R., P. Snoeij, D. Geudtner, D. Biddy, M. Davidson, E. Attema, P. Potin, B. Rommen, N. Floury, M. Brown, I.N. Traver, P. Deghaye, B. Duesmann, B. Rosich, N. Miranda, C. Bruno, M. L'Abbate, R. Croci, A. Pietropaolo, M. Huchler, and F. Rostan, 2012. GMES Sentinel-1 mission, Remote Sensing of Environment, 120: 9-24. https://doi.org/10.1016/j.rse.2011.05.028
  20. Wright, J., A.Y. Yang, A. Ganesh, S.S. Sastry, and Y. Ma, 2009. Robust face recognition via sparse representation, IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(2): 210-227. https://doi.org/10.1109/TPAMI.2008.79
  21. Wang, C., S. Jiang, H. Zhang, F. Wu, and B. Zhang, 2014. Ship detection for high-resolution SAR images based on feature analysis, IEEE Geoscience and Remote Sensing Letters, 11(1): 119-123. https://doi.org/10.1109/LGRS.2013.2248118
  22. Yang, J., D. Zhang, A.F. Frangi, and J.Y. Yang, 2004. Two-dimensional PCA: a new approach to appearance-based face representation and recognition, IEEE Transactions on Pattern Analysis and Machine Intelligence, 26(1): 131-137. https://doi.org/10.1109/TPAMI.2004.1261097

Cited by

  1. 선박탐지를 위한 초소형 SAR 군집위성 활용방안 연구 vol.37, pp.3, 2018, https://doi.org/10.7780/kjrs.2021.37.3.21