DOI QR코드

DOI QR Code

A Study on Evaluating the Possibility of Monitoring Ships of CAS500-1 Images Based on YOLO Algorithm: A Case Study of a Busan New Port and an Oakland Port in California

YOLO 알고리즘 기반 국토위성영상의 선박 모니터링 가능성 평가 연구: 부산 신항과 캘리포니아 오클랜드항을 대상으로

  • Park, Sangchul (Department of Marine Science & Convergence Engineering, Hanyang University) ;
  • Park, Yeongbin (Department of Remote Sensing, Underwater Survey Technology 21 Corp.) ;
  • Jang, Soyeong (Department of Remote Sensing, Underwater Survey Technology 21 Corp.) ;
  • Kim, Tae-Ho (Department of Remote Sensing, Underwater Survey Technology 21 Corp.)
  • 박상철 (한양대학교 해양융합공학과) ;
  • 박영빈 ((주)유에스티21 원격탐사팀) ;
  • 장소영 ((주)유에스티21 원격탐사팀) ;
  • 김태호 ((주)유에스티21 원격탐사팀)
  • Received : 2022.12.12
  • Accepted : 2022.12.20
  • Published : 2022.12.31

Abstract

Maritime transport accounts for 99.7% of the exports and imports of the Republic of Korea; therefore, developing a vessel monitoring system for efficient operation is of significant interest. Several studies have focused on tracking and monitoring vessel movements based on automatic identification system (AIS) data; however, ships without AIS have limited monitoring and tracking ability. High-resolution optical satellite images can provide the missing layer of information in AIS-based monitoring systems because they can identify non-AIS vessels and small ships over a wide range. Therefore, it is necessary to investigate vessel monitoring and small vessel classification systems using high-resolution optical satellite images. This study examined the possibility of developing ship monitoring systems using Compact Advanced Satellite 500-1 (CAS500-1) satellite images by first training a deep learning model using satellite image data and then performing detection in other images. To determine the effectiveness of the proposed method, the learning data was acquired from ships in the Yellow Sea and its major ports, and the detection model was established using the You Only Look Once (YOLO) algorithm. The ship detection performance was evaluated for a domestic and an international port. The results obtained using the detection model in ships in the anchorage and berth areas were compared with the ship classification information obtained using AIS, and an accuracy of 85.5% and 70% was achieved using domestic and international classification models, respectively. The results indicate that high-resolution satellite images can be used in mooring ships for vessel monitoring. The developed approach can potentially be used in vessel tracking and monitoring systems at major ports around the world if the accuracy of the detection model is improved through continuous learning data construction.

한국 수출입의 99.7%는 해상운송이 차지하고 있으며, 항만의 효율적 운영을 위해 해운 물류 모니터링 시스템 개발 필요성이 대두되고 있다. 현재 automatic identification system (AIS)를 기반으로 선박의 정보를 조회하여 해상 물동량 추정 연구가 진행되고 있지만, AIS를 운영하지 않는 선박들에 대한 모니터링은 불가능하다는 한계가 있다. 고해상도 광학 위성 영상은 광역의 범위에서 AIS 미운영 선박 및 소형 선박을 식별할 수 있기 때문에 AIS 기반 물동량 모니터링의 공백을 보완할 수 있다. 그러므로 선박 및 물동량 모니터링에 활용하기 위해, 고해상도 광학 위성영상에서 선박을 탐지하고 화물선 및 소형 선박을 분류하는 연구가 필요하다. 본 연구는 초기 국토위성영상을 이용하여 생산된 학습 자료 기반으로 인공지능 모델을 훈련시키고 다른 영상에서 탐지를 수행함으로써, 국토위성영상의 딥러닝 학습 자료 생산 및 선박 모니터링 활용 가능성을 알아보고자 하였다. 학습 자료는 황해 및 황해 주요 항만 구역 내 선박들을 추출하여 제작했으며, You Only Look Once (YOLO) 알고리즘을 사용하여 탐지 모델은 구축하고 국내외 주요 항만 각 1개소를 대상으로 선박 탐지 성능을 평가하였다. 항만 접안 및 해상 정박중인 선박을 대상으로 탐지 모델에 적용한 결과를 AIS의 선종 정보와 비교하였고, 국내 항만에서 85.5%와 89%, 국외 항만에서 70%의 선종 분류 정확도를 확인하였다. 본 연구 결과는 정박중인 선박을 중심으로 고해상도 국토위성영상을 활용하여 모니터링이 가능함을 확인하였다. 향후 지속적인 학습 자료 구축을 통해 탐지 모델의 정확도를 향상시킨다면 전세계 주요 항만에서 선박 및 물동량 모니터링 분야에 활용할 수 있을 것으로 기대된다.

Keywords

1. 서론

대한민국의 수출입 화물 99.7%가 항만을 통해서 처리되고 있으며 최근 해상 교역량 급증에 따라 항만의 효율적 운영과 물동량 예측이 중요하게 부각되고 있다(Kim et al., 2022). 해상 운송량 모니터링은 국가 경상수지 분석, 해운 시황분석 등을 위한 데이터로 사용될 뿐만 아니라 현물시장 참여 선박 조사, 항만 운영계획 수립의 기초가 된다(Hwang et al., 2019). 특히 물동량 분석을 통한 항만 운영 효율화는 선박의 입항 대기 시간과 해상 운임비를 감소시킬 수 있다. 이에 로스앤젤레스, 뉴욕, 상하이 등 국외 주요 항만을 대상으로 항만 혼잡도 및 선박 대기시간 예측 등의 정보를 인터넷(Seaxplorer disruption indicator: https://home.kuehne-nagel.com/)에 공개하여, 항만 운영 및 선박 운항 계획 수립에 도움을 주고 있다. 한국의 경우 주요 항만을 대상으로 지상 수신 automatic identification system (AIS) 실측 자료를 분석해 항만 주변 해상교통 혼잡도 평가 및 해상교통관제 효율성 제고 측면에서 연구가 진행되어 왔다(Yoo et al., 2013). 기존 지상 관측 시스템은 고주파 신호(30–300 MHz)를 사용하여 최대 50해리까지 근거리 통신만 가능하며, 전파 환경에 따른 음영구역이 존재한다. 음영구역을 해소하거나 해상 교통량 증가에 따라 신규 기지국과 운영국을 추가적으로 설치해야 하는 등 비용 문제가 있다(Lee et al., 2011; Seo et al., 2005).

지난 20여 년간, 광범위하고 접근하기 어려운 지역에 대해 인공위성의 활용성이 높아짐에 따라 위성 영상을 이용하여 지속적인 해양 감시체계 구축 및 해상 물동량 데이터 수집을 고도화하기 위한 선박 탐지 연구가 진행되고 있다(Benteset al., 2018; Bo et al., 2021; Kim et al., 2018; Kim et al., 2020; Kwon and Shin, 2009; Lee et al., 2012; Lin et al., 2019; Park et al., 2018; Park et al., 2022a; Sharifzadeh et al., 2019; Suh et al., 2002). 외 국 에 서 는 Europe Space Agency를 중심으로 Sentinel-1, 2를 이용해 주요 해운 항로를 촬영하여 위성 영상을 통한 실시간 선박 탐지 시스템을 운용하고 있으며, 노르웨이의 Kongsberg 회사는 다종 위성영상 자료에 딥러닝 알고리즘을 적용하여 AIS가 식별되지 않는 선박들을 탐지하고 분석한 서비스를 제공함으로써 해양 안보 강화에 기여하고 있다. 국내에서는 위성 영상의 분광 특성 임계값을 이용하여 선박 탐지 알고리즘을 설계하는 연구가 다수 진행되어 왔다(Lee et al., 2012; Park et al., 2018). IRS-1C 위성의 전정색 밴드(panchromatic band, PAN) 영상에서 선박의 GPS 위치, 크기, 모양 등을 확인하여 한국 남해와 제주지역을 중심으로 선박의 수와 위치를 파악하거나, 아리랑위성 2호(KOrea Multi-Purpose SATellite-2, KOMPSAT-2)의 다중 분광 밴드(multi-spectral band, MS)의 반사도 값을 활용한 새로운 선박탐지 지수를 제시하여 국내 광양만 연안 해역의 선박을 탐지한 사례가 있다(Park et al., 2018; Suh et al., 2002). 합성개구레이더(SyntheticAperture Radar, SAR) 영상 자료를 이용한 선박 탐지 연구로는 해수와 선박의 반사 특성에 따른 화소 강도(pixel intensity) 차이를 이용해 선박의 형체를 탐지하거나, 동일편파위상차이(co-polarized phase difference)를 통해 선박의 위치를 식별하고 AIS와의 정합을 통한 선박 탐지 연구가 진행되어 왔다(Kwon and Shin, 2009; Lee et al., 2012).

광학 및 SAR 위성을 이용한 연구들은 위성 영상의 분광 특성을 반영하여 탐지 알고리즘에 반영하다 보니 특정 영상에 국한되어 사용할 수밖에 없으며, 적용범위 및 효율성이 떨어진다. 그러나 컴퓨터 비전(computer vision)기술 발전과 다종의 인공위성 운영으로 대량의 위성 영상이 생산됨에 따라 인공지능 학습의 여건이 마련되었고, 다양한 딥러닝 기법을 이용한 선박 탐지 기술이 연구되고 있다(Kim and Kang, 2021). Convolution Neural Networks (CNN), You Only Look Twice (YOLT), Faster-Regions with Convolutional Neural Networks (Faster-RCNN) (Ren et al., 2016) 등 다양한 딥러닝 모델을 광학 및 SAR 위성영상에 적용하였을 때 60% 이상의 탐지율을 보여주고 있으며, 기존의 객체 탐지 기술과 딥러닝 기법을 융합한 알고리즘 개발 연구가 지속됨에 따라 선박 탐지 정확도와 자료처리 속도는 점차 향상되고 있다(Bentes et al., 2018; Bo et al., 2021; Kim and Moon, 2021; Lin et al., 2019; Park et al., 2022a; Sharifzadeh et al., 2019; Shermeyer and Van Etten, 2019).

선박 탐지 딥러닝 모델을 제작하기 위해 기존의 극궤도 고해상도 광학위성영상을 사용한다면 고해상도 영상을 대량으로 확보하기 어렵다는 문제가 있다(Kim and Kang, 2021; Park et al., 2022b). 특히, 선행연구에서 이용한 위성영상은 주문촬영 방식 또는 관측 주기 (아리랑위성 2호: 약 28일, Sentinel-1A/B: 약 6일)때문에, 절대적인 영상의 수 및 시간 해상도가 낮아 지속적인 모니터링에 부적합하다. 또한 정밀한 선박 식별을 하기 위해서는 높은 공간 해상도의 영상이 필요하나, 대부분의 고해상도 광학위성 자료는 유료로 제공되어 영상 수집 비용이 많이 발생한다는 단점이 있다. 무상으로 제공되는 Sentinel-2 광학 영상의 공간 해상도는 선박을 식별하기 어려운 10–60 m이며 저해상도 영상을 고해상화 시키는 작업에 따른 시간이 소요된다(Lee et al., 2021; Park et al., 2022b). 그러므로 기존의 자료를 사용하여 높은 정확도와 저비용 조건에서 딥러닝 기반 선박 및 물류 모니터링 연구는 어려운 실정이다.

국토위성(Compact Advanced Satellite 500-1, CAS500-1)은 대한민국의 차세대중형위성으로서 국토지리정보원(National Geographic Information Institute)에서 운영하며, 고해상도 광학위성 영상을 국토정보플랫폼(http://map.ngii.go.kr/mn/mainPage.do)에 무료로 공개하고 있다. 이 위성은 2 m 이하의 공간 해상도를 가지고, 촬영각도 변경을 통해서 4.6일만에 동일 지역 재촬영이 가능하다. 국토위성 영상자료는 상대적으로 공간 해상도가 높아, 영상 구매에 따른 비용과 고해상화 작업 시간을 줄일 수 있다. 또한 짧은 재촬영 주기로 대량의 영상 생산이 가능하므로 인공지능 분석을 위한 학습 데이터 제작에 적합하다. 그러므로 고해상도의 국토위성 영상자료를 선박모니터링 분야에 활용한다면 저비용으로 선박 탐지 정확도 향상 및 선종 분류 연구가 가능하게 되었다는 측면에서 의미가 있다. 또한 생산될 국토위성 영상을 누적하여 학습시킬 경우 한반도 전 해역에서 주기적인 항만 모니터링이 가능할 것으로 사료된다.

본 연구에서는 항만 주변 묘박지에서 컨테이너 선을 대상으로 국토위성영상을 활용한 선박 탐지를 수행했으며, 선박을 식별하는 기존 연구들과 달리 4개 선종(컨테이너선, 벌크선, 유조선, 소형선박)에 대한 선종 분류를 수행하였다. 황해 및 황해의 주요 항만이 촬영된 영상자료에서 선박 이미지를 추출해 선박 탐지 학습 자료를 제작하였다. 성능 평가를 위해 제작한 학습 자료를 이용하여 You Only Look Once (YOLO) 선박 탐지 모델을 구축하고, 부산 신항과 오클랜드항이 촬영된 국토위성과 아리랑위성 3호(KOrea Multi-Purpose SATellite-3, KOMPSAT-3) 영상에 적용하였다. AIS 정보와 YOLO 탐지 결과를 비교하여 선박 탐지 정확도와 선종 분류 정확도를 산출함으로써 국토위성 영상의 선박 모니터링 가능성을 평가하고자 하였다.

2. 연구지역에 대한 가용 자료 및 이론적 배경

1) 사용 위성 및 연구 지역

본 연구에서는 국토지리정보원에서 제공받은 국토 위성 영상과 한국항공우주연구원(Korea Aerospace Research Institute)에서 제공받은 아리랑위성 3호 영상을 수집하였다. 학습 자료를 제작하기 위해 국토위성 표준영상 L1R 자료를 사용하였고, 국내외 주요 항만의 선박 모니터링 가능성을 평가하기 위해 정밀정사보정 된 국토위성의 L2G 자료와 방사 보정된 아리랑위성 3호 L1R 자료를 사용하였다. 국토위성, 아리랑 3호 위성은 Advanced Earth Imaging Sensor System-Compact (AEISS-C) 센서와 Advanced Earth Imaging Sensor System (AEISS) 센서를 각각 탑재하여 전정색 밴드에서 각각 0.5 m와 0.7 m, 다중 분광 밴드의 경우 2 m와 2.8 m의 공간해상도를 제공한다. 국토위성과 아리랑 위성 3호는 재방문주기가 28일로 동일하며, 관측폭(swath width)은 각각 12 km와 16 km이다(Lee et al., 2017) (Table 1).

Table 1. Characteristics of the CAS500-1 and KOMPSAT-3

OGCSBN_2022_v38n6_1_1463_t0001.png 이미지

학습 자료 영상은 황해와 황해 주요 항만을 중심으로 촬영되었으며(Fig. 1(a), (b)), 2022년 5월부터 9월까지의 186개의 영상을 판독하여 선박이 포함된 56장의 영상을 선별해냈다. 성능평가를 위한 테스트 영상은 2022년 4월 20일과 2022년 6월 2일에 부산 신항과 주변 해역을 중심으로 촬영한 국토위성 영상(Fig. 1(c)) 2장과 2022년 1월 23일에 오클랜드항의 묘박지를 UTC 기준 21시 16분 03초, 21시 17분 18초에 각각 촬영된 아리랑위성 3호 영상 2장을 수집하였다(Fig. 1(d)). 각 자료에서 육안으로 탐지된 선박은 컨테이너선, 벌크선, 유조선, 소형 선박이며 항해, 해상 정박, 병렬 계류, 항만 접안 등의 다양한 선박 운용 상황이 발견되었다(Table 2).

OGCSBN_2022_v38n6_1_1463_f0001.png 이미지

Fig. 1. Research area and satellite images (a)–(c) represent CAS500-1 and (d) represent KOMPSAT-3: (a) Yellow Sea (2022.05.22, 02:19:11 (UTC)), (b) Container Port in Yellow Sea (2022.09.10, 02:20:26 (UTC)), (c) Busan New Port (2022.06.02, 01:57:27 (UTC)), and (d) San Francisco Anchorage nearby Oakland port, California (2022.01.23, 21:16:03 (UTC)).

Table 2. List of CAS500-1 and KOMPSAT-3 images used in the study

OGCSBN_2022_v38n6_1_1463_t0002.png 이미지

2) AIS 자료

AIS는 선박-선박, 선박-육지 간에 선박의 운항 정보를 자동으로 송수신하는 무선 통신 항해장비이다. 2006년 부터 50톤 이상의 선박에 AIS 설치를 의무화했으며, 해양수산부는 고시 2016-13을 통해 총 톤수 10톤 이상, 장축 길이 45 m 이상인 어선까지 설치 대상을 확대하였다(MOF, 2016). AIS는 지상 또는 위성 수신기를 통해 정보가 수집되며, 선박의 위치, 선속, 선박식별번호(Maritime Mobile Service Identity, MMSI), 제원 등의 정보를 알 수 있다(Kim et al., 2016; Kim et al., 2018). 위치정보 전송, 통신 채널 관리 등 메시지 목적에 따라 2초-360초 안에서 전송 주기가 달라지며, 항만 접안 및 해상 정박 상황에서는 3분의 송신 간격으로 위치 정보를 전송한다(Lee et al., 2013).

본 연구에서 사용한 선박의 AIS 정보는 Marine Traffic (https://www.marinetraffic.com/) 웹사이트에서 조회했으며, 위성 영상의 촬영 시각, 지역을 고려하여 AIS의 타임스탬프가 일치 또는 최근접 시각의 선박 위치, MMSI, 선종 정보 등을 다운로드했다. 조회한 AIS 정보는 레이블링(labeling)을 실시할 때 선종 정보를 사용했으며, 탐지 모델 적용 단계에서 선종 분류 정확도 산출에 이용하였다.

3) 객체 탐지 알고리즘

위성영상에서 선박의 위치를 탐지(localization)하고 선박을 식별(classification)하는 기술을 객체 탐지(object detection)라고 한다. 전통적인 형태의 객체 탐지 알고리즘은 탐지하고자 하는 그리드 영역을 의미하는 window를 좌에서 우로 이동시키면서 객체를 인식하는 Siding window 방식이 있으며, 최근에는 딥러닝 네트워크에 CNN이 개발됨에 따라 높은 수준의 객체 검출 성능을 보여주고 있다(Kim and Moon, 2021).

객체 탐지 알고리즘은 1단계 객체 탐지(1-stage object detection)와 2단계 객체 탐지(2-stage object detection)로 나눠 발전해 왔다. 1단계 객체 탐지는 YOLO, Single Shot multibox Detector (SSD), Retina-Net과 같은 알고리즘이 있으며, 탐지와 식별을 동시에 수행하므로 탐지 속도가 빠르지만 정확도가 다소 낮다는 특징이 있다(Lin et al., 2017; Liu et al., 2016; Kim and Moon, 2021; Redmon and Farhadi, 2018). 반면에, 2단계 객체 탐지는 RCNN, Fast RCNN, Faster RCNN 등이 있으며, 탐지와 식별을 순차적으로 나눠서 수행함으로 비교적 탐지 속도가 느리지만 정확도가 1단계 객체 탐지에 비해 높다는 특징이 있다(Girshick, 2015; Girshick et al., 2014; Ren et al., 2016).

4) YOLO 알고리즘

선박 탐지를 위한 딥러닝 객체 탐지 알고리즘으로 YOLO를 선정하고 학습을 진행하였다. YOLO version 3 (YOLOv3)의 경우 선행 연구에서 사용되었던 Faster-RCNN 등에 비해 간단한 모델 구조를 갖고 있어 탐지 속도가 Faster-RCNN보다 5배 이상 빠르고, 동일 시간 내에 많은 양의 자료를 처리할 수 있다(Hui, 2018). 따라서 탐색된 객체 정보를 데이터베이스에 빠르게 저장 및 불러올 수 있고, 향후 선박 모니터링 서비스와 연계하고자 YOLO 알고리즘을 선택하였다. 본 연구에서는 YOLOv3 보다 객체 탐지 속도와 정확도가 개선되고, 인용 횟수가 많은 YOLO version 5 (YOLOv5)를 사용하는 것이 적합하다고 판단하였다.YOLOv5는 backbone (0–9)과 head (10–23)로 이루어져 있으며(Fig. 2), Focus 모듈, Conv 모듈, C3 모듈, SPPF 모듈 등으로 backbone과 head가 구성된다(Park and Kim, 2022).

OGCSBN_2022_v38n6_1_1463_f0002.png 이미지

Fig. 2. The architecture of the YOLOv5.

YOLOv5은 n (nano), s (small), m (medium), l (large), x(xlarge)로 나눠져 있으며, 순서대로 네트워크 크기 및 복잡성이 증가한다. 네트워크 복잡도에 따라 높은 연산량이 요구되지만 정확도가 증가하므로, 본 연구에서는 가장 높은 정확도를 보인 YOLOv5x 모델을 사용하였다.

3. 연구방법

항만 주변 해역에서 국토위성 영상의 선박 탐지 활용 가능성을 평가해 보고자 국토위성 영상만을 사용하여 선박 탐지 및 분류 모델을 제작하고자 하였다. 영상 자료의 R/G/B 밴드를 QGIS (https://www.qgis.org/) 공간 정보 분석 소프트웨어를 통해 합성하고, 영상에서 선박을 육안으로 식별해 선박 중심 좌표를 정리하였다. 위성 영상 촬영 시간과 근접한 시각의 AIS를 조회하여 선종 정보를 매칭하였으며, AIS가 조회되지 않는 선박은 육안 판독 기준을 적용하여 선종을 추정하였다. 팬샤프닝(pansharpening)과 클리핑(clipping) 기법을 통해 융합된 위성영상에서 선박의 이미지를 추출한 후 선종 당 선박 비율 조정 및 선박 이미지 증강(augmentation), 레이블링을 실시하여 학습 자료를 제작하였다. 이를 이용하여 YOLO 모델을 학습시킨 후 국내외 항만과 주변지역이 촬영된 국토위성, 아리랑위성 3호 영상에 적용하였다. 항만과 주변 묘박지에서 선박을 탐지한 결과와 AIS 비교를 통해 선종 분류 정확도를 평가하고, 오탐지된 객체에 대해 원인 분석을 수행하였다(Fig. 3).

OGCSBN_2022_v38n6_1_1463_f0003.png 이미지

Fig. 3. Flowchart of ship detection. CAS500-1 images were processed through QGIS software.

1) 선종 분류 및 선박 이미지 추출

국토위성 L1R 영상의 R/G/B 밴드를 합성 후 영상에서 육안으로 벌크선, 컨테이너선, 유조선, 소형선박을 식별하여 선박 중심부의 좌표에 대한 리스트를 작성하였다. Marine Traffic 웹사이트를 통해 위성 영상 촬영 시각 전후 20분 사이의 AIS 정보를 다운로드했으며, Vessel Type Detailed 정보를 기준으로 영상에서 식별한 선박 리스트와 61% 매칭시켰다(Table 3). 나머지 AIS가 조회되지 않는 선박은 대체로 항만 접안 및 해상 정박 중인 선박들이었으며, AIS 정적 정보에 선종이 입력되지 않은 선박들은 Table 4의 기준을 적용하여 육안 판독 후, 가중치의 합이 80 이상을 충족하는 선종으로 최종 식별하였다(Table 5).

Table 3. List of simplified criteria of vessel types

OGCSBN_2022_v38n6_1_1463_t0003.png 이미지

Table 4. Ship classification criteria for visual reading

OGCSBN_2022_v38n6_1_1463_t0004.png 이미지

Table 5. Result of matched vessel types

OGCSBN_2022_v38n6_1_1463_t0005.png 이미지

선박 이미지는 위성 영상 원본에서 클리핑을 통해 제작되었으며, YOLOv5 기본 입력 사이즈인 640 × 640으로 클리핑 할 경우 길이가 400 m에 가까운 일부 대형 컨테이너 선박의 형태가 절단되었다. 이를 방지하고자 선박의 중심부 좌표를 기준으로 상하좌우 512픽셀의 버퍼를 포함하는 1024 × 1024 사이즈의 추출된 이미지를 만들었다. 만들어진 선박 이미지를 공일차보간법(bilinear interpolation)을 이용해 팬샤프닝 하였다. 이후 R/G/B 밴드별 평균과 표준편차에 10을 곱한 값의 합이 최댓값 255 (uint 8 기준)가 되도록 정규화하여 색감을 변화시켰다. 클리핑 된 1024 × 1024 사이즈의 학습 자료 이미지를 YOLOv5의 네트워크를 변형시키기 않고 최적의 학습 속도를 유지하기 위해 640 × 640의 기본 입력 사이즈로 변환하였다.

2) 추출된 이미지에 대한 증강 및 레이블링 방법

적은 데이터에 보정 효과를 통해서 데이터의 규모와 다양성을 증가시키는 것을 이미지 증강이라 하며, 과적합(overfitting)을 줄이고 클래스의 불균형 문제를 해결할 수 있다. 딥러닝 모델을 학습시키기 위해서는 각각의 이미지 속 객체의 위치와 크기, 클래스 정보를 알려주는 주석 파일이 필요하며, 파일을 제작하는 과정을 레이블링이라 한다. 본 연구에서는 컴퓨터 비전 기술을 이용해 다양한 딥러닝 학습 자료를 만들 수 있도록 지원해주는 서비스인 Roboflow (https://roboflow.com/)에서 데이터 증강 및 레이블링 작업을 수행하였다.

선종 정보가 매칭된 259장의 선박 이미지에 대해 컨테이너선 및 유조선을 증강하고, 소형선박을 제거시켜 선박이 105±10 척이 되도록 클래스의 밸런스를 맞추었다. 비율이 조정된 전체 선박 이미지에 상하좌우 임의 반전(random flip) 및 ±45° 임의 회전(random rotation), ±25% 임의 채도 및 노출 조정(random saturation and exposure)등 7가지 기법으로 9배 증강시킨 후 레이블링을 실시하였다(Fig. 4). 최종적으로 2,994장의 선박 이미지가 생성되었고, 학습 및 검증, 테스트 데이터의 비율을 86:13:1로 설정 후 무작위로 이미지를 분류하여 학습 자료를 구축하였다(Table 6).

OGCSBN_2022_v38n6_1_1463_f0004.png 이미지

Fig. 4. Image data augmentation process though Roboflow program: (a) original image, (b) applied random rotate and flip effect, and (c) applied saturation, exposure, and noise effect.

Table 6. Changes number of ships per class through class balancing and augmentation

OGCSBN_2022_v38n6_1_1463_t0006.png 이미지

3) 테스트 자료 제작

테스트 자료는 항만 접안 및 해상 정박 상황에서 선박 탐지 모델의 성능을 평가하기 위해 부산 신항과 오클랜드항 묘박지가 촬영된 국토위성, 아리랑위성 3호 영상을 선정하였다. 두 자료는 공간 해상도가 유사하여 해상도가 객체 탐지에 미치는 영향을 최소화할 수 있다(Seong et al., 2021; Song et al., 2019). 위성 영상을 팬샤프닝한후, 학습 자료 제작 방식과 같은 1024×1024 사이즈로 슬라이스 하여 국토위성 영상 2장에서 총 1,568개의 이미지, 아리랑위성 3호 영상 2장에서 총 960개 이미지를 얻었다. 이후 YOLOv5의 기본 inference size와 동일하게 640 × 640 사이즈로 변환하였다. 이는 두 위성 영상의 공간해상도 차이를 감소시키고, 테스트 자료의 선박 크기를 학습 자료와 유사하게 조정함으로써 탐지 오류를 줄이고자 하였다.

4) 모델 성능 평가

모델 학습에 대한 성능 평가는 평균 정밀도(Average Precision, AP)를 이용해 수행했으며, AP는 실제데이터와 예측 데이터의 부합 정도를 나타내는 지표이다. 예측 값이 얼마나 정확한지를 판단하는 정밀도(Precision)와 실제 값을 얼마나 맞췄는지 판단하는 재현율(Recall)을 식(1)과 식(2)를 통해 각각 구할 수 있으며, Table 7의 오차 행렬(Confusion matrix) 값이 사용된다. 각 클래스 별로 정밀도-재현율 커브(Precision-Recall Curve) 그래프를 그렸을 때 커브 아래의 면적 값이 각 클래스의 AP를 의미하며, 모든 클래스의 AP 값을 합하고 클래스의 개수로 나눠줬을 때 Mean Average Precision (mAP)을 구할 수 있다. mAP 값이 높을수록 모델의 성능이 평균적으로 우수함을 의미한다(Kim and Moon, 2021; Park et al., 2022b).

Table 7. Confusion matrix and meaning of each cell

OGCSBN_2022_v38n6_1_1463_t0008.png 이미지

YOLO 알고리즘은 참값의 바운딩 박스(ground truth bounding box, Bgt)와 예측 바운딩 박스(predict bounding box, Bp)간 겹치는 부분을 의미하는 Intersection over Union (IoU) 계산을 통해 객체 탐지가 진행되며(식(3)), IoU=0.5부터 선박과 선종이 분류되기 시작한다. 그러므로 IoU가 0.5 이상일 때 정확도 mAP_0.5를 구하여 모델의 성능을 평가하였다.

\(\begin{aligned}Precision\;=\frac{TP}{TP+FP} \end{aligned}\)       (1)

\(\begin{aligned}Recall\;=\frac{TP}{TP+FN} \end{aligned}\)      (2)

\(\begin{aligned}\operatorname{IoU}=\frac{\operatorname{area}\left(\mathrm{B}_{\mathrm{p}} \cap \mathrm{B}_{\mathrm{gt}}\right)}{\operatorname{area}\left(\mathrm{B}_{\mathrm{p}} \cup \mathrm{B}_{\mathrm{gt}}\right)}\\\end{aligned}\)       (3)

4. 결과

1) YOLOv5 학습에 따른 정밀도 및 재현율 분석

본 연구의 YOLO 기반 선박 탐지 모델은 CPU는 i5-12400F, 2.5 GHz 및 GPU는 RTX 3060 Ti, CUDA 11.7, CuDNN v7.5.1 설치 환경에서 파이썬(Python)으로 작성된 YOLOv5x 모델을 활용하여 학습하였다. 학습을 위한 파라미터는 batch=2, epochs=260, Learning rate=0.01, Optimizer=Stochastic Gradient Descent (SGD)로 설정하였다. 학습된 모델의 성능은 Precision, Recall, mAP 값으로 평가하였고, Patel et al. (2022)에서 YOLOv5의 성능 결과(Precision=0.63, Recall=0.70, mAP=0.65)와 비교 시, mAP가 0.03 하회하는 결과가 나왔다(Table 8). 이는 학습 자료수와 클래스 개수 차이에 의해 비롯되었다고 판단된다.

Table 8. Result of evaluating the detection model performance

OGCSBN_2022_v38n6_1_1463_t0007.png 이미지

2) 테스트 자료에 선박 탐지 모델 적용 결과

모델의 탐지 성능을 확인하기 위해 학습 시 사용하지 않은 테스트 자료에 적용해 보았으며, Fig. 5는 국내외 항만 연구 관심 지역, Fig. 6은 부산 신항 일대에서 오탐지 된 사례를 나열하였다.

OGCSBN_2022_v38n6_1_1463_f0005.png 이미지

Fig. 5. Detected container ships (pink box), bulk ships (red box), oil tankers (orange box), and small ships (yellow box). (a)–(b) was taken Busan New Port, (c) was taken Busan New Port Anchorage and (d)–(e) was taken San Francisco Anchorage. (a) 2022.04.20, 01:57:13 (UTC), (b) 2022.06.02, 01:57:27 (UTC), (c) 2022.06.02, 01:57:27 (UTC), (d) 2022.01.23, 21:16:03 (UTC), and (e) 2022.01.23, 21:17:18 (UTC).

OGCSBN_2022_v38n6_1_1463_f0006.png 이미지

Fig. 6. Examples of detection errors in Busan New Port region: (a) change the shape of ship due to image slicing process, (b) misdetection of the rock with oil tanker and small ship, (c) misdetection of the small ship and wakes with an oil tanker, (d) misdetection of the aquaculture facilities with a small ship, and (e) undetected.

Fig. 5(a)–(b)의 경우 부두에 접안하여 안벽 크레인을 사용해 양·적하 과정 중의 선박을 탐지한 결과이다. 항만 컨테이너 야적장과 접안 된 컨테이너 선박의 픽셀 값이 비슷해, 선박을 탐지하지 못하거나 야적된 컨테이너를 선박으로 잘못 탐지하는 사례가 발생했다. Fig. 5(c)의 경우 부산 신항의 묘박지에 정박되어 있는 컨테이너 선박을 탐지한 결과이며, 선종이 옳게 예측이 되었다. 그러나 주변 해역 내 너울과 후류(ship wake)의 픽셀 값이 주변 바다의 픽셀과 차이가 커서, 소형선박으로 오탐지 하는 사례가 다수 발생했다. Fig. 5(d)–(e)의 경우 오클랜드항 묘박지를 대상으로 선박을 탐지한 결과이며, 선박 주변에 클래스 예측을 방해하는 픽셀이 적고 바다와 선박 간 구분이 분명하여 IoU 0.7 이상으로 선종 분류가 진행되었다. 그러나 유조선과 소형선박이 붙어있는 경우 유조선만 탐지되었으며, 이는 각 선박의 경계가 분간되지 않아 하나의 선박만 인식한 것으로 판단된다.

Fig. 6(a)의 경우에는 테스트 자료를 제작하는 과정에서 형체 일부분이 절단된 선박이 존재하며, 선박 전체가 나올 수 있게 슬라이스 사이즈를 조정한다면 선종 분류 확률이 증가할 것으로 판단된다. Fig. 6(b)는 암초를 소형선박으로 예측된 결과이며, 소형 선박과 동일한 배경 및 크기를 갖고 있어 오탐지된 것으로 판단된다. Fig. 6(c)에는 이동 중인 선박에 의해 만들어진 후류 픽셀과 소형선박 픽셀이 혼합되어 있어 오탐지된 결과이다. 프로펠러에 의해 만들어진 Turbulent Wake의 궤적이 뚜렷하고 소형선박과 픽셀이 연결되어 있어 FeatureExtractor 단계에서 특징이 하나의 객체로 잘못 추출되었으며, 유조선의 픽셀 패턴과 비슷하다. 그러므로 연쇄적으로 Bounding box와 클래스가 잘못 예측되었을 것으로 판단된다. Fig. 6(d)–(e)는 양식 시설물을 소형선박으로 잘못 예측되거나 소형선박이 탐지 되지 않은 사례가 있다. YOLO 알고리즘은 특성상 소형 객체에 대한 탐지가 어렵다는 한계가 존재하며, 학습된 모델에서 소형선박에 대한 mAP_0.5 정확도(Table 8)가 0.358로 낮아 오탐지된 것으로 판단된다.

3) 국토위성과 아리랑위성 3호 영상자료별 AIS 통합분석 결과

선종 별 선종 분류 정확도(Classification accuracy by vessel type)는 탐지 결과(Total No. of targets)와 AIS 정보(Total No. of AIS)를 매칭시켰을 때 좌표가 동일한 선박(Overlapped targets)과 선종이 옳게 매칭된 선박(Correctly-matched)을 비교했으며, 식(4)와 같다. 전체 선박 탐지 정확도(Total detection accuracy)는 AIS와 좌표가 동일한 선박들의 합을 전체 AIS 정보 개수와 비교한 것으로, 식(5)와 같다. 전체 선종 분류 정확도(Total classification accuracy)는 식(4)에 좌표가 동일한 선박과 선종이 옳게 매칭된 열을 각각 합하여 대입한 것으로, 식(6)과 같다.

\(\begin{aligned}Classification\; accuracy \; by\; Vessel \; type \\\; \frac{Correctly-matched}{Overlapped \; targets} \times 100 \end{aligned}\)       (4)

\(\begin{aligned}Total \; detection \; accuracy\\=\frac{\sum \text { Overlapped targets }}{\sum \text { Total No. AIS }} \times 100\\\end{aligned}\)       (5)

\(\begin{aligned}Total \; classification \; accuracy\\=\frac{\sum \text { Correctly }-\text { matched }}{\sum \text { Overlapped targets }} \times 100\\\end{aligned}\)       (6)

Kim et al. (2018) 에서는 SAR 영상에 알고리즘을 적용하여 선종 구분 없이 탐지된 선박의 위치와 AIS 좌표 정보를 매칭시켜 선박 탐지 정확도(90%, 60%)를 산출하였다. 본 연구에서는 선행 연구와의 탐지 성능을 비교하기 위해 선박 탐지 정확도를 산출했으며 본 연구에서는 최소 66%, 최대 93%가 나와 기존 연구 데이터보다 상회한 결과를 얻었다(Table 9).

Table 9. Calculated result of total detection and classification

OGCSBN_2022_v38n6_1_1463_t0009.png 이미지

부산 신항 지역에서 분류된 선종은 AIS와 YOLO 알고리즘 결과를 통해 선종 분류 정확도를 산출 시 각각 82%, 89% 값을 보였으며, 탐지하고자 하는 컨테이너선의 선종 분류 정확도의 경우 모두 정상적으로 분류해냈다(Table 10, 11). 일부 오탐지는 작은 크기의 벌크선과 유조선을 소형선박으로 분류하는 것에서 나타났으며, 이는 초기 레이블링 단계에서 기준값으로 사용한 AIS의 정적 정보 오류 입력에 기인한 것으로 판단된다.

Table 10. The matched result with AIS data by ship detection and classification in Busan New Port, 2022.04.20, 01:57:13 (UTC)

OGCSBN_2022_v38n6_1_1463_t0010.png 이미지

Table 11. The matched result with AIS data by ship detection and classification in Busan New Port, 2022.06.02, 01:57:27 (UTC)

OGCSBN_2022_v38n6_1_1463_t0011.png 이미지

오클랜드항 주변 묘박지에서 분류된 Table 12, 13에서는 70%의 선종 분류 정확도를 보였으며, 컨테이너선과 유조선을 벌크선으로 오탐지 하는 사례가 있었다. 이는 슬라이스 과정에서 발생한 선박 형태의 변형에 의해 오탐지가 발생되었다. 또한 학습된 이미지의 해상도보다 아리랑위성 3호의 해상도가 낮아 선체 구조 픽셀 패턴 인식에 영향을 미쳤을 것으로 판단된다.

Table 12. The matched result with AIS data by ship detection and classification in San Francisco Anchorage, 2022.01.23, 21:16:03 (UTC)

OGCSBN_2022_v38n6_1_1463_t0012.png 이미지

Table 13. The matched result with AIS data by ship detection and classification in San Francisco Anchorage, 2022.01.23, 21:17:18 (UTC)

OGCSBN_2022_v38n6_1_1463_t0013.png 이미지

5. 결론 및 토의

본 연구는 항만 주변 해역에서 주기적인 해운 물동량 모니터링을 하고자 컨테이너 선박을 포함하는 56장의 국토위성 영상만을 이용하여 학습 자료를 생산하고 딥러닝 모델을 시범 개발하였다. 기존의 선박 탐지 연구들보다 빠른 탐지 성능을 갖추고 선종을 분류하기 위해 YOLO 알고리즘을 이용했으며, 탐지 결과와 AIS 정보를 비교하여 학습된 모델의 검출 정확도를 평가하였다.

그 결과, 모델 성능 평가에서 mAP_0.5=0.62의 성능이 나왔고, 테스트 자료에 적용하여 선박 탐지 가능성을 확인하였다. 테스트 자료에서 최소 66%, 최대 93%의 선박 탐지 정확도가 나왔으며, 국토위성 영상에서 양식 시설물, 후류, 너울을 대상으로 오탐지 결과가 다수 발생하였다. 반면 아리랑위성 3호는 분광 해상도 차이로 후류, 너울을 표현하는 픽셀이 바다의 픽셀과 비슷하여 선박이 아닌 객체를 선박으로 잘못 인식하는 비율이 낮았지만, 선종을 잘못 분류하는 경우가 많았다. 탐지 오류를 줄이기 위해 학습 자료 추가 제작 및 테스트 자료의 육지 마스킹이 필요하며, 해상 부유물, 너울, 후류로 인한 오탐지 선박의 감소 추가연구가 필요하다. 위성영상 해상도와 연구 지역 차이에 따른 선종 분류 정확도 비교에서 국토위성 테스트 자료의 경우 82%와 89%의 선종 분류 정확도를 보였으나, 학습 자료보다 해상도가 낮은 아리랑위성 3호 테스트 자료의 경우 70%의 선종 분류 정확도를 보였다. 이는 기본적으로 상이한 센서 영상을 이용해 학습된 모델에 기인한 것이며, 국토위성의 상대적 고해상도 영상이 선박의 공간변화 특징을 분석하는데 용이하여 선박 탐지 정확도에 영향을 미친 것으로 해석된다. 이처럼 국토위성의 고해상도 영상은 선박 형태 표현이 우수해 탐지 및 분류 정확도를 향상시킬 가능성이 크며, 저비용으로 대량의 선박 딥러닝 학습 자료 구축과 국내외 항만의 선박 모니터링에 적합함을 확인하였다.

향후 국토위성 2호기 추가 운영 시 2.3일의 짧은 재촬영 주기 운영이 가능하며, 항만 현황의 주기적인 모니터링을 통해 국토위성의 자료만으로도 충분한 학습 자료의 생산이 가능할 것으로 판단된다. 추가적으로 선박 탐지 모델을 타 위성 영상에 적용했을 시 70%의 정확도가 나왔으며, 이는 국토위성과 다종 위성을 연계하여 딥러닝 학습 자료를 제작하면 다양한 해상도 학습에 기인한 정확도와 강건성 향상이 예상된다. 따라서 타 위성과의 연계를 통해 준 실시간에 가까운 모니터링이 가능할 것으로 판단되며, 다방면으로 국토위성의 활용과 파급력이 증가할 것으로 사료된다. 향후 연구에서는 본 논문에서 제안한 선박 탐지 및 분류 모델로 묘박지에서 컨테이너 선박을 가려내 구역 내 선박 밀집도 산출과 입항 대기시간 예측을 통해 항만 물류 관련 모니터링에 기여할 수 있을 것으로 기대된다.

사사

본 연구는 국토교통부/국토교통과학기술진흥원의 지원으로 수행되었습니다(과제번호 RS-2022-00155763). 또한, 국토위성과 아리랑위성 3호 영상을 제공해주신 국토지리정보원 국토위성센터 및 한국항공우주연구원에 감사드립니다.

References

  1. Bentes, C., D. Velotto, and B. Tings, 2018. Ship Classification in TerraSAR-X Images With Convolutional Neural Networks, IEEE Journal of Oceanic Engineering, 43(1): 258-266. https://doi.org/10.1109/JOE.2017.2767106
  2. Bo, L., X. Xiaoyang, W. Xingxing, and T. Wenting, 2021. Ship detection and classification from optical remote sensing images: A survey, Chinese Journal of Aeronautics, 34(3): 145-163. https://doi.org/10.1016/j.cja.2020.09.022
  3. Girshick, R.B., 2015. Fast R-CNN, arXiv preprint arXiv: 1504.08083. https://doi.org/10.48550/arXiv.1504.08083
  4. Girshick, R.B., J. Donahue, T. Darrell, and J. Malik, 2013. Rich feature hierarchies for accurate object detection and semantic segmentation, arXiv preprint arXiv:1311.2524. https://doi.org/10.48550/arXiv.1311.2524
  5. Hui, J., 2018. Object detection: speed and accuracy comparison (Faster R-CNN, R-FCN, SSD, FPN, RetinaNet and YOLOv3), https://jonathan-hui.medium.com/what-do-we-learn-from-region-based-object-detectors-faster-r-cnn-r-fcn-fpn-7e354377a7c9, Accessed on Dec. 9, 2022.
  6. Hwang, S., H. Lee, G. Choi, and B. Kim, 2021. Estimation of Seaborne Trade Volume based on AIS Data, Korea Maritime Institute, Busan, Republic of Korea.
  7. Jeong, J., T.H. Kim, and C.S. Yang, 2016. Construction of real-time remote ship monitoring system using Ka-band payload of COMS, Korean Journal of Remote Sensing, 32(3): 323-330 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2016.32.3.10
  8. Kim, D. and K. Lee, 2020. Forecasting the Container Volumes of Busan Port using LSTM, Journal of Korea Port Economic Association, 36(2): 53-62 (in Korean with English abstract). https://doi.org/10.38121/kpea.2020.06.36.2.53
  9. Kim, D., Y.-K Lee, and S.-W. Kim, 2020. Ship Detection Based on KOMPSAT-5 SLC Image and AIS Data, Korean Journal of Remote Sensing, 36(2-2): 365-377 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2020.36.2.2.11
  10. Kim, J. and H. Moon, 2021. A model development for object detection and classification at sea using modified YOLO v4, Journal of the Military Operations Research Society of Korea, 47(2): 13-25 (in Korean with English abstract).
  11. Kim, J., D. Ryoo, and H. Nam, 2022. A Study on Forecasting of Small & Medium Sized Container Port Throughput in South Korea Using Prophet Model: Focused on Incheon, Pyeongtaek-Dangjin and Ulsan Port, The Journal of Humanities and Social Sciences, 13(4-1): 561-576 (in Korean with English abstract). https://doi.org/10.22143/HSS21.13.1.40
  12. Kim, T.H., J. Jeong, and C.S. Yang, 2016. Construction and Operation of AIS System on Socheongcho Ocean Research Station, Korean Journal of Coastal Disaster Prevention, 3(2): 74-80 (in Korean with English abstract). https://doi.org/10.20481/kscdp.2016.3.2.74
  13. Kim, S.-W., D.-H. Kim, and Y.-K. Lee, 2018. Operational Ship Monitoring Based on Integrated Analysis of KOMPSAT-5 SAR and AIS Data, Korean Journal of Remote Sensing, 34(2-2): 327-338. https://doi.org/10.7780/kjrs.2018.34.2.2.3
  14. Kim, Y. and K. M. Kang, 2021. A Study on the Utilization of SAR Microsatellite Constellation for Ship Detection, Korean Journal of Remote Sensing, 37(3): 627-636 (in Korean with English abstract). https://doi.org/10.7780/KJRS.2021.37.3.21
  15. Kwon, H., S. Jeong, S. Kim, J. Lee, and K. Sohn, 2022. Deep-learning based SAR Ship Detection with Generative Data Augmentation, Journal of Korea Multimedia Society, 25(1): 1-9 (in Korean with English abstract). https://doi.org/10.9717/KMMS.2022.25.1.001
  16. Kwon, S.-J. and S.-W. Shin, 2009. Study on the Ship Detection Method Using SAR Imagery, Journal of the Korean Association of Geographic Information Studies, 17(1): 131-139 (in Korean with English abstract).
  17. Lee, C. and J. Noh, 2010. An Empirical Study on Improving Competitiveness of Korean Shipping Industry, Journal of Korea Port Economic Association, 26(3): 259-278 (in Korean with English abstract).
  18. Lee, K., Y. Kim, and H. Choi, 2017. KOMPSAT Image Processing and Applications, Korean Journal of Remote Sensing, 33(6-3): 1171-1177 (in Korean with English abstract). https://doi.org/10.7780/KJRS.2017.33.6.3.1
  19. Lee, K.Y., S.-H. Hong, B.-Y. Yun, and Y.-S. Kim, 2012. Vessel Detection Using Satellite SAR Images and AIS Data, Journal of the Korean Association of Geographic Information Studies, 5(2): 103-112 (in Korean with English abstract). https://doi.org/10.11108/KAGIS.2012.15.2.103
  20. Lee, S.H., H.G. Park, K.H. Kwon, B.H. Kim, M.Y. Kim, and S.H. Jeong, 2021. Robust Ship Detection using Deep Learning based Object Detection and Post Processing, Proc. of 2021 the Korean Society of Surveying, Geodesy, Photogrammetry, Jeju, Nov. 4-6, vol. 2021, pp. 53-57 (in Korean with English abstract).
  21. Lee, S.-J., J.-S. Jeong, M.-Y. Kim, and G.-K. Park, 2013. A Study on Real-time Message Analysis for AIS VDL Load Management, Journal of Korean Institute of Intelligent Systems, 23(3): 256-261 (in Korean with English abstract). https://doi.org/10.5391/jkiis.2013.23.3.256
  22. Lee, W.-Y., J.-C. Choi, J.-S. Lee, S.-R. Lee, and Y.-W. Lee, 2011. Detection Probability Evaluation of LEO Satellites based Automatic Identification System for a Maritime-Terrestrial Integrated Network, The Journal of Korean Institute of Communications and Information Sciences, 36(5B): 530-538 (in Korean with English abstract). https://doi.org/10.7840/kics.2011.36b.7.868
  23. Lin, H., S. Yi, X. Mu, and L. Zhang, 2019. Ship Detection Method Based on Gabor Filter and Fast RCNN Model in Satellite Images of Sea, Proc. of the 3rd International Conference on Computer Science and Application Engineering, New York, NY, pp. 1-7. https://doi.org/10.1145/3331453.3361325
  24. Lin, T. Y., P. Goyal, R. Girshick, K. He, and P. Dollar, 2017. Focal loss for dense object detection, arXiv preprint arXiv:1708.02002. https://doi.org/10.48550/arXiv.1708.02002
  25. Liu, W., D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Fu, and A.C. Berg, 2016. SSD: Single shot multibox detector, arXiv preprint arXiv:1512.02325. https://doi.org/10.48550/arXiv.1512.02325
  26. MOF (Ministry of Oceans and Fisheries), 2016. A fishing boat and Mechanical Standards, Notification No. 2016-13, Department of Maritime Industrial Technology, Ministry of Oceans and Fisheries, Sejong, Republic of Korea.
  27. Park, J.-J., S. Oh, K.-A. Park, M.-S. Lee, J.-C. Jang, and M. Lee, 2018. A Methodology of Ship Detection Using High-Resolution Satellite Optical Image, Journal of the Korean Earth Science Society, 39(3): 241-249 (in Korean with English abstract). https://doi.org/10.5467/jkess.2018.39.3.241
  28. Park, J.W. and Y.-J. Kim, 2022a. A Study on Deep Learning Performance Improvement Based on YOLOv5, Proc. of 2022 Symposium of the Korean Institute of Communications and Information Sciences, Jeju, Jun. 22-24, vol. 2022, pp. 1592-1593 (in Korean with English abstract).
  29. Park, S., Y. Kim, and M. Kim, 2022b. Impact Analysis of Deep Learning Super-resolution Technology for Improving the Accuracy of Ship Detection Based on Optical Satellite Imagery, Korean Journal of Remote Sensing, 38(5-1): 559-570 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2022.38.5.1.10
  30. Patel, K., C. Bhatt, and P. L. Mazzeo, 2022. Deep learning-based automatic detection of ships: An experimental study using satellite images, Journal of Imaging, 8(7): 182. https://doi.org/10.3390/jimaging8070182
  31. Seo, K. Y., T. H. Hong, G. K. Park, and J. C. Choi, 2005. Analysis of Operational State and Radio Environment of AIS, Journal of the Korea Institute of Information and Communication Engineering, 9(7): 1439-1444 (in Korean with English abstract).
  32. Sharifzadeh, F., G. Akbarizadeh, and Y.S. Kavian, 2019. Ship Classification in SAR Images Using a New Hybrid CNN-MLP Classifier, Journal of the Indian Society of Remote Sensing, 47(4): 551-562. https://doi.org/10.1007/s12524-018-0891-y
  33. Shermeyer, J. and A. Van Etten, 2019. The effects of super-resolution on object detection performance in satellite imagery, Proc. of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Long Beach, CA, Jun. 16-17, pp. 1432-1441. https://doi.org/10.48550/arXiv.1812.04098
  34. Song, A., J. Kim, and Y. Kim, 2019. Change Detection for High-resolution Satellite Images Using Transfer Learning and Deep Learning Network, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 37(3): 199-208 (in Korean with English abstract). https://doi.org/10.7848/KSGPC.2019.37.3.199
  35. Suh, Y.S., C.U. Choi, N.K. Lee, B.K. Kim, and L.H. Jang, 2002. Approaching Method for Detecting Vessels in the Korean Waters using the Panchromatic Imagery of IRS-1C Satellite, Journal of the Korean Association of Geographic Information Studies, 5(4): 86-92 (in Korean with English abstract).
  36. Redmon, J. and A. Farhadi, 2018. YOLOv3: An Incremental Improvement, arXiv preprint arXiv:1804.02767. https://doi.org/10.48550/arXiv.1804.02767
  37. Ren, S., K. He, R. Girshick, and J. Sun, 2016. Faster R-CNN: Towards real-time object detection with region proposal networks, arXiv preprint arXiv:1506.01497. https://doi.org/10.48550/arXiv.1506.01497
  38. Woo, H.-G., W. Hong, and J.-W. Choi, 2021. Availability Evaluation of Object Detection Based on Deep Learning Method by Using Multitemporal and Multisensor Data for Nuclear Activity Analysis, Korean Journal of Remote Sensing, 37(5-1): 1083-1094 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2021.37.5.1.20
  39. Yoo, S.R., C.Y. Jeong, C.S. Kim, S.H. Park, and J.Y. Jeong, 2013. A Study on Evaluation of Marine Traffic Congestion based on Survey Research in Major Port, Journal of the Korean Society of Marine Environment and Safety, 19(5): 483-490 (in Korean with English abstract). https://doi.org/10.7837/kosomes.2013.19.5.483