유출유 모니터링을 위한 해경 항공 영상의 개별정사보정

Individual Ortho-rectification of Coast Guard Aerial Images for Oil Spill Monitoring

Abstract

해양에서는 선박충돌, 침몰 등으로 인하여 기름이 유출되는 사고가 간헐적으로 일어난다. 이러한 사고가 발생하였을 때 신속한 대책 마련을 위해 유출유 현황을 정확히 파악해야 한다. 이를 위해 해양경찰은 고정익비행기 또는 헬기로 대상 지역을 순찰하며 육안이나 영상 촬영을 통해 확인하는데, 유출유로 오염된 면적과 지도 상의 정확한 위치를 파악하는데 어려움이 있었다. 이에 본 연구는 유출유 현황 파악을 위해 해경에서 수집한 항공 영상을 개별적으로 지상기준점 없이 자동으로 직접 지오레퍼런싱(georeferencing)하여 정사보정하는 기술을 개발한다. 먼저, 영상 등 센서 정보를 가시화한 화면에서 지오레퍼런싱에 필요한 메타정보를 문자인식기술을 통해 추출한다. 추출된 정보를 바탕으로 영상의 외부표정요소를 결정한다. 결정된 외부표정요소를 이용해서 영상을 개별적으로 정사보정한다. 이러한 방법으로 통해 생성한 개별정사영상의 정확도는 수십 미터에서 최대 100 m 정도로 평가되었다. 지상기준점을 사용하지 않았고, 위치와 자세 센서의 관측 오차, 카메라 초점거리 등 내부표정요소의 오차를 고려할 때 상당히 양호한 수준이었다. 해양에서 유출유 오염 지역에 대한 현황 파악을 위해 적절한 수준으로 판단된다. 향후 비행 중 촬영 영상에 대한 실시간 전송이 가능해지면, 제안된 개별정사보정 기술을 통해 실시간으로 개별 정사영상을 생성할 수 있게 된다. 이를 기반으로 유출유 오염 현황에 대한 신속한 파악과 대책 수립에 효과적으로 활용할 수 있다.

Accidents in which oil spills occur intermittently in the ocean due to ship collisions and sinkings. In order to prepare prompt countermeasures when such an accident occurs, it is necessary to accurately identify the current status of spilled oil. To this end, the Coast Guard patrols the target area with a fixed-wing airplane or helicopter and checks it with the naked eye or video, but it was difficult to determine the area contaminated by the spilled oil and its exact location on the map. Accordingly, this study develops a technology for direct ortho-rectification by automatically geo-referencing aerial images collected by the Coast Guard without individual ground reference points to identify the current status of spilled oil. First, meta information required for georeferencing is extracted from a visualized screen of sensor information such as video by optical character recognition (OCR). Based on the extracted information, the external orientation parameters of the image are determined. Images are individually orthorectified using the determined the external orientation parameters. The accuracy of individual orthoimages generated through this method was evaluated to be about tens of meters up to 100 m. The accuracy level was reasonably acceptable considering the inherent errors of the position and attitude sensors, the inaccuracies in the internal orientation parameters such as camera focal length, without using no ground control points. It is judged to be an appropriate level for identifying the current status of spilled oil contaminated areas in the sea. In the future, if real-time transmission of images captured during flight becomes possible, individual orthoimages can be generated in real time through the proposed individual orthorectification technology. Based on this, it can be effectively used to quickly identify the current status of spilled oil contamination and establish countermeasures.

1. 서론

현재 해양에서는 선박간 충돌, 침몰 등의 사고로 인하여 유출유가 발생하고 있으며 유출유 사고는 해양오염을 일으키는 대표적인 원인이다. 유출유 사고 피해를 줄이기 위해서 가급적 신속하게 유출유의 규모, 위치 등을 파악해야 한다. 해상에서 발생하는 유출유는 정해진 형태 없이 신속하게 퍼져나간다. 시간이 지나면 유출유가 물을 흡수하게 되어 에멀전(emulsion)화가 진행되며 유출유의 부피가 최대 5배까지 증가할 수 있다 (Lee, 2008). 유출유 종류나 형태가 다양하고 태양각이나 기상상황에 따라 육안으로도 구분되지 않는 경우도 많다. 빠르게 확산되며 시간에 따라 부피가 크게 증가하기 때문에 가능한 신속하게 현황을 파악하고 적절한 대책을 수립해야 피해를 최소화할 수 있다. 일반적으로 항공에서 유출유를 육안 관측이나 영상 촬영 등을 통해 현황을 파악하여 대책을 마련한다. 예를 들어, 국내에서 발생한 대표적인 사고로써 많은 피해를 입혔던 태안 유출유 사고와 허베이트 스피리트호 유출유 사고는 육지로부터 각각 38 km와 70 km 떨어진 지역에서 발생하였다. 이러한 대형 사고는 보통 육지에서 멀리 떨어진 곳에서 주로 발생하기 때문에 장거리 운용이 가능한 비행체를 운용한다. 현재 우리나라 해양경찰에서는 고정익비행기나 유인헬기로 사고 지역을 순찰하며 전자광학·적외선(electro-optical [EO] · infrared [IR])센서, 스마트폰, 육안 직접 관측 등을 통해 유출유로 인한 전체 오염 영역의 현황을 파악하고 있다.

육안 직접 관측은 물론이고, EO·IR센서나 스마트폰 카메라로 촬영하는 경우에도 촬영된 영상을 온라인으로 자동으로 처리하여 분석하지 못하고 오직 육안 판독에 의지하고 있다. 육안 판독으로 인해 시간과 비용이 많이 소요되며 판독자에 따라 주관적이거나 부정확한 결과가 도출되기도 한다. 이로 인해 유출유 전체 규모나 위치를 파악하지 못하며 신속하게 상황을 전달하기도 어렵다. 이러한 문제를 해결하기 위해 영상 기반으로 자동화 시스템을 구축할 필요성이 제기된다. 유출유 관측 영상을 자동으로 처리·분석하여 유출유 종류, 면적, 부피, 지도 상의 위치 등을 신속하게 파악한다면 유출유 사고 대책을 효율적으로 마련할 수 있을 것이다.

유출유 현황 파악에 있어서 특히 오염 대상의 실제 면적과 지도 상 위치는 수집된 영상을 처리해서 생성한 정사영상으로부터 정확하게 결정할 수 있다. 정사영상은 원시영상을 처리하여 지도와 동일한 좌표체계와 투영방법으로 표현한 영상을 의미한다. 만약 정사영상에서 유출유 범위를 탐지했다면, 지도 상에 중첩하여 실제 위치를 파악하고 면적을 결정할 수 있다. 이러한 정사영상은 일반적으로 번들블럭(bundle block) 조정 등의 과정을 통해 하나의 영상이 아니라 다수의 영상을 동시에 처리하여 모자이크 정사영상으로 생성해왔다. 이러한 경우에는 다수 영상이 수집되기까지 기다려야 하기 때문에 실시간성을 확보할 수 없고 후처리로만 가능하다. 또한, 특히 해양의 경우에는 영상 대부분이 바다로 채워져 있기 때문에 인접 영상 간의 공액점을 확보하거나 정확한 지상 좌표를 알고 있는 지상기준점을 포함하는 것이 불가능하다. 이러한 이유로 인해 해양 관측 영상은 기존에 다수 영상에 적용되는 번들블럭조정 기반으로 처리하는 것이 거의 불가능하다.

이에 본 연구는 유출유 관측에 대한 어려움을 해결하고 유출유 현황을 정확하게 파악하기 위해 해경에서 수집한 항공 영상을 자동으로 처리하여 개별정사영상을 생성하는 기술을 개발한다. 개별정사영상은 다수 영상에 대한 번들블럭조정을 수행하지 않고 하나의 영상을 개별적으로 기하보정한 정사영상을 의미한다. 해양 관측 영상에 대해 번들블럭조정이 어렵고 개별적인 고속 처리를 통한 실시간성을 확보하기 위해서, 원시영상에 대해 개별적으로 지상기준점 없이 자동으로 직접 지오레퍼런싱하여 – 즉, 촬영당시 카메라 위치자세를 결정하고 이를 바탕으로 정사보정을 수행한다. 항공 순찰 중에 수집되는 원시영상으로부터 실시간으로 개별정사 영상을 생성하고 지도상에 가시화한다면, 사고지역에서 유출유 현황을 신속하고 정확하게 파악할 수 있다.

사고가 발생하였을 때 현황을 신속하고 정확하게 파악하기 위해서 정사영상을 사용하는 연구는 최근에도 수행된 바 있다. Pérez et al. (2019)은 교통사고와 같은 긴급하게 현장의 상황을 파악해야 할 때 정사영상을 활용하였다. 드론으로 현장 사진을 촬영하여 교통 사고 현장을 문서화하여 교통사고를 판단할 때 정사영상을 포함하여 교통 사고 상황을 신속하게 재구성할 수 있었다. 드론 영상과 3개의 ground control point (GCP)를 사용하여 정사사진을 생성하였으며 해당 정사영상의 축척에 따라 root mean square error (RMSE)는 7.5 cm에서 12.5 cm 사이의 정확도를 보였다. Ham et al. (2019)은 선박 사고가 발생했을 때 해양 사고로 인한 사상자와 재산 피해를 줄이고 사고 현장을 신속하게 파악하기 위해 드론으로 촬영된 영상의 개별정사영상을 생성하는 시스템을 개발하였다. 이와 같이 특정 사고가 발생하였을 때 정사영상을 생성하여 현황을 파악하는 것은 유용하다는 것을 확인할 수 있다.

다만 현재 해경에서 사용하고 있는 센서 시스템은 노후화, 보안 등의 이유로 정사영상을 생성하는데 필요한 메타정보가 텍스트 파일로 별도의 저장하여 제공되지 않는다. 센서 데이터가 실시간 가시화되는 사용자 화면상에 문자로만 표시되기 때문에 이를 이용하려면 자동으로 문자를 인지하여 텍스트 파일로 메타정보를 추출해야 한다. 이를 위해 optical character recognition (OCR)로 불리는 광학문자인식(OCR)기술(Eikvil, 1993)을 적용한다. OCR은 문서를 스캔하고 스캔한 문자를 인식하고 검증하는 과정을 거쳐 American standard code for information interchange (ASCII)의 텍스트 데이터로 변환하는 시스템이다(Charles et al., 2012). Blando et al. (2007)은 OCR을 통해 639페이지를 처리하였고 약 85%의 인식률로 처리하였다. Shen et al. (2015)은 Tesseract OCR을 사용하여 영상에 포함된 문자의 약 90%를 탐지하였다. 이처럼 OCR을 사용하면 메타정보가 텍스트 형태로 저장되어 있지 않고 영상에 표시되어 있더라도 대부분의 문자열을 텍스트 형태로 가져올 수 있다.

본 연구는 현업에 종사하는 해양경찰이 대응방안을 마련하는 실질적인 효과를 갖기 위해 대한민국 해양경찰청이 실제로 사용하는 항공 순찰 영상을 사용하여 개별정사영상을 생성하는 방법에 대해 연구한다.

2. 방법론

유출유 모니터링을 위해 해경에서 유인항공기를 활용해 수집한 영상을 처리하여 개별정사영상을 만드는 전체 과정은 Fig. 1과 같다. 입력 데이터로는 해경에서 유출유 모니터링에 많이 활용하는 유인 헬기에 탑재된 EO·IR 센서로 수집한 비디오를 가정하였다. 현재는 유인헬기에 탑승한 담당자가 비디오 화면을 현장에서 실시간으로 육안으로 관측하여 유출유 현황을 판독한다. 향후 이러한 비디오를 실시간 전송하여 클라우드에서 처리하거나 현장에서 직접 처리하는 것을 가정한다. 실시간 전송이나 처리가 실현되기 전까지는 일단 현장에서 수집해서 저장하여 비디오를 순찰 후 업로드하는 것을 가정한다. 전체 처리 과정은 일단 첫 번째, 업로드 된 비디오로부터 프레임 – 즉, 개별영상을 추출하는 것으로 시작한다. 대략 1초에 1장의 개별영상을 추출하였다. 추출 주기는 비행속도나 처리시간을 고려해서 조절할 수 있다. 두 번째로, 개별영상에 영상형태로 포함된 메타정보를 OCR 알고리즘을 이용해서 추출한다. 개별영상을 촬영 당시 비행체의 위치나 센서 지상 관측 중심 – 타겟의 위치, 센서의 자세 등의 메타정보를 확보한다. 세 번째로 추출한 메타정보를 바탕으로 지상기준점 없이 영상의 외부표정요소 – 즉, 개별영상 촬영당시의 카메라의 위치와 자세를 결정한다. 마지막으로, 외부표정 요소를 기반으로 개별영상의 평균 해수면 상의 지상 커버리지를 결정하고 호모그래픽 변환을 통해 개별정사영상을 생성한다.

Fig. 1. Overall individual direct georeferencing and ortho-rectification processes.

1) OCR기반 메타정보 추출과 보정

먼저 문자데이터를 추출하기 위해 영상에 OCR을 적용한다. OCR로 추출해야 하는 정보는 Table 1에 나와있는 사항과 같이 센서(항공기)와 타깃의 위경도, 센서의 Azimuth, Elevation, 비행고도, 초점거리 등이다. 이러한 메타정보에 대한 영상에서 위치는 Fig. 2와 같다. 영상내 일정한 위치에 실시간으로 추정된 메타정보가 표현된다. 현장에서는 이를 육안으로 살펴보며 센서나 타겟의 위치를 개략적으로 파악하지만 한계가 있다.

Table 1. Categories and kinds of metadata inherently provided on an image

Fig. 2. Metadata on an EOIR image.

메타정보 추출을 위해 OCR을 적용하는 방법은 크게 두 가지 유형으로 나눠진다. 첫 번째는 항공기와 타깃의 정보, 고도값, 초점거리 등 고정된 위치에서 수치만 바뀌는 형태이며, 이러한 유형에서는 고정된 위치와 범위에서 문자를 추출한다. 두 번째는 센서값에 의해 영상내 나타나는 위치가 변하게 되는 유형이며, 센서 Azimuth, Elevation 값이 이에 해당한다. 해당 유형은 Fig. 3과 같이 센서가 나타내는 각도에 의해서 OCR로 추출해야 하는 문자 위치가 바뀐다.

Fig. 3. Metainformation whose position changes according to the displayed angle: (a) Elevation and (b) Azimuth.

따라서 센서의 Azimuth, Elevation 값을 추출하는 것은 앞선 방법과 다르게 OCR을 적용한다.Azimuth,Elevation은 값이 변하는 영역을 특정하여 일정 영역만 잘라낸 뒤 잘라낸 영역의 문자를 모두 추출한다. 추출된 문자의 위치를 계산하고 계산된 위치 값을 기반으로 각도 값을 계산한다.

이러한 방식으로 OCR로 추출한 메타정보들은 항상 정확한 것은 아니다. 간헐적으로 상당히 잘못된 숫자가 추출되기도 한다. 예를 들어, 항공기나 타깃의 위치를 나타내는 위경도 값이 갑자기 튀는 경우가 있다. 하나의 비디오에서 추출된 연속된 영상에서 이러한 위치나 자세값이 갑자기 튀는 경우는 많지 않다. 추출된 메타정보는 이동평균필터(moving average filter)나 이동중간값필터(moving median filter)를 사용한 값과 비교하여 임계값 이상으로 차이가 나면 평균이나 중간값으로 대치하였으며 이러한 시계열적 분석을 통해 이상값(outlier)들을 찾아내고 앞뒤 값을 이용해서 내삽하여 보정한다.

2) 메타정보기반 직접 지오레퍼런싱

추출한 메타정보를 이용해서 지상기준점없이 촬영 당시 직접 관측한 위치자세 센서에만 의존하여 촬영 당시의 카메라 위치자세를 결정한다. 이러한 직접 지오레퍼런싱에 이용되는 메타정보는 항공기(센서) 수평 위치와 고도와 타깃의 수평 위치이다. 메타정보로는 항공기 수평 위치가 주어지지만 이를 개략적으로 카메라 수평 위치와 동일하다고 가정한다. 마찬가지로 항공기의 지면으로부터 고도를 센서 고도로 가정한다. 해양 관측이기 때문에 지상면 – 즉, 해수면은 평균고도가 0 m인 수평면으로 가정할 수 있다. 이에 지면 고도가 즉 해발 고도와 동일하게 된다.

위와 같이 카메라 위치를 결정한 후에 카메라 자세 – 즉, 관측 방향을 결정해야한다. 카메라 관측 방향은 앞서 결정된 카메라 위치에서 메타정보로 추출된 타깃 위치를 지향하는 방향으로 결정된다. 카메라는 2축 김발에 탑재되어 있고, 2축 김발의 수평각과 수직각에 의해 카메라의 방향이 결정된다. Fig. 4는 카메라 관측 방향이 타깃 위치로 지향할 때 결정되는 수평각과 수직각을 보여준다. 이러한 관계를 통해 수직각(α), 수평각(β)은 식(1–2)로 결정된다.

Fig. 4. Angles for camera pointing: (a) Elevation and (b) azimuth.

\(\begin{aligned}\alpha=-\arctan \left(\frac{d V}{d H}\right)\\\end{aligned}\)       (1)

β = arctan2(T_y – S_y, T_x – S_x)       (2)

where

(dV, dH) are the vertical and horizontal distance between the sensor and the target.

(S_x, S_y) are X and Y coordinates of the sensor.

(T_x, T_y) are X and Y coordinates of the target.

위와 같이 수평각과 수직각으로 결정된 카메라 관측 방향이 카메라 좌표계의 –z축이 되도록 정의한다. 이에 따라 z축 단위벡터(u_z)는 식(3)과 같다.

\(\begin{aligned}u_{z}=\left[\begin{array}{c}\cos (\alpha) * \sin (\beta) \\ -\cos (\alpha) * \cos (\beta) \\ -\sin (\alpha)\end{array}\right]\\\end{aligned}\)       (3)

2축 김발을 가정하고 수직각은 카메라 좌표계 x축을 중심으로 회전한다고 가정하면 x축은 수평면상에 존재하고 방향은 오직 수평각에 의해서 결정된다. 이에 따라 x축 단위벡터(u_x)는 식(4)와 같다.

\(\begin{aligned}u_{x}=\left[\begin{array}{c}-\cos (\beta) \\ \sin (\beta) \\ 0\end{array}\right]\\\end{aligned}\)       (4)

마지막으로 y축 단위벡터(u_y)는 직각좌표계의 원리에 따라 식(5)와 같다.

\(\begin{aligned}u_{y}=u_{z} \times u_{x}=\left[\begin{array}{c}-\sin (\alpha) \sin (\beta) \\ -\sin (\alpha) \cos (\beta) \\ \cos (\alpha)\end{array}\right]\\\end{aligned}\)       (5)

식(3–5)에서 정의된 카메라좌표계 각축의 단위벡터를 사용해서 카메라 좌표계에서 지상좌표계로 변환하는 행렬(R_CG)을 정의하면 식(6)과 같다.

\(\begin{aligned}\begin{array}{c}R_{C G}=\left[\begin{array}{lll}u_{x} & u_{y} & u_{z}\end{array}\right] \\ =\left[\begin{array}{ccc}\cos (\beta) & -\sin (\alpha) \sin (\beta) & \cos (\alpha) * \sin (\beta) \\ \sin (\beta) & -\sin (\alpha) \cos (\beta) & -\cos (\alpha) * \cos (\beta) \\ 0 & \cos (\alpha) & -\sin (\alpha)\end{array}\right]\end{array}\\\end{aligned}\)       (6)

위와 같은 과정을 종합하여 정리하면, 메타정보에서 추출한 항공기 수평위치와 고도로부터 카메라 위치를 결정하고, 항공기 수평위치와 고도와 타깃위치로부터 식(1–6)의 과정을 통해 카메라의 자세를 결정한다.

3) 개별정사보정

메타정보를 활용하여 직접 지오레퍼런싱을 결정한 카메라 위치자세 정보를 이용하여 개별영상에 대한 정사보정을 수행한다. 이를 위해 카메라 내부표정요소 – 즉, 초점거리, 주점 위치, 왜곡량 등의 정보가 필요하다. 측정용(metric) 카메라가 아니기 때문에 정확한 내부표정요소를 확인하기 어렵다. 이를 위해, 육상이 포함되어 지상기준점 식별이 가능한 영상들을 추출하여 이로부터 번들블럭조정에 기반한 셀프캘리브레이션(selfcalibration)을 통해 실험적으로 결정할 수 있다. 또한, 개략적으로 주점의 위치는 영상의 중심으로, 왜곡량은 없다고 가정하고 초점거리만 GCP를 이용하여 추정할 수도 있다. 일부 영상에서 해안선을 따라 육지가 확인되는데 여기서 지도나 기존 정사영상에서 식별가능한 지점들을 파악한다. 이러한 지점(GCP)들의 좌표를 공선방정식에 대입하여 계산한 영상점 좌표와 실제 영상에서 관측한 좌표의 차이의 제곱이 최소가 되도록 초점거리를 추정한다. 해양 관측 영상의 경우 번들블럭조정에 기반한 첫 번째 방법이 가능하지 않을 수도 있고 해양에서 요구되는 정확도 수준을 고려한다면 개략적이지만 두 번째 방법도 허용 가능하다. 위와 같이 결정된 카메라 내부표정요소와 앞서 추정한 카메라 위치자세를 이용하여 정사보정을 수행한다. 정사보정을 위해 지상의 3차원 고도모델이 필요한데, 해양 관측의 경우는 평균고도 0 m인 수평면을 지상모델로 가정할 수 있다. 개별 영상의 4개의 모서리 점을 위와 같은 수평면으로 투영하여 지상 커버리지를 산출한다. 이때, 카메라 내부표정요소와 위치자세, 모서리점의 좌표, 평균고도값을 공선방정식에 대입하여 결정한다. 개별영상을 산출된 지상 커버리지로 호모그래픽 변환을 통해 영상 와핑 (warping)하여 정사보정을 수행한다.

3. 실험결과

본 연구에 사용된 데이터셋은 해경에서 사용하는 유인 헬기에 탑재된 EO·IR 센서인 MX15hdi 센서로 촬영한 동영상이다. 초당 30 프레임의 1920 * 1080 HD급 동영상이며, 30초 정도의 동영상 5개를 확보하였다. 부산광역시 영도구 주변을 촬영한 것으로, 해안선과 육지가 포함되는 동영상 3개와 바다만 관측한 영상 2개로 구성된다. 모든 동영상에서는 유출유가 확인된다. 확보한 동영상은 Fig. 5와 같으며 항공기의 위치, 각도 등 개별정사영상을 생성하는데 필요한 메타정보가 영상 내 이미지 형태로 제공된다. 확보한 동영상은 1초 단위로 잘라서 이미지 형태로 저장하여 데이터셋을 생성하였다.

Fig. 5. Sample of EO·IR sensor images: (a, d) land observed image and (b, c) image with no land.

데이터셋 영상 중 유출유가 확인되는 108장의 영상을 선정하고 OCR을 적용하여 자동으로 생성한 결과에서 Azimuth, Elevation을 제외한 위치가 고정된 값들인 센서와 항공기의 경위도의 도분초와 고도를 추출하는 항목별로 입력값이 옳은지를 평가했을 때 오류가 118개 발생하였고 어떠한 보정을 하지 않고 91.6%의 정확도로 추출하였다. OCR에서 발생한 오류는 크게 3가지로 나눌 수 있다. 첫째는 읽어와야 하는 문자는 2자릿수이지만 1~4자릿수로 문자를 일부만 인식하거나 중복해서 문자를 읽는 경우이며 67개의 오류가 발생하였다. 둘째는 문자를 오인식하는 경우이며 정답인 문자와 다른 것으로 인식하는 경우이며 38개의 오류가 발생하였다. 세번째는 지정된 위치의 문자를 전부 읽어오지 못하는 경우이며 해당 오류는 13개의 오류가 발생하였다. 이후 오류가 발생한 부분에 보정을 수행하였다. 먼저 문자를 일부만 인식하거나 중복해서 문자를 읽는 경우는 도분초와 같이 정해진 부분에서 문자의 길이가 변경되면 해당 부분의 문자의 길이를 고정하는 방법을 적용하였다. 지정된 위치의 문자를 전부 읽어오지 못하는 경우는 영상의 연속성을 고려하여 이전 영상의 문자를 가져오는 보정 방법을 적용하였으며 검증하기 위해 보정한 부분은 별도의 표시를 하도록 하였다. 또한 문자를 전부 읽지 못하는 부분과 보정된 부분에 대하여 육안으로 최종 검수를 하여 보정한다. 보정이 적용된 최종 결과의 예시는 Table 2와 같다.

Table 2. Example of extracted and corrected metadata

OCR을 통해 추출한 메타정보를 사용하여 지오레퍼런싱 과정을 적용하였다. 지오레퍼런싱을 통해 생성된 개별정사영상은 Fig. 6와 같다.

Fig. 6. Example of the image: (a) original image and (b) orthophoto image.

개별정사영상의 정확도 확인을 위해 생성된 개별정사영상을 지도 위에 Fig. 7과 같이 중첩시켜 위치를 확인하였다.

Fig. 7. Individual orthorectified images: (a) Image 1, (b) Image 2, (c) Image 3, (d) Image 4, (e) Image 5, (f) Image 6, and (g) Image 7.

또한 위치를 확인할 수 있는 특징점의 좌표를 Table 3와 같이 산출하고 이를 비교하였으며 특징점의 위치는 Fig. 8에서 확인이 가능하며 비교한 결과는 Table 4에서 확인할 수 있다.

Table 3. Coordinates of the ground control points (GCP)

Fig. 8. Locations of ground control points.

Table 4. Errors at ground control points in Fig. 7

Table 4의 결과에서 영상이 GCP와의 거리가 최대 100 m 이내로 정사영상이 생성되는 것을 확인할 수 있었으며 평균제곱근오차(RMSE) 기준으로 X좌표는 10 m 정도, Y 좌표는 50 m 정도의 정확도를 보였다. 지상기준점 없이 번들블럭조정 없이 개별적으로 직접 지오레퍼런싱을 통해 비측정용(non-metric) 카메라 영상으로부터 생성한 정사영상인 것을 감안할 때 적절한 정확도로 판단된다. 이는 유출유의 실제 면적과 지도 상의 위치와 범위를 파악하려는 목적을 위해 허용가능한 수준이다.

4. 결론

유출유의 위치, 형태, 실제 크기를 확인하기 위해 유출유 항공 촬영 영상에 OCR을 적용하여 메타정보를 추출하고 해당 메타정보를 이용하여 지상기준점없이 직접 지오레퍼런싱을 통해 영상 외부표정요소인 센서의 위치/자세를 결정하였다. 결정된 영상의 외부표정요소를 이용하여 지상커버리지를 산출하고 호모그래픽 변환을 통해 개별정사영상을 생성하였다. 생성된 개별정사영상의 정확도는 수십 미터에서 최대 100 m 이내로 평가되었다. 지상기준점 없이, 직접 관측한 위치자세를 기반으로 개략적으로 추정한 내부표정요소를 이용하여 개별적으로 기하보정한 것을 고려할 때 적절한 수준의 오차라고 판단된다. 특히, 해양 관측을 위해 개략적인 위치와 범위를 산출하기 위한 목적으로는 충분하다고 생각된다. 향후 유출유 딥러닝모델을 적용하여 유출유를 자동으로 탐지하고 유출유가 해당하는 픽셀을 따로 분석하여 유출유의 크기, 유종 또한 확인할 수 있다면 현업에서 대응책을 마련하는데 도움이 될 수 있을 것으로 확인된다. 또한, 현장에서 영상을 촬영하면서 비행중에 실시간으로 전송하는 기능에 구현된다면 실시간 매핑과 탐지를 통해 해양 모니터링의 획기적인 발전에 기여할 것이다.