DOI QR코드

DOI QR Code

Development of Brightness Correction Method for Mosaicking UAV Images

무인기 영상 병합을 위한 밝기값 보정 방법 개발

  • Ban, Seunghwan (Program in Smart City Engineering, Inha University) ;
  • Kim, Taejung (Department of Geoinformatic Engineering, Inha University)
  • 반승환 (인하대학교 스마트시티공학전공) ;
  • 김태정 (인하대학교 공간정보공학)
  • Received : 2021.10.15
  • Accepted : 2021.10.22
  • Published : 2021.10.31

Abstract

Remote Sensing using unmanned aerial vehicles(UAV) can acquire images with higher time resolution and spatial resolution than aerial and satellite remote sensing. However, UAV images are photographed at low altitude and the area covered by one image isrelatively narrow. Therefore multiple images must be processed to monitor large area. Since UAV images are photographed under different exposure conditions, there is difference in brightness values between adjacent images. When images are mosaicked, unnatural seamlines are generated because of the brightness difference. Therefore, in order to generate seamless mosaic image, a radiometric processing for correcting difference in brightness value between images is essential. This paper proposes a relative radiometric calibration and image blending technique. In order to analyze performance of the proposed method, mosaic images of UAV images in agricultural and mountainous areas were generated. As a result, mosaic images with mean brightness difference of 5 and root mean square difference of 7 were avchieved.

무인기 원격탐사는 기존의 항공 및 위성 원격탐사보다 사용자가 원하는 시간에 높은 공간해상도의 영상을 취득하여 처리할 수 있다. 무인기 영상은 낮은 고도로 촬영되어 영상 한 장이 포괄하는 영역이 상대적으로 좁기 때문에 넓은 영역을 모니터링 하기 위해서는 다수의 영상을 병합하여 한 장의 영상으로 만드는 과정이 필요하다. 그러나 다수의 무인기 영상은 각각 다른 노출 조건에 의해 촬영되기 때문에 인접 영상 간에 밝기 값 차이가 존재하여 영상 병합시에 영상 접합선 부분에서 밝기 값이 대비되는 부자연스러운 병합영상을 생성하게 된다. 따라서 자연스러운 병합 영상 생성을 위해서는 영상간 밝기 값 차이를 보정해주고 접합선에 의한 효과를 제거하는 처리 과정이 필수적이다. 본 논문에서는 상대방사보정을 통해 인접 영상간 밝기 값이 대비되는 현상을 해결하고, 영상 블렌딩 기법을 적용하여 밝기 접합선을 제거할 수 있는 방안을 제시하였다. 제안된 방안의 성능 분석을 위해 두개의 데이터셋에 대한 병합영상을 생성하여 원본 병합영상과 비교하였다. 비교결과 중첩영역에서의 밝기 값 차이가 5, 제곱근에러가 7 부근의 차이를 보여 기존 방식 대비 우수한 제안 방법의 성능을 확인하였다.

Keywords

1. 서론

무인기는 사용자가 원하는 시기와 지역의 고해상도 영상을 얻을 수 있게 해준다는 장점으로 인해 최근 산업 및 농업분야에서 활발하게 개발되어 활용되고 있다. 또한 무인기 사용의 증가에 따라서 무인기 영상을 이용한 정사영상 및 수치표고모델 등의 산출물 제작기술의 개발이 필요하게 되었다. 무인기 영상을 변화탐지 및 지도제작 등에 활용하기 위해서는 다수의 무인기 영상을 병합하는 기술이 필요하다. 하지만 무인기영상 촬영시에 시간에 따라 그림자, 반사 각도 등 다양한 요인에 영향을 받아 동일 지점에서의 밝기 값이 상이한 현상이 발생한다. 이를 병합하게 되면 인접 영상 간 밝기 값이 대비되는 부자연스러운 병합영상을 얻게 된다.

무인기 병합영상 제작 기술은 Digital Surface Model (DSM) 생성을 통한 수변 구조물의 3차원 정보 획득(Rhee et al., 2015) 및 하천의 3차원 모델 생성을 통한 허용 저수량 산정(Kim et al., 2018) 등 여러 연구에서 사용되었지만 인접 영상 간 밝기 값 차이를 보정해주는 연구는 아직까지 미비한 실정이다. 자연스러운 병합영상 생성을 위해서는 인접한 영상 간의 밝기 값의 차이를 최소화해야 하기 때문에 몇몇 무인기는 밝기 값 차이 보정을 위해 무인기에 조도 센서를 탑재하여 촬영하여 밝기 값 보정에 사용하기도 하지만 대부분의 무인기 영상 촬영은 조도 센서를 탑재하지 않은 채로 촬영되기 때문에 자연스러운 병합 영상을 얻는데 어려움을 갖는다. 이를 위해 최근에는 영상 특징점 매칭 결과와 최적경로 탐지 결과를 이용해 균일한 밝기를 갖고, 이음새 없는 병합 영상을 생성하는 연구가 진행되었다(Shin et al., 2020). 그러나 해당 방법은 특징점이 영상당 균등하게 추출되지 못하는 산지나 농경지에 적용하기 힘들다는 점과, 처리 영상의 개수가 증가함에 따라 밝기 값 보정 단계에서 누적오차 가 가중된다는 한계점을 가진다. 밝기 값 보정을 위한 또 다른 방법은 영상 히스토그램을 이용한 보정 방법 (Tian and Cohen, 2017)이 있지만 해당 방법 또한 누적 오차로 인해 다수의 영상을 처리하기 어렵다는 단점이 있다.

자연스러운 병합영상 생성을 위해서는 또한 영상 병합 시에 생기는 접합선으로 인한 효과를 제거해줘야 한다. 이를 위해 영상 간 밝기 값 차이를 최소화할 수 있는 최적의 접합선을 탐지해 병합영상을 생성하거나(Ming et al., 2018), 파노라마 영상처리 분야에서는 접합선 주변 영역에서의 가중치를 적용해 밝기 값을 서서히 변화시키는 블렌딩 기법을 적용하는 연구가 수행되었다(Brown and Lowe, 2006).

본 논문에서는 무인기 영상을 이용한 자연스러운 병 합영상 생성을 위해 상대방사보정방법을 적용하여 영 상간 밝기 값을 균일하게 보정하고 블렌딩 기법을 적용하여 접합선을 제거하는 방법을 제안하고자 한다. 상대 방사보정 방법은 영상 간 중첩 영역의 밝기 값을 계산한 뒤 그 차이를 최소화해주는 Gain값을 영상별로 추정하여 적용해주는 Gain 보상 알고리즘 방법을 적용하였고, 블렌딩 기법은 영상 접합선 주변에서 가중치를 적용하여 영상 간 색을 혼합시켜주는 방법을 적용하였다. 블렌딩 기법은 두 영상을 혼합하여 하나의 영상으로 만드는 것이기 때문에 영상 내에서 물체의 이동이 적은 농경지를 촬영한 영상을 연구지역으로 선정하였다. 최종적으로 밝기 값 보정 및 접합선 제거 효과를 비교하기 위해 제안 방법 적용 전후의 병합영상을 비교하였다. 또한 정량적 성능 분석을 위해서 제안방법 적용 전후의 병합영 상에서 중첩영역의 밝기 값 차이와 접합선주

2. 연구지역 및 데이터

연구지역은 물체의 이동이 비교적 적은 농경지를 선정하여 촬영하였다. 첫 번째 연구지역은 대한민국 전라북도 김제시 부량면 지역에 위치한 논밭을 촬영한 영상으로 회전익 무인기인 DJI사의 Phantom 4 RTK를 사용하였다. 촬영고도는 약 180 m로 설정하여 총 175장의 영상이 촬영되었고 촬영에 사용된 카메라는 무인기에 기본으로 장착된 DJI사의 FC6310R 카메라를 사용하였다. 두 번째 연구지역은 대한민국 경상남도 합천군 초계면에 위치한 논밭은 촬영한 영상으로 고정익 무인 기인 케바드론사의 KD-2 Mapper를 사용하였다. 촬영 고도는 약 100 m로 설정하여 총 306장의 영상이 SONY 사의 DSC-RX1RM2카메라를 통해 촬영되었다. Fig. 1은 사용된 데이터셋의 비행 경로와 획득된 영상의 위치를 보여준다. Fig. 2는 연구지역을 촬영하여 취득된 영상데이터의 일부이다.

OGCSBN_2021_v37n5_1_1071_f0001.png 이미지

Fig. 1. Flight trajectory and acquired image’s location of dataset 1 (left) and dataset 2 (right).

OGCSBN_2021_v37n5_1_1071_f0002.png 이미지

Fig. 2. Part of dataset 1(left) and dataset 2(right).

Table 1과 Table 2는 각각 사용된 카메라와 데이터셋의 특성을 보여준다. 첫 번째 데이터셋의 경우 사용된 카메라는 DJI사의 FC6310R로 초점거리는 8.8 mm이고 CCD 소자의 크기는 하나당 약 2.41 µm이고 영상 하나가 포함하는 영역은 약 270-180 m이다. 두 번째 데이터 셋의 경우 사용된 카메라는 SONY사의 DSC-RX1RM2로 초점거리는 35 mm이고 CCD 소자의 크기는 하나당 약 4.51 m이고 영상 하나가 포함하는 영역은 약 100-70 m이다.

Table 1. Characteristics of UAVs and cameras used

OGCSBN_2021_v37n5_1_1071_t0001.png 이미지

Table 2. characteristics of datasets used

OGCSBN_2021_v37n5_1_1071_t0002.png 이미지

3. 방법론

본 연구에서 제안하는 자연스러운 병합영상 생성 방법은 상대방사보정과 블렌딩 크게 두 가지의 단계로 이루어진다. 상대방사보정 단계에서는 산출된 밝기 값 보정량을 영상에 적용하여 인접 영상 간 밝기 값의 차이를 최소화해주는 방법이 적용된다. 두 번째 단계인 블렌딩 기법은 접합선 부근에서 수행되는데 접합선으로부터 점진적으로 부여된 가중치를 영상간 블렌딩에 적용하여 영상 병합 시에 생기는 접합선을 제거해주는 방법이다. 기하학적 모자이크 영역 설정 및 처리는 자체 개발중인 SW를 사용하였다. 해당 SW의 모자이크 처리 방식은 영상 특징점을 기반으로 추출된 대응점으로 Triangulated Irregular Network (TIN)을 구성하여 병합하는 방식을 사용한다. 본 연구에서는 밝기 값 보정 및 접합선 처리를 위한 제안방법을 해당 SW의 알고리즘에 적용하여 병합영상을 생성하였다. Fig. 3은 제안 방법을 적용한 병합영상 생성 과정으로 기하학적 영상 병합 부분은 제외하였다. 제안방법에 대한 세부적인 내용은 다음에서 기술한다.

OGCSBN_2021_v37n5_1_1071_f0003.png 이미지

Fig. 3. Process for generating mosaic image using proposed method.

1) 상대방사보정 방법

무인기 영상은 각기 다른 노출 환경에서 촬영되기 때문에 인접한영상 일지라도 밝기 값이 상이한 경우가 다수 존재하게 된다. 이를 보정하지 않고 영상을 병합하게 되면 Fig. 4와 같이 부자연스러운 병합 결과가 나타난다. 따라서 자연스러운 무인기 병합 영상 생성을 위해서는 인접한 영상 간 밝기 값 차이를 보정해주는 상대 방사보정이 선행되어야 한다. 상대방사보정 방법은 대응점 이용 방법, 영상 히스토그램 매칭, gain보상 방법 등이 있는데 본 연구에서는 gain보상 방법을 사용하였다.

OGCSBN_2021_v37n5_1_1071_f0004.png 이미지

Fig. 4. Mosaic result without relative radiometric calibration.

gain보상 방법은 영상 간 중첩영역의 평균 밝기 값을 이용하여 영상 밝기 값에 곱해줄 gain값을 추정하는 방법으로 보정이 필요 없는 영상은 gain값을 1을 가지고, 인접한 영상보다 상대적으로 어두운 영상의 gain값은 1보다 큰 값을, 인접한 영상보다 상대적으로 밝은 영상은 1보다 작은 값을 가지게 된다. gain보상 방법을 통한 상대방사보정 과정은 중첩영역 밝기 값 계산, 영상별 gain값 추정, gain값 적용의 총 3단계로 이루어진다.

먼저 중첩영역 밝기 값 계산 단계에서는 n개의 영상에 대해 영상 간 중첩되는 영역을 계산하고 중첩 영역에서의 평균 밝기 값을 계산한다. 이때 픽셀의 밝기 값은 식 (1)과 같이 Blue, Green, Red체널 영상의 Digital Number (DN)값의 평균으로 나타낸다. n번영상과 m번영상의 중첩영역에서 n번째 영상의 평균 밝기 값을 Inm이라 하고 m번째 영상의 평균 밝기 값을 Imn이라 한다. 또한 평 균 밝기 값은 식 (2)와 같이 중첩 영역에 해당하는 픽셀의 밝기 값을 모두 더해 중첩영역의 픽셀 수 Nnm (=Nmn) 으로 나눈 값이다.

\(I_{(r o w, c o l)}=\sqrt{D N_{B}^{2}+D N_{G}^{2}+D N_{R}^{2}}\)       (1)

\(I_{n m}=\frac{\sum_{r o w} \sum_{c o l} I_{n m}(\mathrm{row}, \mathrm{col})}{N_{n m}}\)       (2)

중첩영역 평균 밝기 값 계산이 끝나면 gain값을 추정하는 단계로 들어간다. 모든 영상에 대해 gain값을 적용 한 밝기 값 오차 e는 식 (3)으로 이때, gi와 gj는 gain값으 로 오차 e를 최소화해주는 최적의 gain값을 추정해야 한다. 그러나 식 (3)의 경우 모든 gain값이 0일 경우 오차는 0을 가지는 최적의 솔루션이기 때문에 적절한 gain값 을 찾는 것이 불가능하다. 따라서 gain이 1에 가깝게 유지하도록 수정된 오차 함수는 식 (4)와 같다. 식 (4)에서 σα와 σβ는 각각 오차 e와 gain에 대한 표준편차이고, 본 연구에서는 σα=10, σβ=0.01로 설정하였다.

\(e=\frac{1}{2} \sum_{i=0}^{n} \sum_{j=0}^{n} N_{i j}\left(g_{i} I_{i j}-g_{j} I_{j i}\right)^{2}\)       (3)

\(e=\frac{1}{2} \sum_{i=0}^{n} \sum_{j=0}^{n} N_{i j}\left(\frac{\left(g_{i} I_{i j}-g_{j} I_{j i}\right)^{2}}{\sigma_{\alpha}^{2}}+\frac{\left(1-g_{i}\right)^{2}}{\sigma_{\beta}^{2}}\right)\)       (4)

식 (4)에 대한 최적의 gain값을 추정하기 위해 식 (5)와 같이 선형 최소제곱법을 사용하여 행렬의 형태로 계산을 수행한다. 이때, 입력영상의 개수가 IN개일 때 행렬 g의 크기는 IN×1, 행렬 A의 크기는 IN×IN, 행렬 B의 크기는 IN×1를 갖는다. 행렬 B를 구성하는 요소는 식 (6)과 같다. 예를 들어 행렬 B의 첫번째 요소는 b0로 첫 번째 영상과 모든 영상의 중첩되는 픽셀 수와 관련된 요 소이다.

\(g=\left(A^{T} A\right)^{-1} A^{T} B\)       (5)

\(b_{n}=100 \times \sum_{i=0}^{IN} N_{n i}\)       (6)

\(A=\left[\begin{array}{ccc} A_{00} & \cdots & A_{0(I N-1)} \\ \vdots & \ddots & \vdots \\ A_{(I N-1) 0} & \vdots & A_{(I N-1)(I N-1)} \end{array}\right]\)       (7)

\(A_{i i}=b_{i}+\sum_{j=0}^{I N-1} \frac{2}{100} I_{i j}^{2} N_{i j},(i \neq j)\)       (8)

\(A_{i j}=-\frac{2}{100} I_{i j} I_{j i} N_{i j},(i \neq j)\)       (9)

행렬 A의 요소는 식 (7)과 같고 각각의 요소들에 대한 세부 내용은 식 (8) 식 (9)와 같으며 이때, 조건 (i ≠ j) 처럼 동일 영상 즉 자기자신과의 연산은 포함시키지 않는다. 행렬의 모든 요소에 대해 계산한 후 식 (5)에 대입하면 행렬 g가 계산되고 최종적으로 행렬 g는 영상에 적용되어 밝기 값을 보정해준다.

2) 영상 블렌딩 방법

상대방사보정으로 영상의 밝기 값을 보정하여도 Fig. 5와 같이 여전히 인접한 영상과의 밝기 값 차이가 나는 부분이 존재하게 되는데 이는 접합선 부근에서 밝기 값 이 완벽히 일치하지 않기 때문이다. 따라서 제안방법에서 영상 블렌딩은 상대방사보정이 완료된 후 적용되어 병합영상에서 이음새에 의한 효과를 제거해준다. 영상 블렌딩은 일반적으로 두 영상을 합성할 때 쓰이는 개념으로 가중치를 적용하여 영상의 밝기 값을 혼합한 중첩 영상을 생성할 때 사용된다. 이때, 블렌딩에 적용되는 가중치는 높으면 중첩영상에서 선명하게 보이고, 낮으면 흐리게 보인다.

OGCSBN_2021_v37n5_1_1071_f0005.png 이미지

Fig. 5. Mosaic result with relative radiometric calibration.

제안방법에서는 접합선으로부터 멀어지면서 가중치를 점진적으로 부여하는 방법의 블렌딩 기법을 적용하여 접합선이 없는 자연스러운 병합영상 생성한다. Fig. 6은 본 연구에서 적용한 블렌딩 기법을 두 장의 영상에서 적용한 예시이다. 그림과 같이 접합선은 기준영 상과 새로 병합될 영상 영역에 의해 정해지고 접합선이 정해지게 되면 블렌딩을 적용할 영역을 계산한다. 이후 블렌딩이 적용될 영역 내에서 접합선을 기준으로 거리에 따른 가중치 값을 가지는 마스크 영상을 생성한다. 이 때, 생성된 가중치 마스크 영상을 통한 블렌딩은 Fig. 7의 방법과 같이 적용되어 병합영상에서 접합선에 의한 효과를 제거해주게 된다. 블렌딩 기법을 적용하여 생성된 병합영상은 반복시에 기준영상이 되어 해당 과정을 반복수행 하여 최종적으로 모든 영상에 대해 블렌딩을 적용한 병합영상을 생성하게 된다.

OGCSBN_2021_v37n5_1_1071_f0006.png 이미지

Fig. 6. Blending Process of two Images.

OGCSBN_2021_v37n5_1_1071_f0007.png 이미지

Fig. 7. Blending method with weighted mask image.

4. 실험결과 및 분석

1) 병합영상 생성 결과 비교

본 장에서는 제안방법에서의 상대방사보정과 블렌딩 기법을 적용하여 생성된 병합영상 결과를 비교 분석하기 위해 제안방법 적용 전후의 병합영상을 생성하였다. 이때, 병합영상은 자체 개발중인 SW(이하 IAM-UAV) 를 사용하여 생성되었다. 원본영상만으로 생성된 병합 영상 결과는 Fig. 8와 같다. 왼쪽영상은 Phantom 4 RTK 로 취득한 김제지역의 영상 병합 결과이고, 오른쪽영상 은 KD2-Mapper로 취득한 합천 지역의 영상 병합 결과 이다. 원본영상의 병합결과는 밝기 값 보정이 되지 않 아 접합선에서 밝기 값이 대비되는 현상이 뚜렷하게 보여 부자연스러운 병합 영상을 생성하였다. 제안방법의 상대방사보정을 적용하여 밝기 값 보정을 적용한 병합 영상 생성 결과는 Fig. 9와 같다. 그림과 같이 밝기 값이 크게 대비되는 현상이 상대방사보정을 통해 감소하였지만, 접합선에서의 밝기 값이 완벽히 일치하지 않기 때문에 여전히 접합선으로 인한 부자연스러운 영상 병합 결과를 보여주었다. 최종적으로 Fig. 10과 같이 제안방법의 블렌딩 기법을 적용하여 접합선으로 인한 효과를 제거한 자연스러운 병합 영상을 생성하였다.

OGCSBN_2021_v37n5_1_1071_f0008.png 이미지

Fig. 8. Mosaic image of dataset 1 (left) and dataset 2 (right) without proposed method.

OGCSBN_2021_v37n5_1_1071_f0009.png 이미지

Fig. 9. Mosaic image of dataset 1 (left) and dataset 2 (right) with relative radiometric calibration.

OGCSBN_2021_v37n5_1_1071_f0010.png 이미지

Fig. 10. Mosaic image of dataset 1 (left) and dataset 2 (right) with proposed method.

2) 밝기 값 계산을 통한 정략적 분석

생성된 병합영상의 정량적 분석을 위해 제안방법 적용 전후의 밝기 값을 비교하여 계산하였다. 제안방법 중 인접영상간 밝기 값 차이를 최소화해주는 상대방사보 정방법의 성능 분석을 위해 중첩 영역에서의 영상 간 밝 기 값 차이를 계산하였고, 접합선 제거를 위해 적용된 블렌딩 기법의 성능 분석을 위해서는 접합선 주변에서의 픽셀 평균 밝기 값과 편차를 계산하였다. Table 3은 상대방사보정 적용 전후 영상 간 중첩영역에 해당하는 픽셀의 밝기 값 차이의 평균과 Root Mean Square Error (RMSE)를 보여준다. 두 데이터셋 모두 영상의 Color Depth는 8bit로 픽셀 값은 0부터 255 사이의 값을 갖는다. 1번데이터셋의 경우 평균 밝기 값 차이가 5.04에서 4.45로, 2번 데이터셋의 경우는 19.96에서 6.18로 감소하였다.

Table 3. Mean and RMSE of pixel value difference in overlap area

OGCSBN_2021_v37n5_1_1071_t0003.png 이미지

제안방법에서의 블렌딩 기법의 적용 성능을 분석하기 위해 데이터셋 별로 접합선이 위치한 5군데를 선정 하였다. 선정된 위치는 Fig. 11과 같다. 선정된 위치에서 접합선을 가로지르는 방향으로 20픽셀 길이에 해당하는 픽셀 밝기 값의 평균과 표준편차를 계산하였고 그 결과는 Table 4와 같다. 이 때, 접합선에 의해 밝기 값 차이가 존재한다면 표준편차는 상대적으로 값이 증가할 것이며 따라서 블렌딩 적용 결과를 판단할 수 있는 수치이다. 또한 밝기 값의 평균이 크게 변하지 않는다면 블렌딩에 사용된 영상들의 원본 밝기 값을 그대로 유지했다고 판단할 수 있다. 표를 통해 두 데이터셋 모두 평균 밝기 값은 유지하고, 표준편차는 줄임으로써 블렌딩이 효과적으로 적용되었다고 판단된다.

OGCSBN_2021_v37n5_1_1071_f0011.png 이미지

Fig. 11. Selected points for quantitative analysis. Table 4. Mean and standard deviation of pixel values at selected points

Table 4. Mean and standard deviation of pixel values at selected points

OGCSBN_2021_v37n5_1_1071_t0004.png 이미지

반면에 최종 병합영상에서 여전히 부자연스러운 부분이 존재한다(Fig. 12). 본 연구에서 적용한 블렌딩 기법은 영상 간 중첩영역이 넓을수록 좋은 효과를 보여준다. 중첩영역이 좁다면 블렌딩 영역 내의 가중치의 변화율이 높아 상대적으로 블렌딩 효과가 미비하다. 실제로 해당 영역을 구성하는 영상 간 중첩영역은 다른 중첩영 역에 비해 상대적으로 좁아 제안방법의 효과를 보지 못했다. IAM-UAV를 통한 병합영상 생성시에 최적의 영상을 구성하여 최소한의 개수로 병합영상을 생성하기 때문에 해당 부분에서의 중첩 영역의 크기가 상대적으로 좁아 발생한 현상으로 이는 중첩영역크기를 분석하여 영상을 추가하는 알고리즘을 통해 해결할 수 있을 것이라고 판단된다.

OGCSBN_2021_v37n5_1_1071_f0012.png 이미지

Fig. 12. Part of the final mosaic image of dataset 1 (top) and dataset 2 (bottom).

5. 결론

본 연구에서는 무인기 영상의 밝기 값 차이를 보정하고 접합선을 제거하여 자연스러운 병합영상을 생성할 수 있는 방법을 제안하였다. 제안방법의 검증은 병합영상 생성결과를 비교하는 정성적평가와 밝기 값 분석을 통한 정량적평가로 진행되었다. 이를 통해 영상 밝기 값에 영향을 줄 수 있는 환경에 대한 정보 없이 오로지 영상의 밝기 값만으로 밝기 값을 보정하여 자연스러운 병합 영상을 생성할 수 있는 높은 실용성을 확인할 수 있었다. 본 제안방법은 중첩영역의 밝기 값을 분석하기 때문에 물체의 이동이 잦거나 건물이 높아 기복 변위가 심하게 발생하는 도심지의 경우에서는 적용하기 힘들다. 하지만 물체의 이동이 드물고 건물의 수가 비교적 적은 농경지나 산지에서는 자연스러운 병합 영상을 생성함을 확인하여 제안 방법의 높은 실용성을 확인할 수 있었다.

IAM-UAV의 병합영상은 대응점을 기반으로 TIN을 구성하여 생성되어 보다 정확한 중첩영역 계산이 가능하기 때문에 상대방사보정과 블렌딩 기법의 적용효과를 극대화할 수 있었다. 본 제안방법의 상대방사보정 방법과 블렌딩 기법은 픽셀 단위로 진행되어 영상의 개수 가 많을수록 처리시간이 오래 소요된다. IAM-UAV는 최적 영상을 선정하여 병합에 사용되는 영상의 개수를 최소화하여 제안방법을 적용한 병합영상 생성시간을 단축시켜줬다. 하지만 사용되는 영상의 개수가 감소함으로 인하여 중첩영역이 좁은 부분이 존재하였고, 이로 인해 블렌딩 효과가 미비한 영역이 존재하였다. 향후에 이러한 부분은 병합 영상 생성시 중첩영역 비율을 고려한 뒤 영상을 추가할 수 있는 알고리즘을 구성하여 추가 분석할 예정이다. 더불어 최근에는 무인기촬영시 반사율 타겟이나 조도센서를 통해 영상을 실제 반사율로 변환하여 반사율 영상을 생성하는 연구가 수행되고 있다. 이에 본 제안방법을 적용한다면 다수의 영상을 병합한 자연스러운 반사율 영상을 산출할 수 있으며, 작황 모니터링 및 작물 구분지도 제작 등 농업 분야에 다방면으로 활용할 수 있을 것이라고 판단된다.

사사

본 논문은 농촌진흥청 공동연구사업(과제번호: PJ01 3500032021)의 지원을 받았으며, 이에 감사드립니다.

References

  1. Brown, M. and D.G. Lowe, 2007. Automatic panoramic image stitching using invariant features, International Journal of Computer Cision, 74(1): 59-73. https://doi.org/10.1007/s11263-006-0002-3
  2. Chen, K. and M. Wang, 2014. Image stitching algorithm research based on OpenCV, Proc. of the 33rd Chinese Control Conference, Nanjing, CN, Jul. 28-30, vol. 11, pp. 7292-7297. https://doi.org/10.1109/ChiCC.2014.6896208
  3. Cho, M., J. Kim, and K. Kim, 2018. Three-Dimensional Rotation Angle Preprocessing and Weighted Blending for Fast Panoramic Image Method, Journal of Broadcast Engineering, 23(2): 235-245 (in Korean with English abstract). https://doi.org/10.5909/JBE.2018.23.2.235
  4. Fang, F., T. Wang, Y. Fang, and G. Zhang, 2019. Fast color blending for seamless image stitching, IEEE Geoscience and Remote Sensing Letters, 16(7): 1115-1119. https://doi.org/10.1109/lgrs.2019.2893210
  5. Kim, H.G., J.I. Kim, S.J. Yoon, and T. Kim, 2018. Development of a method for calculating the allowable storage capacity of rivers by using drone images, Korean Journal of Remote Sensing, 34(2-1): 203-211 (in Korean with English abstract). https://doi.org/10.7780/KJRS.2018.34.2.1.4
  6. Li, M., D. Li, B. Guo, L. Li, T. Wu, and W. Zhang, 2018. Automatic seam-line detection in UAV remote sensing image mosaicking by use of graph cuts, ISPRS International Journal of Geo-Information, 7(9): 361. https://doi.org/10.3390/ijgi7090361
  7. Lim, P.C., S. Rhee, J. Seo, J.I. Kim, J. Chi, S.B. Lee, and T. Kim, 2021. An Optimal Image-Selection Algorithm for Large-Scale Stereoscopic Mapping of UAV Images, Remote Sensing, 13(11): 2118. https://doi.org/10.3390/rs13112118
  8. Nam, D.Y. and J.K. Han, 2019. Color and Illumination Compensation Algorithm for 360 VR Panorama Image, Journal of Broadcast Engineering, 24(1): 3-24 (in Korean with English abstract). https://doi.org/10.5909/JBE.2019.24.1.3
  9. Rhee, S., T. Kim, J. Kim, M.C. Kim, and H.J. Chang, 2015. DSM generation and accuracy analysis from UAV images on river-side facilities, Korean Journal of Remote Sensing, 31(2): 183-191 (in Korean with English abstract). https://doi.org/10.7780/KJRS.2015.31.2.12
  10. Shin, J.I., Y.M. Cho, P.C. Lim, H.M. Lee, H.Y. Ahn, C.W. Park, and T. Kim, 2020. Relative Radiometric Calibration Using Tie Points and Optimal Path Selection for UAV Images, Remote Sensing, 12(11): 1726. https://doi.org/10.3390/rs12111726
  11. Tian, Q.C. and L.D. Cohen, 2017. Histogram-based color transfer for image stitching, Journal of Imaging, 3(3): 38. https://doi.org/10.3390/jimaging3030038