Epipolar Image Resampling from Kompsat-3 In-track Stereo Images

아리랑3호 스테레오 영상의 에피폴라 기하 분석 및 영상 리샘플링

Abstract

Kompsat-3 is an optical high-resolution earth observation satellite launched in May 2012. The AEISS sensor of the Korean satellite provides 0.7m panchromatic and 2.8m multi-spectral images with 16.8km swath width from the sun-synchronous near-circular orbit of 685km altitude. Kompsat-3 is more advanced than Kompsat-2 and the improvements include better agility such as in-track stereo acquisition capability. This study investigated the characteristic of the epipolar curves of in-track Kompsat-3 stereo images. To this end we used the RPCs(Rational Polynomial Coefficients) to derive the epipolar curves over the entire image area and found out that the third order polynomial equation is required to model the curves. In addition, we could observe two different groups of curve patterns due to the dual CCDs of AEISS sensor. From the experiment we concluded that the third order polynomial-based RPCs update is required to minimize the sample direction image distortion. Finally we carried out the experiment on the epipolar resampling and the result showed the third order polynomial image transformation produced less than 0.7 pixels level of y-parallax.

아리랑 3호는 2012년 5월 18일에 발사된 다목적실용위성으로서, 탑재된 AEISS센서는 고도 685km의 태양주기 궤도상에서 0.7m의 공간해상도 흑백 영상과 2.8m 공간해상도의 다중 파장대 영상을 폭 16.8km로 획득한다. 아리랑 3호는 아리랑 2호에 비해 많은 부분에서 성능의 향상이 이루어졌으며 그 중 단일 패스에서 스테레오 영상이 취득 가능하도록 설계되었다. 아리랑 3호를 이용하여 3차원 지형 정보의 추출을 하기 위해서는 정확한 에피폴라 기하를 규명하는 것이 필수적이며, 따라서 본 연구에서는 아리랑 3호 스테레오 영상으로부터 에피폴라 영상 제작을 위한 최적의 영상 변환식을 도출하기 위한 에피폴라 곡선의 특성에 대해 분석하였다. 영상과 함께 제공되는 RPCs(Rational Polynomial Coefficients)를 기반으로 영상 전역에 해당하는 에피폴라 커브를 도출하고 이에 대한 모양분석을 통해 에피폴라 커브가 최소 3차 다항식 이상의 변환식으로 모델링 될 수 있음을 알 수 있었다. 또한 아리랑 3호 AEISS센서의 두 개의 CCDs라인 특징 또한 확인 가능하였다. RPCs 업데이트 시에도 샘플 방향의 영상 오차를 최소화하기 위해 3차식이 필요했으며, 에피폴라 영상 리샘플링 시에도 3차 영상 변환식을 활용한 경우 최대 0.7 픽셀이내의 정밀한 y시차를 확보할 수 있었다.

1. 서 론

아리랑 3호는 한국항공우주연구원에서 개발되어 2012년 5월 18일에 일본 다네가시마 우주센터에서 발사된 다목적실용위성으로서, 고도 685km의 태양주기궤도상에서 적도에서 북반구 방향으로 통과하는 궤도를 갖고 있다. 0.7m의 공간해상도 흑백 영상과 2.8m 공간해상도의 다중 파장대 영상을 폭16.8km에 대해 획득하는 고해상도 위성이다. 아리랑 3호의 카메라 및 센서 간략 스펙은 아래 Table 1에 대해 제시되어있다.

Table 1.Kompsat-3 Specification

아리랑 3호는 기존의 아리랑 2호에 비해 앞서 언급한 공간 해상도의 향상 이외에 센서 구조 및 스테레오 취득 방식 등에 있어 많은 발전이 이루어졌다. 첫 번째로 아리랑 3호의 AEISS센서는 아리랑 2호의 MSC 센서와는 달리 시선각(LOS, Line of Sight)이 다른 두 개의 CCDs라인으로부터 하나의 영상을 생성하도록 설계되어 보다 넓은 촬영폭(Swath Width)을 확보할 수 있게 되었다 (Fig. 1). 또한 아리랑 2호가 bi-focal system으로 구성되었으나, 아리랑3호는 하나의 focal system으로 구성되어 다중 파장대 영상과 흑백 영상이 동일한 초점거리를 가지나 CCDs 사이즈의 차이로 공간 해상도가 달라지는 구조로 설계되었다 (Seo and Kim, 2011). 두 번째 아리랑 3호는 하나의 위성 패스에서 스테레오 영상을 획득할 수 있도록 설계되었다. 기존 아리랑 2호의 경우 그림과 같이 다른 궤도상에서 스테레오 영상을 취득해야 했으며, 이 경우 취득 시간차이로 인하여 날씨, 대상지의 상태 등이 달라 영상 매칭을 통한 지형 정보 추출에 걸림돌이었다. 그러나 아리랑 3호의 경우 동일 궤도상에서 피치각도를 조절하여 대상지를 중복 촬영하여 방사학적 조건이 거의 유사하나 기하학적으로만 틀린 스테레오 영상을 생성하고 이로 인해 보다 고품질의 3차원 지형 정보 추출이 가능해졌다. Fig. 2에서 좌측 그림이 다른 궤도상에서 스테레오 영상을 획득하는 모습을 보여주고 있으며, 우측 그림은 단일 패스에서 획득하는 장면을 비교 묘사하고 있다.

Fig. 1.AEISS Sensor (credit: DLR)

Fig. 2.Across track stereo vs. In-track stereo (Poon, 2007)

아리랑 3호를 이용하여 3차원 지형 정보의 추출을 하기 위해서는 정확한 에피폴라 기하를 규명하는 것이 필수적이며, 3차원 지형 정보 추출의 첫 단계는 정확한 에피폴라 영상을 제작하는 것으로부터 시작된다고 볼 수 있다. 즉, 정확히 제작된 에피폴라 영상을 기반으로 고품질의 스테레오 도화 환경 구성이 가능하며 이를 통해 도화사가 보다 쉽게 등고선 등의 3차원의 지형 정보, 건물 외곽선, 도로 등의 정보를 확인하고 획득할 수 있게 된다. 뿐만 아니라, 3차원 자동 추출에 있어서도 중복 영상간의 공액점이 동일 영상 라인에 위치하게 되므로 3차원 정보의 자동 추출을 위한 계산량을 현저히 감소시킬 수 있어 입체 영상 처리를 효율적으로 할 수 있게 되는 큰 장점이 있다.

아리랑 3호에 탑재된 푸쉬부룸 카메라는 일반적 프레임 타입의 항공 카메라와는 다른 에피폴라 기하를 갖는다(Gupta and Hartley, 1997; Kim, 2000; Oh et al., 2010, Oh and Lee, 2011). 즉, 푸쉬부룸 카메라의 에피폴라 선은 직선이 아닌 곡선이며, 에피폴라 쌍이 존재하지 않는 특성을 보인다. 이로 인해 기존과 같은 에피폴라 직선 특성에 기반한 에피폴라 영상 생성은 불가능하였다. 이러한 기하에 대한 연구를 바탕으로 일부 연구자들은 문제를 단순화 하여 평행투영에 기반한 Affine식으로 에피폴라 영상 생성을 위한 방법론을 제시했다(Ono et al., 1999; Morgan, 2004). 이 방법의 경우 직선에 가까운 에피폴라 라인 도출이 가능하나, 카메라 정보와 지상기준점을 이용하여 중심투영을 평행투영으로 변환해야 하고 자세가 변하지 않는 다는 가정은 영상길이가 길어짐에 따라 만족하기 힘들다는 문제가 있었다. 따라서 센서모델식을 간략화 하지 않고 그대로 활용하는 piecewise 기법이 제안되었고. 보다 정확한 에피폴라 영상 제작이 가능하게 되었다 (Oh et al., 2010; Oh and Lee, 2011).

본 연구에서는 아리랑 3호 스테레오 영상에 대해 에피폴라 곡선의 특성에 대해 연구를 하고, 이를 바탕으로 에피폴라 영상 제작을 위한 최적의 영상 변환식을 도출하는데 목적이 있다. 따라서 아리랑 3호 단일 패스 스테레오 영상을 활용하여 제공되는 RPCs를 기반으로 에피폴라 곡선을 생성하고 이에 대한 성질을 분석한다. 에피폴라 커브의 형상 및 영상 전반에 걸쳐 그 형상이 균일하게 나타나는지 등을 분석하고, RPCs를 업데이트했을 때 그 형상은 어떻게 변화하는지도 분석 한다. 이를 바탕으로 에피폴라 영상 리샘플링 시에 적합한 변환식의 차수 또한 결정하고자 한다.

본 논문의 구성은 아래와 같다. 2장에서는 아리랑 3호의 에피폴라 기하 분석에 대한 내용을 제시하며. 3장에서는 2장의 연구 내용을 바탕으로 에피폴라 영상 재배열을 통해 영상 품질의 평가를 실험결과와 함께 제시한다. 마지막으로 4장에 결론이 제시된다.

 

2. 아리랑3호 에피폴라 기하 분석

2.1 실험 아리랑 3호 스테레오 영상

실험 대상지는 미국 캘리포니아 몬테레이 만 위쪽 산타크루즈를 포함한 산악지형까지의 범위이며, 약 북위 37도, 경도 –122도에 위치해 있다. 지형의 기복은 약 0~700m 정도의 범위를 보이는 지역이다. 대상지에 대해 아리랑 3호 위성이 2013년 9월 13일 단일 패스에서 스테레오 영상을 촬영 하였고, 실험에 이용한 영상은 처리 레벨이 1R로서 방사학적 왜곡만 보정되고 기하학적인 왜곡 보정은 되지 않은 데이터이다. 동일 궤도에서 입사각 약 22.29도와 22.42도, 방위각 약 169.63도와 343.97도로 스테레오 영상이 취득되었고, 따라서 스테레오 쌍의 수렴각(Convergence angle)은 약 44.65도이다. 공간해상도는 0.76m와 0.82m로서 세로방향의 해상도가 가로 방향에 비해 약간 떨어진다. Table 2와 Fig. 3에서 실험 데이터의 스펙과 영상 상태를 확인할 수 있다. Fig. 3에서 삼각형은 영상에서 취득된 공액점의 위치를 나타내고 있다.

Table 2.Tested Kompsat-3 stereo image specification

Fig. 3.tested Kompsat-3 stereo images. triangles show the tie points locations (Front: Forward image, Back: Backward image)

2.2 제공된 RPCs를 기반으로 한 에피폴라 커브 생성

영상 전역에 대한 에피폴라 커브 생성을 위해 Oh et al.(2010)이 제시한 piecewise 기법이 사용되었다. 이 방법은 좌측 영상의 임의의 한 점에서 출발하여 좌측 영상, 지상점, 우측 영상에 대한 반복 투영을 통해 에피폴라 커브를 생성하는 기법이다. Fig. 4는 좌측 영상의 중심에 대한 에피폴라 커브를 만드는 예를 보여주고 있다. 좌측 영상의 중심점 p점에서 지상의 최대, 최소 높이를 거쳐 우측 영상의 q1, q2 영상점이 획득되고, 이 두 점은 각각 같은 방법을 통해 좌측 영상 에서 p’, p’’ 점을 생성한다. 반복할수록 투영점이 계속 생성되면서 영상의 끝에 다다르게 되며 이 투영 영상점을 이은 것이 곧 에피폴라 커브가 된다. 이 때 투영에는 센서모델링 식이 필요한데, 물리모델 또는 RPCs 어느 식을 사용해도 문제가 없으나, 본 연구에서는 영상과 함께 제공되는 RPCs를 활용하였다.

Fig. 4.Piecewise approach for epipolar curve generation (Oh and Lee, 2011)

본 연구에서는 영상 영역 전체에 대한 에피폴라 커브를 구해보고 분석하기 위해, 첫 번째로 Forward 영상의 중심점의 에피폴라 커브를 Forward와 Backward 영상에서 구해내고 수직방향으로 1,000 픽셀 간격으로 에피폴라 커브 생성을 위한 시작점을 배치한 후 동일방법으로 각각 에피폴라 커브를 구해냈다. 따라서 약 25개의 에피폴라 커브가 생성되었고 Fig.5는 Forward와 Backward 영상 영역 위에 생성된 에피폴라 커브를 그려본 것이다. 에피폴라 커브 생성을 위한 시작점은 삼각형으로 그림에 각각 표기되어 있으며 반복 영상 투영을 통해 생겨난 영상점 또한 각각 표기되어 있다. 아리랑 3호가 적도에서 북반구 쪽으로 통과하는 궤도인 것처럼 에피폴라 커브가 아래 위 영상에서 거의 수직 방향으로 생성되어 있는 것을 알 수 있다.

Fig. 5.Epipolar curves over the entire Kompsat-3 image region. Triangles indicate the starting positions (see Fig. 4) (a) Forward image (b) Backward image

앞서 생성된 에피폴라 커브가 ‘커브’인지 알아보기 위해 25개의 커브별로 각각 직선 방정식으로 모델링 해보았다. Fig. 6에서 실선으로 표현된 커브가 Forward 영상에서 생성된 에피폴라 커브이며, 점선으로 표현된 커브가 Backward 영상에 대한 것이다. 그래프에서 가로 축은 영상 라인(row)을 나타내고 세로축은 직선 모델링 후 계산되는 잔차의 양을 나타내었다. 주의할 점은 Forward, Backward 영상 각각 2개의 커브가 존재하는 것처럼 보이나 25개의 모양이 흡사하여 2개의 그룹으로 보인다. 첫 번째, 직선으로 커브를 피팅해 본 경우 약 1에서 1.5픽셀 가량의 잔차가 생기는 것을 보아 직선이 아니라는 것을 명확히 알 수 있다. 두 번째, 잔차의 모양이 3차 곡선 형태를 보이고 있어 2차 방정식으로는 정확한 모델링이 힘들다는 것을 알 수 있다. 세 번째, Fig. 5에서 본 것과 같이 에피폴라 커브의 방향이 영상의 라인 방향(세로)이기 때문에 잔차는 대부분 영상의 샘플 방향(가로)임을 알 수 있다. 네 번째, Forward 및 Backward 영상 각각 두 그룹의 잔차 패턴이 나타난 것이 관측되는데 (하나의 선처럼 보이지만 10개 가량의 선이 묶여 보이는 것임), 이는 앞서 도입에서 설명한 것과 같이 아리랑 3호의 AEISS 센서가 시선각(LOS)이 다른 두 개의 CCDs라인으로부터 하나의 영상을 생성하도록 설계되어 각각의 CCDs 라인으로 취득된 영역별로 그룹 되어 조금 다른 패턴을 보이는 것으로 판단된다.

Fig. 6.Residuals of straight line fitting to the Kompsat-3 epipolar curves

Fig. 7은 각 에피폴라 커브 별로 직선 모델링을 했을 때 직선의 기울기 값을 그림으로 나타낸 것이다. 가로 축은 생성된 에피폴라 각각의 번호이며, 세로축은 기울기 값을 나타내고 있다. 에피폴라 커브 번호가 10에서 15사이에서 각각 기울기의 점프가 일어나는 것을 관측할 수 있으며, 이 또한 앞서 기술한 바와 같이 AEISS 센서의 시선각(LOS)이 다른 두 개의 CCDs라인 특징을 보여주는 것이라 판단된다.

Fig. 7.Straight line slopes for each epipolar curve

2.3 RPCs 업데이트

상대표정 방식의 RPCs 업데이트를 위해 스테레오 영상에서 공액점(tie point)을 Fig. 3과 같이 영상 전반에 대하여 총26개 취득하여 상대표정에 활용되었다. RPCs는 Equation(1)을 이용하여 업데이트 되었다. Equation (1)의 경우 3차 다항식으로 업데이트 되는 경우이며, 영상 전체의 이동량(shift)만 고려하는 경우 A0, B0 두개만 사용하며, Affine 변환식(Fraser and Hanley, 2005)의 경우 A0 - A2와 B0 - B2의 6개의 파라미터만을, 2차 다항식의 경우 A5, B5까지 활용한다.

여기서, A0 - A9, B0- B9 는 다항식의 계수이며, 원 RPCs에 내재된 편위(Shift), 증가량(drift) 및 왜곡량 등을 보정한다. l, s는 원 RPCs로 부터 계산되는 영상좌표이며 l', s'는 보정된 좌표이다.

Table 3는 각 경우에 따른 RPCs 업데이트 잔차를 보여주고 있다. 영상의 라인방향(세로)으로는 이동량만 고려하여도 최대 0.25픽셀 정도의 잔차를 가지며 잘 모델링됨을 알 수 있었다. 그러나 영상의 샘플방향(가로)으로는 앞서 에피폴라 커브가 3차 다항식의 형태를 보인 것과 마찬가지로 3차 다항식을 활용했을 때만 최대 0.5픽셀 레벨로 모델링 될 수 있었으며, 그 보다 단순한 식을 활용할 경우 잔차가 1픽셀에 근접하여 오차를 많이 포함할 수 있음을 보였다.

Table 3.PRCs update resideual [pixels]

따라서 3차 다항식으로 업데이트한 RPCs를 활용하여 2.2절에서 수행한 방법과 동일하게 영상 전반에 걸친 25개의 에피폴라 커브를 생성하였으며 Fig. 8에 나타내었다. 커브의 패턴이 업데이트 전인 Fig. 6에서 조금 변형된 것을 알 수 있으나 3차 다항식의 형태는 그대로 갖고 있는 것을 알 수 있었다. 이유는 RPCs를 업데이트하는 것은 지상좌표와 영상좌표간의 상관도를 맺어주는 식의 정확도를 향상시키는 것일 뿐 위성의 위치, 자세의 변화 형태를 나타내는 에피폴라 커브의 패턴은 변하지 않기 때문으로 판단된다.

Fig. 8.Residuals of straight line fitting after RPCs update using tie point

 

3. 아리랑3호 에피폴라 영상 재배열

본 장에서는 앞서 분석에 사용되었던 아리랑 3호 스테레오 영상에 대해 에피폴라 영상 재배열을 실시하였다. 영상과 함께 제공된 RPCs을 이용하여 에피폴라 영상 재배열을 수행하였고 또한 Affine과 3차 다항식 기반으로 업데이트 한 RPCs를 이용하여 각각 에피폴라 영상 재배열을 수행하였다. 영상리샘플링을 위한 변환식으로 2차 및 3차 변환식의 두 경우로 나누어 영상 재배열을 실시하여 총 6개의 경우에 대한 분석을 실시하였다 (3가지 RPCs × 2가지 영상 변환식). Piecewise기법(Oh et al., 2010)에 기반한 에피폴라 영상 재배열을 위해 지상 높이의 최소 최대는 각각 0, 1000m로 설정되었으며, y시차 분석을 위해서 앞서 2.3절에서 취득된 공액점이 활용되었다. 아리랑 3호 스테레오 영상을 에피폴라 영상 재배열하는데 매트랩 코드로 각 장당 약 6분씩 한 세트가 총 12분 소요되었다.

Table 4에 각 경우에 따른 y시차 결과를 제시하였다. 첫 번째로 영상과 함께 제공된 RPCs를 그대로 이용할 경우 평균 5.6픽셀가량의 시차를 보이고 최대 13~15픽셀까지의 시차 차이를 보였다. 두 번째 Affine식으로 업데이트한 RPCs를 활용한 경우 2차 변환식 기반 에피폴라 영상 리샘플링 시 평균 1픽셀이내의 y시차를 확보가 가능했으나 최대 y시차가 2.4픽셀에 이르렀고, 3차 변환식 기반 영상 리샘플링 시에는 2픽셀 이내로 y시차를 줄일 수 있었다. 그러나 3차 다항식으로 업데이트한 RPCs를 이용한 경우 최대 y시차를 각각 1픽셀과 0.7픽셀 이내로 줄일 수 있었다. 2차 영상 변환식으로 에피폴라 리샘플링을 모델링한 경우 변환식의 잔차가 0.2~0.9픽셀 레벨이었고, 3차 영상 변환식을 활용한 경우 변환식의 최대 잔차가 0.2픽셀이었다. 따라서 2차 변환식이 에피폴라 커브를 정확히 모델링하지 못함에 의거하여 보다 큰 y시차가 발생함을 명확히 알 수 있었다. 이러한 결과는 앞서 취득하여 활용한 공액점 외에 별도의 공액점을 추출하여 분석하여도 유사한 결과를 나타내었다.

Table 4.y-parallax in the epipolar resampled image [pixels]

재배열된 에피폴라 영상을 이용하여 여색입체시를 구성하였고 이는 Fig. 9에 제시되었다.

Fig. 9.Epipolar resampled image in anaglyph 3D

 

4. 결 론

아리랑 3호는 단일 패스에서 스테레오 영상이 취득 가능하도록 설계되었으며, 아리랑 2호에 비해 보다 고품질의 3차원지형 정보의 추출이 가능하게 되었다. 아리랑 3호 스테레오 영상의 3차원 디스플레이 및 효율적인 입체 처리를 위해서는 정확한 에피폴라 기하가 규명되는 것이 필수적이므로 본 연구에서는 아리랑 3호 스테레오 영상과 RPCs 정보로부터 에피폴라 커브를 생성하여 분석하고 에피폴라 영상 리샘플링을 위한 영상 변환식을 도출하였다. 연구 결과, RPCs를 기반으로 영상 전역에 해당하는 에피폴라 커브를 도출하고 이에 대한 모양 분석을 통해 에피폴라 커브가 최소 3차 다항식 이상의 변환식으로 모델링 될 수 있음을 알 수 있었고, 또한 아리랑 3호의 AEISS센서의 두 개의 CCDs라인 특징 또한 확인 가능하였다. 또한 RPCs를 3차 다항식으로 업데이트를 수행한 경우 영상의 샘플 방향의 오차를 최소화할 수 있었고, 이와 함께 3차 변환식을 기반으로 한 에피폴라 영상 리샘플링을 활용해야 아리랑 3호 스테레오 영상의 정밀한 에피폴라 영상 제작이 가능함을 도출할 수 있었다.

향후 연구로는 보다 다양한 지형에 대한 아리랑 3호 영상의 매핑 정확도에 대한 연구 및 본 연구를 통해 규명된 에피폴라 기하를 바탕으로 스테레오 매칭을 통한 3차원 지형 정보 생성 품질에 대한 연구 등이 필요하다.