Epipolar Resampling Module for CAS500 Satellites 3D Stereo Data Processing

국토위성 3차원 데이터 생성을 위한 입체 기하 영상 생성 모듈 제작 및 테스트

Abstract

CAS500-1 and CAS500-2 are high-resolution Earth-observing satellites being developed and scheduled to launch for land monitoring of Korea. The satellite information will be used for land usage analysis, change detection, 3D topological monitoring, and so on. Satellite image data of region of interests must be acquired in the stereo mode from different positions for 3D information generation. Accurate 3D processing and 3D display of stereo satellite data requires the epipolar image resampling process considering the pushbroom sensor and the satellite trajectory. This study developed an epipolar image resampling module for CAS-500 stereo data processing and verified its accuracy performance by testing along-track, across-track, and heterogeneous stereo data.

국토관측 전용위성 (CAS500)은 국토 모니터링 및 관리를 위한 고해상도 위성영상 수요를 충족시키기 위하여 개발 및 발사 예정 중인 고해상도 국토관측 위성이다. 해당 위성 데이터는 토지이용현황 분석, 변화탐지, 3차원 국토정보 분석 등 여러 응용분야에 활용 예정인데, 그 중 3차원으로 국토, 지형 정보를 생성하고 분석하기 위해서는 관심 지역을 서로 다른 두 방향에서 중복촬영을 통해 입체영상을 취득하고 이를 처리해야 한다. 특히 효율적이고 정밀한 3차원 정보 생성하거나 3차원으로 디스플레이 하기 위해서는 취득된 입체 영상을 정밀한 입체 기하 영상으로 변환하여 활용해야 하는데, 이때 푸쉬부룸 센서의 특성에 맞춘 에피폴라 기하를 적용하여 구현하여야 한다. 본 연구에서는 국토관측 위성 입체 데이터 처리를 위하여 입체 영상 생성 모듈을 구현하였고 단일궤도, 이종궤도, 이종영상 등의 테스트를 통해 정밀성을 분석하여 1픽셀 이내의 종시차를 확보할 수 있음을 확인하였다.

1. 서론

국토의 효율적인 관리를 위한 고해상도 위성 데이터 수요를 충족시키기 위하여 국토교통부에서는 고해상도 국토관측 전용위성(CAS500) 2기를 개발 및 발사 예정 중이다. 해당 위성 데이터는 토지이용현황 분석, 도시 변화탐지, 3차원 국토정보 분석 등 여러 응용분야에 활용 예정인데, 그 중 3차원으로 국토, 지형 정보를 생성하고 분석하기 위해서는 관심 지역을 서로 다른 두 방향에서 중복촬영을 통해 입체영상을 취득하고 이를 처리해야 한다. 고해상도로 취득된 중복 위성 데이터를 효율적이고 정밀하게 처리하여 3차원 국토 및 해외 정보를 생성(Jang et al., 2019; Lee et al., 2015)하거나 3차원 디스플레이를 통해 3차원 모니터링 하기 위해서는 취득된 중복 위성 데이터를 정밀한 입체 기하 영상으로 변환해야 하는데, 이때 위성에 탑재된 푸쉬부룸 센서의 특성에 맞춘 에피폴라 기하를 적용하여 구현하여야 한다.

입체 기하 영상 제작을 위한 기법은 여러 연구를 통해 제안되었는데 (Morgan et al., 2006; Oh et al., 2010; Wang et al., 2011; Koh and Yang, 2016; Gong and Fritsch, 2017) 모든 기법이 정밀한 센서 모델링 정보를 활용한다. 모든 기법이 범용성 확보를 위해 엄밀 센서 모델링 대신 RPCs (rational polynomial coefficients)를 활용하여 지상 좌표와 영상 좌표간의 상관관계를 구성하며, 정밀한 입체 기하 영상 제작을 위해 활용되는 RPCs는 지상 기준점(GCPs) 등을 이용하여 RPCs-bias compensation (Fraser and Hanley, 2005) 기법을 통해 1픽셀 이하 정밀도를 보이도록 보정되어 있어야 한다. 기존에 연구된 입체 기하 생성 기법 중, Morgan et al. (2005) 기법은 에피폴라 선형을 직선으로 구성하는 대체 모델식을 만들어, 에피폴라 재배열을 진행하는 기법으로서, 에피폴라 선형이 곡선형이 클 경우 정밀성을 확보하기가 어렵다. Wang et al. (2011) 기법은 영상에서 평면으로 가정한 지상으로의 투영을 통해 입체 기하를 구성하므로, 촬영방향의 도출 및 에피폴라 선형이 곡선에 대한 고려가 까다로울수 있다. Koh and Yang (2016) 기법 및 Gong and Fritsch(2017)기법은 Oh et al. (2010) 기법의 변형 형태로 이해할 수 있다.

본 연구에서는 국토관측 위성 입체 데이터 처리를 위하여 Oh et al. (2010)의 piecewise알고리즘을 기반으로 입체 영상 생성 모듈을 제작하였고 단일궤도, 이종궤도, 이종영상 등의 테스트를 통해 정밀성을 분석하였다. 입체 기하 영상 제작 모듈은 python으로 제작되었으며, 크게 세 파트 즉, 지상, 영상간 반복 투영을 위한 RPCs 센서 모델링 처리, 에피폴라 포인트 쌍 추출 및 입체 기하 재배열, 입체 기하 영상 RPCs 생성으로 구성하여 심플한 GUI로 제작하였다.

제작된 모듈의 성능 평가는 단일궤도, 이종궤도, 이종영상 등의 세 가지 시나리오 테스트를 통해 정밀성을 분석하였다. 단일궤도란 위성이 하나의 궤도를 지나가는 동안 촬영각을 변화시켜 관심지역에 대한 중복 영상을 획득하는 시나리오이며, 이종 궤도는 다른 날짜에서 다른 궤도에서 관심지역에 대한 중복 영상을 취득하는 시나리오이다. 마지막으로 이종영상은 관심지역에 대해 해상도 등 종류가 다른 위성 데이터에서 취득된 중복 영상을 지칭한다. 본 연구에서는 각 데이터의 정밀한 입체 모델링을 위해 공액점 추출을 통해 상호표정을 수행 및 RPCs 보정을 실시하였고, 수정된 RPCs를 활용하여 입체 기하 영상 생성을 진행하였다. 생성된 입체영상에서도 정밀하게 공액점을 추출하고 이를 활용하여 입체 영상 생성의 정밀도 성능을 검사 평가하였다.

본 논문은 2장에서 입체 기하 영상 생성 알고리즘, 모듈에 대한 소개와 성능 평가 방법에 대해 제시하고, 3장에서 시나리오에 따른 실험 데이터 소개 및 입체 기하 제작, 성능 평가에 대한 내용을 제시, 4장에서 결론을 제시하는 것으로 구성되어 있다.

2. 입체 기하 영상 생성 모듈제작 및 평가

1) 입체 기하 영상 제작 알고리즘

입체 기하 영상 제작에 활용된 기본 알고리즘은 piecewise 기법이다 (Oh et al., 2010). 해당 알고리즘은 Fig. 1과 같이 지상의 표고 범위(최소, 최대)를 설정하고, 취득된 입체 영상의 RPCs를 활용하여 영상–지상간의 반복 투영을 통해 두 입체 영상에서 에피폴라 포인트 쌍도출을 통해 커브 패턴을 도출한다. 입체 기하 영상 제작을 위해서는 입체 영상에서 도출된 에피폴라 포인트 쌍을 동일한 라인(행)에 배치함으로써, 종시차를 없애는 작업을 진행하고, 또한 인접한 에피폴라 포인트간의 간격을 일정하게 함으로써 횡시차가 지상 고도와 일정한 비율을 갖도록 한다.

Fig. 1. Piecewise epipolar curve generation by iterative image and ground projection.

2) 입체 기하 영상 제작 모듈

입체 기하 영상 제작 모듈은 python으로 제작되었으며, 크게 세 개의 파트로 구성되었다. 첫 번째로 RPCs를 처리하기 위한 기본 모듈(영상 → 지상 및 지상 → 영상 투영)을 탑재하여 에피폴라 포인트 쌍 추출을 위한 영상–지상간의 반복 투영에 활용하였다. 두 번째로 에피폴라 포인트 쌍의 종시차 제거, 인접 에피폴라 포인트간의 일정 간격 배치를 위한 모듈을 제작하여 탑재하였다. 세 번째로 생성된 입체 기하 영상에 맞는 RPCs를 생성하기 위한 가상 GCPs 생성 모듈, RPCs 예측 모듈, 그리고 최종 RPCs 포맷 저장 모듈을 탑재하여, 향후 입체 기하 영상의 3차원 국토 모니터링 활용이 가능하도록 하였다. 인터페이스는 Fig. 2와 같이 간단한 다이얼로그 형으로 제작되었으며, 입력으로는 입체 영상 및 각각의 RPCs파일을 선택하도록 하였고, 지상 표고 범위를 설정할 수 있는 파라미터 창이 있다. 출력으로는 각각의 입체 영상마다 생성된 입체 기하 영상 및 해당 RPCs 파일을 선택 저장할 수 있다. 하단의 창에는 처리 중 진행상황 로그를 표시할 수 있도록 하였다.

Fig. 2. Epipolar resampling modules and GUI for CAS500.

3) 종시차 평가

제작되는 입체 기하 영상을 평가하기 위한 일반적인 인자인 입체 시차(parallax)는 두 중복 영상의 촬영위치 등의 차이에 의해 발생하는 횡시차(x-parallax)와 종시차(y-parallax)이다. 횡시차의 경우 두 영상의 촬영 시 진행방향으로 발생하는 시차이며, 중복 영상으로부터 대상지의 표고값을 계산하기 위한 중요한 정보이므로 지상표고와의 정밀한 선형관계를 보여야 한다. 종시차는 영상 전역에 걸쳐 최대한 낮은 값을 갖도록 제작되어야 하는데, 종시차가 클수록 입체 데이터의 3차원 처리 효율이 낮아지고, 3차원 디스플레이 또한 불가능해지기 때문에 정밀한 3차원 국토 모니터링에 어려움이 발생하기 때문이다. 다시 말해 종시차의 경우 촬영 진행 방향의 수직방향으로 발생하는 시차로서, 두 영상간의 tilt등 촬영각 차이로 인해 발생하며, 입체 영상간의 품질을 떨어뜨리는 요소이다. Fig. 3은 종시차가 크게 발생하는 경우의 예를 보여주고 있으며, 좌/우 영상간의 y좌표값의 차이가 곧 종시차가 된다. 해당 종시차가 작을수록 두영상간의 입체 디스플레이 및 입체 매칭의 정밀도를 증대시킬 수 있다. 주의 할 것은 입체 영상간의 센서모델링이 정확히 되었을 경우라면, 종시차 자체가 위치정확도에 영향을 미치는 것은 아니다. 일반적으로 인간의 영상 차이의 범위인 1픽셀이하로 종시차가 확보되었을 경우 우수한 종시차라 볼 수 있으므로 본 연구에서도 종시차의 1픽셀 이내 달성 여부를 목표로 성능을 분석하였다.

Fig. 3. Y-parallax in the stereo data.

3. 실험 및 정확도 평가

입체 기하 영상의 제작 결과의 품질을 확인하기 위한 척도로서 종시차를 1픽셀 이하로 달성할 수 있는지를 실험을 통해 확인하였다. 본 실험에서는 세 가지 시나리오에 따른 실험을 진행하였는데, 동일궤도(Alongtrack)에서 촬영된 입체 영상, 이종궤도(Across-track)에서 촬영된 입체 영상, 그리고 위성의 종류가 다르고 해상도도 다른 이종영상(Heterogeneous stereo)에 대하여 테스트를 진행하였다.

1) 동일궤도(Along-track) 입체 데이터

동일궤도 입체 데이터 테스트를 위해 활용된 데이터는 대구지역에 대하여 2014년에 획득된 아리랑3호이다. Table 1에 제시된 제원과 같이 영상의 해상도는 0.77~0.87 m 가량이며, 촬영각의 경우 각각 Azimuth 145.03도, 4.67도, Incidence 25.86도, 29.08도이다. 이를 통해 계산된 수렴각은 약 51도이다.

Table 1. Specification of the along-track stereo test data

두 데이터간의 기하학적인 일치성을 확보하기 위해 Fig. 4와 같이 영상 전역에 대하여 공액점(Tie points)을 추출하여 상대 표정(Relative Orientation) 방식(Oh and Lee, 2018)으로 RPCs를 보정하였으며, 보정 결과 Table 2와 같이 0.2픽셀가량의 정밀성을 확보한 RPCs를 생성 하였다.

Fig. 4. Tested along-track Kompsat-3 stereo data with tie points.

Table 2. Bias-compensated RPCs residual of the alongtrack test data

입체 기하 영상 제작 모듈에 보정된 RPCs와 입체 영상을 입력하고, 디폴트로 설정된 고도인 0~1000 m로 입체 기하 영상 생성을 진행하여 결과를 생성할 수 있었다. 또한 상용 SW를 이용하여 생성된 입체 기하 영상의 결과값을 확인할 수 있는데, 생성된 입체 기하 영상을 이용하여 영상 중첩을 수행하고 여색 입체시를 생성하여 3차원으로 품질을 확인할 수 있다. 즉, 입체 영상 중 한 영상은 Red밴드에 할당하고, 다른 영상은 Green 및 Blue 밴드에 할당하여 여색 입체시를 생성한다. 이를 통해 여색 입체 안경을 이용하여 간략히 3차원으로 영상 Fig. 5와 같이 확인해볼 수 있다.

Fig. 5. Generated epipolar images in anaglyph for the along-track test data and some check point samples.

영상 전역에서 도출된 총 27개의 검사점에 대하여 종시차를 검사하였으며 그 결과 Table 3과 같이 RMSE 0.59픽셀의 종시차를 도출하여 1픽셀이하의 정밀한 종시차를 확보함을 확인할 수 있었다.

Table 3. y-parallax of the generated epipolar images of the along-track test data

2) Across-track Stereo Data

이종궤도 입체 데이터 테스트를 위해 활용된 데이터는 여수지역에 대하여 2014년에 획득된 아리랑3호이다. Table 4에 제시된 제원과 같이 한 장은 8월, 나머지 한 장은 10월로서 약 2개월반 정도의 취득날짜의 차이를 보여주고 있다. 영상의 해상도는 0.78~0.87 m 가량이며, 촬영각의 경우 각각 Azimuth 184.05도, 238.15도, Incidence 26.61도, 25.61도이다. Azimuth각에 있어서 큰 차이가 없으며, 이를 통해 계산된 수렴각은 약 23도로 입체를 위한 수렴각으로는 다소 낮은 수치이다.

Table 4. Specification of the across-track stereo test data

두 이종궤도 데이터간의 기하학적인 일치성을 확보하기 위해 Fig. 6과 같이 영상 전역에 대하여 공액점을 추출하여 상대 표정 방식으로 RPCs를 보정하였으며, 보정 결과 Table 5와 같이 0.22픽셀의 정밀성을 확보한 RPCs를 생성하였다.

Fig. 6. Tested across-track Kompsat-3 stereo data with tie points.

Table 5. Bias-compensated RPCs residual of the acrosstrack test data

입체 기하 영상 제작 모듈에 보정된 RPCs와 입체 영상을 입력하고, 고도를 대상지 지형을 고려하여 0~500 m로 설정하고 입체 기하 영상 생성을 진행하여 결과를 생성할 수 있었다. 또한 앞선 실험과 같이 여색 입체시를 각각 생성하여 Fig. 7과 같이 제시하였다. 생성된 입체 기하 영상에서 검사점을 도출하여 종시차를 분석한 결과 Table 6에서 나타낸 것 과 같이 0.59픽셀로서 1픽셀이하의 종시차를 확보할 수 있음을 확인하였다.

Fig. 7. Generated epipolar images in anaglyph for the across-track test data and some check point samples.

Table 6. y-parallax of the generated epipolar images of the across-track test data

3) Heterogeneous Stereo Data

이종 입체 영상 데이터 테스트를 위해 활용된 데이터는 순천지역에 대하여 2013년 2월 및 2015년 3월에 획득된 아리랑3호와 아리랑2호 데이터이다. Table 7에 제시된 제원과 같이 아리랑3호 데이터는 동일궤도에서 획득된 데이터이며, 아리랑2호의 경우 다른 날짜 이종궤도에서 획득된 데이터이다.

Table 7. Specification of the heterogeneous stereo test data

이종 데이터간의 촬영 기하에 따른 오차를 줄이기 위해 Fig. 8과 같이 4장 영상 전역에 대하여 공액점을 추출하여 상대 표정 방식으로 RPCs를 보정하였으며, 보정결과 Table 8과 같이 동일 영상간 각각 0.17픽셀, 0.16픽셀의 정밀성을 확보하였고, 이종영상 전체에 대해서는 0.36픽셀가량의 정밀성을 확보한 RPCs를 생성하였다.

Fig. 8. Tested heterogeneous Kompsat-3 (a) / Kompsat-2 (b) data with tie points.

Table 8. Bias-compensatedRPCsresidualoftheheterogeneous test data at tie points

입체 기하 영상 생성 테스트를 위하여 본 연구에서는 총 4장의 데이터에 대하여 4가지 데이터 조합을 아래와 같이 구성하였다. 즉, 각각의 아리랑3호 데이터마다 아리랑2호 두 장의 조합을 진행하였다.

Case1: 2013_K3_355 / 2015_K2_036

Case2: 2013_K3_355 / 2015_K2_706

Case3: 2013_K3_447 / 2015_K2_036

Case4: 2013_K3_447 / 2015_K2_706

각각의 조합에 대하여 입체 기하 영상 제작 모듈에 보정된 RPCs와 입체 영상을 입력하고, 디폴트로 설정된 고도인 0~1000 m로 입체 기하 영상 생성을 진행하여 결과를 생성할 수 있었고, 또한 앞선 실험과 같이 여색 입체시를 각각 생성하여 Fig. 9와 같이 제시하였다. 또한 각각의 조합에 대해 검사점을 도출하여 종시차를 분석한 결과 Table 9와 같이 0.26픽셀에서 0.37픽셀범위를 보여 모든 경우에 대해 1픽셀 이하의 종시차를 확보할 수 있음을 확인하였다.

Fig. 9. Generated epipolar images in anaglyph for the heterogeneous test data.

Table 9. y-parallax of the generated epipolar images of the heterogeneous test data

4. 결론

본 연구에서는 국토교통부에서 계획 중인 고해상도 국토관측 전용위성(CAS-500)에서 취득되는 관심지역에 대한 중복 영상을 효율적으로 처리하고 3차원 정보를 생성하기 위한 입체 기하 생성 모듈을 제작하고 아리랑 입체 위성영상에 대해 그 성능을 평가해보았다. 해당 모듈은 RPCs를 기반으로 에피폴라 선형이 곡선의 형태를 보이는 푸쉬부룸 센서에 맞춘 입체 기하를 구성하고 입체 기하 영상의 조건인 종시차, 횡시차 재배열을 수행하도록 제작되었다. 성능 평가는 동일궤도, 이종궤도, 이종영상 등 다양한 시나리오에 대해 수행되었으며, 모든 시나리오가 1픽셀 이하의 종시차를 보이며 정밀한 입체 기하 영상 생성이 가능함을 확인할 수 있었다. 아리랑 3A호의 경우 흑백 0.55 m 해상도를 보이며, 국토위성은 0.5 m급 해상도로 계획되어 있어 유사한 규격이므로 성능 시험결과는 국토위성 입체 데이터 처리 시에도 유사하게 성능을 보일 것으로 판단되며 따라서 본 모듈은 국토위성 입체 데이터의 3차원 디스플레이 및 3차원 정보 생성에 유용하게 활용될 것으로 기대된다.