다중 센서 융합을 위한 무인항공기 물리 오프셋 검보정 방법

Physical Offset of UAVs Calibration Method for Multi-sensor Fusion

Abstract

무인항공기에 부착된 위성 항법 시스템/관성 측정 센서(global positioning system/inertial measurement unit, GPS/IMU)와 관측 센서 사이에는 물리적인 위치와 자세 오차가 존재한다. 해당 물리 오프셋으로 인해, 관측 데이터는 비행 방향에 따라 서로 위치가 어긋나는 이격 오차가 발생한다. 특히나, 다중 센서를 활용하여 데이터를 취득하는 다중 센서 무인항공기의 경우, 관측 센서가 변경될 때마다 고액의 비용을 지불하고 외산 소프트웨어 의존하여 물리 오프셋을 조정하고 있는 실정이다. 본 연구에서는 다중 센서에 적용 가능한 초기 센서 모델식을 수립하고 물리 오프셋 추정 방법을 제안한다. 제안된 방안은 크게 3가지 단계로 구성된다. 먼저, 직접지리 참조를 위한 회전 행렬 정의 및 초기 센서 모델식을 수립한다. 다음으로, 지상기준점과 관측 센서에서 취득된 데이터 간의 대응점을 추출하여 물리 오프셋 추정을 위한 관측방정식을 수립한다. 마지막으로, 관측 자료를 기반으로 물리 오프셋을 추정하고, 추정된 파라미터를 초기 센서 모델식에 적용한다. 전주, 인천, 알래스카, 노르웨이 지역에서 취득된 데이터셋에 적용한 결과, 4개 지역 모두 물리 오프셋 적용 전에 발생되던 영상 접합부의 이격 오차가 물리 오프셋을 적용 후 제거되는 것을 확인했다. 인천 지역의 지상기준점 대비 절대 위치 정확도를 분석한 결과, 초분광 영상의 경우, X, Y 방향으로 약 0.12 m 위치 편차를 보였으며, 라이다 포인트 클라우드의 경우 약 0.03 m의 위치 편차를 보여줬다. 더 나아가 영상 내 특징점에 대하여 초분광, 라이다 데이터의 상대 위치 정확도를 분석한 결과, 센서 데이터 간의 위치 편차가 약 0.07 m인 것을 확인했다. 따라서, 제안된 물리 오프셋 추정 및 적용을 통해 별도 기준점 없이 정밀한 데이터 매핑이 가능한 직접 지리 참조가 가능하다는 것을 확인했으며, 다중 센서를 부착한 무인항공기에서 취득된 센서 데이터 간의 융합 가능성에 대해 확인하였다. 본 연구를 통해 독자적인 물리 파라미터 추정 기술 보유를 통한 경제적 비용 절감 효과 및 관측 조건에 따른 유연한 다중 센서 플랫폼 시스템 운용을 기대한다.

In an unmanned aerial vehicles (UAVs) system, a physical offset can be existed between the global positioning system/inertial measurement unit (GPS/IMU) sensor and the observation sensor such as a hyperspectral sensor, and a lidar sensor. As a result of the physical offset, a misalignment between each image can be occurred along with a flight direction. In particular, in a case of multi-sensor system, an observation sensor has to be replaced regularly to equip another observation sensor, and then, a high cost should be paid to acquire a calibration parameter. In this study, we establish a precise sensor model equation to apply for a multiple sensor in common and propose an independent physical offset estimation method. The proposed method consists of 3 steps. Firstly, we define an appropriate rotation matrix for our system, and an initial sensor model equation for direct-georeferencing. Next, an observation equation for the physical offset estimation is established by extracting a corresponding point between a ground control point and the observed data from a sensor. Finally, the physical offset is estimated based on the observed data, and the precise sensor model equation is established by applying the estimated parameters to the initial sensor model equation. 4 region's datasets(Jeon-ju, Incheon, Alaska, Norway) with a different latitude, longitude were compared to analyze the effects of the calibration parameter. We confirmed that a misalignment between images were adjusted after applying for the physical offset in the sensor model equation. An absolute position accuracy was analyzed in the Incheon dataset, compared to a ground control point. For the hyperspectral image, root mean square error (RMSE) for X, Y direction was calculated for 0.12 m, and for the point cloud, RMSE was calculated for 0.03 m. Furthermore, a relative position accuracy for a specific point between the adjusted point cloud and the hyperspectral images were also analyzed for 0.07 m, so we confirmed that a precise data mapping is available for an observation without a ground control point through the proposed estimation method, and we also confirmed a possibility of multi-sensor fusion. From this study, we expect that a flexible multi-sensor platform system can be operated through the independent parameter estimation method with an economic cost saving.

1. 서론

최근 지구온난화 및 여러 기후 변화로 인해 극지의 변화에 관한 연구가 활발히 진행되고 있다(Stuchlik et al., 2015; Kim et al., 2021). 특히, 관측 센서의 소형화, 성능 향상 등으로 무인항공기를 활용한 연구들이 진행되고 있으며, 위성영상과 더불어 극지 원격탐사 연구에 사용되고 있다. 하지만 무인항공기는 탑재체의 크기와 촬영시간에 한계가 있어 초분광 센서, 라이다 센서 등 다중 센서들을 하나의 통합 플랫폼에 부착하여 자료를 한 번에 취득하기 위한 다중 플랫폼 시스템에 대한 필요성이 요구되고 있다. 지형분석, 식생분포도 등과 같이 연구자료로써 활용하기 위한 관측 데이터의 경우, 지상기준점을 이용한 정밀센서모델링을 수행하고, 데이터 매핑 및 모자이크 전처리 과정을 통해 정확한 위치 정확도를 확보한다. 하지만 극지의 경우, 정밀센서모델링을 위한 기준점 등을 설치하는 것이 쉽지 않으며, 인공구조물이 상대적으로 적고, 자연 표적물 추적을 통한 지상기준점을 정하는 것이 쉽지 않다. 따라서, 기체에 부착된 위성 항법 시스템/관성 측정 센서(global positioning system/inertial measurement unit, GPS/IMU) 센서에서 취득되는 외부표정요소(기체 위치 값, 자세 각 등)만을 활용하여 별도의 기준점 없이 데이터를 매핑하는 기술인 직접 지리 참조(Direct-georeferencing) 방식이 여러 플랫폼에서 연구되고 있다(Habib et al., 2018). 무인항공기 영상에 적용되는 직접 지리 참조 방식은 불안전한 촬영 기하 및 여러 오차 요인들로 인해 위치 정확도 오차를 발생시킨다. 특히 촬영 진행 방향이 다른 여러 스트립에서 생성된 다수의 영상 모자이크를 수행할 경우 영상 간의 접합부 위치가 맞지 않는 이격 현상이 발생할 수 있다. 이와 같은 이격 현상은 플랫폼에 부착된 두 센서(관측, GPS/IMU) 사이에서 발생되는 미세한 위치, 자세각 차이에 의해 일반적으로 발생되기 때문에 두 센서 사이의 물리적 위치, 자세각에 대한 보정 값을 계산하여 적용하는 것이 중요하다. 이러한 물리 오프셋을 일반적으로 보어사이트 앵글(Boresight-Angle)과 레버암(Lever-Arm)이라 한다. 여기서, 보어사이트 앵글은 플랫폼의 자세각을 측정하기 위해 플랫폼에 장착되는 관성 측정 센서(IMU)의 좌표축과 관측센서의 좌표 축 간의 각도 차이를 의미하며, 레버암은 플랫폼에 부착된 위성 항법 시스템(GPS)과 관측센서 간의 위치적인 차이를 의미한다. 본 연구에서는 초분광 센서와 라이다 센서가 하나의 플랫폼에 통합되어 있는 다중 센서 통합 플랫폼에서 각 센서 별 물리오프셋(보어사이트 앵글, 레버암)을 추정하고 적용하고자 한다. 물리 오프셋은 지상기준점을 사용하여 초기 1회 만을 추정하며, 초기에 조정된 물리 오프셋은 타 데이터에 지속 적용하여 사용할 수 있다. 플랫폼에 부착된 관측 센서들에 대하여 실제 물리 오프셋 추정 방안 및 센서 모델식 적용 방안을 제안하며, 산출된 처리 결과들의 영상 간 이격 발생 여부, 센서 별 지상기준점 대비 절대 위치 정확도를 비교를 통해 추정 결과에 대한 검증을 수행하고자 한다. 또한 센서 별 생성 결과물들의 상대 위치 정확도를 분석하여 별도의 기준점 활용 없이 다중 센서에서 취득된 데이터들의 융합 가능성에 대해 분석하고자 한다.

2. 연구 데이터

1) 활용 센서

본 연구에서는 하나의 무인기 플랫폼에 다중 센서를 장착하여 동시에 센서 데이터를 취득할 수 있도록 구성하였다. 극지연구소에서 보유 중인 무인항공기 다중 센서 시스템은 Fig. 1과 같이 총 3가지 센서로 구성되어 있으며, 순서대로 라이다 센서, 초분광 센서, 프레임 센서로 구성된다. 본 연구에서는 라이다 센서와 초분광 센서의 검보정 방안과 센서 융합 가능성에 대한 실험을 진행하였다. 라이다 센서는 벨로다인(Velodyne) 사의 VLP-16 Puck-HI 제품이 장착되어 있으며, 총 16개의 채널을 통해 55.296 µs 간격으로 레이저 펄스를 방사 및 충전을 반복하여 지형에 대한 절대 좌표 정보를 취득한다. 해당 센서에서 취득된 포인트 클라우드 데이터는 고도자료인 수치 표고 모델로 변환하여 타 센서(초분광센서, 프레임센서)의 기하보정을 위한 입력자료로 활용된다. 초분광 센서는 헤드월(Headwall) 사의 Nano-Hyperspec 센서가 장착되었다. 해당 제품의 경우 400 nm–900 nm 파장 대역을 가지며 총 270개의 분광 밴드를 사용하여 데이터를 취득하게 된다.

Fig. 1. The multi-sensor platform of Korea Polar Research Institute (KOPRI).

2) 대상 지역

Table 1는 본 연구에서 사용된 실험 데이터에 대한 정보이다. 본 연구의 실험 대상지는 국내 3개 지역과 해외 2개 지역에서 취득하였다. 국내의 경우, 전주 2개 지역과 인천지역에서 데이터를 취득하였고, 해외의 경우 극지에 가까운 Alaska의 Council 지역과 Norway의 Adventdalen 지역에서 데이터를 취득하였다. 전주의 국립농업과학원 데이터(NAAS_01, NAAS_02)는 평탄지인 농경지를 대상으로 2021년 9월 9일과 2021년 9월 10일에 취득된 데이터이다. 2021년 9월 9일에 취득된 전주 데이터(NAAS_01)의 경우, 장비에 부착된 센서의 물리 오프셋을 추정하기 위한 보정 데이터셋으로 사용된다. 따라서, 지상기준점 측량을 위한 대공표지와 타깃을 설치하였고, RTK측량을 통해 총 10개의 지상 기준점을 취득하였다. 반면에, 2021년 9월 10일 취득된 데이터(NAAS_02)는 추정된 물리 오프셋을 적용하여 정밀 센서 모델이 정확히 수립되었는지 검증하기 위한 데이터셋으로 활용된다. 극지 연구소 운동장 데이터(KOPRI) 데이터 촬영 일자는 2022년 1월 26일이며, 추정된 물리 파라미터 적용 및 절대 정확도를 평가하기 위한 데이터이다. 전주 지역보다 고층건물 및 인공구조물을 다량 포함되어 실제 다중 센서 플랫폼이 운영되는 상황을 가정하여 실험데이터를 구성하였다. 전주 국립농업과학원 데이터셋의 위경도는 약 35°, 127°이고, 인천 극지연구소 앞 운동장 데이터셋의 위경도는 약 37°, 126°로 두 데이터 간 위경도 차이가 있는 지역에서 관측했다. 극지에 가까운 Alaska의 Council과 Norway의 Adventdalen 지역에서 취득된 데이터는 국내와 위경도 차이가 큰 지역에서 동일한 물리 오프셋의 적용 가능성 여부와 극지 탐사 활용 가능성에 대한 실험을 위해 취득하였다.

Table 1. Description of the data used in this study

3) 지상기준점(Ground Control Points)

물리 오프셋을 추정을 수행하기 위한 보조 자료로써 지상 기준점 측량을 수행했다. 지상기준점은 전주 농업과학원 데이터(NAAS_01)의 대공표지에서 RTK측량을 통해 총 10개의 지상기준점 측량을 수행했다. Table 2는 취득된 10개의 지상 기준점 좌표 정보다.

Table 2. Ground control points surveyed in National Institute of Agricultural Sciences (NAAS)

3. 연구 방법

1) 센서 모델링

관측 센서(라이다, 초분광센서)로부터 취득된 데이터를 실제 지상점에 정확히 매핑하기 위해서는 센서 좌표에서부터 지상 좌표로 추정하는 센서 모델이 수립되어야 한다. 정밀하고 정확한 지상 좌표 추정을 위해서는 일반적으로 지상기준점이 활용되지만, 사용할 수 있는 지상기준점이 없거나 취득이 어려운 경우, 직접 지리 참조 방식을 사용하여 센서 모델식을 구성할 수 있다(Mian et al., 2015; Zeybek, 2021). 직접 지리 참조를 수행하게 되는 경우, 플랫폼의 GPS/IMU 센서에서 취득된 외부표정요소와 관측 센서의 관측 데이터만을 활용하여 별도의 기준점 없이 실제 지상점의 위치 좌표를 취득할 수 있게 된다. Fig. 2는 직접 지리 참조 수행을 위한 회전 행렬 적용 과정을 보여준다. Image space 상의 영상 좌표 한 점은 R_i^b, R_bⁿ, R_n^m의 좌표 변환 행렬을 통해 최종적으로 universal transverse mercator (UTM) 좌표 프레임상의 한 점으로 추정된다. 이를 수식으로 나타낸 경우, 식(1)과 같으며, 회전행렬 요소는 식(2)와 같이 오일러 각(Euler Angle) 정의를 사용하였다(Pio, 1966).

Fig. 2. Process for direct-georeferencing used in this study.

(P_i^m) = (R_n^m) * (R_bⁿ) * (R_c^b* R_i^c* P_i + t_i^b) + T_b^m       (1)

Where: P_i^m are the geo-referenced points coordinated in the ground frame.

P_i are the position vectors of x, y, and z in the sensor detector.

R_i^c, t_i^b are unknown parameter vector for boresight angle and lever-arm.

R_c^b is the rotation matrix of axis from Sensor frame to Body frame (platform).

R_bⁿ is the rotation matrix of the coordinate from Body frame to Navigation frame (Roll, Pitch, Yaw).

R_n^m is the rotation matrix of the coordinate from Navigation frame to Map frame.

T_b^m is the translation vector of the platform (Easting, Northing, Altitude).

\(\begin{aligned}\begin{array}{l} R(\alpha, \beta, \gamma)=R_{x} * R_{y} * R_{z} \\ R_{x}(\alpha)=\left[\begin{array}{ccc}1 & 0 & 0 \\ 0 & \cos \alpha & -\sin \alpha \\ 0 & \sin \alpha & \cos \alpha\end{array}\right], \\ R_{y}(\beta)= {\left[\begin{array}{ccc}\cos \beta & 0 & \sin \beta \\ 0 & 1 & 0 \\ -\sin \beta & 0 & \cos \beta\end{array}\right], } \\ R_{z}(\gamma)=\left[\begin{array}{ccc}\cos \gamma & -\sin \gamma & 0 \\ \sin \gamma & \cos \gamma & 0 \\ 0 & 0 & 1\end{array}\right]\end{array}\end{aligned}\)       (2)

식(1)의 회전 행렬에 대한 정의를 통해 본 연구에서 사용된 플랫폼에 최적화된 센서 모델식을 수립하며, 하나의 정립된 센서 모델식을 응용하여 플랫폼에 부착된 모든 다중 센서에 적용 가능한 센서 모델을 수립한다.

본 연구에서 활용되는 관측 센서(Image)는 y축 방향으로 기체가 진행하며 데이터를 취득하게 된다. 반면에 다중 센서가 부착된 플랫폼(Body)이 가지고 있는 좌표축은 x방향을 기준으로 진행되기 때문에 진행 방향에 대한 관측센서와 기체 플랫폼의 축방향을 일치시키기 위한 회전행렬을 정의하였다. 특히, 영상 센서가 기체 플랫폼에 부착되는 경우 바닥면을 바라보는 형태로 구성되기 때문에 Fig. 3의 좌측 이미지와 같이 z축이 위로 향하는 경우 축 방향에 대한 회전 행렬을 적용하여 기체 방향에 맞게 축 방향을 수정한다. 본 연구에서 사용된 센서의 R_i^b (Image to body) 행렬은 z축으로 90°, y축으로 180°를 적용한 회전 행렬이 정의된다(식(3)).

Fig. 3. Rotation for Image frame to Body frame.

R_image^body = R_X(0)R_Y(180)R_Z(90)       (3)

\(\begin{aligned}=\left[\begin{array}{ccc}1 & 0 & 0 \\ 0 & -1 & 0 \\ 0 & 0 & -1\end{array}\right]\left[\begin{array}{ccc}0 & 1 & 0 \\ -1 & 0 & 0 \\ 0 & 0 & 1\end{array}\right]=\left[\begin{array}{ccc}0 & 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & -1\end{array}\right]\end{aligned}\)       (4)

관성 측정 센서(IMU)에 기록되는 기체의 움직임은 일반적으로 Roll, Pitch, Heading 각으로 표현된다. 본 연구에서 사용된 플랫폼의 기체 움직임은 Heading, Pitch, Roll 회전 순서로 정의되는 시스템을 갖으며, 해당 기체 움직임은 항법 좌표계상에서 기체의 움직임에 대한 정의를 의미한다. 즉, Navigation to Body의 움직임을 의미한다. 하지만, 직접 지리 참조 수행을 위한 센서 모델 수립을 위해 필요한 프레임 변환은 기체 플랫폼에서 항법계로 변환되는 Body to Navigation 변환이 필요하기 때문에 회전 행렬에 전치 행렬을 적용하여 반대 방향으로 향하는 회전 행렬을 정의하였다. 관성 측정 센서(IMU)에서 얻어지는 플랫폼의 자세 각 정보(Roll, Pitch, Heading)를 식(5)에 적용하여 R_bⁿ (Body to Navigation)에 대한 회전 행렬을 정의하였다.

Fig. 4. Rotation for Body frame to Navigation frame.

R_body^navigation = [R_navigation^body]^T = [R_X(Roll)R_y(Pitch)R_Z(Heading)]^T       (5)

최종적으로 지상 좌표 취득을 위한 지상 좌표 프레임 변환 행렬을 정의한다. 본 연구에서 적용된 지상 좌표 프레임은 WGS 84 UTM Zone 52N 좌표계이며, 사용된 센서의 R_n^m (Navigation to Map) 행렬은 z축으로 90°, y축으로 180°를 적용한 회전 행렬이 정의된다(식(6)).

Fig. 5. Rotation for Navigation frame to Map frame.

R_Navigation^Map = R_X(0)R_Y(180)R_Z(90)       (6)

2) 물리 오프셋 추정(Boresight-Angle, Lever-Arm)

Fig. 2의 센서 프레임(Image)에서 기체 플랫폼 프레임(Body) 변환 과정에 해당하는 R_i^b 회전 행렬에는 고려되지 않은 물리 오프셋이 존재한다. 정밀한 센서 모델을 위해서는 관측 센서와 GPS/IMU 센서가 동일한 위치와 축 방향을 갖는다는 설정이 있어야 하지만, 실제 센서들 사이에는 미세한 위치, 자세 각의 차이가 존재한다. 식(1)의 센서 모델식에서 R_i^c, t_i^b 행렬은 물리 오프셋을 표현하며, 순서대로 보어사이트와 레버암을 의미한다. Fig. 6와 같이 물리 오프셋을 고려한 경우, R_i^b 행렬은 R_c^b* R_i^c + t_i^b와 같이 세분화하여 정의할 수 있다.

Fig. 6. Rotation for Image frame to Body frame applied for boresight angle and lever-arm.

해당 물리 오프셋으로 인해 취득된 영상 들의 모자이크 작업 수행 시, 영상들의 접합부에 이격 오차가 발생할 수 있다. 본 연구에서는 이와 같은 물리 오프셋(R_i^c, t_i^b)을 지상기준점 및 관측 데이터를 사용하여 추정하고, 지상기준점이 없는 데이터에 적용하여 영상 모자이크 및 절대 위치 정확도 결과를 분석한다. 제안된 방법은 통합 플랫폼에 부착된 모든 센서들에 동일하게 적용하여 물리 오프셋 추정이 가능하다. 물리 오프셋을 추정을 수행하기 위한 관측 데이터로써 개별 영상에서 지상 기준점에 대응되는 대응점을 독취한다. 지상 기준점은 Table 2의 지상기준점을 활용하였다. 관측 데이터를 통해 추출된 대응점과 식(1)의 센서모델식을 활용하여 물리 오프셋(보어사이트, 레버암) 추정을 위한 관측 방정식을 수립한다. 식(1)에서 추정하고자 하는 미지수 벡터(R_i^c, t_i^b)를 제외하고 모두 좌측으로 이항하게 되는 경우, 식(7)과 같이 정리할 수 있다.

(R_bⁿ)^T * (R_n^m)^T * (P_i^m – T_b^m) = (R_c^b* R_i^c* P_i + t_i^b)       (7)

이 때, P_i 벡터에는 대응점의 영상 좌표(x_i, y_i, z_i)가 입력되며, P_i^m에는 지상기준점의 좌표 값이 입력된다. 그 외 파라미터 벡터는 1)센서 모델링에서 정의한 회전 행렬의 성분들이 입력된다. 좌측항을 모두 계산하여 정리할 경우, 최종적으로 3 × 1 형태의 행렬로 표시가 가능하기 때문에 N_x, N_y, N_z로 치환한다. 우측항의 경우, 미지수를 포함한 식을 정리하면, 식(8)과 같이 정리할 수 있다

\(\begin{aligned}\left[\begin{array}{l}N_{x} \\ N_{y} \\ N_{z}\end{array}\right]=\left[\begin{array}{ccc}0 & 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & -1\end{array}\right]\left[\begin{array}{ccc}1 & \Delta \kappa & \Delta \rho \\ \Delta \kappa & 1 & -\Delta \omega \\ -\Delta \rho & \Delta \omega & 1\end{array}\right]\left[\begin{array}{l}x_{i} \\ y_{i} \\ z_{i}\end{array}\right]+\left[\begin{array}{l}t_{x} \\ t_{y} \\ t_{z}\end{array}\right]\\\end{aligned}\)       (8)

R_i^c 행렬 성분인 Δω, Δρ, Δκ는 보어사이트 앵글을 의미하며, t_i^b의 t_x, t_y, t_z는 레버암을 의미한다. R_i^c의 경우, 센서축 방향과 GPS/IMU센서 축의 회전각이 미세하다는 가정과 함께 오일러 회전(R_X(Omega) R_y(Phi) R_Z(Kappa))을 적용하여 표현하였다.

우측항을 최종적으로 다시 한번 계산하여 정리하면 식(9), (10)과 같은 형태로 정리가 가능하며, 최소제곱법(least square estimation)을 적용하기 위한 A * X = L 형태의 관측방정식을 구성할 수 있다. 식(10)의 좌측항은 관측 L벡터이며, 우측항의 첫 번째는 계수 A벡터, 두 번째 행렬이 미지수 X벡터이다.

\(\begin{aligned}\left[\begin{array}{l}N_{x} \\ N_{y} \\ N_{z}\end{array}\right]=\left[\begin{array}{l}\Delta \kappa x_{i}+y_{i}-\Delta \omega z_{i}+t_{x} \\ x_{i}+\Delta \kappa y_{i}+\Delta \rho z_{i}+t_{y} \\ \Delta \rho x_{i}-\Delta \omega y_{i}-z_{i}+t_{z}\end{array}\right]\\\end{aligned}\)       (9)

\(\begin{aligned}\left[\begin{array}{c}N_{x} \\ N_{y} \\ N_{z}\end{array}\right]-\left[\begin{array}{c}y_{i} \\ x_{i} \\ -z_{i} \\ \vdots\end{array}\right]=\left[\begin{array}{cccccc}-z_{i} & 0 & y_{i} & 1 & 0 & 0 \\ 0 & z_{i} & x_{i} & 0 & 1 & 0 \\ -y_{i} & x_{i} & 0 & 0 & 0 & 1 \\ & \vdots & & & \end{array}\right]\left[\begin{array}{c}\Delta \omega \\ \Delta \rho \\ \Delta \kappa \\ T_{x} \\ T_{y} \\ T_{z}\end{array}\right]\\ \end{aligned}\)       (10)

식(10)의 관측방정식에 관측 데이터(영상 좌표) 및 지상기준점 데이터를 입력하여 미지수 벡터 X에 대한 추정을 수행한다.

3) 라이다 센서 검보정

라이다 센서에서 생성된 포인트 클라우드는 수치 표면 모델(digital surface model, DSM) 형태의 2차원 데이터 변환을 통해 다른 센서 데이터의 센서 모델링을 위한 기초자료로써 활용된다. 본 연구에서는 식(1)의 공통된 센서 모델식을 활용하지만, 라이다 센서의 경우, 회전행렬을 하나 추가하여 센서 모델식을 구성하였다. 본 연구에서 활용한 라이다 센서 모델식은 하단의 식(11)과 같다.

(P_L^M) = (R_N^M) * (R_B^N) * (R_I0^B * R_I^I0* R_L^I* P_L + t_L^B) + T_B^M       (11)

Where: P_L^M are the geo-referenced points coordinated in the ground frame.

P_L is the position vectors of x, y, and z in the lidar sensor frame.

R_I^I0, t_L^B are unknown parameter vector for boresight angle and lever-arm.

R_L^I is the rotation matrix of axis from the Laser sensor frame to the frame camerasensor frame.

R_I0^B is the rotation matrix of axis from IMU Sensor frame to Body frame platform).

R_B^N is the rotation matrix of the coordinate from Body frame to Navigation frame (Roll, Pitch, Yaw).

R_N^M is the rotation matrix of the coordinate from Navigation frame to Map frame.

T_B^M is the translation vectors of UAV Platform (Easting, Northing, Altitude).

다른 회전 행렬 구성은 모두 식(1) 센서모델식과 동일하지만 센서 프레임의 위치 벡터인 P_L에서 보어사이트 벡터를 적용하기 이전에 R_L^I 회전 행렬을 적용하여 라이다 센서 프레임 축 방향을 초분광 센서 축 방향으로 전환해준다. R_L^I 회전 행렬의 구성 성분은 식(12)와 같다.

\(\begin{aligned}R_{L}^{I} * P_{L}=\left[\begin{array}{ccc}-1 & 0 & 0 \\ 0 & 0 & -1 \\ 0 & -1 & 0\end{array}\right]\left[\begin{array}{l}x_{i} \\ y_{i} \\ z_{i}\end{array}\right]\\\end{aligned}\)       (12)

R_L^I 회전 행렬을 적용함으로써, 라이다 센서는 초분광 센서와 같은 축 방향을 갖게 되며, 이후 정의된 식(1)의 회전 행렬을 모두 동일하게 사용할 수 있게 된다.

라이다 센서는 다른 영상 센서들과 다르게 영상데이터가 아닌 점데이터 정보를 취득하기 때문에 검보정을 위한 관측 자료를 취득하는 것이 쉽지 않다(de Oliveira Junior and dos Santos, 2019). 따라서, 대응점 추출 이전에 보어사이트 앵글과 레버암에 관한 행렬(R_I^I0, T_L^B)은 미지수 행렬로 지정하고, 모두 0값으로 처리하여 초기 포인트 클라우드를 생성한다. 초기 포인트 클라우드는 센서 사이의 물리 오프셋으로 인해 Fig. 7와 같이 비행 방향에 따라 스트립 오 정렬이 발생된다(Keyetieu and Seube, 2019; Li et al., 2019).

Fig. 7. Example of a mapping error for an initial point cloud (without boresight angle, and lever-arm).

라이다 센서 모델식을 통해 산출된 초기 포인트 클라우드 스트립 별로 지상기준점에 대응되는 대응점을 추출하며, Fig. 8(a)와 같이 각 포인트 클라우드 스트립에서 총 10개의 대응점을 추출한다. 대응점은 Fig. 8(b)와 같이 전주 지역(NAAS_01)에 설치한 지상기준점 대공표지의 중심점에 대한 포인트 좌표값을 취득한다. 2개 스트립에 대하여 총 20개의 관측데이터를 추출하였으며, 해당 데이터는 물리 오프셋 추정을 위한 관측자료로써 사용된다. 대응점 추출은 오픈 소프트웨어인 Cloud Compare SW를 사용하였다. 취득된 관측 자료를 기반으로 상기 기술된 물리 오프셋 추정방식을 적용하여 라이다 센서의 물리 오프셋을 추정하였다.

Fig. 8. Example of acquisition for a corresponding point in Jeon-ju (NAAS_01): (a) Acquisition for a corresponding point along with a flight direction and (b) Acquisition for a corresponding point of GCP 8.

4) 초분광 센서 검보정

초분광 센서는 라인 스캔(Push-broom) 방식으로 지표면을 스캔한다. 라인 스캔의 경우 센서의 위치 및 자세가 시간에 따라 변하고 라인별로 스캔되기 때문에 센서 모델 수립 시, 센서 디텍터의 y방향은 고려되지 않는다. 따라서 식(1)의 P_i는 식(13) 같이 표현된다.

\(\begin{aligned}P_{i}=\left[\begin{array}{c}x_{i} \\ 0 \\ z_{i}\end{array}\right]\\\end{aligned}\)       (13)

Where: x_i is the sample data and z_i is the focal length in the push-broom sensor.

본 연구에서 사용된 초분광 센서의 검보정은 영상에서 관측 데이터를 독취하고, 식(13)을 고려하여 상기 기술된 센서 모델링 추정 방식을 적용하여 물리 오프셋을 추정하였다.

4. 연구 결과 및 검증

1) 라이다 센서 검보정 결과

취득된 관측자료를 기반으로 추정된 보어사이트(Δω, Δρ, Δκ)와 레버암(T_x, T_y, T_Z)은 Table 3와 같다. 파라미터 추정을 위해 사용된 스트립은 총 2개이며, 전주 데이터셋에 설치된 10개의 지상기준점에 대응되는 대응점을 사용하여 추정된 결과이다.

Table 3. The estimated parameters for boresight angle and lever-arm in lidar sensor

추정된 파라미터를 식(1) 센서 모델식에 적용함으로써 라이다 센서의 정밀 센서 모델식이 수립된다. 수립된 센서 모델식을 통해 산출된 보정 포인트 클라우드는 Fig. 9에서 확인할 수 있다. Fig. 9(a), (b) 포인트 클라우드 결과는 인천 극지연구소의 운동장이며 총 4개의 스트립을 동일 좌표계 상(WGS 84 UTM Zone 52N)에 매핑시킨 결과이다. 마찬가지로 Fig. 9(c), (d)는 전주 지역 데이터 셋이며 총 4개의 비행 스트립을 동일 좌표계 상에 매핑 시킨 결과이다. 두 개의 데이터셋 모두 측면, 옆면에서 바라본 시점이며, 건물 및 인공구조물 등에서 포인트들이 큰 이격 없이 제대로 매핑이 된 것을 육안 검사를 통해 확인하였다.

Fig. 9. The adjusted point cloud applied boresight angle and lever-arm: (a), (b) Incheon (KOPRI), (c), (d) Jeon-ju (NAAS_02).

추정된 물리 오프셋의 적용 여부에 따른 개선효과를 확인하기 위해 보어사이트와 레버암 적용 전후의 포인트 클라우드를 산출하여 정성적 비교를 수행했다.

Fig. 10(a), (b)는 인천 극지연구소 데이터 중 운동장 영역을 확대한 영상이다. Fig. 10(a)의 물리 오프셋이 제외된 초기 포인트 클라우드는 동일 지역의 동일 객체를 촬영했지만 비행 방향에 따라 크게 스트립 오 정렬이 발생한 것을 확인할 수 있다. 운동장에 그려진 경기장 라인 및 측량을 위해 설치한 타깃 등이 2개 이상의 객체가 존재하는 것처럼 보이는 현상을 확인할 수 있다. Fig. 10(b) 물리 오프셋이 적용된 포인트 클라우드의 경우, 경기장 라인의 상태가 Fig. 10(a)에 비하여 확연하게 정렬된 것을 확인할 수 있다.

Fig. 10. Compare with point cloud before and after applying boresight angle and lever-arm (a), (c) initial point cloud. (b), (d) Adjusted point cloud.

Fig. 10(c), (d)는 전주 지역 데이터이며, 물리 오프셋 적용 개선효과를 비교하기 위해 건물의 지붕면을 확대한 영상이다. Fig. 10(c)의 건물 지붕면은 마치 2개의 지붕으로 구성된 것처럼 보이지만 Fig. 10(d)의 물리 오프셋이 적용된 센서모델식을 통해 추출된 포인트 클라우드는 건물 지붕의 위치오차가 정렬되며, 건물의 지붕의 형상이 제대로 표시되는 것을 확인할 수 있다. 따라서, 제안된 방법을 통해 추정된 보어사이트 앵글과 레버암 적용 여부에 따라 위치 오 정렬에 대한 개선효과가 있다는 것을 확인할 수 있다.

또한, Fig. 10(a), (b) 극지연구소 운동장 데이터의 경우, 지상기준점에 대한 데이터를 보유하고 있기 때문에 지상기준점을 기준으로 보정된 포인트 클라우드의 절대 좌표 정확도에 대한 정량적 분석을 진행했다. Fig. 10(b)에서 운동장 트랙 모서리의 붉은색 점 데이터가 인천 극지연구소 운동장에서 측량된 지상기준점이다. 인천 극지연구소 운동장의 14개의 지상기준점에 대응되는 포인트 클라우드의 지상점을 추출하여 Root mean square error (RMSE)를 계산한 결과는 Table 4와 같다.

Table 4. Root mean square error (RMSE) for absolute accuracy of position error between adjusted point cloud and ground control points (GCPs)

포인트 클라우드 정성적 비교 결과와 마찬가지로 지상기준점 대비하여 보어사이트 앵글과 레버암을 적용 후, X, Y 방향으로 위치 편차가 약 0.03 m로 계산되었고, 지상기준점 대비 편차가 크지 않기 때문에 지상기준점에서 거의 일치되게 매핑이 되었다는 것을 간접적으로 확인할 수 있다. 따라서, 제안된 방법론을 통해 추정된 보어사이트와 레버암이 라이다 센서의 정밀한 직접 지리 참조 수행을 위해 효과적으로 적용된 것을 확인할 수 있다.

2) 초분광 센서 검보정 결과

전주 지역에 설치된 10개의 지상기준점에 대하여 고도 60 m, 90 m, 120 m에서 취득된 총 18장의 초분광 영상에서 식별 가능한 영상좌표를 취득하여 추정된 초분광 센서의 물리 오프셋은 Table 5와 같다.

Table 5. The estimated parameters for boresight angle and lever-arm in hyperspectral sensor

추정된 초분광 센서의 물리 오프셋과 라이다 데이터를 고도자료로 변환하여 기하보정 및 모자이크 처리한 결과는 Fig. 11과 같다. Fig. 11(a) 대상 지역은 인천 극지연구소의 운동장이며, 총 4장의 초분광 영상에 대하여 기하보정 및 영상 모자이크를 수행하였다. Fig. 11(b)는 전주 농림과학원 지역 데이터(NAAS_02)이며 총 5장의 초분광 영상에 대하여 기하보정 및 영상 모자이크를 수행하였다. 또한, 극지 활용 가능성을 확인하기 위하여, 위경도 차이가 큰 데이터 알래스카 Council 지역의 11장의 초분광 영상과 노르웨이 Adventdalen 지역에서 촬영된 13장의 데이터에 대하여 기하보정 및 모자이크를 추가적으로 수행하였다(Fig. 11(c), (d)).

Fig. 11. Hyperspectral images applied boresight angle and lever-arm: (a) Incheon (KORPI), (b) Jeon-ju (NAAS_02), (c) Alaska, Council, and (d) Norway, Adventdalen.

4개 지역의 데이터셋 모두 동일하게 영상 간의 접합부에서 큰 이격 없이 모자이크 영상이 생성된 것을 확인할 수 있다.

초분광 센서의 물리 오프셋 적용 여부에 따른 개선효과를 확인하기 위해 보어사이트와 레버암 적용 전후 처리 결과를 비교하였다. Fig. 12(a), (b)는 초분광 센서로 취득한 극지연구소 운동장 지역 확대 영상이다. Fig. 12(a)는 물리 오프셋을 적용하지 않고 기하보정을 수행한 처리 결과이며, 영상 전체적으로 개별 영상 간의 접합부에서 이격이 발생하는 것을 쉽게 확인할 수 있다. 특히, 운동장 내부의 경기장 라인에서 라인이 서로 어긋나 보이는 현상을 뚜렷이 확인할 수 있다. 반면 Fig. 12(b)는 동일 지역에 대하여 물리 오프셋을 적용한 후 기하보정을 수행한 영상이다. 경기장 라인 및 측량을 위해 설치한 구조물에서 이격 현상은 발견되지 않았으며, 하나의 영상처럼 보이는 것을 확인할 수 있다.

Fig. 12. Compare with hyperspectral image before and after applying boresight angle and lever-arm: (a), (c), (e), (g) Before applying calibration parameters, (b), (d), (f), (h) After applying calibration parameters.

Fig. 12(c), (d)는 전주 지역 데이터를 이용하여 초분광 센서 물리 오프셋 적용 여부에 따른 모자이크 결과를 비교했다. Fig. 12(c)는 물리 오프셋을 적용하지 않고 기하 보정을 수행한 영상이며, 영상 내 길목 부분 및 영상 접합부에서 이격이 발생하는 것을 확인할 수 있다. 반면 Fig. 12(d)의 물리 오프셋을 적용한 영상에서는 동일 지역에 대하여 큰 이격 없이 영상 모자이크가 수행된 것을 확인할 수 있다. Council 지역 데이터와 Adventdalen 지역 데이터에서도 동일한 방법으로 물리 오프셋 적용 전후를 비교하였다. 해당 데이터들의 경우, 지형적 특성, 인식 가능한 객체를 확인하는 것이 쉽지 않기 때문에 이격이 있는 지역을 확대하여 비교하였다. Fig. 12(e) 영상 중앙 부분의 주황색의 선형 객체는 접합부에서 이격이 발생한 것을 확인할 수 있으며, Fig. 12(f)의 물리 오프셋 적용 이후, 이격이 제거된 것을 확인할 수 있었다. 마찬가지로, Fig. 12(g), (h)에서 영상 중앙과 우측의 선형의 지형물이 물리 오프셋 적용 이후, 매끄럽게 연결되는 것을 확인할 수 있다. 따라서, 네 가지의 데이터셋 모두 물리 오프셋 적용 전후에 따라 개선효과가 있었다는 것을 확인할 수 있다. 특히, Council과 Adventdalen과 같이 위경도 차이가 큰 지역에서도 추정된 물리 오프셋이 효과가 있음을 확인할 수 있었다.

또한, 정량적 분석을 수행하기 위해 지상기준점이 확보된 인천 극지연구소 운동장 초분광 영상 데이터에 대하여 14개의 지상기준점에 대한 절대 위치 정확도를 분석하였다. Table 6은 초분광 센서의 물리 오프셋 적용 후 지상 기준점 대비 절대 위치에 대한 RMSE값을 계산한 표이다.

Table 6. Root mean square error (RMSE) for absolute accuracy of position error between hyperspectral image and ground control points (GCPs)

RMSE 계산을 통해 물리 오프셋이 적용된 모자이크 초분광 영상과 지상 기준점 간에 X, Y방향으로 약 0.12 m의 위치 편차가 발생한 것을 확인할 수 있었다. 초분광 영상의 공간해상도는 약 0.05 m이며, 지상기준점 대비 약 2.5픽셀의 차이가 존재하는 것을 확인했다. 따라서, 본 연구에서 제안된 방법론을 통해 추정된 보어사이트와 레버암이 초분광 센서의 정밀한 직접 지리 참조 수행을 위해 효과적으로 적용된 것을 확인할 수 있다.

3) 다중 센서 융합 결과

보어사이트와 레버암이 적용된 초분광 영상과 라이다 센서의 처리 결과에 대한 상대적인 위치 오차를 분석하여 다중 센서 간의 융합 결과를 비교하였다. 라이다 센서의 처리결과인 포인트 클라우드는 2차원 데이터 형태인 수치 표고 모델로 변환하였다. 두 데이터의 식별 가능한 위치 또는 특징점을 선정하여 동일 위치에 대한 좌표 값의 차이를 계산하였다. Table 7은 극지연구소 운동장의 네 모서리점을 기준점으로 선정하여 초분광 모자이크 영상과 수치 표고 모델 데이터의 상대 위치 오차를 분석하였다. Table 8은 전주 지역에서 취득된 초분광 모자이크 영상과 수치 표면 모델의 상대 위치 오차를 분석한 결과이며 영상 내부 밭들의 우측 상단의 모서리점을 기준점으로 지정하여 두 데이터의 위치 오차를 비교하였다. 선정된 기준점과 수치 표면 모델 및 초분광 모자이크 영상은 Fig. 13(a), (b), Fig. 14(a), (b)에서 확인할 수 있다. 극지 연구소 운동장 초분광 모자이크 영상의 공간 해상도는 약 0.05 m이며, 수치 표고 모델의 공간 해상도는 약 0.07 m이다. 두 데이터 간의 상대적 위치 편차는 X, Y 방향으로 약 0.07 m이며, 초분광 영상의 해상도를 기준으로 약 1.4 픽셀의 위치 편차가 있는 것으로 확인됐다.

Table 7. Root mean square error (RMSE) for relative accuracy of position between hyperspectral image and digital surface model (DSM) in Incheon

Fig. 13. Control points in Incheon (1-4): (a) Hyperspectral image and (b) Digital surface model (DSM).

Table 8. Root mean square error (RMSE) for relative accuracy of position between hyperspectral image and digital surface model (DSM) in Jeon-ju

Fig. 14. Control points in Jeon-ju (1-6): (a) Hyperspectral image and (b) Digital surface model (DSM).

또한, 전주 지역 초분광 모자이크 영상의 공간해상도는 약 0.06 m이며, 수치 표면 모델의 공간 해상도는 약 0.07 m이다. 두 데이터의 동일 위치에 대한 정확도 RMSE 계산 결과 X, Y 방향으로 약 0.12 m의 위치 편차가 있는 것을 확인하였다. 전주 데이터도 이전과 마찬가지로 초분광 영상의 공간 해상도를 기준으로 약 2 픽셀 정도의 차이가 발생한 것을 확인했으며, 이는 두 데이터의 위치 편차가 크지 않다는 점을 확인할 수 있다. 따라서, 인천, 전주 지역 데이터 모두에서 제안된 방법으로 추정된 파라미터를 적용함에 따라 하나의 플랫폼에서 취득된 다중 센서 간의 융합이 가능함을 확인했고, 추정 파라미터가 효과적으로 적용되었다는 점을 확인하였다.

5. 결론

본 연구는 다중 센서 플랫폼에 부착된 센서에서 발생되는 물리적 오프셋인 보어사이트 앵글과 레버암을 추정방안을 제시하고, 센서 별 검보정 방안을 제시하였다. 또한 검증을 위한 실제 데이터 취득 및 물리 오프셋을 추정하고 적용 비교함으로써 정밀한 직접 지리 참조 수행 및 다중 센서 융합 가능성을 확인하였다.

본 연구를 통해 공통된 3단계 과정으로 직접 지리 참조를 위한 정밀센서모델 수립 방안을 확인했다. 첫 번째로, 회전 행렬에 대한 정의 및 센서 모델식을 수립한다. 본 연구에서는 Image to Body, Body to Navigation, Navigation to Map 3개의 회전 행렬에 대한 정의를 하였으며, 이를 기반으로 초기 센서모델식을 수립하였다. 두 번째로, 관측 방정식을 수립하기 위한 관측 데이터를 추출한다. 센서 별로 관측된 영상 데이터 및 포인트 클라우드를 통해 지상 기준점에 대응되는 대응점을 추출하여 관측 자료로써 활용하였다. 마지막으로 초기센서모델과 관측 데이터를 활용하여 본 연구에서 제시한 물리 오프셋 추정을 수행한다. 다음의 일련의 과정을 통해 추정된 물리 오프셋을 초기센서모델이 적용함으로써 직접 지리 참조를 위한 정밀 센서 모델을 수립할 수 있었다.

검증 자료로 사용된 인천 극지연구소 운동장, 전주(NAAS_02), Council, Adventdalen 데이터셋의 물리 오프셋 적용 전후 처리결과를 비교 및 지상기준점 대비 절대 위치 정확도를 분석함으로써, 물리 오프셋의 적용 여부에 따라 산출물의 절대 위치 정확도에 큰 영향을 준다는 사실을 확인할 수 있었으며, 추정된 물리 오프셋 파라미터가 적용되는 경우 비행 스트립에 따라 발생하는 이격 오차가 효과적으로 제거되는 것을 여러 데이터셋에 대한 실험을 통해 확인할 수 있었다. 특히 Council, Adventdalen과 같이 위도, 경도 차이가 큰 국외 지역에서도 추정된 파라미터가 적용될 수 있다는 사실을 확인할 수 있었다. 지상기준점 대비 절대위치 정확도뿐만 아니라, 다중 센서 산출물 간의 상대적인 위치 오차 분석을 통해 2픽셀 이내의 다중 센서 융합 가능성에 대해서도 확인할 수 있었다.

따라서, 본 연구에서 제안한 방법을 통해 기존의 외산 소프트웨어 의존성에서 벗어나 독자적인 물리 오프셋 추정이 가능할 것으로 보이며, 기체 플랫폼에 부착된 센서의 변경에도 자체적인 파라미터 추정 방법을 통해 시스템 운용의 유연성을 부여할 수 있을 것으로 기대한다. 본 연구에서는 초분광 센서와 라이다 센서 간의 센서 융합 가능성에 대해 확인하였지만, 향후 연구를 통해 프레임 카메라의 정밀센서모델 및 센서 융합 가능성에 대해 연구가 필요하며, 이를 통해 통합된 플랫폼에서 동시 운용 가능한 다중 센서 플랫폼 시스템이 구성될 수 있을 것이라 사료된다.