Physical Offset of UAVs Calibration Method for Multi-sensor Fusion

In an unmanned aerial vehicles (UAVs) system, a physical offset can be existed between the global positioning system/inertial measurement unit (GPS/IMU) sensor and the observation sensor such as a hyperspectral sensor, and a lidar sensor. As a result of the physical offset, a misalignment between each image can be occurred along with a flight direction. In particular, in a case of multi-sensor system, an observation sensor has to be replaced regularly to equip another observation sensor, and then, a high cost should be paid to acquire a calibration parameter. In this study, we establish a precise sensor model equation to apply for a multiple sensor in common and propose an independent physical offset estimation method. The proposed method consists of 3 steps. Firstly, we define an appropriate rotation matrix for our system, and an initial sensor model equation for direct-georeferencing. Next, an observation equation for the physical offset estimation is established by extracting a corresponding point between a ground control point and the observed data from a sensor. Finally, the physical offset is estimated based on the observed data, and the precise sensor model equation is established by applying the estimated parameters to the initial sensor model equation. 4 region's datasets(Jeon-ju, Incheon, Alaska, Norway) with a different latitude, longitude were compared to analyze the effects of the calibration parameter. We confirmed that a misalignment between images were adjusted after applying for the physical offset in the sensor model equation. An absolute position accuracy was analyzed in the Incheon dataset, compared to a ground control point. For the hyperspectral image, root mean square error (RMSE) for X, Y direction was calculated for 0.12 m, and for the point cloud, RMSE was calculated for 0.03 m. Furthermore, a relative position accuracy for a specific point between the adjusted point cloud and the hyperspectral images were also analyzed for 0.07 m, so we confirmed that a precise data mapping is available for an observation without a ground control point through the proposed estimation method, and we also confirmed a possibility of multi-sensor fusion. From this study, we expect that a flexible multi-sensor platform system can be operated through the independent parameter estimation method with an economic cost saving.

다중 센서 융합을 위한 무인항공기 물리 오프셋 검보정 방법

무인항공기에 부착된 위성 항법 시스템/관성 측정 센서(global positioning system/inertial measurement unit, GPS/IMU)와 관측 센서 사이에는 물리적인 위치와 자세 오차가 존재한다. 해당 물리 오프셋으로 인해, 관측 데이터는 비행 방향에 따라 서로 위치가 어긋나는 이격 오차가 발생한다. 특히나, 다중 센서를 활용하여 데이터를 취득하는 다중 센서 무인항공기의 경우, 관측 센서가 변경될 때마다 고액의 비용을 지불하고 외산 소프트웨어 의존하여 물리 오프셋을 조정하고 있는 실정이다. 본 연구에서는 다중 센서에 적용 가능한 초기 센서 모델식을 수립하고 물리 오프셋 추정 방법을 제안한다. 제안된 방안은 크게 3가지 단계로 구성된다. 먼저, 직접지리 참조를 위한 회전 행렬 정의 및 초기 센서 모델식을 수립한다. 다음으로, 지상기준점과 관측 센서에서 취득된 데이터 간의 대응점을 추출하여 물리 오프셋 추정을 위한 관측방정식을 수립한다. 마지막으로, 관측 자료를 기반으로 물리 오프셋을 추정하고, 추정된 파라미터를 초기 센서 모델식에 적용한다. 전주, 인천, 알래스카, 노르웨이 지역에서 취득된 데이터셋에 적용한 결과, 4개 지역 모두 물리 오프셋 적용 전에 발생되던 영상 접합부의 이격 오차가 물리 오프셋을 적용 후 제거되는 것을 확인했다. 인천 지역의 지상기준점 대비 절대 위치 정확도를 분석한 결과, 초분광 영상의 경우, X, Y 방향으로 약 0.12 m 위치 편차를 보였으며, 라이다 포인트 클라우드의 경우 약 0.03 m의 위치 편차를 보여줬다. 더 나아가 영상 내 특징점에 대하여 초분광, 라이다 데이터의 상대 위치 정확도를 분석한 결과, 센서 데이터 간의 위치 편차가 약 0.07 m인 것을 확인했다. 따라서, 제안된 물리 오프셋 추정 및 적용을 통해 별도 기준점 없이 정밀한 데이터 매핑이 가능한 직접 지리 참조가 가능하다는 것을 확인했으며, 다중 센서를 부착한 무인항공기에서 취득된 센서 데이터 간의 융합 가능성에 대해 확인하였다. 본 연구를 통해 독자적인 물리 파라미터 추정 기술 보유를 통한 경제적 비용 절감 효과 및 관측 조건에 따른 유연한 다중 센서 플랫폼 시스템 운용을 기대한다.