Deep Learning based Visual-Inertial Drone Odomtery Estimation

딥러닝 기반 시각-관성을 활용한 드론 주행기록 추정

본 연구는 시각-관성 기반의 딥러닝 학습으로 자유분방하게 움직이는 드론의 주행기록을 정확하게 추정하는 것을 목표로 한다. 드론의 비행주행은 드론의 온보드 센서와 조정값을 이용하는 것이 일반적이다. 본 연구에서는 이 온보드 센서 데이터를 학습에 사용하여 비행주행의 위치추정을 실험하였다. 선행연구로써 DeepVO[1]룰 구현하여 KITTI[3] 데이터와 Midair[4] 데이터를 비교, 분석하였다. 3D 좌표면에서의 위치 추정에 선행연구 모델의 한계가 있음을 확인하고 IMU를 Feature로써 사용하였다. 본 모델은 FlowNet[2]을 모방한 CNN 네트워크로부터 Optical Flow Feature에 IMU 데이터를 더해 RNN으로 학습을 진행하였다. 본 연구를 통해 주행기록 예측을 다소 정확히 했다고 할 수 없지만, IMU Feature를 통해 주행기록의 예측이 가능함을 볼 수 있었다. 본 연구를 통해 시각-관성 분야에서 사람의 지식이나 조정이 들어가는 센서를 융합하는 기존의 방식에서 사람의 제어가 들어가지 않는 End-to-End 방식으로 인공지능을 학습했다. 또한, 시각과 관성 데이터를 통해 주행기록을 추정할 수 있었고 시각적으로 그래프를 그려 정답과 얼마나 차이 있는지 확인해보았다.