Development of real-time camera tracking and dense reconstruction algorithm for representing occlusion effect in augmented reality contents

증강현실에서 가려짐 표현을 위한 실시간 영상 트래킹 및 조밀 복원 알고리즘

증강현실 콘텐츠에서 가려짐 표현은 사실감을 위한 필수적이다. 가려짐이란 가상 물체의 일부가 실제 사물에 의해서 가려져서 표현되는 것을 의미한다. 이는 카메라의 트래킹 정보와 함께 현재 관찰하고 있는 실제 세계의 3차원 스캔 정보를 같이 획득해야 한다. 카메라 트래킹이란 현재 카메라가 세상의 어디에 위치해있는지, 어떤 자세로 바라보고 있는지에 대한 정보를 실시간으로 획득하는 기술이다. 3차원 스캐닝이란 실제 물체를 이루는 모든 점들의 3차원 위치 관계를 파악하는 과정이다. 가상물체의 3차원 위치와 자세가 실제물체의 위치/자세와의 관계를 통해서 가상물체의 그려야할 부분과 그리지 말아야할 부분을 판단할 수 있다. 본 논문에서는 트래킹과 스캐닝을 동시에 처리하여 가려짐 표현이 가능한 증강현실용 트래킹 기술을 제안한다. 카메라 트래킹이 실내외에서도 제약없이 동작하기 위해서 스테레오 카메라를 활용하였다. 트래킹은 카메라 프레임간 특징점들의 상호 관계를 파악하는 방법에 의해서 구하였다. 스테레오 카메라 이미징을 통해서 매 프레임마다 실세계의 3차원 깊이정보를 파악하게 되고, 이를 앞서구한 카메라 위치자세를 통해서 3차원 깊이 데이터를 병합하는 과정으로 스캐닝기술을 구현하였다.