Robust 3D region tracking for multiview mixed-reality system

다시점 혼합현실 시스템을 위한 강인한 3차원 정합영역 추적기법

다시점 영상 부호화와 함께, 가상물체를 지능형으로 합성하기 위해서는 정합할 위치를 강인하게 추적(tracking)하여야 한다. 기존의 특징추적기법은 시점이 확장된 시스템에서, 광원의 영향과 가려진 영역의 발생으로 인하여, 추적 할 수 없게 되거나 시각적 혼동이 발생하는 등의 많은 문제점을 유발한다. 뿐만 아니라 다시점에 의한 정보의 급격한 증가는 시점간 움직임을 추적하여 정합하는 연산량의 추가적 발생을 초래한다. 이에 본 논문은 광원이나 가려진 영역(occtusion)의 영향이 적은 형상과 정보량이 많은 텍스쳐를 동시에 고려하여 영역의 변형에 따라 발생하는 최적 움직임을 예측하는 파라미터 모델을 결정함으로써 사각영역을 추적한다. 이 때 미리 연산된 카메라 파라미터와 투영관계를 사용해 시점간에 가상 객체를 지속적으로 3차원 정합한다. 결과적으로, 제안된 알고리즘은 기존의 특징추적 알고리즘에 비해 광원의 영향과 가려진 영역에 강인하며 정합의 오류가 적고 추적 할 때 시점간의 대응을 위한 연산을 줄이기 때문에 실감 혼합현실 시스템의 구현에 매우 효율적임을 실험을 통해 증명하였다.