비간섭 프로젝션 기반 증강현실을 위한 컨텐츠 적응형 보색 패턴 삽입 기술

Content Adaptive Technique of Embedding Complementary Patterns for Nonintrusive Projection-based Augmented Reality

최근 프로젝터의 보편화로 인해 프로젝터를 증강현실의 디스플레이 장치로 활용하는 연구가 활발히 진행되고 있다. 관련 연구들을 흔히 프로젝션 기반 증강현실이라고 부른다. 프로젝션 기반 증강현실을 구현하기 위해서는 스크린의 기하(geometry) 및 컬러(photometry) 정보를 획득하는 과정이 선행되어야 하는데, 이는 프로젝터를 이용하여 정해진 패턴 영상을 투사하고 이를 카메라로 캡쳐한 후, 카메라 영상에 다양한 컴퓨터비전 기술들을 적용함으로써 행해진다. 이러한 스크린 기하 및 컬러 정보 획득 기술은 가시적인(visible) 패턴 영상이 사용자의 몰입감을 저해한다는 단점을 가진다. 특히, 스크린의 기하 및 컬러 정보가 수시로 변하는 환경에서는 가시적인 패턴 영상을 사용하는 기존의 스크린 기하 및 컬러 정보 획득 기술은 유용하지 못하다. 이러한 문제점을 해결하기 위해 일부 패턴 영상을 비가시적(invisible)으로 만드는 기술들이 제안되었다. 본 논문에서는 관련 기술들을 비간섭 프로젝션 기반 증강현실이라고 한다. 특히, 보색 패턴(complementary patterns)을 증강현실 영상에 삽입하는 방법은 부가적인 장비없이 간단한 영상처리만으로 효과적으로 패턴 영상을 비가시적으로 만들어 줄 수 있으며, 최근 가상 스튜디오에 활용하는 방안이 모색되고 있다. 그러나, 삽입된 보색 패턴의 세기와 비가시성 사이는 상반관계(trade-off)를 가지므로, 일반적인 환경에서는 보색 패턴의 비가시성을 보장할 수 없다. 본 논문에서는 이러한 보색 패턴의 비가시성을 극대화하기 위해 컨텐츠 적응형 패턴 삽입 기술을 제안한다. 증강현실 영상의 색감 및 텍스처의 복잡도에 따라 크게 4 가지 경우로 분류하여 부분적으로 다른 채널 및 세기로 보색 패턴을 삽입한다. YIQ 컬러 공간에서 표현된 증강현실 영상을 균일한 크기의 영역으로 나눈 다음, 각 영역에 대해 I 성분이 지배적이면 Q 채널에 패턴을 삽입하고 Q 성분이 지배적이면 I 채널에 패턴을 삽입한다. 한편, 각 영역에 대해 텍스처의 복잡도가 크다면 강한 패턴을, 복잡도가 작으면 약한 패턴을 삽입한다. 여기서, 텍스처의 복잡도는 간단한 미분 필터(derivative filter)를 이용하여 계산된다. 다양한 실험 및 사용자 평가를 통해, 제안된 방법은 기존 방법에 비해 크게 두 가지 상반관계를 가지는 장점을 가짐을 확인하였다. 스크린의 기하 및 컬러 정보를 획득하는 성능 면에서 제안된 방법이 기존의 방법과 유사하도록 채널 및 패턴의 세기를 결정한다면, 기존의 방법에 비해 패턴의 비가시성이 크게 개선된다. 반대로, 제안된 방법의 패턴의 비가시성이 기존의 방법과 유사하도록 채널 및 패턴의 세기를 결정한다면, 기존의 방법에 비해 스크린의 기하 및 컬러 정보를 획득하는 성능이 크게 개선된다.