비간섭 프로젝션 기반 증강현실을 위한 컨텐츠 적응형 패턴 은닉

Content Adaptive Pattern Concealment for Nonintrusive Projection-based AR

최근 보색 패턴(complementary pattern)을 이용한 비간섭 프로젝션 기반 증강현실 기술이 제안되었으며, 가상 스튜디오에 활용하는 방안이 모색되고 있다. 그러나, 관련 기술은 삽입된 보색 패턴의 비가시성이 보정 성능과 상충된다는 문제를 안고 있다. 본 논문에서는 이러한 보색 패턴의 비가시성과 보정 성능 사이의 상충관계를 완화하기 위해 컨텐츠 적응형 패턴 은닉 기술을 제안한다. 증강현실 영상의 색감 및 텍스처의 복잡도에 따라 지역적으로 (locally) 다른 채널 및 세기로 보색 패턴을 삽입한다. 우선, YIQ 컬러 공간에서 표현된 증강현실 영상을 균일한 크기의 영역으로 나눈 다음, 각 영역에 대해 I 성분이 지배적이면 Q 채널에 패턴을 삽입하고 Q 성분이 지배적이면 I 채널에 패턴을 삽입한다. 또한, 각 영역에 대해 미분 필터를 이용하여 텍스처의 복잡도를 계산한 후, 텍스처의 복잡도가 크다면 강한 패턴을, 복잡도가 작으면 약한 패턴을 삽입한다. 다양한 실험 및 사용자 평가를 통해, 제안된 방법은 기존 방법에 비해 크게 두 가지 상반되는 장점을 가짐을 확인하였다. 스크린의 기하 및 컬러 정보를 획득하는 성능 면에서 제안된 방법이 기존의 방법과 유사하도록 채널 및 패턴의 세기를 결정한다면, 기존의 방법에 비해 패턴의 비가시성이 크게 개선된다. 반대로, 제안된 방법의 패턴의 비가시성이 기존의 방법과 유사하도록 채널 및 패턴의 세기를 결정한다면, 기존의 방법에 비해 스크린의 기하 및 컬러 정보를 획득하는 성능이 크게 개선된다.

A nonintrusive projection-based AR approach using complementary pattern has been recently proposed and applied to virtual studio. However, the approach faces the tradeoff between the pattern imperceptibility and compensation accuracy. To alleviate the tradeoff, we propose a content adaptive pattern concealment approach. The projector input images (AR images) are divided into rectangular regions and spatial variation and color distribution are computed in the regions. Based on the spatial variation and color distribution, we embed locally different strength of pattern images into different color channels. It is demonstrated that the proposed approach has two opposite advantages by comparing it with the previous (non-adaptive) approach through a variety of experiments and subjective evaluation. Our content adaptive approach can obtain the same performance using weaker pattern than the previous approach and thus significantly improve the imperceptibility of the pattern. On the contrary, our content adaptive approach can make strong pattern less perceptible and thus produce better compensation results.