Abstract
Recently, various applications for image processing have been ported to the mobile environment due to the expansion of the image shooting on the mobile device. However, in the case of extracting the image foreground, which is one of the most important functions of image synthesis, is difficult since it needs complex calculation. In this paper, we propose an video synthesis technique that can divide images captured by mobile devices into foreground / background and combine them in real time on target images. Considering the characteristics of mobile shooting, our system can extract automatically foreground of input video that contains weak motion when shooting. Using SIMD and GPGPU-based acceleration algorithms, SD-quality images can be processed on mobile in real time.
최근 모바일 기기의 영상 촬영 기능의 확대에 따라, 영상처리를 위한 다양한 어플리케이션들이 모바일 환경으로 이식되고 있다. 또한 모바일 기기의 컴퓨팅 능력또한 상승으로 기존에 컴퓨터에서만 가능하였던 다양한 영상처리기술들이 모바일 환경으로 이식되고 있다. 이러한 영상처리 기술 중, 사용자가 촬영한 영상에서 전경만을 추출하여 원하는 새로운 배경에 합성하는 문제는 다양한 어플리케이션에서 사용이 가능하나 계산이 복잡하다는 문제점으로 모바일환경 이식에 어려움을 가지고 있었다. 본 연구에서는 모바일 기기로 촬영된 영상을 전경/배경으로 구분하여 목표 영상에 실시간으로 합성할 수 있는 영상합성 기술을 제안한다. 사용자가 촬영한 영상에서 배경이 움직이지 않는다는 가정하에 자동으로 전경을 추출하며 이를 새로운 배경에 합성하는 기법을 소개한다. 모바일 촬영의 특성을 고려하여 촬영시 약한 움직임을 포함하는 영상에서의 자동 전경 추출 알고리즘을 개발하며 이를 SIMD 및 GPGPU기반의 가속화 알고리즘을 사용하여 SD급 화질의 영상에 대해 모바일 상에서 실시간 처리가 가능한 결과를 보인다. 본 논문의 기술을 사용하여 상용화 가능한 영상처리 어플리케이션의 개발이 가능하다.