Development of Interactive Video Using Real-time Optical Flow and Masking

Recent advances in computer technologies support real-time image processing and special effects on personal computers. This paper presents and analyzes a real-time interactive video system. The motivation of this work is to realize an artistic concept that aims at transforming the timeline visual variations in a video of sea water waves into sound in order to provide an audience with an experience of overlapping themselves onto the nature. In practice, the video of sea water waves taken on a beach is processed using an optical flow algorithm in order to extract the information of visual variations between the video frames. This is then masked by the silhouette of an audience and the result is projected on a gallery space. The intensity information is extracted from the resulting video and translated into piano sounds accordingly. This work generates an interactive space realizing the intended concept.

옵티컬 플로우와 마스킹에 의한 실시간 인터렉티브 비디오 개발

최근의 기술발달은 개인용 컴퓨터를 이용하여 실시간 영상처리 및 특수효과 처리를 가능하게 하였다. 본 논문에서는 개인용 컴퓨터를 이용하여 제작하고 시연한 실시간 인터렉티브 비디오 시스템을 기술하고 분석한다. 본 작품의 동기는 해변에서 파도가 부서지는 시각적 모습으로 부터 파도소리를 대체하는 사운드를 생성하고 자연과 하나가 되어가는 경험을 제공하기 위한 것이다. 이를 위하여 해변의 모습을 촬영한 실사 영상을 컴퓨터 비젼 기법인 옵티컬 프로우(Optical Flow)에 의하여 처리함으로써 프레임간의 변화에 대한 정보를 얻어 이를 카메라에서 실시간으로 캡쳐 받은 관객의 실루엣 이미지와 마스킹(masking)에 의하여 결합하고 그 결과를 프로젝터를 통하여 보여준다. 결과 이미지의 특성을 반영하여 미디 피아노 사운드가 함께 생성된다. 이는 하나의 인터렉티브 비디오 작품으로써 의도된 개념을 반영하여 상호작용 공간을 창출한다.