Abstract
To complete an image, it is needed to go through the process to capture the actual actor's motion and compose it with virtual environment. Due to the excessive cost for production or lack of post-processing technology, however, it is mostly conducted by manual labor. The actor plays his role depending on his own imagination at the virtual chromakey studio, and at that time, he has to move considering the possible collision with or reaction to an object that does not exist. And in the process of composition applying CG, when the actor's motion does not go with the virtual environment, the original image may have to be discarded and it is necessary to remake the film. The current study suggested and realized depth-based real-time 3D virtual image composition system to reduce the ratio of remaking the film, shorten the production time, and lower the production cost. As it is possible to figure out the mutual collision or reaction by composing the virtual background, 3D model, and the actual actor in real time at the site of filming, the actor's wrong position or acting can be corrected right there instantly.
영상물을 완성하기 위해서는 실사 배우의 동작을 캡처하여 가상 환경과 합성하는 과정을 거치게 된다. 이때 제작비용의 과다소요 또는 후처리 기술의 부재로 인하여 수작업으로 제작하는 것이 일반적이다. 배우는 크로마키 가상스튜디오에서 상상력에 의존하여 연기를 하게 되는데, 실존하지 않는 물체와의 충돌 및 반응을 고려하여 움직여야 한다. CG를 통한 합성 과정에서 배우의 움직임과 가상 환경이 어긋나는 경우는 원본 영상을 폐기하고, 재촬영해야 하는 문제가 발생한다. 본 논문에서는 재촬영의 비율을 줄이고, 제작기간 단축 및 제작 비용절감을 위한 깊이 기반의 실시간 3D 가상 영상합성 시스템을 제안하고 구현한다. 가상 배경과 3D 모델, 실사 배우를 실시간으로 합성하여 상호간의 충돌이나 반응을 촬영 현장에서 판단할 수 있으므로 배우의 잘못된 위치나 연기를 개선할 수 있게 한다.
