Study on Compositing Editing of 360˚ VR Actual Video and 3D Computer Graphic Video

360˚ VR 실사 영상과 3D Computer Graphic 영상 합성 편집에 관한 연구

Abstract

This study is about an efficient synthesis of $360^{\circ}$ video and 3D graphics. First, the video image filmed by a binocular integral type $360^{\circ}$ camera was stitched, and location values of the camera and objects were extracted. And the data of extracted location values were moved to the 3D program to create 3D objects, and the methods for natural compositing was researched. As a result, as the method for natural compositing of $360^{\circ}$ video image and 3D graphics, rendering factors and rendering method were derived. First, as for rendering factors, there were 3D objects' location and quality of material, lighting and shadow. Second, as for rendering method, actual video based rendering method's necessity was found. Providing the method for natural compositing of $360^{\circ}$ video image and 3D graphics through this study process and results is expected to be helpful for research and production of $360^{\circ}$ video image and VR video contents.

연구는 $360^{\circ}$ 동영상과 3D 그래픽의 효율적인 합성 방법에 관한 연구이다. 먼저, 이안식 일체형 $360^{\circ}$ 카메라로 촬영한 영상을 스티칭하고, 영상에서 카메라 및 사물의 위치값을 추출하였다. 그리고 추출한 위치값의 데이터를 3D 프로그램으로 불러와 3D 오브젝트를 생성하고, 자연스러운 합성을 위한 방법에 관하여 연구하였다. 그 결과 $360^{\circ}$ 동영상과 3D 그래픽의 자연스러운 합성을 위한 방법으로 렌더링 요소와 렌더링 기법을 도출할 수 있었다. 첫째, 렌더링 요소로는 3D 오브젝트의 위치와 재질, 조명과 그림자가 있었고, 둘째, 렌더링 기법으로는 실사 기반 렌더링 기법의 필요성을 찾을 수 있었다. 본 연구 과정 및 결과를 통해 $360^{\circ}$ 동영상과 3D 그래픽의 자연스러운 합성에 관한 방법을 제시함으로써, $360^{\circ}$ 동영상 및 VR 영상 콘텐츠의 연구와 제작 분야에 도움이 될 것으로 기대한다.

Fig. 1. 3D Computer Graphics2)

Fig. 3. 3D Camera Tracking Screen in After Effects CC

Fig. 4. 3D Object Position Setting and Material Application Screen

Fig. 5. Lighting and Shadow Setup Screen

Fig. 6. Standard Renderer Rendering Image

Fig. 7. Octane Renderer Rendering Image

Fig. 8. Final Image Result

Fig. 2. Ricoh Theta S Camera, Original Images and Stitched Panoramic Images