DOI QR코드

DOI QR Code

Live-Action VR Re-lighting Pipeline Using Depth Information

깊이 정보를 활용한 실사 VR의 리라이팅 파이프라인

  • Baek, Kwang-Ho (Department of Visual Contents, Dong-Seo University) ;
  • Lee, Junsang (Department of Product Design Engineering, Dong-Eui University)
  • Received : 2018.05.30
  • Accepted : 2018.08.30
  • Published : 2018.09.30

Abstract

A variety of VR contents are being introduced as of 2017. VR contents are concentrated in the genre of games and interactive because of the difficulty of $360^{\circ}$ shooting production environment. Live action $360^{\circ}$ VR content has many problems due to the difficulty of the production environment. In this paper, a three - dimensional information value is generated in binocular disparity of a real image by using a re-light technique based on real image data. The generated 3D information values are combined with a technique of converting the depth information into a depth map and a re-light technique by installing virtual lighting on the surface formed in the 3D space. In order to solve the problem of lighting exposure, we apply the technique of re-lighting to the VR production pipeline by comparing and analyzing the result image of actual image and virtual image data.

2017년 현재 수많은 VR콘텐츠가 소개됨으로써 대중들의 VR에 대한 관심과 다양한 기술이 발전을 하고 있다. VR 콘텐츠는 $360^{\circ}$실사 촬영 제작환경의 어려움으로 인해 게임과 인터렉티브라는 장르에 편중되어 있는 것 또한 사실이다. 실사촬영에서의 조명은 영상 미학적 차원에서 중요한 요소 중에 하나이며 특정 캐릭터의 내적 표현 부분에서도 조명의 역할이 매우 중요하다. 실사 기반의 $360^{\circ}$VR콘텐츠는 조명설정에 따라 노출에 대한 부분과 제작환경의 어려움으로 인해 많은 문제점을 가지고 있다. 따라서 본 논문은 실사 촬영된 영상데이터를 기반으로 리라이팅 기술을 이용하여 실사 이미지의 양안시차에 3차원 정보 값을 생성한다. 생성된 3차원 정보 값은 뎁스 맵으로 변환하는 기술과 3D 공간에서 형성된 면에 가상의 조명을 설치하여 리라이팅 기술을 접목한다. 실제 조명과 가상의 조명의 영상데이터의 결과 이미지를 비교분석하여 리라이팅의 기술을 VR제작 파이프라인에 적용하여 조명 노출에 대한 문제점을 해결하고자 한다.

Keywords

References

  1. Y. S. Lee, J. W. Kim, "A Study on the Production Efficiency of Movie Filming Environment Using 360$^{\circ}$ VR," Journal of Korea Multimedia Society, vol.19, no. 12, pp. 2036-2043, Dec. 2016 . https://doi.org/10.9717/kmms.2016.19.12.2036
  2. C. H. Kang, "Flow of next generation broadcast video, Present and Future of VR contents." The Journal of the Korea Contents Association Review, vol.14, no. 2, pp. 14-18, Jun.2016.
  3. M. You, "The Concept of Virtual Reality Movie and the Analysis of Production Technology," The Korean Journal of animation, Vol. 11, no. 5, pp.211-229, Dec. 2016.
  4. H. S. Lee, E. J. You, J. d. Kim, "Synchronization of Moving objects and VR images," Journal of the Korea Institute of Information and Communication Engineering, Vol. 21, no. 7, pp. 1435-1440, Jul. 2017. https://doi.org/10.6109/JKIICE.2017.21.7.1435
  5. H. Y. Oh, "Research on Lighting as Visual Language in Digital 3D Animations - Focusing on and ," journal of the moving image technology associon of korea, vol. 8, pp. 132-149, Dec. 2006.
  6. X. jin. Y. Li, N. Liu, X, Li, X. Jiang, C. Xiao, X. Ge, "Single reference image based scene relighting via material guided filtering," Optics & Laser Technology, 2017.
  7. A. Wenger, A. Gardner, C. Tchou, J. Unger, T. Hawkins, P. Debevec, "Performance relighting and reflectance transformation with time-multiplexed illumination.," In ACM Transactions on Graphics (TOG) Vol. 24, no. 3, pp. 756-764, Jul. 2005. https://doi.org/10.1145/1073204.1073258
  8. J. W. Park "Realistic Re-lighting System with Occlusion," Cartoon and Animation Studies, pp. 133-144, 2015.
  9. K. S. Hong, Y. H. Seo, D. W. Kim "Digital Hologram Contents Manipulation and Synthesis," Journal of Korea Institute of Information and Communication Engineering, vol. 16, no. 1, pp. 1-12, Jan. 2012. https://doi.org/10.6109/jkiice.2012.16.1.001
  10. H. Su, Q. Huang, N. J, Mitra, Y. Li, L. Guibas, "Estimating image depth using shape collections," ACM Transactions on Graphics (TOG), vol. 33, no. 4, pp. 37, 2014.