Journal of the Korea Computer Graphics Society (한국컴퓨터그래픽스학회논문지)

Korea Computer Graphics Society (한국컴퓨터그래픽스학회)
권호 표지
DOI QR코드

DOI QR Code

Neural Relighting using Specular Highlight Map

반사 하이라이트 맵을 이용한 뉴럴 재조명

  • 이연경 (국민대학교 비주얼 컴퓨팅 연구실) ;
  • 고현성 (국민대학교 비주얼 컴퓨팅 연구실) ;
  • 이진우 (국민대학교 비주얼 컴퓨팅 연구실) ;
  • 김준호 (국민대학교 비주얼 컴퓨팅 연구실)
  • Received : 2020.06.20
  • Accepted : 2020.06.25
  • Published : 2020.07.01
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a novel neural relighting that infers a relighted rendering image based on the user-guided specular highlight map. The proposed network utilizes a pre-trained neural renderer as a backbone network learned from the rendered image of a 3D scene with various lighting conditions. We jointly optimize a 3D light position and its associated relighted image by back-propagation, so that the difference between the base image and the relighted image is similar to the user-guided specular highlight map. The proposed method has the advantage of being able to explicitly infer the 3D lighting position, while providing the artists' preferred 2D screen-space interface. The performance of the proposed network was measured under the conditions that can establish ground truths, and the average error rate of light position estimations is 0.11, with the normalized 3D scene size.

본 논문에서는 사용자가 지정한 반사 하이라이트 맵을 가이드 영상으로 하는 뉴럴 재조명 기법을 제안한다. 제안하는 신경망은 다양한 조명 위치에서 렌더링 된 영상을 이용해 사전학습시킨 백본 뉴럴 렌더러를 활용하며, 기저 영상과 렌더링 영상의 차이가 사용자가 제공한 반사 하이라이트 맵과 유사하도록 역전파에 의해 광원의 위치와 관련된 재조명 영상을 동시 최적화한다. 제안하는 방법은 아티스트가 선호하는 이차원 화면 공간 인터페이스를 제공하면서도 삼차원 조명의 위치를 명시적으로 추론할 수 있는 장점이 있다. 제안하는 뉴럴 재조명의 성능은 실제 값을 설정할 수 있는 실험 상황을 수립하여, 본 논문의 방법이 주어진 하이라이트 맵을 얼마나 잘 반영하는지 평가하고 실제 하이라이트 맵으로 추론한 조명 및 재조명 영상의 오차를 측정하였다. 제안하는 뉴럴 재조명이 추정한 광원 위치의 평균 오차율은 정규화된 삼차원 장면 크기 대비 0.11이다.

Keywords

References

  1. M. Pharr, W. Jakob, and G. Humphreys, Physically Based Rendering: From Theory to Implementation, 3rd ed. Morgan Kaufmann, 2017.
  2. A. Tewari, O. Fried, J. Thies, V. Sitzmann, S. Lombardi, K. Sunkavalli, R. Martin-Brualla, T. Simon, J. Saragih, M. NieBner, R. Pandey, S. Fanello, G. Wetzstein, J.-Y. Zhu, C. Theobalt, M. Agrawala, E. Shechtman, D. B. Goldman, and M. Zollhofer, "State of the Art on Neural Rendering," Eurographics STAR, vol. 39, no. 2, pp. 701-727, 2020.
  3. A. KT, P. Sakurikar, S. Saini, and P. J. Narayanan, "A Flexible Neural Renderer for Material Visualization," in SIGGRAPH Asia 2019 Technical Briefs, 2019, pp. 83-86.
  4. J. Thies, M. Zollhofer, and M. NieBner, "Deferred Neural Rendering: Image Synthesis using Neural Textures," ACM Trans. Graphics, vol. 38, no. 4, pp. 66:1-66:12, 2019.
  5. Z. Chen, A. Chen, G. Zhang, C. Wang, Y. Ji, K. N. Kiriakos, and J. Yu, "A Neural Rendering Framework for Free-Viewpoint Relighting," in Proc. CVPR, 2020, pp. 5599-5610.
  6. M.-A. Gardner, K. Sunkavalli, E. Yumer, X. Shen, E. Gambaretto, C. Gagne, and J.-F. Lalonde, "Learning to Predict Indoor Illumination from a Single Image," ACM Trans. Graphics, vol. 36, no. 6, pp. 176:1-176:14, 2017.
  7. M.-A. Gardner, Y. Hold-Geoffroy, K. Sunkavalli, C. Gagne, and J.-F. Lalondeonde, "Deep Parametric Indoor Lighting Estimation," in Proc. ICCV, 2019, pp. 7175-7183.
  8. T. Y. Wang, T. Ritschel, and N. J. Mitra, "Joint Material and Illumination Estimation from Photo Sets in the Wild," in Proc. 3DV, 2018, pp. 22-31.
  9. H. Zhou, S. Hadap, K. Sunkavalli, and D. W. Jacobs, "Deep Single-Image Portrait Relighting," in Proc. ICCV, 2019, pp. 7194-7202.
  10. P. Kan and H. Kafumann, "DeepLight: light source estimation for augmented reality using deep learning," The Visual Computer, vol. 35, no. 6-8, pp. 873-883, 2019. https://doi.org/10.1007/s00371-019-01666-x
  11. P.-P. J. Sloan, W. Martin, A. Gooch, and B. Gooch, "The Lit Sphere: A Model for Capturing NPR Shading from Art," in Proc. Graphics Interface, 2001, pp. 143-150.
  12. A. Hertzmann, C. E. Jacobs, N. Oliver, B. Curless, and D. H. Salesin, "Image Analogies," in Proc. ACM SIGGRAPH 2001, 2001, pp. 327-340.
  13. P. Benard, F. Cole, M. Kass, I. Mordatch, J. Hegarty, M. S. Senn, K. Fleischer, D. Pesare, and K. Breeden, "Stylizing Animation By Example," ACM Trans. Graphics, vol. 32, no. 4, pp. 119:1-119:12, 2013.
  14. J. Fiser, O. Jamriska, M. Lukac, E. Shechtman, P. Asente, J. Lu, and D. Sykora, "StyLit: Illumination-Guided Example-Based Stylization of 3D Renderings," ACM Trans. Graphics, vol. 35, no. 4, pp. 92:1-92:11, 2016.
  15. L. Zhang, E. Simo-Serra, Y. Ji, and C. Liu, "Generating Digital Painting Lighting Effects via RGB-space Geometry," ACM Trans. Graphics, vol. 39, no. 2, pp. 13:1-13:13, 2020.
  16. L. Hosek and A. Wilkie, "An Analytic Model for Full Spectral Sky-Dome Radiance," ACM Trans. Graphics, vol. 31, no. 4, pp. 95:1-95:9, 2012.
  17. "Blender," https://www.blender.org/.