Broadcasting and Media Magazine (방송과미디어)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지

딥러닝 기반의 몰입형 입체영상 압축

  • Published : 2023.01.30
Download PDF
⟨ Previous Next ⟩

Abstract

최근 영상처리 및 컴퓨터비전 등 많은 분야에서 딥러닝 기술이 빠르게 발전하면서 다양한 문제들을 높은 성능으로 해결하고 있다. 이에 MPEG (Moving Picture Experts Group) 표준에서도 딥러닝 기반의 미디어 기술이 활발히 제안 및 논의되고 있다. 특히, 몰입형 입체영상 압축을 위한 MPEG-I (MPEG Immersive) 표준은 메타버스 산업으로 크게 관심받고 있는 가상현실, 증강현실, 그리고 혼합현실 등에 대응하기 위해 현재 활발히 연구 중이다. 입체영상은 일반적으로 복수 시점의 컬러영상과 깊이영상으로 구성되어 있어 데이터의 양이 크기 때문에, MPEG-I 표준은 시점 간의 중복된 영역들을 제거하는 프루닝 과정을 통해 효율적인 압축을 수행한다. 하지만, 프루닝 과정에서 정반사 영역이 함께 제거되는 문제로 정확한 입체영상 복원에 한계가 있다. 본 학회지에서는 이러한 문제점을 해결하기 위하여 MPEG-I 표준에 기고된 딥러닝 기반의 정반사 영역 검출을 통한 몰입형 입체영상 압축에 대해 소개한다.

Keywords

References

  1. B. Bross, Y.-K. Wang, Y. Ye, S. Liu, J. Chen, G. J. Sullivan, J.-R. Ohm, "Overview of the Versatile Video Coding (VVC) Standard and its Applications," IEEE Transactions on Circuits and Systems for Video Technology, vol. 31, no. 10, pp. 3736-3764, Oct. 2021. https://doi.org/10.1109/TCSVT.2021.3101953
  2. L. Duan, J. Liu, W. Yang, T. Huang, W. Gao, "Video Coding for Machines: A Paradigm of Collaborative Compression and Intelligent Analytics," IEEE Transactions on Image Processing, vol. 29, pp. 8680-8695, Aug. 2020. https://doi.org/10.1109/TIP.2020.3016485
  3. J. M. Boyce, R. Dore, A. Dziembowski, J. Fleureau, J. Jung, B. Kroon, B. Salahieh, V. K. M. Vadakital, L. Yu, "MPEG Immersive Video Coding Standard," Proceeding of the IEEE, vol. 109, no. 9, 1521-1536, Sep. 2021. https://doi.org/10.1109/JPROC.2021.3062590
  4. J. Y. Lee, J.-L. Lin, Y.-W. Chen, Y.-L. Chang, I. Kovliga, A. Fartukov, M. Mishurovskiy, H.-C. Wey, Y.-W. Huang, S.-M. Lei, "Depth-based texture coding in AVC-compatible 3D video coding," IEEE Transactions on Circuits and Systems for Video Technology, vol. 25, no. 8, pp. 1347-1361, Aug. 2015.
  5. G. Tech, Y. Chen, K. Muller, J.-R. Ohm, A. Vetro, Y.-K. Wang, "Overview of the Multiview and 3D extensions of high efficiency video coding," IEEE Transactions on Circuits and Systems for Video Technology, vol. 26, no. 1, pp. 35-49, Jan. 2016. https://doi.org/10.1109/TCSVT.2015.2477935
  6. Y. Choi, T. V. Le, G. Bnag, J. Lee, J. Kang, J. Y. Lee, "Feature MPEG Immersive Video Coding Based on Specular Detection," ISO/IEC JTC1/SC29/WG04, m57981, Oct. 2021.
  7. Y. Choi, T. V. Le, G. Bang, J. Lee, J. Kang, J. Y. Lee, "Deep Learning Based Specular Pruning," ISO/IEC JTC1/SC29/WG04, m58997, Jan. 2022.
  8. C. Fehn, "Depth-image-based rendering (DIBR), compression, and transmission for a new approach on 3D-TV," SPIE, vol. 5291, pp. 93-104, 2004. https://doi.org/10.1117/12.524762
  9. P. R. Alface, D. Naik, V. K. M. Vadakital, J. Keranen, "[MPEG-I][MIV] Multiple Texture Patches per Geometry Patch," ISO/IEC JTC1/SC29/WG04, m55977, Jan. 2021.
  10. P. R. Alface, D. Naik, V. K. M. Vadakital, "MIV Exploration Experiment EE-4: multiple texture patches per geometry patch: software description and preliminary results," ISO/IEC JTC1/SC29/WG04, m55977, Apr. 2021.
  11. G. Bang, J. Lee, J. Kang, Y. Choi, J. Y. Lee, "The crosscheck report for EE4.a in Future MIV exploration experiment," ISO/IEC JTC1/SC29/WG04, m56611, Apr. 2021.
  12. G. Bang, J. Lee, J. Kang, Y. Choi, J. Y. Lee, "Results for EE3 on Future MIV," ISO/IEC JTC1/SC29/WG04, m57492, Jul. 2021.
  13. O. Ronneberger, P. Fischer, T. Brox, "U-Net: Convolutional Networks for Biomedical Image Segmentation," Medical Image Computing and Computer-Assisted Intervention (MICCAI), pp 234-241, Oct. 2015.
  14. B. Salahieh, J. Jung, A. Dziembowski, "Test Model 11 for MPEG Immersive Video," ISO/IEC JTC1/SC29/WG04, N0142, Oct. 2021.
  15. J. Jung, B. Kroon, "Common Test Conditions for MPEG Immersive video," ISO/IEC JTC1/SC29/WG04, N0143, Oct. 2021.
  16. G. Fu, Q. Zhang, Q. Lin, L. Zhu, C. Xiao, "Learning to Detect Specular Highlights from Real-world Images," ACM International Conference on Multimedia pp. 1873-1881, Oct. 2020.