방송과미디어 (Broadcasting and Media Magazine)

한국방송∙미디어공학회 (The Korean Institute of Broadcast and Media Engineers)
권호 표지

JVET 신경망 기반 비디오 코딩 기술 연구 동향

  • 발행 : 2023.01.30
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

국제표준화 단체 MPEG과 VCEG이 연합하여 만든 기구인 Joint Video Explorer Team (JVET)은 Versatile Video Coding (VVC)/H.266 완성 이후, 새로운 표준을 준비하기 위한 차세대 코딩 기술을 연구하기 시작하였다. 두 가지 큰 연구 방향이 설정되어 스터디가 진행 중인데, 하나의 방향은 기존 코덱에서 많이 활용되었던 신호 처리 기반 기술 연구이고, 다른 방향은 신경망을 활용하여 새로운 코딩 기술을 연구하는 것이다. 신경망 기반 비디오 코딩은 표준화에서 공식적으로 연구된 적이 없으며, 해당 시도는 차세대 표준을 준비하기 위해서 처음으로 하는 시도이다. 본 기고에서는 비디오 코딩 표준의 새로운 방향에 대한 통찰력을 제공하기 위해 JVET에서 새롭게 시작되고 있는 신경망 기반 비디오 코딩 연구에 대한 동향을 리뷰하고자 한다.

키워드

참고문헌

  1. Versatile Video Coding, Recommendation ITU-T H.266 and ISO/IEC 23090-3 (VVC), ITU-T and ISO/IEC JTC 1, Jul. 2020. 
  2. High Efficiency Video Coding, Recommendation ITU-T H.265 and ISO/IEC 23008-2 (HEVC), ITU-T and ISO/IEC JTC 1, Apr. 2013. 
  3. S. Ma, X. Zhang, C. Jia, Z. Zhao, S. Wang, S. Wang, "Image and video compression with neural networks: A review," IEEE Transactions on Circuits and Systems for Video Technology, 2019. 
  4. E. Alshina, S. Liu, J. Pfaff, M. Wien, P. Wu, Y. Ye, "JVET AHG report: Neural-network-based video coding (AHG11)," JVET-T0011, Oct. 2020. 
  5. Y. He, B. Wang, E. Alshina, J. Sauer, "AHG11: A hybrid codec using E2E image coding combined with VVC video coding," JVET-AA0063, Jul. 2022. 
  6. Neural Compression Software (NCS). (https://vcgit.hhi.fraunhofer.de/jvet-ahg-nnvc/VVCSoftware_VTM/-/tree/VTM-11.0_nnvc) 
  7. L. Wang, S. Lin, X. Xu, S. Liu (Tencent), F. Galpin (InterDigital), "EE1-1.5: Neural network based in-loop filter with a single model," JVET-AA0088, Jul. 2022. 
  8. Y. Li, K. Zhang, J. Li, L. Zhang (Bytedance), H. Wang, M. Coban, A.M. Kotra, M. Karczewicz (Qualcomm), F. Galpin (InterDigital), K. Andersson, J. Strom, D. Liu, R. Sjoberg (Ericsson), "EE1-1.6: Deep In-Loop Filter With Fixed Point Implementation," JVET-AA0111, Jul. 2022. 
  9. VVC Reference Software. (https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/-/tags/) 
  10. JVET Common Test Conditions for Neural Network-Based Video Coding Technology. (https://vcgit.hhi.fraunhofer.de/jvetahg-nnvc/nnvc-ctc/-/tree/master) 
  11. G. BjOntegaard, "Improvement of BD-PSNR Model," ITU-T SG16/Q6 VCEG-AI11, Jul. 2008.