DOI QR코드

DOI QR Code

R-lambda Model based Rate Control for GOP Parallel Coding in A Real-Time HEVC Software Encoder

HEVC 실시간 소프트웨어 인코더에서 GOP 병렬 부호화를 지원하는 R-lambda 모델 기반의 율 제어 방법

  • Kim, Dae-Eun (The School of Electrical Engineering, Korea Advanced Institute of Science and Technology) ;
  • Chang, Yongjun (The School of Electrical Engineering, Korea Advanced Institute of Science and Technology) ;
  • Kim, Munchurl (The School of Electrical Engineering, Korea Advanced Institute of Science and Technology) ;
  • Lim, Woong (Realistic AV Research Group Media Research Division Broadcasting.Media Research Laboratory Electronics and Telecommunications Research Institute) ;
  • Kim, Hui Yong (Realistic AV Research Group Media Research Division Broadcasting.Media Research Laboratory Electronics and Telecommunications Research Institute) ;
  • Seok, Jin Wook (Realistic AV Research Group Media Research Division Broadcasting.Media Research Laboratory Electronics and Telecommunications Research Institute)
  • 김대은 (한국과학기술원 전기및전자공학부) ;
  • 장용준 (한국과학기술원 전기및전자공학부) ;
  • 김문철 (한국과학기술원 전기및전자공학부) ;
  • 임웅 (한국전자통신연구원 방송.미디어연구소 미디어연구본부 실감AV연구그룹) ;
  • 김휘용 (한국전자통신연구원 방송.미디어연구소 미디어연구본부 실감AV연구그룹) ;
  • 석진욱 (한국전자통신연구원 방송.미디어연구소 미디어연구본부 실감AV연구그룹)
  • Received : 2017.01.13
  • Accepted : 2017.03.03
  • Published : 2017.03.30

Abstract

In this paper, we propose a rate control method based on the $R-{\lambda}$ model that supports a parallel encoding structure in GOP levels or IDR period levels for 4K UHD input video in real-time. For this, a slice-level bit allocation method is proposed for parallel encoding instead of sequential encoding. When a rate control algorithm is applied in the GOP level or IDR period level parallelism, the information of how many bits are consumed cannot be shared among the frames belonging to a same frame level except the lowest frame level of the hierarchical B structure. Therefore, it is impossible to manage the bit budget with the existing bit allocation method. In order to solve this problem, we improve the bit allocation procedure of the conventional ones that allocate target bits sequentially according to the encoding order. That is, the proposed bit allocation strategy is to assign the target bits in GOPs first, then to distribute the assigned target bits from the lowest depth level to the highest depth level of the HEVC hierarchical B structure within each GOP. In addition, we proposed a processing method that is used to improve subjective image qualities by allocating the bits according to the coding complexities of the frames. Experimental results show that the proposed bit allocation method works well for frame-level parallel HEVC software encoders and it is confirmed that the performance of our rate controller can be improved with a more elaborate bit allocation strategy by using the preprocessing results.

본 논문에서는 4K UHD 입력 영상을 실시간으로 부호화하기 위해 GOP 단위 또는 IDR 주기 단위의 병렬 부호화 구조를 지원하는 $R-{\lambda}$ 모델 기반의 율 제어 방법을 제안한다. 제안하는 $R-{\lambda}$ 모델 기반의 율 제어 방법에서는 순차적 프레임 부호화가 아닌 병렬 부호화를 위한 슬라이스 레벨 비트 분배(bit allocation) 방법을 제안한다. GOP 단위 또는 IDR 주기 단위의 병렬 부호화에서 율 제어기를 작동시키는 경우, 계층적 B구조에서 최하위 프레임 계층을 제외한 동일 계층에 속한 프레임 간에는 상호간에는 부호화 수행 이후 각 소모된 비트양에 대한 정보를 공유 할 수 없기 때문에 기존의 비트량 분배 방식으로는 비트 예산(bit budget) 관리가 불가능하다. 이를 해결하기 위해 본 논문에서는, 기존의 $R-{\lambda}$ 모델 기반 율 제어 방법인 프레임 부호화 순서에 따라 각 프레임별로 목표 비트량 분배하던 방식으로부터, GOP 별로 비트량을 할당한 후, 각 GOP 내의 계층적 B 구조에서 계층이 깊어지는 방향으로 순차적으로 비트 예산을 갱신하여 비트량을 분배하는 방식으로 율 배분 방식을 개선하였다. 뿐만 아니라, 입력 영상의 전처리 과정을 통해 획득된 영상의 복잡도 정보를 고려하여 비트를 분배하여 영상의 주관적인 화질을 향상시켰다. 실험을 통해 제안 방법이 병렬 구조의 HEVC 부호화기에서 잘 작동함을 확인 할 수 있었고, 전처리 결과를 활용하여 율 제어기의 성능을 향상 시킬 수 있음을 확인하였다.

Keywords

References

  1. B. Bross, W.-J. Han, G. J. Sullivan, J.-R. Ohm, and T. Wiegand, High Efficiency Video Coding (HEVC) Text Specification Draft 9, document JCTVC-K1003, ITU-T/ISO/IEC Joint Collaborative Team on Video Coding (JCT-VC), Oct. 2012.
  2. G. J. Sullivan, J. Ohm, W.-J. Han, and T. Wiegand, "Overview of the high efficiency video coding (HEVC) standard," IEEE Trans. Circuits Syst. Video Technol., vol. 22, no. 12, pp. 1649-1668, Dec. 2012. https://doi.org/10.1109/TCSVT.2012.2221191
  3. ITU-T, Advanced Video Coding for Generic Audio-Visual Services, ITU-T Rec. H.264 and ISO/IEC 14496-10 (AVC), ITU-T and ISO/IEC JTC 1, May 2003 (and subsequent editions).
  4. T. Wiegand, G. J. Sullivan, G. Bjontegaard, and A. Luthra, "Overview of the H.264/AVC video coding standard," IEEE Trans. Circuits Syst. Video Technol., vol. 13, no. 7, pp. 560-576, Jul. 2003. https://doi.org/10.1109/TCSVT.2003.815165
  5. J. H. Jang, and C. E. Rhee, "Down Sampling for Fast Rough Mode Decision for a Hardware-based HEVC Intra-frame encoder," Journal of Broadcast Engineering, vol. 21, no. 3, pp.341-348, May 2016. https://doi.org/10.5909/JBE.2016.21.3.341
  6. S. Jeon, N. Kim, and B. Jeon, "CU Depth Decision Based on FAST Corner Detection for HEVC Intra Prediction," Journal of Broadcast Engineering, vol. 21, no. 4, pp. 484-492, July 2016. https://doi.org/10.5909/JBE.2016.21.4.484
  7. J. Lim, Y.-J. Ahn, and D. Sim, "Study on Fast HEVC Encoding with Hierarchical Motion Vector Clustering," Journal of Broadcast Engineering, vol. 21, no. 4, pp.578-591, July 2016. https://doi.org/10.5909/JBE.2016.21.4.578
  8. Y. Kim, J. Seok, S.-h. Jung, H. Kim, and J. S. Choi "Tile-level and Frame-level Parallel Encoding for HEVC," Journal of Broacast Engineering, vol. 20, no. 3, pp. 388-397, May 2015. https://doi.org/10.5909/JBE.2015.20.3.388
  9. B. Li, H.Li, L. Li and J. Zhang, Rate control by R-lambda model for HEVC, document JCT-VC K0103, Shanghai, CN, Oct. 2012.
  10. B. Li, H.Li, L. Li and J. Zhang, "${\lambda}$ Domain Rate Control Algorithm for High Efficiency Video Coding," IEEE Trans. Image Processing, Vol. 23, No. 9, Sept. 2014.
  11. H. Choi, J. Nam, J. Yoo, D. Sim, and I. Bajic, Rate Control Based on Unified RQ Model for HEVC, document Rec. JCTVC-H0213, San Jose, CA, USA, Feb. 2012.
  12. J. Si, S. Ma, W. Gao, and M. Yang, Adaptive Rate Control for HEVC, document Rec. JCTVC-I0433, Geneva, Switzerland, Apr./May 2012.
  13. (2017, Jan. 12). HM, HEVC Test Model [Online]. Available: http://hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/.