Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

Performance Analysis of Super-Resolution based Video Coding for HEVC

HEVC 기반 초해상화를 이용한 비디오 부호화 효율 성능 분석

  • Received : 2018.12.21
  • Accepted : 2019.02.28
  • Published : 2019.03.30
Download PDF
⟨ Previous Next ⟩

Abstract

Since the resolutions of videos increase rapidly, there are continuing needs for effective video compression methods despite an increase in the transmission bandwidth. In order to satisfy such a demand, a reconstructive video coding (RVC) method by using a super resolution has been proposed. Since RVC reduces the resolution of the input video, when frames are compressed to the same size, the number of bits per pixel increases, thereby reducing coding artifacts caused by video coding. However, RVC method using super resolution is not effective in all target bitrates. Comparing the size of the loss generated while downsizing the resolution and the size of the loss caused by the video compression, only when the size of loss generated in the video compression is larger, RVC method can perform the improved compression performance compared to direct video coding. In particular, since HEVC has considerably higher compression performance than the previous standard video codec, it can be experimentally confirmed that the compression distortions become larger than the distortions of downsizing the resolution only in the very low-bitrate conditions. In this paper, we applied RVC based HEVC in various video types and measured the target bitrates that RVC method can be effectively applied.

영상의 해상도가 빠른 속도로 증가하기 때문에 계속된 전송 대역폭의 증가에도 불구하고 여전히 효과적인 영상 압축 방법에 대한 연구의 요구가 계속 되고 있다. 이와 같은 요구를 충족하기 위해서 영상의 해상도를 줄인 뒤 압축하여 전송한 뒤에 복원 시에 초해상화 기법을 사용하여 원 해상도로 복원하는 방법에 대한 연구가 제안되었다. 이 방법은 입력 영상의 해상도를 낮추기 때문에 동일한 크기로 압축한다고 할 때, 픽셀 당 비트의 수가 증가되어 영상 압축에서 발생되는 손실을 줄여 복원 영상을 화질을 높일 수 있다. 하지만, 이러한 초해상화를 이용한 비디오 압축 방법의 경우 모든 목표 전송 대역에서 효과적인 것이 아니다. 영상 해상도를 줄이면서 발생되는 손실의 크기와 압축에서 발생되는 손실의 크기를 비교해서 영상 압축에서 발생되는 왜곡이 더 큰 경우에만 기존 압축 성능보다 향상된 결과를 얻을 수 있다. 특히, HEVC의 경우 이전의 표준 압축에 비해 상당히 높은 압축 성능을 가지고 있기 때문에 압축 왜곡이 더 커지는 경우가 상당히 저 대역폭 전송 에서만 생기는 것을 실험적으로 확인할 수 있었다. 본 논문에서는 다양한 영상에서 HEVC 기반 초해상화를 이용한 비디오 코딩을 적용해보고 효과적으로 적용될 수 있는 목표 대역폭을 측정해보았다.

Keywords

BSGHC3_2019_v24n2_306_f0001.png 이미지

그림 1. 복원 비디오 부호화의 블록도 Fig 1. A block diagram of a reconstructive video coding

BSGHC3_2019_v24n2_306_f0002.png 이미지

그림 2. 초해상화 기반 복원 비디오 부호화 프레임워크의 성능 그래프 Fig 2. The performance graph of super-resolution based reconstructed video coding framework

BSGHC3_2019_v24n2_306_f0003.png 이미지

그림 3. 심층신경망 기반 업스케일링 네트워크 구조 Fig 3. Structure of up-sampling network based on a convolutional neural network

BSGHC3_2019_v24n2_306_f0004.png 이미지

그림 4. 복원 비디오 부호화 성능 테스트에 사용된 실험 영상 Fig 4. Test sequences for performance test of reconstructed video coding framework

BSGHC3_2019_v24n2_306_f0006.png 이미지

그림 5. 각 실험 영상에 대한 복원 비디오 부호화 성능 그래프 Fig 5. The performance graph of reconstructed video coding framework for each test sequence

표 1. 초해상화 기반 복원 비디오 부호화의 부호화 성능 Table 1. Coding performance of the conventional HEVC and the reconstructed video coding framework

BSGHC3_2019_v24n2_306_t0001.png 이미지

References

  1. G. J. Sullivan, J.-R. Ohm, W.-J. Han, T. Wiegand, "Overview of the High Efficiency Video Coding (HEVC) standard", IEEE Trans. Circuits Syst. Video Technol., vol. 22, pp. 1648-1667, Dec. 2012.
  2. B. Bross, Working Draft 1 of Versatile Video Coding, document JVET-J1001, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, Apr. 2018.
  3. W.-S. Park, M. Kim, "CNN-based In-loop Filtering for Coding Efficiency Improvement," Proceeding of IEEE Image Video and Multidimensional Signal Processing (IVMSP) workshop, Bordeaux, France, pp. 1-5, 2016.
  4. N. Yan, D. Liu, H. Li, F. Wu, "A convolutional neural network approach for half-pel interpolation in video coding," Proceeding of International Symposium on Circuits and Systems, Baltimore, Maryland, pp. 1-4, 2017.
  5. D. Liu, H. Ma, Z. Xiong, F. Wu, "CNN-based DCT-like transform for image compression," Proceeding of International Conference on Multimedia Modeling, Bangkok, Thailand, pp. 61-72, 2018.
  6. Z. Liu, X. Yu, Y. Gao, S. Chen, X. Ji, D. Wang, "CU partition mode decision for HEVC hardwired intra encoder using convolution neural network," IEEE Trans. Image Processing, vol. 25, no. 11, pp. 5088-5103, Nov. 2016. https://doi.org/10.1109/TIP.2016.2601264
  7. E. Agustsson, F. Mentzer, M. Tschannen, L. Cavigelli, R. Timofte, L. Benini, L. V. Gool, "Soft-to-hard vector quantization for end-to-end learning compressible representations," Proceeding of Advances in Neural Information Processing Systems, Long beach, California, pp. 1141-1151, 2017.
  8. J. Balle, V. Laparra, E. P. Simoncelli, "End-to-end optimized image compression," Proceeding of International Conference on Learning Representations, Toulon, France, 2017.
  9. C.-Y. Wu, N. Singhal, P. Krähenbühl, "Video compression through image interpolation," Proceeding of European Conference on Computer Vision, Munich, Germany, 2018.
  10. D. Barreto, L. D. Alvarez, R. Molina, A. K. Katsaggelos, and G. M. Callico, "Region-based super-resolution for compression," Multidimensional Systems and Signal Processing, vol. 18, no. 2-3, pp. 59-81, Sept. 2007. https://doi.org/10.1007/s11045-007-0019-y
  11. V.-A. Nguyen, Y.-P. Tan, and W. Lin, "Adaptive Downsampling/ Upsampling for Better Video Compression at Low Bit Rate," Proceeding of IEEE ISCS, Seattle, WA, USA, pp. 1624-1627, 2008.
  12. M. Shen, P. Xue, and C. Wang "Down-sampling Based Video Coding Using Super-Resolution Technique," IEEE Trans. CSVT, vol. 21, no. 6, pp. 755-765, June 2011.
  13. Y. Dar, and A. M. Bruckstein, (Apr. 2014). "Improving low bit-rate video coding using spatio-temporal down-scaling," [Online]. Available: http://arxiv.org/abs/1404.4026
  14. H. Chen, X. He, M. Ma, L. Qing, and Q. Teng, "Low bit rates image compression via adative block downsampling and super resolution," Journal of Electronic Imaging, vol. 25, no. 1, pp. 013004:1-10, Jan. 2016.