Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

Luminance Compensation using Feature Points and Histogram for VR Video Sequence

특징점과 히스토그램을 이용한 360 VR 영상용 밝기 보상 기법

  • Lee, Geon-Won (Sejong University, Dept. of Electrical Engineering) ;
  • Han, Jong-Ki (Sejong University, Dept. of Electrical Engineering)
  • 이건원 (세종대학교 정보통신공학과) ;
  • 한종기 (세종대학교 정보통신공학과)
  • Received : 2017.10.12
  • Accepted : 2017.10.26
  • Published : 2017.11.30
Download PDF
⟨ Previous Next ⟩

Abstract

360 VR video systems has become important to provide immersive effect for viewers. The system consists of stitching, projection, compression, inverse projection, viewport extraction. In this paper, an efficient luminance compensation technique for 360 VR video sequences, where feature extraction and histogram equalization algorithms are utilized. The proposed luminance compensation algorithm enhance the performance of stitching in 360 VR system. The simulation results showed that the proposed technique is useful to increase the quality of the displayed image.

본 논문에서는 360 VR 멀티미디어 시스템에서 복수개의 카메라들이 촬영한 영상 신호들 간의 밝기 차이가 발생하여 360 VR 영상 품질을 저하시키는 것을 막기 위해, 360 VR 시스템에 적합한 밝기 보상 기법을 제안한다. 복수개의 카메라가 촬영한 영상들 간의 특징점들을 분석하고, 이 특징점들을 대상으로 누적 히스토그램을 계산한다. 그리고 이 누적 히스토그램을 기반으로 우선적으로 밝기 보상이 필요한 영상들을 선별한다. 선별된 영상들에 대해서 내부 특징점들의 누적 히스토그램과 외부 특징점들의 히스토그램들을 일치시키기 위한 룩업테이블을 제작하여, 선별된 영상 내부의 모든 화소들의 밝기값을 보상한다. 본 논문의 실험결과에서는 제안하는 알고리즘의 우수성을 히스토그램 보상 측면, 밝기보상 영상의 시각적인 평가, ERP 영상의 화질 평가, Viewport 영상의 화질 평가 등의 측면에서 보였으며, 다양한 기준들에서 제안한 방법이 기존 기술들보다 우수함을 보였다.

Keywords

References

  1. C. Kim, "A Comparative Study for Virtual Reality $360^{\circ}$ Contents Shooting Equipments Based on Real World," Journal of Broadcast Engineering, 21(5), pp 714-725, Sept., 2016. https://doi.org/10.5909/JBE.2016.21.5.714
  2. Y. T. Kim, "Contrast Enhancement using Brightness Preserving Bi-Histogram Equalization," IEEE Trans. on Consumer Electronics, Vol. 43, No. 1, pp. 1-8, February 1997. https://doi.org/10.1109/30.580378
  3. H. Ibrahim and N. S. P. Kong, "Brightness Preserving Dynamic Histogram Equalization for Image Contrast Enhancement," IEEE Trans. Consum.Electron., Vol. 53, No. 4, pp. 1752-1758, Nov., 2007. https://doi.org/10.1109/TCE.2007.4429280
  4. C. Harris and M. Stephens, "A Combined Corner and Edge Detector," Proceedings of the Alvey Vision Conference, pp. 147-151, 1988.
  5. D. G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, Vol. 60, Issue 2, pp 91-110, November 2004. https://doi.org/10.1023/B:VISI.0000029664.99615.94
  6. E. Rosten and T. Drummond, "Machine Learning for High-Speed Corner Detection," European Conference on Computer Vision ECCV, pp 430-443, 2006
  7. H. Bay, A. Ess, T. Tuytelaars, and L. V. Gool, "Speeded-Up Robust Features (SURF)," Computer Vision and Image Understanding, pp. 346-359, June 2008.