방송공학회논문지 (Journal of Broadcast Engineering)

  • 제28권2호
  • /
  • Pages.185-193
  • /
  • 2023
  • /
  • 1226-7953(pISSN)
  • /
  • 2287-9137(eISSN)
한국방송∙미디어공학회 (The Korean Institute of Broadcast and Media Engineers)
권호 표지
DOI QR코드

DOI QR Code

내용 기반의 정렬을 통한 HDR 동영상 생성 방법

HDR Video Reconstruction via Content-based Alignment Network

  • 정혜수 (서울대학교 전기.정보공학부 뉴미디어통신공동연구소) ;
  • 조남익 (서울대학교 전기.정보공학부 뉴미디어통신공동연구소)
  • Haesoo Chung (Department of ECE, INMC, Seoul National University) ;
  • Nam Ik Cho (Department of ECE, INMC, Seoul National University)
  • 투고 : 2023.01.20
  • 심사 : 2023.02.19
  • 발행 : 2023.03.30
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

최근 인터넷을 통한 동영상 제공 서비스가 확대됨에 따라 높은 품질의 온라인 컨텐츠에 대한 수요가 급증하고 있다. 그런데 넓은 동적 범위 (dynamic range)를 표현할 수 있는 high dynamic range (HDR) 컨텐츠의 공급은 수요를 따라가지 못하고 있는 실정이다. 따라서 본 논문에서는 HDR 영상 제작의 한 방법으로서, 여러 노출값에서 촬영된 프레임들로 구성된 low dynamic range (LDR) 동영상을 이용해 HDR 영상을 생성하는 방법을 제안한다. 우선, 프레임들 사이에 움직임이 존재하기 때문에 정렬 과정을 통해 이웃 프레임들을 중심 프레임에 맞추어 정렬한다. 이때 내용 (content) 기반의 정렬을 하여 정확도를 높이고, 원래 크기의 입력을 그대로 이용하는 모듈을 함께 사용하여 세부 정보도 잘 살려준다. 그러고 나서 잘 정렬된 다중 프레임들을 합쳐서 하나의 HDR 프레임으로 만들어 준다. 실험을 통해 기존 방법들에 비해 우수한 성능을 보임을 확인하였다.

As many different over-the-top (OTT) services become ubiquitous, demands for high-quality content are increasing. However, high dynamic range (HDR) contents, which can provide more realistic scenes, are still insufficient. In this regard, we propose a new HDR video reconstruction technique using multi-exposure low dynamic range (LDR) videos. First, we align a reference and its neighboring frames to compensate for motions between them. In the alignment stage, we perform content-based alignment to improve accuracy, and we also present a high-resolution (HR) module to enhance details. Then, we merge the aligned features to generate a final HDR frame. Experimental results demonstrate that our method outperforms existing methods.

키워드

참고문헌

  1. T. Grosch, "Fast and robust high dynamic range image generation with camera and object movement," Vision, Modeling and Visualization, RWTH Aachen, pp.277-284, 2006. 
  2. S. Raman and S. Chaudhuri, "Reconstruction of high contrast images for dynamic scenes," The Visual Computer, Vol.27, No.12, pp.1099-1114, 2011. doi: https://doi.org/10.1007/s00371-011-0653-0 
  3. Y. S. Heo, K. M. Lee, S. U. Lee, Y. Moon, and J. Cha, "Ghost-free high dynamic range imaging," Asian Conference on Computer Vision, Berlin, Heidelberg, pp.486-500, 2010. 
  4. N. K. Kalantari and R. Ramamoorthi, "Deep high dynamic range imaging of dynamic scenes," ACM Trans. Graph., Vol.36, No.4, pp.144-1, 2017. doi: http://dx.doi.org/10.1145/3072959.3073609 
  5. K. R. Prabhakar, G. Senthil, S. Agrawal, R. V. Babu, and R. K. S. S. Gorthi, "Labeled from unlabeled: Exploiting unlabeled data for few-shot deep hdr deghosting," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp.4875-4885, 2021.
  6. Y. Niu, J. Wu, W. Liu, W. Guo, and R. WH Lau, "Hdr-gan: Hdr image reconstruction from multi-exposed ldr images with large motions," IEEE Transactionson Image Processing, pp.3885-3896, 2021. doi: https://doi.org/10.1109/TIP.2021.3064433 
  7. Z. Pu, P. Guo, M. S. Asif, andZ. Ma, "Robust high dynamic range (hdr) imaging with complex motion and parallax," Proceedings of the Asian Conference on Computer Vision, 2020. 
  8. Q. Yan, D. Gong, Q. Shi, A. V. D. Hengel, C. Shen, I. Reid, and Y. Zhang, "Attention-guided network for ghost-free high dynamic range imaging," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp.1751-1760, 2019.
  9. N. K. Kalantari, E. Shechtman, C. Barnes, S. Darabi, D. B. Goldman, and P. Sen, "Patch-based high dynamic range video," ACM Trans. Graph., Vol.32, No.6, pp.202-1, 2013. doi: https://doi.org/10.1145/2508363.2508402 
  10. N. K. Kalantari and R. Ramamoorthi, "Deep HDR video from sequences with alternating exposures," Computer Graphics Forum, Vol.38, No.2, pp.193-205, 2019. doi: https://doi.org/10.1111/cgf.13630 
  11. G. Chen, C. Chen, S. Guo, Z. Liang, K. Y. K. Wong, L. Zhang, "HDR video reconstruction: A coarse-to-fine network and a real-world benchmark dataset," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp.2502-2511, 2021. 
  12. K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp.770-778, 2016. 
  13. X. Mao, Y. Liu, W. Shen, Q. Li, and Y. Wang, "Deep residual fourier transformation for single image deblurring," arXiv preprint arXiv:2111.11745, 2021. 
  14. T. Xue, B. Chen, J. Wu, D. Wei, and W. T. Freeman, "Video enhancement with task-oriented flow," International Journal of Computer Vision, Vol.127, No.8, pp.1106-1125, 2019. doi: https://doi.org/10.1007/s11263-018-01144-2