The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지
DOI QR코드

DOI QR Code

3D-Based Monitoring System and Cloud Computing for Panoramic Video Service

3차원 기반의 모니터링 시스템과 클라우드 컴퓨팅을 이용한 파노라믹 비디오 서비스

  • Cho, Yongwoo (Kyung Hee University Department of Electronics and Information) ;
  • Seok, Joo Myoung (Electronics ans Telecommunications Research Institute(ETRI)) ;
  • Suh, Doug Young (Kyung Hee University Department of Electronics and Information)
  • Received : 2014.03.15
  • Accepted : 2014.08.26
  • Published : 2014.09.30
Download PDF
⟨ Previous Next ⟩

Abstract

This paper proposes multi-camera system that relies on 3D views for panoramic video and distribution method about panoramic video generation algorithm by using cloud computing. The proposed monitoring system monitors the projected 3D model view, instead of individual 2D views, to detect image distortions. This can minimize compensation errors caused by parallax, thereby improving the quality of the resulting panoramic video. Panoramic video generation algorithm can be divided into registration part and compositing part. Therefore we propose off-loading method of these parts with cloud computing for panoramic video service.

본 논문은 고품질 파노라마 영상 획득을 위하여 대상 공간을 여러 대의 카메라로 촬영 시, 촬영 정보를 제공하는 모니터링 시스템과 클라우드 컴퓨팅을 이용한 생성 과정 분산 처리에 관한 것이다. 파노라믹 비디오의 특성상 이웃 카메라 간 일정한 중복영역을 가져야 하지만 이로 인하여 동일한 촬영 대상에 대해 촬영 화각이 다르고, 카메라의 물리적인 크기로 인하여 촬영 중심점을 동일하게 맞추기 어려운 상황에서 2D 입력 영상기반으로 모니터링 하여 카메라를 보정하는 경우 시차원인으로 오보정이 발생하는 문제가 있다. 이를 해결하기 위하여 카메라별 촬영 화각에 따라 3차원으로 투영하여 모니터링 함으로써 카메라 오보정 문제를 최소화하고 획득 영상의 품질을 높이는 3차원 기반 모니터링 시스템을 제안한다. 또한 여러 영상을 하나의 영상으로 합성하는 파노라믹 비디오 생성알고리즘은 합성 정보추출과 합성, 두 부분으로 나눌 수 있는데 이를 클라우드와 클라이언트에 적절히 분산하여 고화질의 파노라믹 비디오를 효율적으로 서비스 하는 방법에 대해 제안한다.

Keywords

References

  1. O. Scheer, I. Feldmann, C. Weissig, P. Kauff, and R. Schafer, "Ultrahigh-resolution panoramic imaging for format-agnostic video production, " in Proc. IEEE, vol. 101, no. 1, pp. 99-114, Jan. 2013. https://doi.org/10.1109/JPROC.2012.2193850
  2. W.-K. Tang, T.-T. Wong, and P.-A. Heng, "A system for real-time panorama generation and display in tele-immersive applications, " IEEE Trans. Multimedia, vol. 7, no. 2, pp. 280-292, Apr. 2005. https://doi.org/10.1109/TMM.2005.843811
  3. K.-T. Ng, S.-C. Chan, and H.-Y. Shum, "Data compression and transmission aspects of panoramic videos, " IEEE Trans. CSVT, vol. 15, no. 1, pp. 82-95, Jan. 2005.
  4. J. Baliga, R. W. A. Ayre, K. Hinton, and R. S. Tucker, "Green cloud computing: Balancing energy in processing, storage, and transport, " in Proc. IEEE, vol. 99, no. 1, pp. 149-167, Jan. 2011. https://doi.org/10.1109/JPROC.2010.2060451
  5. E. Lagerspetz and S. Tarkoma, "Mobile search and the cloud: The benefits of offloading, " IEEE PerCom 2011, Seattle, USA, Mar. 2011.
  6. R. Szeliski, Image Alignment and Stitching: A Tutorial(2006), Microsoft Research, Technical Report MSR-TR-2004-92, Retrieved April, 24, 2014, from http://research.microsoft.com.
  7. J. M. Seok and Y. Lee, "Visual-attention-aware progressive RoI Trick Mode Streaming in interactive panoramic video service, " ETRI J., vol. 36, no. 2, pp. 253-263, Apr. 2014. https://doi.org/10.4218/etrij.14.2113.0012
  8. M. Brown and D. G. Lowe, "Automatic panoramic image stitching using invariant features, " Int. J. Computer Vision, vol. 74, no. 1, pp. 59-73, 2007. https://doi.org/10.1007/s11263-006-0002-3
  9. S. B. Yang, H. J. Jeon, and C. J. Hwang, "Panorama image based on combination of feature points, " J. KICS, vol. 35, no. 8, pp. 179-184, Aug. 2010.
  10. I. J. Lee, Y. J. Cho, M. S. Ki, S. Y. Lim, H. K. Lee, and J. H. Cha, "High quality human converged panorama service, " J. KICS, vol. 28, no. 6, pp. 11-20, May 2011.
  11. Open Source Computer Vision Library(2014), Retrieved March, 5, 2014, from "http://opencv.org"
  12. S. H. Choi and J. P. Choi, "Panoramic image making system using smartphone camera, " in Proc. KICS, pp. 422-423, Seoul, Korea, Nov. 2011.