Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지

Self-calibration of a Multi-camera System using Factorization Techniques for Realistic Contents Generation

실감 콘텐츠 생성을 위한 분해법 기반 다수 카메라 시스템 자동 보정 알고리즘

  • 김기영 (광주과학기술원 정보통신공학과 U-VR 연구실) ;
  • 우윤택 (광주과학기술원 정보통신공학과 U-VR 연구실)
  • Published : 2006.12.29
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a self-calibration of a multi-camera system using factorization techniques for realistic contents generation. The traditional self-calibration algorithms for multi-camera systems have been focused on stereo(-rig) camera systems or multiple camera systems with a fixed configuration. Thus, it is required to exploit them in 3D reconstruction with a mobile multi-camera system and another general applications. For those reasons, we suggest the robust algorithm for general structured multi-camera systems including the algorithm for a plane-structured multi-camera system. In our paper, we explain the theoretical background and practical usages based on a projective factorization and the proposed affine factorization. We show experimental results with simulated data and real images as well. The proposed algorithm can be used for a 3D reconstruction and a mobile Augmented Reality.

본 논문에서는 실감 콘텐츠 생성에 쓰이는 움직이는 다수 카메라 시스템을 위한 분해법 기반 자동 보정 알고리즘을 제안한다. 대부분의 기존 자동 보정 연구는 스테레오 카메라 혹은 고정된 다수 카메라 시스템에 한정되어왔다. 보다 넓은 영역의 3차원 복원이나, 다수 카메라를 사용하는 일반적인 응용으로의 확장을 위해서는 새로운 알고리즘에 대한 연구가 필요하다. 본 논문에서는 일반적인 다수 카메라 시스템 (동적인 시스템 포함) 구조에 대한 강건한 자동 보정 방법을 제안하고, 카메라 구조가 평면 구성을 갖는 다수 카메라 시스템 보정 알고리즘을 제안한다. 우선, 기하학적 제한 요소를 바탕으로 분해법을 사용하기 위한 수식을 유도하고, 유도된 정리를 바탕으로 실질적인 자동 보정 사용법을 설명한다. 특히, 평면을 이루는 카메라 시스템에서의 분해법 적용이 어파인 복원과 같다는 성질을 증명하고, 어파인 분해법을 활용한 자동 보정 알고리즘을 제시한다. 실험에서는 제안된 알고리즘을 시뮬레이션 데이터와 실제 영상에 적용한 실험 결과를 보인다. 제안된 알고리즘은 다수 카메라 시스템을 활용한 영상 기반 3차원 실감 콘텐츠 복원이나, 하드웨어의 지원과 함께 실시간 다수 카메라 증강 현실 시스템에 활용될 수 있다.

Keywords

References

  1. R. Hartley and A. Zisserman, 'Multiple view geometry', 2nd Edition, Cambridge University Press, 2003
  2. F. Jean-Sebastien, Lapierre, Marc and E. Boyer, 'Visual Shapes of Silhouette Sets', 3DPVT, Chapel Hill (USA), 2006
  3. M. Pollefeys, R. Koch, M. Vergauwen, L. Van Gool. 'Automated reconstruction of 3D scenes from sequences of images', ISPRS Journal Of Photogrammetry And Remote Sensing (55)4 pp. 251-267, 2000
  4. M. Pollefeys and L. Van Gool. 'A stratified approach to metric self-calibration', CVPR, pp.407-412, Puerto Rico, 1997
  5. M. Pollefeys, L. Van Gool, 'Stratified Self-Calibration with the Modulus Constraint', IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 21, No.8, pp.707-724, 1999 https://doi.org/10.1109/34.784285
  6. P. Sturm, 'Critical Motion Sequences for Monocular Self- Calibration and Uncalibrated Euclidean Reconstruction', CVPR, pp.1100, 1997
  7. Z.Zhang, 'A Flexible New Technique for Camera Calibration', IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.'22', pp.1330-1334, 2000
  8. B. Triggs, 'Autocalibration and the Absolute Quadric', CVPR, pp.609-714, 1997
  9. B. Triggs, 'Autocalibration from Planar Scenes', ECCV, vol. 1, pp.89--105, June, 1998
  10. A. Zisserman, P. Beardsley, and I. Reid, 'Metric calibration of a stereo rig', in Proc. IEEE Wksp. Representation Visual Scenes, pp. 93–100, June 1995
  11. F. Devernay and O. Faugeras, 'From projective to Euclidean reconstruction', CVPR, pp.264-269, San Francisco, CA, 1996
  12. G. Csurka, D. Demirdjian, A. Ruf and R. Horaud, 'Closed-form solutions for the Euclidean calibration of a stereo rig', ECCV, pp.426-442, 1998 https://doi.org/10.1007/BFb0055682
  13. R. Horaud, G. Csurka and D. Demirdijian, 'Stereo Calibration from Rigid Motions', IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.'22', pp.1446-1452, 2000
  14. D. Demirdijian, A. Zisserman and R. Horaud, 'Stereo Autocalibration from One Plane', ECCV, pp.625-639, 2000 https://doi.org/10.1007/3-540-45053-X_40
  15. J. Knight and I. Reid, 'Self-Calibration of a Stereo Rig in a Planar Scene by Data Combination', ICPR, vol.'1', pp.1411, 2000
  16. F. Dornaika, 'Self-calibration of a stereo rig using monocular epipolar geometry', ICCV, vol.2, pp.467-472, 2001
  17. F. Dornaika and C. Chung, 'Stereo geometry from 3D egomotion streams', IEEE Transactions on Systems, Man and Cybernetics, Part B, Volume 33, Issue 2, pp.308 - 323, April 2003 https://doi.org/10.1109/TSMCB.2002.805698
  18. T. Svoboda and D. Martinec and T. Pajdla, 'A Convenient Multi-Camera Self-Calibration for Virtual Environments', PRESENCE: Teleoperators and Virtual Environments, pp 407-422, 14(4), August 2005 https://doi.org/10.1162/105474605774785325
  19. A. Zaharescu, R. Horaud, R. Ronfard, L. Lefort, 'Multiple Camera Calibration using Robust Perspective Factorization', 3DPVT, 2006
  20. G. Csurka, D. Demirdjian and R. Horaud, 'Finding the Collineation between Two Projective Reconstructions', CVIU, vol.75, pp.260-268, 1999
  21. B. Triggs, P. McLauchlan, R. Hartley and A. FitzgibbonR, 'Bundle Adjustment - A Modern Synthesis', Vision Algorithms: Theory and Practice, LNCS, pp.298-375, 2000
  22. C. Tomasi and T. Kanade, 'Shape and motion from image streams under orthography: a factorization method', IJCV, vol.9(2), pp.137-154, 1992 https://doi.org/10.1007/BF00129684
  23. P. Sturm, and B. Triggs, 'A Factorization Based Algorithm for multi-Image Projective Structure and Motion', ECCV, pp.709-720, 1996
  24. http://sourceforge.net/projects/opencvlibrary/
  25. http://www.ptgrey.com/