Smart Media Journal (스마트미디어저널)

THE KOREAN INSTITUTE OF SMART MEDIA (한국스마트미디어학회)
권호 표지

Optimal Camera Placement Leaning of Multiple Cameras for 3D Environment Reconstruction

3차원 환경 복원을 위한 다수 카메라 최적 배치 학습 기법

  • 김주환 (한국해양과학기술원 해양재난.재해연구센터) ;
  • 조동식 (울산대학교 IT융합학부)
  • Received : 2022.06.30
  • Accepted : 2022.09.08
  • Published : 2022.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

Recently, research and development on immersive virtual reality(VR) technology to provide a realistic experience is being widely conducted. To provide realistic experience in immersive virtual reality for VR participants, virtual environments should consist of high-realistic environments using 3D reconstruction. In this paper, to acquire 3D information in real space using multiple cameras in the reconstruction process, we propose a novel method of optimal camera placement for accurate reconstruction to minimize distortion of 3D information. Through our approach in this paper, real 3D information can obtain with minimized errors during environment reconstruction, and it is possible to provide a more immersive experience with the created virtual environment.

최근 현실감 있는 경험을 제공하기 위한 몰입형 가상현실(VR) 기술에 대한 연구 개발이 활발하게 진행되고 있다. 가상현실 참여자에게 실제와 유사한 실감적인 가상현실 체험을 제공하기 위해서는 실제 현실 공간에 존재하는 환경 및 객체의 정보를 정밀하게 캡처 및 복원하여 가상 환경 시스템의 모델 데이터로 적용한 시스템 구성이 필요하다. 이러한 가상 환경 구성에 필요한 실 데이터를 획득하기 위해서는 다수의 비정형 카메라를 활용한 셋업으로 이루어진다. 하지만, 다수의 비정형 위치의 카메라를 활용해 실제 공간에서의 3차원으로 구성된 정보를 획득할 경우 카메라의 개수 및 위치가 최적화되지 않아 복원의 오류가 발생할 수 있다. 또한, 정밀한 객체 복원을 위해 과도한 양의 비정형 카메라가 배치될 경우 비정형 카메라 배치에 따른 자원의 낭비 또한 발생할 수 있어 적절한 개수의 비정형 카메라가 배치되어야 한다. 본 논문에서는 3차원 공간 데이터를 복원 시 필요한 정보를 얻기 위해 배치되는 다수의 비정형 카메라를 최적화할 수 있는 최적 카메라 배치(Optimal Camera Placement) 학습 기법을 제안한다. 본 논문에서 제안한 방법을 통해 실제 환경 정보 획득 시 정확한 형태의 복원 데이터를 이용하여 가상 환경을 생성하고, 더욱 몰입도 높은 실감형 콘텐츠 시스템을 사용자에게 제공할 수 있다.

Keywords

Acknowledgement

This work was supported by the Institute of Information & communications Technology Planning & Evaluation (IITP), grant funded by the Korean government(MSIT) (No. 2020-0-00226, Development of High-Definition, Unstructured Plenoptic video Acquisition Technology for Medium and Large Space).

References

  1. B. Stephan, A. Kuner, A. Kulik, and B. Froehlich, "Immersive group-to-group telepresence," IEEE Transactions on Visualization and Computer Graphics, Vol. 19, No. 4, pp. 616-625, Mar. 2013. https://doi.org/10.1109/TVCG.2013.33
  2. Yeonsu Seol, Chungmin Joo, and Jongwon Yoo, "A Study on Utilization Method of the Metaverse in Digital Heritage," Smart Media Journal, Vol. 10, No. 4, pp. 111-120, Dec. 2021.
  3. J. Cummings, and J. Bailenson, "How immersive is enough A meta-analysis of the effect of immersive technology on user presence," Media Psychology, Vol. 19, No. 2, pp. 272-309, 2016. https://doi.org/10.1080/15213269.2015.1015740
  4. A. Qier, and Y. Shen. "Camera configuration design in cooperative active visual 3D reconstruction: A statistical approach," Proc. of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 2473-2477, Barcelona, Spain, May, 2020.
  5. Y. Lin, V. Larsson, M. Ceppert, Z. Kukelova, M. Pollefeys, and T. Sattler, "Infrastructure-based multi-camera calibration using radial projections," Proc. of European Conference on Computer Vision, pp. 1-17, Glasgow, UK, Aug. 2020.
  6. A. Fatlawi, A. Vahedian, and N. Bachache, "Optimal camera using Sine-Cosine Algorithm," Proc. of Computer and Knowledge Engineering, pp. 115-119, Mashhad, Iran, Oct. 2018.
  7. H. Kang, and D. Jo, "Procedural geometry calibration and color correction toolkit for multiple cameras," Journal of the Korea Institute of Information and Communication Engineering, Vol. 25, No.4, pp. 615-618, Apr. 2021. https://doi.org/10.6109/JKIICE.2021.25.4.615
  8. S. Lim, and D. Kim, "A Calibration Method for Multimodal dual Camera Environment," Journal of the Korea Institute of Information and Communication Engineering, Vol. 19. No. 9, pp. 2138-2144, Aug. 2015. https://doi.org/10.6109/JKIICE.2015.19.9.2138
  9. Han Byul Jang, and Chil Woo Lee, "Multi-Region based Radial GCN algorithm for Human action Recognition," Smart Media Journal, Vol. 11, No. 1, pp. 46-57, Feb. 2022.
  10. Y.S. Kang and Y.S. Ho, "3D Image Capturing and 3D Content Generation for Realistic Broadcasting," Smart Media Journal, Vol. 1, No. 1, pp. 14-20, Mar. 2012.