Journal of the Korea Computer Graphics Society (한국컴퓨터그래픽스학회논문지)

Korea Computer Graphics Society (한국컴퓨터그래픽스학회)
권호 표지
DOI QR코드

DOI QR Code

Analysis of Manual 3D Projection Mapping Processes Using 3D Mesh Models

3D 메쉬 모델을 이용한 수동 3D 프로젝션 맵핑 과정 분석

  • Mina Kim (Global School of Media, Soongsil University) ;
  • Jungjin Lee (Global School of Media, Soongsil University)
  • 김민아 (숭실대학교 글로벌미디어학부) ;
  • 이정진 (숭실대학교 글로벌미디어학부)
  • Received : 2023.06.03
  • Accepted : 2023.07.05
  • Published : 2023.07.25
Download PDF
⟨ Previous Next ⟩

Abstract

Software tools for manual 3D projection mapping have been widely used in theme parks and exhibitions. However, no research has been conducted on detailed utilization methods and usability of those tools yet. This study organizes the entire process of manual 3D projection mapping step by step and analyzes the problems that occurred at each step to identify potential improvements of 3D projection mapping tools. First, we introduce the process, which includes: two methods for creating virtual-physical object pairs to construct a virtual environment that is identical to the real-world target of the 3D projection mapping, the production of video textures for special effects, and mapping methods that use semi-automatic projector calibration. In addition, through experiments comparing and analyzing two widely used tools under various conditions for 3D mapping, we identified the technical limitations, performance differences between tools, and issues that impede usability. Finally, we suggest improvements and future research directions to enhance the usability of the 3D projection mapping technology.

수동 3D 프로젝션 맵핑 소프트웨어는 테마파크, 전시 등에서 폭넓게 쓰이고 있지만, 아직 구체적 활용 방법과 구현 과정에 관한 사용자 측면에서의 분석 연구는 이루어지지 않았다. 본 연구는 수동 3D 프로젝션 맵핑의 전체 구현 과정을 단계별로 정리하고 각 단계에서 발생한 문제점을 분석하여 개선사항을 도출한다. 먼저, 3D 프로젝션 맵핑 대상이 되는 현실과 동일한 가상 환경을 구성하기 위해 오브젝트 쌍을 생성하는 두 가지 방법과 효과 영상 제작, 반자동 프로젝터 캘리브레이션을 이용한 맵핑 방법에 대해 순서대로 소개한다. 또한, 3D 맵핑을 위해 널리 쓰이는 두 가지 소프트웨어를 다양한 조건에 따라 비교 분석하는 실험을 통해 기술적 한계와 소프트웨어 간의 성능 차이, 사용성을 저해하는 문제점을 알아내었다. 마지막으로 3D 프로젝션 맵핑 기술의 사용성 향상을 위한 개선사항 및 향후 연구 방향을 제언한다.

Keywords

Acknowledgement

이 성과는 2022년 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (No.NRF-2021R1C1C1014153). 또한, 본 연구는 과학기술정보통신부 및 정보통신기획평가원의 지역지능화혁신인재양성사업의 연구결과로 수행되었음 (IITP-2023-RS-2022-00156360).

References

  1. Siegl, C., Colaianni, M., Thies, L., Thies, J., Zollhofer, M., Izadi, S., ... & Bauer, F. "Real-time pixel luminance optimization for dynamic multi-projection mapping". ACM Transactions on Graphics (TOG), 34(6), 1-11. 2015. 
  2. Mine, M. R., Van Baar, J., Grundhofer, A., Rose, D., & Yang, B. "Projection-based augmented reality in disney theme parks". Computer, 45(7), 32-40. 2012. 
  3. Grundhofer, A., & Iwai, D. "Recent advances in projection mapping algorithms, hardware and applications". In Computer graphics forum (Vol. 37, No. 2, pp. 653-675). 2018.  https://doi.org/10.1111/cgf.13387
  4. Lee, J., Lee, S., Kim, Y., & Noh, J. "ScreenX: Public immersive theatres with uniform movie viewing experiences". IEEE transactions on visualization and computer graphics, 23(2), 1124-1138. 2016. 
  5. Raskar, R., Brown, M. S., Yang, R., Chen, W. C., Welch, G., Towles, H., ... & Fuchs, H. "Multi-projector displays using camera-based registration". In Proceedings Visualization'99 (pp. 161-522). IEEE. 1999. 
  6. Portales, C., Casanova-Salas, P., Casas, S., Gimeno, J., & Fernandez, M. "An interactive cameraless projector calibration method". Virtual Reality, 24, 109-121. 2020  https://doi.org/10.1007/s10055-018-00377-3
  7. Bimber, O., & Raskar, R. "Spatial augmented reality: merging real and virtual worlds". CRC press. 2005. 
  8. Raskar, R., Welch, G., Low, K. L., & Bandyopadhyay, D. "Shader lamps: Animating real objects with image-based illumination". Rendering Techniques, 2001. 
  9. Bandyopadhyay, D., Raskar, R., & Fuchs, H. "Dynamic shader lamps: Painting on movable objects". In Proceedings IEEE and ACM International Symposium on Augmented Reality (pp. 207-216). 2001. 
  10. Raskar, R. "Immersive planar display using roughly aligned projectors". In Proceedings IEEE Virtual Reality 2000 (pp. 109-115). 2000. 
  11. Raskar, R., van Baar, J., Rao, S., & Willwacher, T. "Multi-projector imagery on curved surfaces". Mitsubishi Electric Research Labs, 1-8. 2003. 
  12. Raskar, R., Van Baar, J., Willwacher, T., & Rao, S. "Quadric transfer for immersive curved screen displays". In Computer Graphics Forum (Vol. 23, No. 3, pp. 451-460). 2004.  https://doi.org/10.1111/j.1467-8659.2004.00776.x
  13. Resch, C., Naik, H., Keitler, P., Benkhardt, S., & Klinker, G. "On-site semi-automatic calibration and registration of a projector-camera system using arbitrary objects with known geometry". IEEE Transactions on Visualization and Computer Graphics, 21(11), 1211-1220. 2015.  https://doi.org/10.1109/TVCG.2015.2459898
  14. Yamazaki, S., Mochimaru, M., & Kanade, T. "Simultaneous self-calibration of a projector and a camera using structured light". In CVPR 2011 WORKSHOPS (pp. 60-67). 2011. 
  15. Willi, S., & Grundhofer, A. "Robust geometric self-calibration of generic multi-projector camera systems". In 2017 IEEE International Symposium on Mixed and Augmented Reality (ISMAR) (pp. 42-51). 2017. 
  16. Tehrani, M. A., Gopi, M., & Majumder, A. "Automated geometric registration for multi-projector displays on arbitrary 3D shapes using uncalibrated devices". IEEE transactions on visualization and computer graphics, 27 (4), 2265-2279. 2019.  https://doi.org/10.1109/TVCG.2019.2950942
  17. 고영준, 이수영, "선형 레이저 광 영상기반 다면 3차원 스캐너", 제어로봇시스템학회논문지, 제22권 제10호, pp.811-816 
  18. 안용, "사진측량과 컴퓨터 그래픽의 결합을 통한 실제 물체의 사실적인 3D 에셋 재건", 한국콘텐츠학회논문지, 제21권 제1호, pp.147-161, 2021.  https://doi.org/10.5392/JKCA.2021.21.01.147
  19. Zhiying Pan, Make Di, Jianhua Zhang and Suraj Ravi, "Automatic Re-topology and UV Remapping for 3D Scanned Objects based on Neural Network", CASA2018: Proceedings of the 31st International Conference on Computer Animation and Social Agents, pp.48-52, 2018. 
  20. 안용, "리토폴로지 효율성 향상을 위한 소프트웨어의 비교분석 및 유형별 3D 모델링 사례 제작", 한국콘텐츠학회논문지, 제20권 제6호, pp.9-25, 2020.  https://doi.org/10.5392/JKCA.2020.20.06.009
  21. 이재원, "FDM 3D 프린트를 위한 슬라이스 프로그램 GUI 디자인 연구," Journal of Integrated Design Research, 제16권 제1호, pp.23-30, 2017. 
  22. Lee, J., Kim, Y., Lee, S., Kim, B., & Noh, J. "Highquality depth estimation using an exemplar 3d model for stereo conversion". IEEE transactions on visualization and computer graphics, 21(7), 835-847. 2015.  https://doi.org/10.1109/TVCG.2015.2398440
  23. E. Marchand, H. Uchiyama and F. Spindler, "Pose Estimation for Augmented Reality: A Hands-On Survey," IEEE Transactions on Visualization and Computer Graphics, vol. 22, no. 12, pp. 2633-2651, 1 Dec. 2016 https://doi.org/10.1109/TVCG.2015.2513408