Journal of Internet of Things and Convergence (사물인터넷융복합논문지)

The Korea Internet of Things Society (한국사물인터넷학회)
권호 표지
DOI QR코드

DOI QR Code

The Mirror-based real-time dynamic projection mapping design and dynamic object detection system research

미러 방식의 실시간 동적 프로젝션 매핑 설계 및 동적 사물 검출 시스템 연구

  • Received : 2024.03.12
  • Accepted : 2024.04.03
  • Published : 2024.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we studied projection mapping, which is being utilized as a digital canvas beyond space and time for theme parks, mega events, and exhibition performances. Since the existing projection technology used for fixed objects has the limitation that it is difficult to map moving objects in terms of utilization, it is urgent to develop a technology that can track and map moving objects and a real-time dynamic projection mapping system based on dynamically moving objects so that it can respond to various markets such as performances, exhibitions, and theme parks. In this paper, we propose a system that can track real-time objects in real time and eliminate the delay phenomenon by developing hardware and performing high-speed image processing. Specifically, we develop a real-time object image analysis and projection focusing control unit, an integrated operating system for a real-time object tracking system, and an image processing library for projection mapping. This research is expected to have a wide range of applications in the technology-intensive industry that utilizes real-time vision machine-based detection technology, as well as in the industry where cutting-edge science and technology are converged and produced.

본 논문에서는 테마파크, 메가 이벤트, 전시공연에 시공간을 넘어서 디지털 캔버스로 활용하고 있는 프로젝션 매핑에 대해서 연구하였다. 기존 고정된 대상에 사용하던 프로젝션 기술은 활용도에 있어서 움직이는 대상에 맵핑 하기 힘들다는 한계점이 있기 때문에 움직이는 피사체를 추적하여 매핑할 수 있는 기술과 동적으로 움직이는 대상을 기반으로 실시간 동적 프로젝션 매핑 시스템을 개발하여 공연, 전시, 테마파크 등 다양한 시장 대응이 가능하도록 관련 연구가 시급한 실정이다. 본문에서는 실시간 사물에 해당하는 요소를 추적할 수 있는 하드웨어 개발과 초고속 영상처리를 하여 딜레이 현상이 없는 시스템을 제시하고자 한다. 구체적으로 실시간 오브제 영상분석 및 프로젝션 포커싱 제어부 개발, 실시간 오브제 추적 시스템을 위한 통합 운영 시스템, 프로젝션 매핑을 위한 영상처리 라이브러리 개발을 구현한다. 본 연구는 최근 실시간 비전머신 기반의 검출 기술을 활용한 기술 집약적인 산업임과 동시에 첨단의 과학기술이 융합되어 연출되는 산업으로 활용도가 다양할 것으로 기대된다.

Keywords

Acknowledgement

본 연구는 문화체육관광부 및 한국콘텐츠진흥원의 연구개발지원사업으로 수행되었음(RS-2023-00229031)

References

  1. W.Ali,., S.Abdelkarim,., M.Zidan,, M.Zahran,, & A. El Sallab. "Yolo3d: End-to-end real-time 3d oriented object bounding box detection from lidar point cloud." Proceedings of the European conference on computer vision (ECCV) workshops. vol.11131, pp.716-728, 2018.
  2. C.Siegl., M.Colaianni, L.Thies, J.Thies, M.Zollhofer, S. Izadi, F.Bauer, "Real-time pixel luminance optimization for dynamic multi-projection mapping". ACM Transactions on Graphics (TOG), Vol.34, No.6, pp.1-11. 2015. https://doi.org/10.1145/2816795.2818111
  3. J.Lee, S.Lee, Y.Kim, J Noh, "ScreenX: Public immersive theatres with uniform movie viewing experiences". IEEE transactions on visualization and computer graphics, Vol.23, No.2, pp.1124-1138. 2016. https://doi.org/10.1109/TVCG.2016.2532327
  4. M.R.Mine, J.Van Baar, A. Grundhofer., D. Rose, B. Yang. "Projection-based augmented reality in disney theme parks". Computer, Vol.45, No.7, pp.32-40. 2012. https://doi.org/10.1109/MC.2012.154
  5. A.Grundhofer., & D.Iwai, "Recent advances in projection mapping algorithms, hardware and applications". In Computer graphics forum Vol. 37, No. 2, pp. 653-675. 2018.
  6. C.Portales, P.Casanova-Salas.,S. Casas., J. Gimeno, M. Fernandez,. "An interactive cameraless projector calibration method". Virtual Reality, Vol.24, pp. 109-121. 2020 https://doi.org/10.1007/s10055-018-00377-3
  7. R.Raskar, G.Welch., K.L.Low, D. Bandyopadhyay, "Shader lamps: Animating real objects with image-based illumination". Rendering Techniques, pp.89-102, 2001.
  8. D.Bandyopadhyay, R.Raskar, H.Fuchs, "Dynamic shader lamps: Painting on movable objects". In Proceedings IEEE and ACM International Symposium on Augmented Reality pp. 207-216. 2001.
  9. O.Bimbe, R.Raskar,. "Spatial augmented reality: merging real and virtual worlds". CRC press. 2005.
  10. R.Raskar, M.S.Brown, R.Yang, W.C.Chen, G.Welch, H. Towles, H.Fuchs, "Multi-projector displays using camera-based registration". In Proceedings Visualization'99 pp. 161-522. IEEE. 1999.
  11. J.Lee, Y.Kim, S.Lee, B.Kim, J.Noh, "High-quality depth estimation using an exemplar 3d model for stereo conversion". IEEE transactions on visualization and computer graphics, Vol.21, No.7, pp.835-847, 2015. https://doi.org/10.1109/TVCG.2015.2398440
  12. E.Marchand, H.Uchiyama, F.Spindler, "Pose Estimation for Augmented Reality: A Hands-On Survey," IEEE Transactions on Visualization and Computer Graphics, vol.22, no.12, pp. 2633-2651, 2016.
  13. S.Yamazaki, M.Mochimaru, T.Kanade, "Simultaneous self-calibration of a projector and a camera using structured light". In CVPR 2011 WORKSHOPS. pp. 60-67. 2011.
  14. S.Willi, A.Grundhofer, "Robust geometric self-calibration of generic multi-projector camera systems". In 2017 IEEE International Symposium on Mixed and Augmented Reality (ISMAR) pp. 42-51. 2017.
  15. M.A.Tehrani, M.Gopi, A.Majumder,. "Automated geometric registration for multi-projector displays on arbitrary 3D shapes using uncalibrated devices". IEEE transactions on visualization and computer graphics, Vol.27, No.4, pp.2265-2279, 2019.