The Journal of the Korea institute of electronic communication sciences (한국전자통신학회논문지)

Korea Institute of Electronic Communication Science (한국전자통신학회)
권호 표지
DOI QR코드

DOI QR Code

A study on the Fabrication of Mixed Reality Content with Coloring Technology

컬러링기술이 적용된 혼합현실콘텐츠 제작에 대한 연구

  • 김태은 (남서울대학교 멀티미디어학과)
  • Received : 2019.07.10
  • Accepted : 2019.08.15
  • Published : 2019.08.31
Download PDF
⟨ Previous Next ⟩

Abstract

This paper is a study on the production of mixedeality contents by realizing AR coloring technology, virtual environment, and VR devices by realizing the interaction in virtual environment. In this study, we designed and produced the content from a fairy tale called 'Cinderella' to produce and demonstrate real mixed reality contents. 'Cinderella' shows 3D modeling in the virtual space using the Oculus Rift, and the modeled shoes can be lifted using Leap-Motion. It is a virtual augmented interaction content for exhibition and experience that can move a specific range from the foot on the treadmill. In this paper, we try to share the experience of creating new mixed reality game contents, which is a mixture of augmented reality and virtual reality technology, and continuation of universal use of this field.

본 논문은 AR컬러링기술과 가상의 환경 그리고 여러 VR기기들을 접목시켜 현실의 정보를 받아 가상환경에서의 인터랙션 등을 구현한 혼합현실 콘텐츠 제작에 대한 연구이다. 본 연구에서는 실제 혼합현실 콘텐츠를 제작하고 시연하기 위해서 '신데렐라'라는 동화를 주제로 콘텐츠를 기획부터 제작까지 하였다. '신데렐라'는 사용자가 직접 색칠한 도면의 색을 Oculus Rift를 이용해 보이는 가상공간에서 3D모델링에 입혀 보여주고, Leap-Motion을 활용하여 손가락의 움직임 정보를 받아 모델링 된 구두를 들어 올릴 수 있게 하였다. 트레드밀 위에서 발을 굴러 특정범위로 이동이 가능한 전시 및 체험용 가상증강 인터렉션 콘텐츠이다. 우리는 이 논문을 통해 증강현실과 가상현실의 기술이 혼합되어 있는 새로운 형태의 혼합현실 게임콘텐츠 제작에 대한 제작경험을 공유하고, 나아가 이 분야의 좀 더 보편적인 활용에 기여하고자하였다.

Keywords

KCTSAD_2019_v14n4_737_f0001.png 이미지

그림 1. ‘신데렐라’ 메인 화면 Top view Fig. 1 'Cinderella' main screen top view

KCTSAD_2019_v14n4_737_f0002.png 이미지

그림 2. ‘신데렐라’ AR 화면 Fig. 2 'Cinderella' AR screen

KCTSAD_2019_v14n4_737_f0003.png 이미지

그림 3. ‘신데렐라’ VR 화면 Fig. 3 'Cinderella' VR screen

KCTSAD_2019_v14n4_737_f0004.png 이미지

그림 4. ‘유리구두’ 3D모델링 Fig. 4 3D Modeling of glass shoes

KCTSAD_2019_v14n4_737_f0005.png 이미지

그림 5. ‘유리구두’ 모델링의 Vertex Fig. 5 Vertex of the 'glass shoe' modelling

KCTSAD_2019_v14n4_737_f0006.png 이미지

그림 6. 궁전 모델링 Fig. 6 Palace Modeling

KCTSAD_2019_v14n4_737_f0007.png 이미지

그림 7. VR화면에서의 ‘궁전’ 모델링 Fig. 7 Palace modeling on VR screen

KCTSAD_2019_v14n4_737_f0008.png 이미지

그림 8. VR씬 화면에서의 UI구현 Fig. 8 UI implementation in VR scene screen.

KCTSAD_2019_v14n4_737_f0009.png 이미지

그림 9. 뷰포리아 구두 도면 이미지마커 등록 Fig. 9. Vuforia shoe drawing image marker registration

KCTSAD_2019_v14n4_737_f0010.png 이미지

그림 10. 인식반경 크기 조절 스크립트 Fig. 10 Perceptual radius sizing script.

References

  1. J. Han, G. Lee, "VR Tourism Content Using the HMD Device," J. of The Korea Contents Association, vol. 15, no. 3, 2015, pp. 40-47. https://doi.org/10.5392/JKCA.2015.15.03.040
  2. M. Kim, J. Kang, "Market and Technical Trends of VR Technologies," The Korea Contents Association Review, vol. 14, no. 4, 2016, pp. 14-16.
  3. E. Jang, "Design of digital communication system using DCSK chaotic modulation," J. of the Korea Institute of Electronic Communication Sciences, vol. 10. no. 5, 2015, pp. 565-570. https://doi.org/10.13067/JKIECS.2015.10.5.565
  4. H. Park and J. Park, "Invisible Marker Tracking for AR," In Proc.. IEEE and ACM International Symposium on Mixed and Augmented Reality, Arlington, USA, Nov. 2004, pp. 25-30.
  5. Y. Seo and K. Hong, "Calibration-free augmented reality in perspective," IEEE Trans. Visualization and Computer Graphics, vol. 6, no. 4, 2000, pp. 346-359. https://doi.org/10.1109/2945.895879
  6. M. Pollefeys and L. Gool, "Stratified Self-Calibration with the Modulus Constraint," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 21, no. 8, 1999, pp. 707-724. https://doi.org/10.1109/34.784285
  7. K. Kutulakos and J. Vallino, "Calibration-free augmented reality," IEEE Transactions Visualization and Computer Graphics," vol. 4, no.1, 1998, pp. 1-20. https://doi.org/10.1109/2945.675647
  8. D. Kim, "Distance Estimation Between Vanishing Point and Moving Object," J. of the Korea Institute of Electronic Communication Sciences, vol. 6, no. 5, 2011, pp. 637-642. https://doi.org/10.13067/JKIECS.2011.6.5.637
  9. N. Kim and Y. Bae, "Status Diagnosis of Pump and Motor Applying K-Nearest Neighbors," J. of the Korea Institute of Electronic Communication Sciences, vol. 13, no. 6, 2018, pp. 1249-1255. https://doi.org/10.13067/JKIECS.2018.13.6.1249
  10. S. Bang, "Implementation of Image based Fire Detection System Using Convolution Neural Network," J. of the Korea Institute of Electronic Communication Sciences, vol. 12, no. 2, 2017, pp. 331-336. https://doi.org/10.13067/JKIECS.2017.12.2.331