Journal of the Korea Computer Graphics Society (한국컴퓨터그래픽스학회논문지)

Korea Computer Graphics Society (한국컴퓨터그래픽스학회)
권호 표지
DOI QR코드

DOI QR Code

Deep Learning based Vehicle AR Manual for Improving User Experience

사용자 경험 향상을 위한 딥러닝 기반 차량용 AR 매뉴얼

  • Received : 2022.06.09
  • Accepted : 2022.07.04
  • Published : 2022.07.26
Download PDF
⟨ Previous Next ⟩

Abstract

This paper implements an AR manual for a vehicle that can be used even in the vehicle interior space where it is difficult to apply the augmentation method of AR content, which is mainly used, and applies a deep learning model to improve the augmentation matching between real space and virtual objects. Through deep learning, the logo of the steering wheel is recognized regardless of the position, angle, and inclination, and 3D interior space coordinates are generated based on this, and the virtual button is precisely augmented on the actual vehicle parts. Based on the same learning model, the function to recognize the main warning light symbols of the vehicle is also implemented to increase the functionality and usability as an AR manual for vehicles.

본 논문은 주로 사용되는 AR 콘텐츠의 증강 방법을 적용하기 어려운 차량 실내공간에서도 사용할 수 있는 차량용 AR매뉴얼을 구현하고, 실공간과 가상 객체의 증강 정합도 향상을 위해 딥러닝 모델을 적용하였다. 차량 핸들의 로고를 딥러닝 학습을 통해 위치와 각도, 기울기 등과 관계없이 인식하고, 이를 중심으로 3차원 실내 공간좌표를 생성하여 실제 차량 부품 위에 정확히 가상버튼을 증강한다. 여기에 동일 학습모델을 기반으로 차량의 주요 경고등 심볼을 인식할 수 있는 기능을 함께 구현하여 차량용 AR매뉴얼로서의 기능성과 활용성을 높인다.

Keywords

Acknowledgement

본 연구는 과학기술정보통신부 및 정보통신기획평가원의 SW중심대학사업의 연구결과로 수행되었음(2018-0-00209)

References

  1. 김보성, 송오영.(2021). Unity MARS를 이용한 증강현실 기반 불 특수효과 콘텐츠 개발. 한국컴퓨터그래픽스학회 학술대회, (), 38-39.
  2. 강태석, 이동연, 김진모.(2020). CLO 3D와 Vuforia를 활용한 증강현실 기반 디지털 패션 콘텐츠 제작. 컴퓨터그래픽스학회논문지, 26(3), 21-29.
  3. Oh Sung-hwan, Kiduk Kim.(2013). Study on Establishment of Deoksugung Palace, Tourist Information Services using Augmented Reality(AR) Technology. 문화재, 46(2), 26-45. https://doi.org/10.22755/KJCHS.2013.46.2.26
  4. 정지정, 이광, 김봉근.(2017). 3차원 비콘 위치측정을 이용한 마커기반 증강현실의 안정적 서비스에 관한 연구. 한국전자통신학회, 12(5), 883-890. https://doi.org/10.13067/JKIECS.2017.12.5.883
  5. 송주은, 국중진.(2021). Visual SLAM 기반의 모바일 증강현실 시스템 구축. 한국반도체디스플레이기술학회, 20(4), 96-101.
  6. 한국소비자원.(2020). 자동차 휴대용 취급설명서 표준화. 안전보고서, (), 1-35.
  7. 권오흠, 정명환, 송하주.(2017). 스마트폰을 이용한 물체의 3차원 위치 추정 기법. 멀티미디어학회논문지, 20(8), 1200-1207.
  8. YOLOv5 Documentation, Retrieved Dec., 30, 2021, from https://docs.ultralytics.com/#yolov5
  9. 김익수, 이문구, 전용호.(2021). 결함검출 적용을 위한 YOLO 딥러닝 알고리즘 비교. 한국생산제조학회지, 30(6), 514-519.
  10. 이용환, 김영섭.(2020). 객체 검출을 위한 CNN과 YOLO 성능 비교 실험. 한국반도체디스플레이기술학회, 19(1), 85-92.
  11. TensorFlow Lite | ML for Mobile and Edge Devices, Retr ieved Dec., 30, 2021, from https://www.tensorflow.org/lite
  12. Calculate X, Y, Z Real World Coordinates from Image Coordinates using OpenCV, Retrieved Apr., 5, 2022, from https://www.fdxlabs.com/calculate-x-y-z-real-world-coordinates-from-a-single-camera-using-opencv/
  13. KIA Owner's manual (Google Play APP), Retrieved Dec., 30, 2021, from https://play.google.com/store/apps/details?id=com.kia.mowners.p
  14. Performance Monitoring | An app performance monitoring tool | Firebase, Retrieved Apr., 5, 2022, from https://firebase.google.com/products/performance
  15. Ankur Joshi, Saket Kale, Satish Chandel, D. K. Pal.(2015). Likert Scale: Explored and Explained. Current Journal of Applied Science and Technology, 7(4), 396-403.