한국정보처리학회:학술대회논문집 (Proceedings of the Korea Information Processing Society Conference)

한국정보처리학회 (Korea Information Processing Society)
권호 표지
DOI QR코드

DOI QR Code

모바일 Deep Residual Network을 이용한 뎁스 영상 기반 1 인칭 시점 VR 손동작 인식

Depth Image based Egocentric 3D Hand Pose Recognition for VR Using Mobile Deep Residual Network

  • 박혜민 (경희대학교 전자정보대학 생체의공학과) ;
  • 박나현 (경희대학교 전자정보대학 생체의공학과) ;
  • 오지헌 (경희대학교 전자정보대학 생체의공학과) ;
  • 이철우 (경희대학교 전자정보대학 생체의공학과) ;
  • 최형우 (경희대학교 전자정보대학 생체의공학과) ;
  • 김태성 (경희대학교 전자정보대학 생체의공학과)
  • Park, Hye Min (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University) ;
  • Park, Na Hyeon (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University) ;
  • Oh, Ji Heon (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University) ;
  • Lee, Cheol Woo (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University) ;
  • Choi, Hyoung Woo (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University) ;
  • Kim, Tae-Seong (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University)
  • 발행 : 2019.10.30
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR), 혼합현실(Mixed Reality, MR) 분야에 유용한 인간 컴퓨터 인터페이스 기술은 필수적이다. 특히 휴먼 손동작 인식 기술은 직관적인 상호작용을 가능하게 하여, 다양한 분야에서 편리한 컨트롤러로 사용할 수 있다. 본 연구에서는 뎁스 영상 기반의 1 인칭 시점 손동작 인식을 위하여 손동작 데이터베이스 생성 시스템을 구축하여, 손동작 인식기 학습에 필요한 1 인칭(Egocentric View Point) 데이터베이스를 촬영하여 제작한다. 그리고 모바일 Head Mounted Device(HMD) VR 을 위한 뎁스 영상 기반 1 인칭 시점 손동작 인식(Hand Pose Recognition, HPR) 딥러닝 Deep Residual Network 를 구현한다. 최종적으로, 안드로이드 모바일 디바이스에 학습된 Residual Network Regressor 를 이식하고 모바일 VR 에 실시간 손동작 인식 시스템을 구동하여, 모바일 VR 상 실시간 3D 손동작 인식을 가상 물체와의 상호작용을 통하여 확인 한다.

키워드