한국정보처리학회:학술대회논문집 (Proceedings of the Korea Information Processing Society Conference)
- 한국정보처리학회 2019년도 추계학술발표대회
- /
- Pages.1137-1140
- /
- 2019
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
모바일 Deep Residual Network을 이용한 뎁스 영상 기반 1 인칭 시점 VR 손동작 인식
Depth Image based Egocentric 3D Hand Pose Recognition for VR Using Mobile Deep Residual Network
- 박혜민 (경희대학교 전자정보대학 생체의공학과) ;
- 박나현 (경희대학교 전자정보대학 생체의공학과) ;
- 오지헌 (경희대학교 전자정보대학 생체의공학과) ;
- 이철우 (경희대학교 전자정보대학 생체의공학과) ;
- 최형우 (경희대학교 전자정보대학 생체의공학과) ;
- 김태성 (경희대학교 전자정보대학 생체의공학과)
- Park, Hye Min (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University) ;
- Park, Na Hyeon (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University) ;
- Oh, Ji Heon (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University) ;
- Lee, Cheol Woo (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University) ;
- Choi, Hyoung Woo (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University) ;
- Kim, Tae-Seong (Dept. of Biomedical Engineering, College of Electronics and Information, Kyung Hee University)
- 발행 : 2019.10.30
초록
가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR), 혼합현실(Mixed Reality, MR) 분야에 유용한 인간 컴퓨터 인터페이스 기술은 필수적이다. 특히 휴먼 손동작 인식 기술은 직관적인 상호작용을 가능하게 하여, 다양한 분야에서 편리한 컨트롤러로 사용할 수 있다. 본 연구에서는 뎁스 영상 기반의 1 인칭 시점 손동작 인식을 위하여 손동작 데이터베이스 생성 시스템을 구축하여, 손동작 인식기 학습에 필요한 1 인칭(Egocentric View Point) 데이터베이스를 촬영하여 제작한다. 그리고 모바일 Head Mounted Device(HMD) VR 을 위한 뎁스 영상 기반 1 인칭 시점 손동작 인식(Hand Pose Recognition, HPR) 딥러닝 Deep Residual Network 를 구현한다. 최종적으로, 안드로이드 모바일 디바이스에 학습된 Residual Network Regressor 를 이식하고 모바일 VR 에 실시간 손동작 인식 시스템을 구동하여, 모바일 VR 상 실시간 3D 손동작 인식을 가상 물체와의 상호작용을 통하여 확인 한다.
키워드