DOI QR코드

DOI QR Code

멀티미디어 콘텐츠 제어를 위한 사용자 경험 기반 동작 인식 기술

Human Gesture Recognition Technology Based on User Experience for Multimedia Contents Control

  • 김윤식 (동명대학교 정보통신공학과) ;
  • 박상윤 (동명대학교 정보통신공학과) ;
  • 옥수열 (동명대학교 게임공학과) ;
  • 이석환 (동명대학교 정보보호학과) ;
  • 이응주 (동명대학교 정보통신공학과)
  • 투고 : 2011.12.29
  • 심사 : 2012.08.10
  • 발행 : 2012.10.31

초록

본 논문에서는 다양한 멀티미디어 매체의 제어 및 인터랙션을 위하여 별도의 입력장치 없이 사용자의 경험기반의 동작 인식을 통하여 멀티미디어 콘텐츠를 제어 하는 알고리즘을 제안하였다. 본 논문에서 제안한 사용자 경험 기반 멀티미디어 콘텐츠 제어를 위한 휴먼 동작 인식 방법은 먼저, 카메라로부터 입력받은 영상을 조명의 변화에 크게 영향을 받지 않는 YCbCr컬러 영역으로 변환하여 피부색 추출과 모폴로지에 의한 잡음제거, Boundary Energy 및 Depth 영상을 이용하여 손 영역을 검출하였다. 검출된 손 영상에서 PCA 알고리즘을 이용하여 손 모양을 인식하고 차영상 및 모멘트 이론을 이용하여 손의 중심점 검출 및 궤적을 획득한 후, 손의 궤적을 시간을 기준으로 8분할하여 8방향 체인코드를 이용하여 심볼화하였다. 심볼화된 정보로 부터 HMM 알고리즘을 이용하여 손동작을 인식, 사용자의 동작 인식을 통하여 멀티미디어 콘텐츠를 제어하도록 하였다. 제안한 알고리즘을 실험에 적용한 결과 손 영역 검출은 94.25%, 손 모양 인식은 92.6%, 손 동작 인식은 85.86%, 얼굴 검출은 89.58%의 성능을 나타내었으며 이를 기반으로 컴퓨터 환경에서 생성 구축된 영상, 음성, 동영상, MP3, e-book 등과 같은 다양한 콘텐츠들을 동작인식만으로 제어할 수 있도록 하였다.

In this paper, a series of algorithms are proposed for controlling different kinds of multimedia contents and realizing interact between human and computer by using single input device. Human gesture recognition based on NUI is presented firstly in my paper. Since the image information we get it from camera is not sensitive for further processing, we transform it to YCbCr color space, and then morphological processing algorithm is used to delete unuseful noise. Boundary Energy and depth information is extracted for hand detection. After we receive the image of hand detection, PCA algorithm is used to recognize hand posture, difference image and moment method are used to detect hand centroid and extract trajectory of hand movement. 8 direction codes are defined for quantifying gesture trajectory, so the symbol value will be affirmed. Furthermore, HMM algorithm is used for hand gesture recognition based on the symbol value. According to series of methods we presented, we can control multimedia contents by using human gesture recognition. Through large numbers of experiments, the algorithms we presented have satisfying performance, hand detection rate is up to 94.25%, gesture recognition rate exceed 92.6%, hand posture recognition rate can achieve 85.86%, and face detection rate is up to 89.58%. According to these experiment results, we can control many kinds of multimedia contents on computer effectively, such as video player, MP3, e-book and so on.

키워드

참고문헌

  1. Li Wei and E. J. Lee, "Human Head Mouse System Based on Facial Gesture Recognition," Journal of Korea Multimedia Society, Vol. 10, No. 12, pp. 1591-1600, 2007.
  2. Anh Viet Nguyen, A Development of Nontouch Human Computer Interface Technology using Gesture Information, Tongmyong University Master Thesis, 2008.
  3. Bai Yu and Eung-Joo Lee, "The Hand Mouse: Hand Detection and Hand Tracking," International Conference on Multimedia, Information Technology and its Application (MITA 2009) , pp. 244-245, 2009.
  4. Shang Yiting and Eung-Joo Lee, "The Human Facial Combined Expression Recognition System," Proceedings of the Korea Multimedia Society Conference, pp. 187, 2009.
  5. 박상윤, 휴먼 컴퓨터 인터랙션을 위한 신경회로망 기반 손 제스처 인식, 동명대학교 박사 학위논문, 2010.
  6. V. Athitsos and S. Sclaroff, "An Appearance -Based Framework for 3D Hand Shape Classification and Camera Viewpoint Estimation," IEEE Conference on Automatic Face and Gesture Recognition, pp. 45-52, 2002.
  7. K. Fukushima, "Neural Network Model for Selective Attention in Visual Pattern Recognition and Associative Recall," Applied Optics, Vol. 26, No. 23, pp. 4985-4992, 1987. https://doi.org/10.1364/AO.26.004985
  8. P. Dayan, S. Kakade, and P.R. Montague, "Learning and Selective Attention," Nature Neuroscience, Vol. 3, No. 10, pp. 1218-1223, 2000. https://doi.org/10.1038/81504
  9. WenKai Xu and Eung-Joo Lee, "Hand Gesture Recognition using Improved Hidden Markov Models," Journal of Korea Multimedia Society, Vol. 14, No. 7, pp. 866-871, 2011. https://doi.org/10.9717/kmms.2011.14.7.866

피인용 문헌

  1. Development of a Hand Gestures SDK for NUI-Based Applications vol.2015, 2015, https://doi.org/10.1155/2015/212639
  2. Conceptual Metaphor based on Embodied Cognition vol.16, pp.7, 2013, https://doi.org/10.9717/kmms.2013.16.7.888
  3. 다중 디바이스에서 손 인식을 통한 선택적 제어 vol.17, pp.1, 2014, https://doi.org/10.9717/kmms.2014.17.1.060
  4. 다문화 손동작 인식을 위한 HOG-HOD 알고리즘 vol.20, pp.8, 2012, https://doi.org/10.9717/kmms.2017.20.8.1187