Proceedings of the Korea Institute of Convergence Signal Processing (융합신호처리학회 학술대회논문집)

The Korea Institute of Convergence Signal Processing (한국융합신호처리학회)
권호 표지

Multi-Modal Instruction Recognition System using Speech and Gesture

음성 및 제스처를 이용한 멀티 모달 명령어 인식 시스템

  • Kim, Jung-Hyun (School of Information and Communication Engineering, Sungkyunkwan University) ;
  • Rho, Yong-Wan (School of Information and Communication Engineering, Sungkyunkwan University) ;
  • Kwon, Hyung-Joon (School of Information and Communication Engineering, Sungkyunkwan University) ;
  • Hong, Kwang-Seok (School of Information and Communication Engineering, Sungkyunkwan University)
  • 김정현 (성균관대학교 정보통신공학부) ;
  • 노용완 (성균관대학교 정보통신공학부) ;
  • 권형준 (성균관대학교 정보통신공학부) ;
  • 홍광석 (성균관대학교 정보통신공학부)
  • Published : 2006.06.16
Download PDF
⟨ Previous Next ⟩

Abstract

휴대용 단말기의 소형화 및 지능화와 더불어 차세대 PC 기반의 유비쿼터스 컴퓨팅에 대한 관심이 높아짐에 따라 최근에는 펜이나 음성 입력 멀티미디어 등 여러 가지 대화 모드를 구비한 멀티 모달 상호작용 (Multi-Modal Interaction MMI)에 대한 연구가 활발히 진행되고 있다. 따라서, 본 논문에서는 잡음 환경에서의 명확한 의사 전달 및 휴대용 단말기에서의 음성-제스처 통합 인식을 위한 인터페이스의 연구를 목적으로 Voice-XML과 Wearable Personal Station(WPS) 기반의 음성 및 내장형 수화 인식기를 통합한 멀티 모달 명령어 인식 시스템 (Multi-Modal Instruction Recognition System : MMIRS)을 제안하고 구현한다. 제안되어진 MMIRS는 한국 표준 수화 (The Korean Standard Sign Language : KSSL)에 상응하는 문장 및 단어 단위의 명령어 인식 모델에 대하여 음성뿐만 아니라 화자의 수화제스처 명령어를 함께 인식하고 사용함에 따라 잡음 환경에서도 규정된 명령어 모델에 대한 인식 성능의 향상을 기대할 수 있다. MMIRS의 인식 성능을 평가하기 위하여, 15인의 피험자가 62개의 문장형 인식 모델과 104개의 단어인식 모델에 대하여 음성과 수화 제스처를 연속적으로 표현하고, 이를 인식함에 있어 개별 명령어 인식기 및 MMIRS의 평균 인식율을 비교하고 분석하였으며 MMIRS는 문장형 명령어 인식모델에 대하여 잡음환경에서는 93.45%, 비잡음환경에서는 95.26%의 평균 인식율을 나타내었다.

Keywords