Development of Smart Phone App. Contents for 3D Sign Language Education

3D 수화교육 스마트폰 앱콘텐츠 개발

In this paper, we develope the smart phone App. contents of 3D sign language to widen the opportunity of the korean sign language education for the hearing-impaired and normal people. Especially, we propose the sign language conversion algorithm that automatically transform the structure of Korean phrases to the structure of the sign language. Also, we implement the 3D sign language animation DB using motion capture system and data glove for acquiring the natural motions. Finally, UNITY 3D engine is used for the realtime 3D rendering of sign language motion. We are distributing the proposed App. with 3D sign language DB of 1,300 words to the iPhone App. store and Android App. store.

본 논문에서는 청각장애인(농아인)과 비장애인의 수화 학습의 기회를 넓히고자 스마트폰용 3D 수화교육 앱을 개발하였다. 특히 한국어 문장을 자동으로 수화구조로 변환하는 수화단어 변환 알고리즘을 제안하였다. 또한, 자연스러운 수화 동작을 얻기위해 모션 캡처 시스템과 정확한 손동작 표현을 위해 데이터 글러브를 이용하여 실제 사람과 같은 3D 수화 애니메이션 DB를 구축하였다. 마지막으로 수화 애니메이션의 움직임을 실시간 3D 렌더링하여 화면에 보여주기 위해 UNITY 3D 엔진 프로그래밍이 이용되었다. 제안한 수화교육 앱 콘텐츠는 아이폰 앱스토어와 안드로이드 앱스토어에 약 1,300단어의 3D 수화 DB를 가지는 앱으로 배포 중이다.