A Study on Finger Language Translation System using Machine Learning and Leap Motion

머신러닝과 립 모션을 활용한 지화 번역 시스템 구현에 관한 연구

Deaf mutism (a hearing-impaired person and speech disorders) communicates using sign language. There are difficulties in communicating by voice. However, sign language can only be limited in communicating with people who know sign language because everyone doesn't use sign language when they communicate. In this paper, a finger language translation system is proposed and implemented as a means for the disabled and the non-disabled to communicate without difficulty. The proposed algorithm recognizes the finger language data by leap motion and self-learns the data using machine learning technology to increase recognition rate. We show performance improvement from the simulation results.

농아는 청각장애인과 언어장애인을 말하며 청각장애인과 언어장애인은 음성으로 의사소통하는 것에 어려움이 있기 때문에 수화나 구화 등을 이용하여 의사소통을 한다. 그러나 수화는 모든 사람들이 사용하는 통신 수단이 아니기 때문에 수화를 알지 못하는 사람과의 의사소통하는 데 있어 한계가 생길 수밖에 없다. 본 논문에서는 장애인과 비장애인이 어려움 없이 의사소통할 수 있는 수단으로 지화 번역 시스템을 제안하고 설계 및 구현하였다. 립 모션으로 지화를 인식하였고 인식률을 높이기 위해 머신 러닝 기술을 이용하여 지화 데이터를 스스로 학습시켰다. 구현 및 실험 결과를 통해 제안한 알고리즘 적용으로 인식률 개선이 이뤄졌음을 확인하였다.