• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.25 no.10
• /
• pp.1323-1329
• /
• 2021

For hand expression recognition, hand pose recognition based on the static shape of the hand and hand gesture recognition based on the dynamic hand movement are used together. In this paper, we propose a hierarchical hand pose model based on finger position and shape for hand expression recognition. For hand pose recognition, a finger model representing the finger state and a hand pose model using the finger state are hierarchically constructed, which is based on the open source MediaPipe. The finger model is also hierarchically constructed using the bending of one finger and the touch of two fingers. The proposed model can be used for various applications of transmitting information through hands, and its usefulness was verified by applying it to number recognition in sign language. The proposed model is expected to have various applications in the user interface of computers other than sign language recognition.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.453-454
• /
• 2023

현재 선천적인 청각장애인이나 언어 장애가 있는 사람은 다른 사람과의 대화에 많은 불편을 겪고 있다. 매장을 이용하기 어려움은 물론 언어전달 능력이 떨어지기 때문에 간단한 의사소통을 통한 서로 간의 교류 또한 불편함을 감수해야 한다. 현재는 따로 디스플레이가 내장된 장치를 이용하여 지정된 장소에서 수화를 번역해야 하는 불편함을 해당 문제 해결을 위해 본 연구에서는 딥러닝을 적용하여 수화를 인식하고 번역하여 디스플레이에 텍스트를 출력해주는 시스템을 개발하였다. AI 프레임워크 MediaPipe와 SVM 알고리즘을 라즈베리파이에 적용하여 구현하였다. 개발한 시스템은 제스처에 대한 번역 결과를 제공한다. 기존의 지정된 장소가 아닌 대화가 필요한 모든 장소에서 번역이 가능하도록 개선하여 청각장애인과 언어장애가 있는 사람들과 소통의 불편함을 줄일 수 있을 것으로 기대할 수 있다.

• Journal of the Korea Society of Computer and Information
• /
• v.19 no.11
• /
• pp.63-72
• /
• 2014

In this paper, we propose a sign language recognition system using SVM and depth camera. Especially, we focus on the Korean sign language. For the sign language system, we suggest two methods, one in hand feature extraction stage and the other in recognition stage. Hand features are consisted of the number of fingers, finger length, radius of palm, and direction of the hand. To extract hand features, we use Distance Transform and make hand skeleton. This method is more accurate than a traditional method which uses contours. To recognize hand posture, we develop the decision tree with the hand features. For more accuracy, we use SVM to determine the threshold value in the decision tree. In the experimental results, we show that the suggested method is more accurate and faster when extracting hand features a recognizing hand postures.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2014.11a
• /
• pp.1109-1112
• /
• 2014

본 논문은 최근 급변하는 스마트 시대에 발 빠르게 대처하기 힘든 장애인들과 일반인간의 단절을 해소하기 위해 도움을 주고자 한다. 사람들 간의 융합을 위해서는 기본적인 대화가 진행되어야 하는데 청각언어 장애인들과의 대화를 위해서는 수화를 사용하여야 한다. 하지만, 일반적으로 수화언어에 대한 지식이 미흡하고 원활한 의사소통에 큰 문제점을 가지고 있다. 그러므로 본 논문에서는 립모션을 이용한 수화 인식 툴의 개발을 통해 일반인과 청각언어 장애인들간의 의사소통을 증진시켜주는 것이 목적이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.10a
• /
• pp.552-554
• /
• 2019

Deaf mutism (a hearing-impaired person and speech disorders) communicates using sign language. There are difficulties in communicating by voice. However, sign language can only be limited in communicating with people who know sign language because everyone doesn't use sign language when they communicate. In this paper, a finger language translation system is proposed and implemented as a means for the disabled and the non-disabled to communicate without difficulty. The proposed algorithm recognizes the finger language data by leap motion and self-learns the data using machine learning technology to increase recognition rate. We show performance improvement from the simulation results.

• Proceedings of the KAIS Fall Conference
• /
• 2010.11a
• /
• pp.88-91
• /
• 2010

최근 무선통신 기술의 발당과 인터넷의 발달로 웹캠을 활용하여 얼굴인식, 몸동작 인식, 제스처 인식 등의 연구가 활발히 진행되고 있다. 본 연구에서는 웹캠으로부터 입력되는 손동작 동영상을 처리하여 수화 패턴 신호를 인식하는 손동작 인식 알고리즘을 제안한다. 제안방법은 프레임간의 차 연산을 이용하여 움직이는 오브젝트를 추출하고, YCbCr로 변환하여 손 모양 영역을 추출하여 특정 크기의 정규화 영상으로 변화하며, 정규화 영상의 오브젝트의 무게중심점을 기준으로 원의 반지름을 결정하고 원을 탐색하여 손가락의 펴짐과 굽힘에 대한 패턴 비교를 통하여 손 모양을 인식한다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2000.04a
• /
• pp.437-440
• /
• 2000

복지형 정보단말장치로 청각장애인과 건청인과의 커뮤니케이션은 지원하는 것을 목적으로 수화 애니메이션 생성시스템을 제안, 개발하고 있다. 이 시스템에서는 신체의 각 부위의 움직임을 주목한수화 단어 기술방식을 기초로 하여 컴퓨터그래픽(CG) 애니메이션 수화 단어 동작을 생성하고 있다. 이 애니메이션에 대하여 실제로 청각장애인을 대상으로 수화단어 100단어 대하여 평가실험을 행한 결과 평균76%의 인식율을 얻을 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2014.10a
• /
• pp.13-17
• /
• 2014

본 연구에서는 한국어와 한국수화 간의 병렬 코퍼스 제작과 함께 이에 따른 문제를 다룬다. 본 연구에서는 병렬 코퍼스를 효율적으로 제작하기 위해 키넥트와 립모션을 이용하였고, 이의 성능을 검증하기 위해 기존 연구에서 제시하고 있는 장갑을 통한 동작 인식 및 수집 방법과 본 연구에서 제시하고 있는 수집 방법을 비교하였으며, 비교 결과 장갑을 통해 수집한 결과와 유의미하게 차이가 나지 않음을 확인하였다. 이는 본 연구의 동작 수집 방식이 상대적으로 고비용인 장갑 수집 방식과 비교하여 경쟁력이 있음을 시사하고 있으며, 특히 보편적인 자료 수집 방식을 사용하는 특징까지 가지고 있어서 동시적으로 자료를 수집할 수 있어 규모가 있는 병렬 코퍼스 구축을 더욱 효율적으로 진행할 수 있을 것으로 기대된다.

• The Magazine of the IEIE
• /
• v.23 no.6
• /
• pp.63-73
• /
• 1996

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.05a
• /
• pp.695-695
• /
• 2022