• 전자공학회논문지SC
• /
• 제43권4호
• /
• pp.1-10
• /
• 2006

본 논문에서는 수화를 의사소통 수단으로 사용하는 청각 장애인이 일반인과 일상 대화를 할 수 있도록 도와주는 모바일 수화 인식 시스템을 다룬다. 개발된 시스템은 모자에 부착된 카메라와 손목에 착용한 가속도 센서를 통해 사용자의 수화 동작을 관찰하는데, 모바일 환경에서 실제 적용할 수 있도록 조명 변화에 둔감하고 실시간 처리가 가능하도록 개발하였다. 이를 위해 조명 변화에 강인한 손 영역 분할 방법을 제안하고 추출된 손 영역 정보를 히든 마르코프 모델의 입력으로 사용하여 연속적인 수화에 대해 99.07%의 단어 정확도를 얻었다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제36권1호
• /
• pp.82-91
• /
• 2009

수화 적출은 연속된 손 동작에서 의미 있는 수화 단어를 검출 및 인식하는 것을 말한다. 수화는 손의 움직임과 모양의 변화가 다양하기 때문에 수화 문장에서 수화를 적출하는 것은 쉬운 문제가 아니다. 특히, 자연스러운 수화 문장에는 의미 있는 수화, 수화가 아닌 손동작이 무작위로 발생한다. 본 논문에서는 CRF(Conditional Random Field)에 기반한 적응적 임계치 모델을 제안한다. 제한된 모델은 수화 어휘집에 정의된 수화 손동작과 수화가 아닌 손동작을 구별하기 위한 적응적 임계치 역할을 수행한다. 또한, 수화 적출 및 인식의 성능 향상을 위해 손 모양 기반 수화 인증기, 짧은 수화 적출기, 부사인(subsign) 추론기를 제안된 시스템에 적용하였다. 실험 결과, 제안된 방법은 연속된 수화 동작 데이타에서 88%의 적출률, 사전에 적출된 수화 동작 데이타에서 94%의 인식률을 보였으며, 적응적 임계치 모델, 짧은 수화 적출기, 손 모양 기반 수화 인증기, 부사인 추론기를 사용하지 않은 CRF 모델은 연속된 수화 동작 데이터에서 74%의 적출률, 사전에 적출된 수화 동작 데이타에서 90%의 인식률을 보였다.

• International Journal of Contents
• /
• 제7권1호
• /
• pp.14-22
• /
• 2011

Temporal Sign Language Recognition (TSLR) from hand motion is an active area of gesture recognition research in facilitating efficient communication with deaf people. TSLR systems consist of two stages: a motion sensing step which extracts useful features from signers' motion and a classification process which classifies these features as a performed sign. This work focuses on two of the research problems, namely unknown time varying signal of sign languages in feature extraction stage and computing complexity and time consumption in classification stage due to a very large sign sequences database. In this paper, we propose a combination of Dynamic Time Warping (DTW) and application of the Single hidden Layer Feedforward Neural networks (SLFNs) trained by Extreme Learning Machine (ELM) to cope the limitations. DTW has several advantages over other approaches in that it can align the length of the time series data to a same prior size, while ELM is a useful technique for classifying these warped features. Our experiment demonstrates the efficiency of the proposed method with the recognition accuracy up to 98.67%. The proposed approach can be generalized to more detailed measurements so as to recognize hand gestures, body motion and facial expression.

• 한국인터넷방송통신학회논문지
• /
• 제9권5호
• /
• pp.205-211
• /
• 2009

가중치가 없는 램 기반 신경망은 가중치를 재조정하는 기존 신경망에 비해 계산량 및 인식 시간이 적은 장점을 가지고 있다. 특히 연속적인 연관성을 갖는 제스처와 같은 행위 정보는 각각의 정보들이 시계열적 상관관계를 갖는다. 이와 같은 행위 정보를 인식하려면 일반적으로 많은 계산량과 처리 시간이 요구된다. 이런 문제점을 해결하기 위해 일반적으로 전처리 과정의 삽입 및 하드웨어 인터페이스 활용 등을 이용한다. 본 논문에서는 이와 같은 추가적인 방법 없이 순차 램 기반 누적 신경망으로 연속적인 행위 정보인 한글 복합어 수화 인식 시스템을 구현하였다. 제안된 모델의 성능을 검증하기 위하여 카메라로부터 입력받은 연속적인 복합어 수화 영상을 최소한의 이미지 처리인 경계선 검출만으로 수화 인식을 실험하였다. 경계선 검출 후 이진 영상을 전처리 과정 없이 제안된 순차 램 기반 누적 신경망 시스템으로 처리된 결과는 93%의 인식률을 얻었다.

• 한국멀티미디어학회논문지
• /
• 제25권9호
• /
• pp.1257-1265
• /
• 2022

Recognition of sign language is challenging due to the occlusion of hands, accuracy of hand gestures, and high computational costs. In recent years, deep learning techniques have made significant advances in this field. Although these methods are larger and more complex, they cannot manage long-term sequential data and lack the ability to capture useful information through efficient information processing with faster convergence. In order to overcome these challenges, we propose a word-level sign language recognition (SLR) system that combines a real-time human pose detection library with the minimized version of the gated recurrent unit (GRU) model. Each gate unit is optimized by discarding the depth-weighted reset gate in GRU cells and considering only current input. Furthermore, we use sigmoid rather than hyperbolic tangent activation in standard GRUs due to performance loss associated with the former in deeper networks. Experimental results demonstrate that our pose-based optimized GRU (Pose-OGRU) outperforms the standard GRU model in terms of prediction accuracy, convergency, and information processing capability.

• Journal of information and communication convergence engineering
• /
• 제8권1호
• /
• pp.19-22
• /
• 2010

A finger language helping hearing impaired people in communication A sign language helping hearing impaired people in communication is not popular to ordinary healthy people. In this paper, we propose a method for real-time sign language recognition from a vision system using color information and fuzzy clustering system. We use YCbCr color model and canny mask to decide the position of hands and the boundary lines. After extracting regions of two hands by applying 8-directional contour tracking algorithm and morphological information, the system uses FCM in classifying sign language signals. In experiment, the proposed method is proven to be sufficiently efficient.

• 한국인터넷방송통신학회논문지
• /
• 제22권3호
• /
• pp.63-68
• /
• 2022

한국장애인개발원의 2021 장애통계연보 자료에 따르면 대한민국에 청각 장애를 가지고 있는 사람은 395,789명이 있다. 이러한 사람들이 청각 장애를 통해 많은 불편을 겪고 있고, 이를 해결하기 위해 수어 인식 및 번역에 관련된 많은 연구가 진행되고 있다. 수어 인식 및 번역 연구에서는 수어 데이터를 수집하는 것이 중요한 부분을 차지하고 있지만 한국어 수어 데이터는 전문적으로 수어를 사용하는 사람의 수가 많지 않아 많은 어려움이 있다. 또한 구축된 기존의 데이터들도 발화자의 정면에서 촬영된 수어 데이터가 대부분이다. 이와 같은 문제점을 해결하기 위해 본 연구에서는 하나의 시점이 아닌 다시점에서 수어 데이터를 실시간으로 수집하고 보다 활용 편의성이 높게 저장 및 관리할 수 있는 저장 시스템을 설계하고 구현하였다.

• 전자공학회논문지C
• /
• 제34C권2호
• /
• pp.61-70
• /
• 1997

Human-hand gestures have been used a means of communication among people for a long time, being interpreted as streams of tokens for a language. The signed language is a method of communication for hearing impaired person. Articulated gestures and postures of hands and fingers are commonly used for the signed language. This paper presents a system which recognizes the korean sign language (KSL) and translates the recognition results into a normal korean text and sound. A pair of data-gloves are used a sthe sensing device for detecting motions of hands and fingers. In this paper, we propose a dynamic gesture recognition mehtod by employing a fuzzy feature analysis method for efficient classification of hand motions, and applying a fuzzy min-max neural network to on-line pattern recognition.

• 대한임베디드공학회논문지
• /
• 제14권3호
• /
• pp.133-142
• /
• 2019

The existing auxiliary communicating aids for the hearing-impaired have an inconvenience of using additional expensive sensing devices. This paper presents a hand image detection based algorithm to interpret the sign language of the hearing-impaired. The proposed sign language recognition system exploits the hand image only captured by the camera without using any additional gloves with extra sensors. Based on the hand image processing, the system can perfectly classify several numeric sign language representations. This work proposes a simple lightweight classification algorithm to identify the hand image of the hearing-impaired to communicate with others even further in an environment of complex background. Experimental results show that the proposed system can interpret the numeric sign language quite well with an accuracy of 95.6% on average.

• 한국정보통신학회논문지
• /
• 제12권5호
• /
• pp.937-941
• /
• 2008

수화는 청각 장애인에게 있어 중요한 의사소통 수단이며, 청각 장애인들은 수화를 통해 대인관계를 넓히며 또한 불편함 없는 일상생활이 가능하다. 그러나 최근 인터넷 통신의 발전으로 증가하고 있는 많은 화상 채팅 및 화상 통화서비스에서는 건청인과 청각 장애인 사이에 통역을 하는 시스템이 없어 청각 장애인들이 불편을 겪고 있다. 본 논문에서는 이러한 문제점을 해결하기 위하여 수화 인식기법을 제안하였다. 제안된 기법에서는 화상 카메라를 통해 얻어진 영상에서 각각 RGB, YUV, HSI 색상 정보를 이용하여 두 손의 위치를 추적하여 잡음을 제거 한 후, 두 손의 영역을 추출한다. 추출된 손의 영역은 잡음과 훼손에 강한 ART2 알고리즘을 이용하여 학습한 후 인식한다. 본 논문에서 제안된 수화 인식 방법을 실험한 결과, 수화에 사용된 지 숫자 1부터 10을 효율적으로 인식하는 것을 확인하였다.