• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2007년도 심포지엄 논문집 정보 및 제어부문
• /
• pp.301-303
• /
• 2007

This paper presents user adaptation methods to overcome limitations of a user-independent model and a user-dependent model in a Korean sign language recognition system. To adapt model parameters for unobserved states in hidden Markov models, we introduce new methods based on motion similarity and prediction from adaptation history so that we can achieve faster adaption and higher recognition rates comparing with previous methods.

• 한국컴퓨터정보학회논문지
• /
• 제19권11호
• /
• pp.63-72
• /
• 2014

본 논문에서는 깊이 카메라를 이용한 사용자의 손 모양 인식 시스템을 제안한다. 특히, 본 시스템에서 이용된 손 모양 템플릿은 수화 언어 중 한국어를 채택 하였다. 손 모양 인식 시스템은 손의 특징 검출과 특징들을 이용한 손 인식으로 크게 2 단계의 작업으로 나눌 수 있다. 손의 특징으로는 손가락의 개수, 길이, 손바닥의 넓이 등이 있다. 특징을 추출하기 위해 본 논문에서는 거리 변환(Distance Transform)을 이용한 손의 뼈대 검출 방법을 제안한다. 이 방법을 사용하면 기존의 윤곽선(Contour)을 이용한 손가락 검출보다 정확도 측면에서 향상된다. 손 모양 인식으로 손의 특징을 이용하여 각 분기를 잘 나눌 수 있는 결정 트리(Decision Tree)를 사용한다. 사용자의 입력을 이용하면 분기값이 정확하게 나오지 못하므로 이 분기 값을 결정하기 위해 해당 분기마다 SVM을 이용하여 분기값을 결정하였다. 실험결과에서는 기존의 연구 방법보다 제안된 방법이 특징 추출과 인식하는데 있어 더욱 개선되었음을 보인다.

• International Journal of Computer Science & Network Security
• /
• 제24권6호
• /
• pp.8-16
• /
• 2024

Communication with the deaf has always been crucial. Deaf and hard-of-hearing persons can now express their thoughts and opinions to teachers through sign language, which has become a universal language and a very effective tool. This helps to improve their education. This facilitates and simplifies the referral procedure between them and the teachers. There are various bodily movements used in sign language, including those of arms, legs, and face. Pure expressiveness, proximity, and shared interests are examples of nonverbal physical communication that is distinct from gestures that convey a particular message. The meanings of gestures vary depending on your social or cultural background and are quite unique. Sign language prediction recognition is a highly popular and Research is ongoing in this area, and the SVM has shown value. Research in a number of fields where SVMs struggle has encouraged the development of numerous applications, such as SVM for enormous data sets, SVM for multi-classification, and SVM for unbalanced data sets.Without a precise diagnosis of the signs, right control measures cannot be applied when they are needed. One of the methods that is frequently utilized for the identification and categorization of sign languages is image processing. African Buffalo Optimization using Support Vector Machine (ABO+SVM) classification technology is used in this work to help identify and categorize peoples' sign languages. Segmentation by K-means clustering is used to first identify the sign region, after which color and texture features are extracted. The accuracy, sensitivity, Precision, specificity, and F1-score of the proposed system African Buffalo Optimization using Support Vector Machine (ABOSVM) are validated against the existing classifiers SVM, CNN, and PSO+ANN.

• 한국지능시스템학회논문지
• /
• 제22권3호
• /
• pp.319-327
• /
• 2012

본 논문에서는 착용식 추적장치나 표식 등의 보조 도구를 사용하지 않는 환경의 동영상 데이터로부터 수화 패턴을 인식하는 방법론에 관하여 고찰한다. 시스템 설계 및 구현에 관한 주제로서 특징점의 추출기법, 특징데이터의 표현기법 및 패턴 분류기법에 관한 방법론을 제시하고 그 유용성을 고찰한다. 일련의 동영상으로 표현되는 수화패턴에 대하여 특징점의 공간적 위치에 대한 변이 뿐만 아니라 시간차원의 변화를 고려한 특징데이터의 표현방법을 제시하며, 방대한 데이터에 의한 분류기의 크기 문제와 계산량의 문제를 개선하기 위하여 효과적으로 특징수를 줄일 수 있는 특징추출 방법을 소개한다. 패턴 분류과정에서 점진적 학습(incremental learning)이 가능한 신경망 모델을 제시하고 그 동작특성 및 학습효과를 분석한다. 또한 학습된 분류모델로부터 특징과 패턴 클래스 간의 상대적 연관성 척도를 정의하고, 이로부터 효과적인 특징을 선별하여 성능저하 없이 분류기의 규모를 최적화 할 수 있음을 보인다. 제안된 내용에 대하여 여섯 가지 수화패턴을 대상으로 적용한 실험을 통하여 유용성을 평가한다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 1996년도 추계학술대회 학술발표 논문집
• /
• pp.333-336
• /
• 1996

The sign language is a method of communication for deaf person. For sign communication, sign language and manual alphabet are used continuously. In this paper is proposed a system which recognize Korean sign language(KSL) and Korean manual alphabet(KMA) continuously. For recognizing KSL and KMA, basic elements for sign language, namely, the 14 hand directions, 23 hand postures, and 14 hand orientations are used. At first, this system recognize current motion state using speed and change of speed in motion by state automata. Using state, basic element classifiers using Fuzzy Min-Max Neural Network and Fuzzy Rule are executed. Meaning of signed gesture is selected by using basic elements which was recognized.

• 한국멀티미디어학회논문지
• /
• 제4권3호
• /
• pp.238-246
• /
• 2001

복지형 정보단말 장치로 청각장애인과 건청인사이의 커뮤니케이션을 지원하기 위한 수화 생성시스템이 개발되었다. 이 시스템에서는 신체의 각 부위의 움직임을 주목한Motion-Primitives에 기초로 하여 컴퓨터그래픽(CG) 애니메이션으로 수화 단어 동작을 생성하고 있다. 기존의 수화 생성시스템은 수화 단어를 생성할 때 손 모양이나 손과 어깨의 움직임을 제어하기가 어려워 수화 단어를 생성하는데 많은 시간이 소요되었다. 또한 수화 통역을 위해서는 수화단어가 5000단어 이상이 필요하기 때문에 수화단어 데이터 베이스를 구축하는 것도 큰 문제로 대두되고 있다. 따라서, 본 논문에서는 종래의 시스템보다 수화단어 구축에 있어서 다양한 움직임의 경로를 유연하게 만들수 있는 Motion-Primitives에 의한 새로운 시스템을 제안한다. 이 제안한 시스템을 적용하여 실제로 청각장애인을 대상으로 수화단어 100단어에 대하여 평가실험을 행한 결과 종래의 시스템으로 평균 76%의 인식 율을 얻을 수 있었던 것에 비하여 새롭게 제안한 시스템은 82%의 양호한 인식 율을 얻을 수 있었다.

• Advances in robotics research
• /
• 제2권3호
• /
• pp.183-199
• /
• 2018

This paper presents the development of a 3D printed humanoid robotic hands of SignBot, which can perform Malaysian Sign Language (MSL). The study is considered as the first attempt to ease the means of communication between the general community and the hearing-impaired individuals in Malaysia. The signed motions performed by the developed robot in this work can be done by two hands. The designed system, unlike previously conducted work, includes a speech recognition system that can feasibly integrate with the controlling platform of the robot. Furthermore, the design of the system takes into account the grammar of the MSL which differs from that of Malay spoken language. This reduces the redundancy and makes the design more efficient and effective. The robot hands are built with detailed finger joints. Micro servo motors, controlled by Arduino Mega, are also loaded to actuate the relevant joints of selected alphabetical and numerical signs as well as phrases for emergency contexts from MSL. A database for the selected signs is developed wherein the sequential movements of the servo motor arrays are stored. The results showed that the system performed well as the selected signs can be understood by hearing-impaired individuals.

• Journal of Computing Science and Engineering
• /
• 제10권3호
• /
• pp.95-101
• /
• 2016

In this study, we propose a new system for constructing parallel corpora for sign languages, which are generally under-resourced in comparison to spoken languages. In order to achieve scalability and accessibility regarding data collection and corpus construction, our system utilizes deep learning-based techniques and predicts depth information to perform pose estimation on hand information obtainable from video recordings by a single RGB camera. These estimated poses are then transcribed into expressions in SignWriting. We evaluate the accuracy of hand tracking and hand pose estimation modules of our system quantitatively, using the American Sign Language Image Dataset and the American Sign Language Lexicon Video Dataset. The evaluation results show that our transcription system has a high potential to be successfully employed in constructing a sizable sign language corpus using various types of video resources.

• 전자공학회논문지
• /
• 제52권9호
• /
• pp.77-85
• /
• 2015

지화(finger language)는 수화(sign language)에 포함되며, 손의 제스쳐로 한글의 모음, 자음을 표현하는 언어 체계이다. 한글 지화는 총 31 제스쳐로 구성되어 있으며, 정확한 인식을 위해서는 하나의 제스쳐에 대해 학습 모델이 많이 필요로 하게 된다. 대량의 학습 모델이 존재할 경우, 입력 데이터는 많은 공간을 탐색하는데 시간을 소비하게 된다. 따라서 실시간 인식 시스템은 이러한 탐색 공간을 줄이는 것이 가장 중요한 문제로 인식되고 있다. 본 논문에서는 이러한 문제를 해결하기 위해 인식률 저하 없이 탐색 공간을 효율적으로 줄이는 계층적 HMM 구조를 제안하였다. 지화는 손목의 방향성에 따라 총 3개의 범주로 설정, 입력 데이터는 이 범주 안에서 모델을 검색하게 된다. 이러한 사전 분류를 진행하여 비슷한 한글 지화의 분별력을 확립하게 되며 탐색 공간 또한 효율적으로 관리되므로 실시간 인식 시스템에 적용 가능하다. 실험 결과, 제안된 방법은 일반적인 HMM 인식 방법보다 평균 3배 정도의 시간을 단축할 수 있있고, 비슷한 한글 지화 제스쳐에 대해 오인식 또한 감소하였다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2004년도 ICCAS
• /
• pp.1106-1110
• /
• 2004

A human sign language is generally composed of both static and dynamic gestures. Each gesture is represented by a hand shape, its position, and hand movement (for a dynamic gesture). One of the problems found in automated sign language translation is on segmenting a hand movement that is part of a transitional movement from one hand gesture to another. This transitional gesture conveys no meaning, but serves as a connecting period between two consecutive gestures. Based on the observation that many dynamic gestures as appeared in Thai sign language dictionary are of quasi-periodic nature, a method was developed to differentiate between a (meaningful) dynamic gesture and a transitional movement. However, there are some meaningful dynamic gestures that are of non-periodic nature. Those gestures cannot be distinguished from a transitional movement by using the signal quasi-periodicity. This paper proposes a hybrid method using a combination of the periodicity-based gesture segmentation method with a HMM-based gesture classifier. The HMM classifier is used here to detect dynamic signs of non-periodic nature. Combined with the periodic-based gesture segmentation method, this hybrid scheme can be used to identify segments of a transitional movement. In addition, due to the use of quasi-periodic nature of many dynamic sign gestures, dimensionality of the HMM part of the proposed method is significantly reduced, resulting in computational saving as compared with a standard HMM-based method. Through experiment with real measurement, the proposed method's recognition performance is reported.