• 대한임베디드공학회논문지
• /
• 제14권3호
• /
• pp.133-142
• /
• 2019

The existing auxiliary communicating aids for the hearing-impaired have an inconvenience of using additional expensive sensing devices. This paper presents a hand image detection based algorithm to interpret the sign language of the hearing-impaired. The proposed sign language recognition system exploits the hand image only captured by the camera without using any additional gloves with extra sensors. Based on the hand image processing, the system can perfectly classify several numeric sign language representations. This work proposes a simple lightweight classification algorithm to identify the hand image of the hearing-impaired to communicate with others even further in an environment of complex background. Experimental results show that the proposed system can interpret the numeric sign language quite well with an accuracy of 95.6% on average.

• 융합신호처리학회논문지
• /
• 제14권4호
• /
• pp.235-242
• /
• 2013

청각, 언어장애인과 수화를 모르는 일반인과의 대화를 위해, 키넥트를 이용한 모션 인식을 통해 수화를 번역하여 주는 시스템을 개발하였다. 키넥트의 주요기능을 이용하여 수화를 번역하는 알고리즘들을 설계하고, 다양한 수화자에 대한 수화번역의 정확도를 높이기 위한 방법으로서 길이정규화와 팔꿈치정규화의 두 가지 정규화 방법을 사용하였다. 그리고 이러한 정규화 방법이 효과적인지 알아보기 위해서 실제 수화데이터를 차트로 비교하였다. 또한 10개의 데이터베이스를 입력하여 간단한 수화부터 복잡한 수화까지 직접 실시하고, 이를 키넥트로 인식하여 번역을 해봄으로서 프로그램의 정확도를 검증하였다. 추가적으로 다양한 체형의 수화자를 인식시켜 프로그램을 실행 시켜봄으로서 체형에 따른 오차 값의 보완을 완료하여 수화번역에 대한 신뢰도를 높였다.

• International Journal of Computer Science & Network Security
• /
• 제21권3호
• /
• pp.37-40
• /
• 2021

This paper presents a design of a speech to sign language converter for deaf and hard of hearing people. The device is low-cost, low-power consumption, and it can be able to work entirely offline. The speech recognition is implemented using an open-source API, Pocketsphinx library. In this work, we proposed a context-oriented language model, which measures the similarity between the recognized speech and the predefined speech to decide the output. The output speech is selected from the recommended speech stored in the database, which is the best match to the recognized speech. The proposed context-oriented language model can improve the speech recognition rate by 21% for working entirely offline. A decision module based on determining the similarity between the two texts using Levenshtein distance decides the output sign language. The output sign language corresponding to the recognized speech is generated as a set of sequential images. The speech to sign language converter is deployed on a Raspberry Pi Zero board for low-cost deaf assistive devices.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제36권1호
• /
• pp.82-91
• /
• 2009

수화 적출은 연속된 손 동작에서 의미 있는 수화 단어를 검출 및 인식하는 것을 말한다. 수화는 손의 움직임과 모양의 변화가 다양하기 때문에 수화 문장에서 수화를 적출하는 것은 쉬운 문제가 아니다. 특히, 자연스러운 수화 문장에는 의미 있는 수화, 수화가 아닌 손동작이 무작위로 발생한다. 본 논문에서는 CRF(Conditional Random Field)에 기반한 적응적 임계치 모델을 제안한다. 제한된 모델은 수화 어휘집에 정의된 수화 손동작과 수화가 아닌 손동작을 구별하기 위한 적응적 임계치 역할을 수행한다. 또한, 수화 적출 및 인식의 성능 향상을 위해 손 모양 기반 수화 인증기, 짧은 수화 적출기, 부사인(subsign) 추론기를 제안된 시스템에 적용하였다. 실험 결과, 제안된 방법은 연속된 수화 동작 데이타에서 88%의 적출률, 사전에 적출된 수화 동작 데이타에서 94%의 인식률을 보였으며, 적응적 임계치 모델, 짧은 수화 적출기, 손 모양 기반 수화 인증기, 부사인 추론기를 사용하지 않은 CRF 모델은 연속된 수화 동작 데이터에서 74%의 적출률, 사전에 적출된 수화 동작 데이타에서 90%의 인식률을 보였다.

• 한국콘텐츠학회논문지
• /
• 제19권11호
• /
• pp.664-675
• /
• 2019

이 연구는 전국 수어지명의 유래에 대한 것으로 수어지명에서 나타나는 한국수어 형태론적 특성과 어원론적 형태를 통해 유래를 알아보고자 전국의 한국농아인협회 각 시·군 지회를 통한 간행자료들을 분석하였다. 분석 결과 수어지명에서는 한자, 한글, 외래어 등에서의 차용성보다 토박이 수어지명 즉, 농인에 의해 만들어지고, 사용된 수어지명이 대다수를 이루고 있는 것으로 분석되었다. 지명은 해당 지역의 문화, 정체성 등과 함께 역사를 나타내는 소중한 문화유산에 해당한다고 볼 때에 수어지명에 나타난 풍부한 도상성, 토박이 수어지명은 농문화 혹은 한국수어에 있어 보존, 전승의 가치가 있다고 할 수 있다. 그것은 수어지명의 유래가 해당 지역의 특산품, 지리적 특성 등에 의한 수어지명이 현대에 이르러 그 지역의 지리적 특성이 변화되었거나, 특산품 자체가 사라진 상황에서도 지속적으로 여러 세대를 거쳐 이어져 오고 있다는 것이다. 이는 수어지명에서 볼 수 있는 농인의 시각중심적인 한국수어의 특성을 반영한다고 볼 수 있으며, 농문화사적인 자료보존 차원에서 매우 값진 유산이 될 수 있는 것으로 보인다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2007년도 심포지엄 논문집 정보 및 제어부문
• /
• pp.216-218
• /
• 2007

Korean Sign Language (KSL) is a communication method for the Deaf in Korea, and hand shape is one of important elements in sign language. In this paper, we developed a KSL hand shape editor to simply compose hand shape and connect it to a database. We can edit hand shape by a graphical user interface (GUI) on 3D virtual reality environment. Hand shape codes are connected to a sign word editor to synthesize sign motion and to decrease total amount of KSL data.

• 스마트미디어저널
• /
• 제12권1호
• /
• pp.32-46
• /
• 2023

Natural Language Processing (NLP) has grown tremendously in recent years. Typically, bilingual, and multilingual translation models have been deployed widely in machine translation and gained vast attention from the research community. On the contrary, few studies have focused on translating between spoken and sign languages, especially non-English languages. Prior works on Sign Language Translation (SLT) have shown that a mid-level sign gloss representation enhances translation performance. Therefore, this study presents a new large-scale Korean sign language dataset, the Museum-Commentary Korean Sign Gloss (MCKSG) dataset, including 3828 pairs of Korean sentences and their corresponding sign glosses used in Museum-Commentary contexts. In addition, we propose a translation framework based on self-supervised learning, where the pretext task is a text-to-text from a Korean sentence to its back-translation versions, then the pre-trained network will be fine-tuned on the MCKSG dataset. Using self-supervised learning help to overcome the drawback of a shortage of sign language data. Through experimental results, our proposed model outperforms a baseline BERT model by 6.22%.

• 한국언어정보학회지:언어와정보
• /
• 제10권1호
• /
• pp.71-91
• /
• 2006

The linguistic characteristics of a sign language provide an important clue for an automatic construction of its expression from a given natural language sentence. For such characterization, we focus on the identification of elided constituents, the mapping of property-changing information into spatio-temporal dimension, and the need for rearranging the order of component information for enhanced quality of delivery. We use our characterization to implement a system that converts sentences in Korean into corresponding expressions in the Korean Sign Language.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제36권12호
• /
• pp.1034-1037
• /
• 2009

수화 적출이란 연속된 영상에서 수화의 시작과 끝점을 찾고, 이를 사전에 정의된 수화 단어로 인식하는 방법을 말한다. 수화는 매우 다양한 손의 움직임과 모양으로 구성되어 있고, 그 변화가 다양하여 적출에 많은 어려움이 있다. 특히, 다양한 길이의 궤적 정보로 구성된 수화는 길이가 긴 수화에 대해 짧은 길이를 갖는 수화가 인식에 필요한 정보를 추출하기 어려운 문제점 있다. 본 논문에서는 다양한 길이를 갖는 입력 데이터의 특징을 반영할 수 있는 Semi-Markov Conditional Random Field에 기반하여 다양한 수화의 길이에 강인하게 수화를 적출하는 방법을 제안한다. 성능 평가를 위해 미국 수화와 한국 수화 데이터베이스를 사용하여 연속된 수화 영상에서의 수화 적출 성능을 평가하였고, 실험 결과 기존의 Hidden Markov Model과 Conditional Random Field보다 뛰어난 성능을 보였다.

• 융합신호처리학회논문지
• /
• 제22권4호
• /
• pp.206-212
• /
• 2021

사회가 점점 발전하면서 의사소통 방법이 다양한 형태로 발전하고 있다. 그러나 발전한 의사소통은 비장애인을 위한 방법이며, 청각장애인에게는 아무런 영향을 미치지 않는다. 따라서 본 논문에서는 청각장애인의 의사소통을 돕기 위한 CNN 기반의 수화번역 프로그램을 설계 및 구현한다. 수화번역 프로그램은 웹캠을 통해 입력된 수화 영상 데이터를 기반으로 의미에 맞게 번역한다. 수화번역 프로그램은 직접 제작한 24,000개의 한글 자모음 데이터를 사용하였으며, 효과적인 분류모델의 학습을 위해 U-Net을 통한 Segmentation을 진행한다. 전처리가 적용된 데이터는 19,200개의 Training Data와 4,800개의 Test Data를 통하여 AlexNet을 기반으로 학습을 진행한다. 구현한 수화번역 프로그램은 'ㅋ'이 97%의 정확도와 99%의 F1-Score로 모든 수화데이터 중에서 가장 우수한 성능을 나타내었으며, 모음 데이터에서는 'ㅣ'가 94%의 정확도와 95.5%의 F1-Score로 모음 데이터 중에서 가장 높은 성능을 보였다.