• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1998년도 추계종합학술대회 논문집
• /
• pp.841-844
• /
• 1998

Korean Text to Sign Language Traslator could be applied to learn letters for both the deaf and hard-of-hearing people, and to have a conversation with normal people. This paper describes some useful dictionaries for developing korean text to sign language translator; Base sign language dictionary, Compound sign language dictionary, and Resemble sign language dictionary. As korean sign language is composed entirely of about 6,000 words, the additional dictionaries are required for matching them to korean written language. We design base sign language dictionary which was composed of basic symbols and moving picture of korean sign language, and propose the definition of compound isng language dictionary which was composed of symbols of base sing language. In addition, resemble sign language dictionary offer sign symbols and letters which is used same meaning in conversation. By using these methods, we could search quickly sign language during korean text to sign language translating process, and save storage space. We could also solve the lack of sign language words by using them, which are appeared on translating process.

• 한국전자통신학회논문지
• /
• 제16권6호
• /
• pp.1355-1362
• /
• 2021

최근 선천적 청각장애 뿐만 아니라 후천적 요인으로 인해 청각장애를 가지게 되는 사람들도 증가하고 있지만, 수어를 익힐 수 있는 환경은 열악한 상황이다. 이에 본 연구에서는 수어를 배우는 수어 학습자를 위한 수어학습 보조도구로써 수어(지숫자/지문자) 평가 시스템을 제시하고자 한다. 이에 본 논문에서는 OpenCV 라이브러와 MediaPipe를 이용하여 손과 손가락을 추적하여 수어 동작을 인식하고 CNN기법을 이용하여 수어의 의미를 텍스트 형태의 데이터로 변환하여 학습자에게 제공하는 시스템을 연구한다. 이를 통해 수어를 배우는 학습자가 스스로 올바른 수형인지를 판단할 수 있도록 자기주도학습을 가능하게 하여 수어를 익히는데 도움이 되는 수어학습보조 시스템을 개발하고, 청각장애인들의 의사소통의 주언어인 수어학습을 지원하기 위한 방안으로 수어학습보조 시스템을 제안하는 데 목적이 있다.

• 한국정보처리학회논문지
• /
• 제7권3호
• /
• pp.756-765
• /
• 2000

In this paper, a korean text to sign language translation system is designed and implemented for the hearing impaired people to learn letters and to have a conversation with normal people. We adopt the direct method for machine translation which uses morphological analysis and the dictionary search. And we define the necessary sign language dictionaries. Based on this processes, the system translate korean sentences to sign language moving picture. The proposed dictionaries are composed of the basic sign language dictionary, the compound sing language dictionary, and the resemble sign language dictionary. The basic sign language dictionary includes basic symbols and moving pictures of korean sign language. The compound sing language dictionary is composed of key-words of basic sign language. In addition, we offered the similar letters at the resemble sign language dictionary. The moving pictures of searched sign symbols are displayed on a screen in GIF formats by continuous motion of sign symbols or represented by the finger spelling based on the korean code analysis. The proposed system can provide quick sign language search and complement the lack of sign languages in the translation process by using the various sign language dictionaries which are characterized as korean sign language. In addition, to represent the sign language using GIF makes it possible to save the storage space of the sign language. In addition, to represent the sign language using GIF makes it possible to save storage space of the sign language dictionary.

• 한국콘텐츠학회논문지
• /
• 제21권5호
• /
• pp.508-524
• /
• 2021

과학기술의 발달에 힘입은 혁신적인 번역 환경은 수어 번역의 확대 가능성과 실현성을 높이는 요소가 되고 있다. 한국수어 번역도 새로운 도전과 기회를 맞이하고 있다. 본 연구는 첫째, '한국수어 번역은 한국수어의 역사적 변천과정 속에서 언제 어떻게 나타났는가?', 둘째, '한국수어 번역의 결과로 산출된 번역의 형태와 특성은 무엇인가?', 셋째, '한국수어 번역의 현황과 전망은 어떠한가?'라는 연구 질문들을 제기하고 이에 대한 대답을 찾아간다. 이에 따라 본 연구는 통합적 문헌고찰 방법을 사용해 역사적으로 한국수어 번역이 어떻게 형성되었으며 한국수어 번역의 형태와 특성은 어떠한지를 고찰하였다. 연구 결과 첫째, 수어번역 잠재기, 형성기, 확장기로 구분되는 역사적 변천과정에 따른 한국수어 번역의 형태와 특성이 나타났으며, 둘째, 한국수어 말뭉치 사업과 기계번역에 따른 한국수어 번역의 형태와 특성이 도출되었다. 아울러 한국수어 번역의 현황을 파악하고, 향후 전망을 제시하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권8호
• /
• pp.325-330
• /
• 2022

본 논문은 한국 수어에 대하여 수어 인식, 수어 번역, 수어 영상 시분할과 같은 수어에 관한 딥러닝 연구를 위한 데이터셋의 수집 및 실험을 진행하였다. 수어 연구를 위한 어려움은 2가지로 볼 수 있다. 첫째, 손의 움직임과 손의 방향, 표정 등의 종합적인 정보를 가지는 수어의 특성에 따른 인식의 어려움이 있다. 둘째, 딥러닝 연구를 진행하기 위한 학습데이터의 절대적 부재이다. 현재 알려진 문장 단위의 한국 수어 데이터셋은 KETI 데이터셋이 유일하다. 해외의 수어 딥러닝 연구를 위한 데이터셋은 Isolated 수어와 Continuous 수어 두 가지로 분류되어 수집되며 시간이 지날수록 더 많은 양의 수어 데이터가 수집되고 있다. 하지만 이러한 해외의 수어 데이터셋도 방대한 데이터셋을 필요로 하는 딥러닝 연구를 위해서는 부족한 상황이다. 본 연구에서는 한국 수어 딥러닝 연구를 진행하기 위한 대규모의 한국어-수어 데이터셋을 수집을 시도하였으며 베이스라인 모델을 이용하여 수어 번역 모델의 성능 평가 실험을 진행하였다. 본 논문을 위해 수집된 데이터셋은 총 11,402개의 영상과 텍스트로 구성되었다. 이를 이용하여 학습을 진행할 베이스라인 모델로는 수어 번역 분야에서 SOTA의 성능을 가지고 있는 TSPNet 모델을 이용하였다. 본 논문의 실험에서 수집된 데이터셋에 대한 특성을 정량적으로 보이고, 베이스라인 모델의 실험 결과로는 BLEU-4 score 3.63을 보였다. 또한, 향후 연구에서 보다 정확하게 데이터셋을 수집할 수 있도록, 한국어-수어 데이터셋 수집에 있어서 고려할 점을 평가 결과에 대한 고찰로 제시한다.

• 한국멀티미디어학회논문지
• /
• 제25권10호
• /
• pp.1535-1545
• /
• 2022

Sign language has completely different meaning depending on the direction of the hand or the change of facial expression even with the same gesture. In this respect, it is crucial to capture the spatial-temporal structure information of each movement. However, sign language translation studies based on Sign2Gloss2Text only convey comprehensive spatial-temporal information about the entire sign language movement. Consequently, detailed information (facial expression, gestures, and etc.) of each movement that is important for sign language translation is not emphasized. Accordingly, in this paper, we propose Spatial-temporal Keypoints Centered Sign2Gloss2Text Translation, named STKC-Sign2 Gloss2Text, to supplement the sequential and semantic information of keypoints which are the core of recognizing and translating sign language. STKC-Sign2Gloss2Text consists of two steps, Spatial Keypoints Embedding, which extracts 121 major keypoints from each image, and Temporal Keypoints Embedding, which emphasizes sequential information using Bi-GRU for extracted keypoints of sign language. The proposed model outperformed all Bilingual Evaluation Understudy(BLEU) scores in Development(DEV) and Testing(TEST) than Sign2Gloss2Text as the baseline, and in particular, it proved the effectiveness of the proposed methodology by achieving 23.19, an improvement of 1.87 based on TEST BLEU-4.

• 한국콘텐츠학회논문지
• /
• 제21권9호
• /
• pp.543-556
• /
• 2021

본 연구는 현장에서 수어통역 서비스를 제공하는 수어통역사와 청각장애인통역사 그리고 수어통역서비스를 이용하는 농인들을 대상으로 초점집단면접을 실시하여 현 수어통역사 자격제도에 대한 구체적인 인식을 알아보고 이를 통해 수어통역사 자격제도 운영의 개선점을 살펴보고자 하였다. 주제분석 결과 각 그룹별로 세 개의 상위범주가 도출되었고 이를 다시 종합한 결과 '수어통역 역량과 전문성을 공인받을 수 있는 자격제도로의 변화'와 '한국수어와 농문화에 기초한 자격제도로의 개선'으로 정리되었다. 이상의 연구결과를 토대로 '수어통역사 자격시험 관리 운영을 전담하는 상설 기관 신설', '수어통역의 전문성 및 수준과 경력이 반영된 자격제도로 개편', '모든 시험 문제와 시험의 과정을 수어 중심으로 진행', '농인이 주체가 되는 시스템', '수어통역사와 청각 장애인통역사를 위한 윤리강령 제정'을 제언하였다.

• 한국콘텐츠학회논문지
• /
• 제21권12호
• /
• pp.505-516
• /
• 2021

본 연구는 전문적이면서 정확한 의료수어통역이 미흡한 상황에서 농인의 의료 서비스 접근성을 원활하게 하는 의료 환경의 수어통역 콘텐츠를 개발하는 것에 목적을 둔다. 본 연구의 목적을 달성하기 위해 문헌고찰, 농인 대상 개별 면접, 수어통역사 및 수어 전문가 대상 현장 요구도 조사, 의료 및 수어 전문가 자문을 진행하였으며, 이를 바탕으로 주된 진료 상황별 시나리오와 기본 의학용어, 의료용어 설명자료 등의 수어통역 콘텐츠를 개발하였다. 본 연구를 통해 농인의 상황과 의료적 중요성을 고려한 의료수어 콘텐츠를 개발하여 의료수어 영역의 전문성을 고취시켰으며, 의료용어 및 의료 정보 학습 주체인 농인들과 수어통역사들에게 효과적이며 효율적으로 정보를 전달하는 의학용어 수어사전 반응형 홈페이지를 개발하였고, 농인 당사자가 주체가 되는 수어번역의 필요성과 중요성을 깨닫게 되었다.

• 대한인간공학회지
• /
• 제34권5호
• /
• pp.411-426
• /
• 2015

Objective: The goal of this thesis is to design the interaction structure and framework of system to recognize sign language. Background: The sign language of meaningful individual gestures is combined to construct a sentence, so it is difficult to interpret and recognize the meaning of hand gesture for system, because of the sequence of continuous gestures. This being so, in order to interpret the meaning of individual gesture correctly, the interaction structure and framework are needed so that they can segment the indication of individual gesture. Method: We analyze 700 sign language words to structuralize the sign language gesture interaction. First of all, we analyze the transformational patterns of the hand gesture. Second, we analyze the movement of the transformational patterns of the hand gesture. Third, we analyze the type of other gestures except hands. Based on this, we design a framework for sign language interaction. Results: We elicited 8 patterns of hand gesture on the basis of the fact on whether the gesture has a change from starting point to ending point. And then, we analyzed the hand movement based on 3 elements: patterns of movement, direction, and whether hand movement is repeating or not. Moreover, we defined 11 movements of other gestures except hands and classified 8 types of interaction. The framework for sign language interaction, which was designed based on this mentioned above, applies to more than 700 individual gestures of the sign language, and can be classified as an individual gesture in spite of situation which has continuous gestures. Conclusion: This study has structuralized in 3 aspects defined to analyze the transformational patterns of the starting point and the ending point of hand shape, hand movement, and other gestures except hands for sign language interaction. Based on this, we designed the framework that can recognize the individual gestures and interpret the meaning more accurately, when meaningful individual gesture is input sequence of continuous gestures. Application: When we develop the system of sign language recognition, we can apply interaction framework to it. Structuralized gesture can be used for using database of sign language, inventing an automatic recognition system, and studying on the action gestures in other areas.

• 융합정보논문지
• /
• 제11권5호
• /
• pp.17-22
• /
• 2021

청각장애인들은 수어통역 없이 상담서비스를 이용하기에는 어려움이 있다. 수어 통역사 인력이 많이 부족하여 수어 통역사까지 상담이 연결되는데 많은 시간이 걸리거나 연결이 되지 않는 경우가 많이 발생하고 있다. 이에 본 논문에서는 OpenCV와 CNN(Convolutional Neural Network)을 이용하여 수어를 영상으로 촬영하고 수어 동작을 인식하여 수어가 뜻하는 의미를 텍스트 형태의 데이터로 변환하여 사용자에게 제공하는 시스템을 제안한다. 상담사는 저장된 수어번역 상담내용을 열람하여 상담을 진행할 수 있다. 전문 수어 통역사가 없어도 상담이 가능하여 수어 통역사를 기다려야 하는 부담을 줄일 수 있다. 제안 시스템을 청각장애인 상담서비스에 적용할 경우 상담 효과의 향상과 향후 청각장애인 상담에 관한 학문적 연구를 촉진하는 계기가 될 것으로 기대된다.