• Journal of KIISE:Software and Applications
• /
• v.36 no.1
• /
• pp.82-91
• /
• 2009

Sign language spotting is the task of detecting and recognizing the signs in a signed utterance. The difficulty of sign language spotting is that the occurrences of signs vary in both motion and shape. Moreover, the signs appear within a continuous gesture stream, interspersed with transitional movements between signs in a vocabulary and non-sign patterns(which include out-of-vocabulary signs, epentheses, and other movements that do not correspond to signs). In this paper, a novel method for designing a threshold model in a conditional random field(CRF) model is proposed. The proposed model performs an adaptive threshold for distinguishing between signs in the vocabulary and non-sign patterns. A hand appearance-based sign verification method, a short-sign detector, and a subsign reasoning method are included to further improve sign language spotting accuracy. Experimental results show that the proposed method can detect signs from continuous data with an 88% spotting rate and can recognize signs from isolated data with a 94% recognition rate, versus 74% and 90% respectively for CRFs without a threshold model, short-sign detector, subsign reasoning, and hand appearance-based sign verification.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2006.05a
• /
• pp.621-624
• /
• 2006

본 논문은 기존의 수화 발생 시스템이 갖는 처리 성능의 한계와 신체요소의 움직임에 대한 문제점을 지적하고, 이를 개선하기 위해 하이퍼 수화문장을 제안한다. 하이퍼 수화문장은 기존 수화문장의 구조를 확장하여 수화단어와 신체효소의 동작기호로 구성된 수화문장이다. 제안한 하이퍼 수화문장 생성 방법에 따라 하이퍼 수화어절을 연결하여 수화동작을 합성하고 수화문장에 대한 아바타의 움직임을 실제 수화자와 유사하게 생성하는 시스템을 보인다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.10d
• /
• pp.691-693
• /
• 2002

수화통역시스템은 청각장애인과 건청인의 사이에 수화를 통역하고 의사소통을 원활하게 하는 역할을 하는 멀티미디어시스템이다. 현재 다양한 수화통역시스템연구개발이 진행되고 있으나 기술상의 문제로 아직 널리 보급되지 못하고 있다. 본 논문에서는 청각장애인의 입장에서 이해할 수 있는 수화동작을 구현하는 문자인식 알고리즘을 제안한다. 이 알고리즘은 문장을 인식하고 단어별, 형태소별로 구분하여 지화그림 및 수화 데이터베이스에 있는 수화그림에 매칭시키고 수화단어들을 조합하여 수화동작을 움직이게 할 수 있는 그림을 생성한다. 알고리즘의 진행과정은 한글문장, 전처리, 형태소분리, 수화단어검색, 수화단어출력, 수화문장재배열과 동작표현으로 이루어진다.

• Journal of the Korea Society of Computer and Information
• /
• v.14 no.10
• /
• pp.199-206
• /
• 2009

The development of broadband multimedia content, a deaf sign language sign language is being used in education. Most of the content used in sign language training for Hangul word representation of sign language is sign language videos for the show. For the first time to learn sign language, sign language users are unfamiliar with the sign language characteristics difficult to understand, difficult to express the sign is displayed. In this paper, online, learning sign language to express the sign with reference to the attributes, Semantic Logic applying the sign language of multimedia content model for video-based platform is designed to study.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.04a
• /
• pp.1062-1066
• /
• 2000

최근 인터넷 사용자의 급속한 증가와 함께 정보 표현 방식도 실세계와 유사한 3차원 공간으로 바뀌고 있다. 본 논문에서는 기존에 개발된 수화 편집기와 수화학습 시스템에서의 수화 동작의 편집 및 수화 학습의 효율을 높이기 위하여 frame 단위의 동작처리를 action 단위로 바꾸어 처리하도록 개선하였다. 개선된 수화 편집기와 수화학습 시스템은 VRML 뷰어와 애플릿간의 자료 이동이 줄어들어 처리 속도의 향상을 가져왔고 자연스러운 수화 동작 구현이 가능하게 되었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.07a
• /
• pp.191-194
• /
• 2015

청각장애인을 위한 지상파방송 서비스 중 자막방송은 100%에 가까운 편성 비율을 달성하고 있지만, 수화방송은 방송화면을 가리는 특성과 비용 등의 문제로 5% 수준의 편성에 그치고 있다. 본 연구에서는 자막방송을 수화로 번역하여 그래픽 수화 방송을 생성함으로써 수화방송의 비율을 높이고자 한다. 일기예보에 한정하여 수화방송을 생성한 기존 연구 결과를 바탕으로 모든 방송 프로그램에 적용 가능한 그래픽 수화방송 시스템을 제안한다. 자막방송 문장을 형태소별로 분석한 다음 중요 품사 위주로 단어 단위로 번역하고, 한국어 어휘의미망을 이용하여 수화사전에 없는 단어를 대표어로 대체하였다. 형제어와 문맥 정보를 이용하여 중의성 단어를 성공적으로 번역하였다. 기존 일기예보 수화방송 시스템의 수화 사전과 수화 모션 데이터베이스를 추가 구축하였다. 자동번역 기술이 전문 수화 통역사의 수준을 따라잡을 수는 없지만 향후 수화방송도 선택적 서비스가 가능해지고 수화통역사의 수화방송이 모든 프로그램에 편성될 때까지 본 시스템이 보조적 시청 수단으로 사용 가능할 것이다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.393-398
• /
• 2007

본 논문은 작업 현장에서 청각장애인의 의사소통을 보조하는 한국 수화 메시지 보드의 개발에 대하여 다룬다. 청각 장애인은 일상적인 직업 현장에서 의사소통이 자유롭지 못하여 업무에 잘 적응하지 못하고 사내의 인간관계에 많은 어려움을 겪고 있다. 문자를 이용한 정보 전달을 통해 모든 의사소통을 대체할 수 있을 것이라는 일반적인 생각과는 달리, 청각장애인의 경우 비장애인과 비교하여 사물의 개념 습득에 어려움이 있을 수 있으며 마찬가지로 사용하는 어휘수도 제한적인 경우가 많아 문자를 통한 의사소통에는 명확한 한계가 존재한다. 실제로 청각 장애 근로자가 이직하는 사유로 의사소통이나 인간관계가 높은 비중을 차지한다. 수화 메시지 보드는 크게 사내 네트워크를 이용한 공지 사항 전달을 위한 용도와 복수 개의 메시지 보드 간 문자 송수신의 용도로 사용 가능하다. 비장애인이 청각장애인에게 문자 입력으로 의사를 전달하면, 전달된 문자는 문자-수화 번역기를 통해 자동으로 수화로 번역되어 아바타의 수화 동작으로 화면에 출력된다. 전체 시스템은 수화 아바타를 포함한 그래픽 유저 인터페이스 (GUI), 수화 데이터베이스 및 한글 형태소/문장 분석기를 포함하는 문자-수화 번역기, 그리고 TCP/IP 기반의 문자 전송기의 세 부분으로 나뉜다. 본 논문에서는 수화 데이터베이스의 단어 선정을 위한 대상 작업 현장을 청각 장애 근로자가 타 직업에 비해 많은 비중을 차지하는 전자 부품 조립 업체로 한정하였다. 수화 데이터베이스는 자음 14종, 모음 17종, 숫자 15종, 일상생활 용어 1000종, 전자 부품 조립 업체에 특화된 단어 50종 및 직업 교육 관련 용어 50종으로 이루어진 총 1146종의 수화 단어를 포함하며, 수화 데이터베이스에 등록되지 않은 단어에 대해서는 지화로 표현하도록 한다. 이 중 전자 부품 조립 업체 특화 단어와 관련하여서는, 현재 동일한 분야의 작업 현장이라 하더라도 각 사업장 간 사용되는 수화가 통일되지 않아 문헌 조사 및 현장 조사를 통해 사용 빈도가 높고 형태가 공통적인 50종을 추려내었다. 본 연구는 실제 업무현장에서 청각장애인이 겪는 의사소통의 문제를 효과적으로 해결함으로써, 청각장애인이 직업 현장에 보다 쉽게 적응하도록 도움을 줄 뿐만 아니라, 일을 통해 자아 실현을 하도록 돕는 방안이 될 수 있다는 점에서 중요한 의의를 갖는다.

• Journal of KIISE:Software and Applications
• /
• v.36 no.12
• /
• pp.1034-1037
• /
• 2009

Sign language spotting is the task of detecting the start and end points of signs from continuous data and recognizing the detected signs in the predefined vocabulary. The difficulty with sign language spotting is that instances of signs vary in both motion and shape. Moreover, signs have variable motion in terms of both trajectory and length. Especially, variable sign lengths result in problems with spotting signs in a video sequence, because short signs involve less information and fewer changes than long signs. In this paper, we propose a method for spotting variable lengths signs based on semi-CRF (semi-Markov Conditional Random Field). We performed experiments with ASL (American Sign Language) and KSL (Korean Sign Language) dataset of continuous sign sentences to demonstrate the efficiency of the proposed method. Experimental results show that the proposed method outperforms both HMM and CRF.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.313-316
• /
• 2016

현행 수화방송서비스는 방송영상 화면위에 수화영상을 덧씌우는 방식으로 송출하기 때문에 수화영상의 크기가 작고 수화 영상을 제거하거나 크기 위치 조정이 불가능하여 청각장애인의 TV 시청에 불편함을 초래하고 있다. 청각장애인의 방송접근권 확대와 일반시청자의 TV 시청환경 제고를 위해 스마트 수화방송서비스는 방송 인터넷 융합 하이브리드 방식으로 방송영상과 수화영상을 방송망과 인터넷망으로 각각 송출하고 TV수신기가 두 영상의 동기화를 처리하고 앱을 통해 수화영상의 크기, 위치 조정 및 제거 서비스를 제공한다. 본 논문에서는 방송 인터넷 융합 하이브리드 방식인 스마트 수화방송서비스의 표준 기술 및 동기화 방식을 소개하고 스마트 수화방송 시험환경 및 동기화 지연시간 측정 결과를 소개한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.06a
• /
• pp.401-404
• /
• 2013

청각장애인을 위한 지상파방송 서비스 중 자막방송은 100%에 가까운 편성 비율을 달성하고 있지만, 화면을 가리는 수화방송은 5% 수준의 편성에 그치고 있다. 본 연구에서는 자막방송을 수화로 번역하여 그래픽 수화방송을 생성함으로써 수화방송의 비율을 높이고자 한다. 수화 단어들의 빈도를 파악하고 중요 단어부터 모션 캡처하기 위해 과거 3년간 일기예보 스크립트를 분석하였다. 자막방송 문장을 형태소별로 분석한 다음 중요 품사 위주로 단어 단위로 번역하고, 기 구축된 한국어 어휘의미망을 이용하여 수화사전에 없는 유의어와 하위어를 대표어로 대체하였다. 기계번역 기술이 수화통역사의 수준을 따라잡을 수는 없지만 향후 수화방송도 선택적 서비스가 가능해지고 수화통역사의 수화방송이 모든 프로그램에 편성될 때까지 본 시스템이 보조적 시청 수단으로 사용 가능할 것이다.