• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.976-981
• /
• 2006

수화는 청각장애인이 사용하는 시각적인 언어이다. OpenGL 기반의 가상 현실 공간에서 수화 동작을 표현하기 위해서는 수화 동작 데이터를 삽입하고 수정하는 편집 프로그램이 필요하다. 하지만, 기존의 수화 동작 편집기는 수화를 잘 이해하지 못하는 일반 사용자가 손 모양을 정확하게 편집하거나 얼굴 표정을 표현하는데 어려움이 있다. 또한, 수화 사전에 포함되는 각 수화 단어의 데이터 수가 많기 때문에 이를 효율적으로 생성하고 저장하는 프로그램이 절실히 필요하다. 본 논문에서는 사용자의 편의성을 높이기 위해 수화 동작 그래픽 편집기를 개선하는 방법을 제안한다. 이를 위해 각 손 모양에 대해 21 개의 파라마터로 구성된 데이터를 손가락 별로 분류한 후, 손가락 고유 기호로 변환하고, 손 모양 이름과 일련 번호를 부여하여 손 모양 데이터를 얻었으며, 유사한 손 모양을 그룹으로 묶은 손 모양 그룹 데이터를 구성하여 손 모양 데이터 사전을 구축하였다. 구축된 손 모양 사전을 수화 동작 편집기에 적용함으로써 사용자는 손 모양 그룹과 손 모양 이름, 일련번호를 선택하여 손의 각 관절 움직임을 쉽게 편집할 수 있으며, 이를 가상현실 공간에서 움직여 볼 수 있다. 또한, 얼굴 표정과 안색을 편집할 수 있는 기능을 추가함으로써 수화 동작 중에 얼굴 표정을 쉽게 표현할 수 있도록 하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2000년도 제13회 춘계학술대회 및 임시총회 학술발표 논문집
• /
• pp.1062-1066
• /
• 2000

최근 인터넷 사용자의 급속한 증가와 함께 정보 표현 방식도 실세계와 유사한 3차원 공간으로 바뀌고 있다. 본 논문에서는 기존에 개발된 수화 편집기와 수화학습 시스템에서의 수화 동작의 편집 및 수화 학습의 효율을 높이기 위하여 frame 단위의 동작처리를 action 단위로 바꾸어 처리하도록 개선하였다. 개선된 수화 편집기와 수화학습 시스템은 VRML 뷰어와 애플릿간의 자료 이동이 줄어들어 처리 속도의 향상을 가져왔고 자연스러운 수화 동작 구현이 가능하게 되었다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.851-856
• /
• 2007

수화는 청각장애인이 주로 사용하는 시각적인 언어이다. OpenGL 기반의 가상현실 공간을 배경으로 하여 청각장애인들이 쉽게 이해할 수 있는 수화 아바타의 움직임을 구현하기 위해, 본 논문에서는 수화 동작 데이터베이스를 구축하는 그래픽 사용자 인터페이스를 개발한다. 개발한 시스템에서는 아바타의 사실적인 표현과 친근감을 강조하기 위해 3D MAX 기반의 인체 아바타 모델의 픽셀 값을 ASE를 사용하여 C언어 코드로 변환함으로써 인간과 거의 비슷한 모델을 생성하였다. 손 모양 편집프로그램은 슬라이드 바를 사용하여 21개의 손 관절 각도를 조정할 수 있으며, 손 모양 코드번호와 손 모양 이름을 지정하여 수화단어 편집프로그램에서 사용하는 손 모양 데이터 형식으로 저장할 수 있다. 수화단어 편집프로그램은 수화단어 데이터 형식의 값을 설정하는 기능과 함께 손 모양 대칭복사, 검색, 추가, 수정, 삭제 기능을 제공함으로써 사용자가 손 모양을 쉽게 편집할 수 있도록 하였다. 손 모양 편집프로그램과 수화단어 편집프로그램을 사용하여 구성한 데이터베이스를 기반으로 수화 아바타가 가상현실 공간에서 인간과 유사한 움직임을 표현할 수 있도록 하였다.

• 전자공학회논문지SC
• /
• 제44권4호통권316호
• /
• pp.48-54
• /
• 2007

손 모양은 청각장애인의 의사소통 수단인 수화에서 중용한 요소 중 하나이다. OpenGL 기반의 가상현실 공간에서 수화 동작을 표현하기 위해서는 수화 동작 데이터를 삽입하고 수정하는 편집 프로그램이 필요하다. 하지만, 기준의 수화 동작 편집기는 수화를 잘 이해하지 못하는 일반 사용자가 손 모양을 정확하게 편집하거나 표현하는데 어려움이 있다. 또한, 수화 사전에 포함되는 각 수화 단어의 데이터 수가 많기 때문에 이를 효율적으로 생성하고 저장하는 프로그램이 필요하다. 본 논문에서는 그래픽 사용자 인터페이스(GUI)를 통해 다양한 손 모양을 쉽게 편집하고 생성된 손 모양 데이터를 데이터베이스에 저장할 수 있는 손 모양 편집 프로그램을 개발하였다. 생성된 손 모양 코드는 수화 동작을 생성하기 위한 수화 단어 편집기에 연결되어 수화 데이터베이스의 전체 용량을 감소시킨다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제36권1호
• /
• pp.82-91
• /
• 2009

수화 적출은 연속된 손 동작에서 의미 있는 수화 단어를 검출 및 인식하는 것을 말한다. 수화는 손의 움직임과 모양의 변화가 다양하기 때문에 수화 문장에서 수화를 적출하는 것은 쉬운 문제가 아니다. 특히, 자연스러운 수화 문장에는 의미 있는 수화, 수화가 아닌 손동작이 무작위로 발생한다. 본 논문에서는 CRF(Conditional Random Field)에 기반한 적응적 임계치 모델을 제안한다. 제한된 모델은 수화 어휘집에 정의된 수화 손동작과 수화가 아닌 손동작을 구별하기 위한 적응적 임계치 역할을 수행한다. 또한, 수화 적출 및 인식의 성능 향상을 위해 손 모양 기반 수화 인증기, 짧은 수화 적출기, 부사인(subsign) 추론기를 제안된 시스템에 적용하였다. 실험 결과, 제안된 방법은 연속된 수화 동작 데이타에서 88%의 적출률, 사전에 적출된 수화 동작 데이타에서 94%의 인식률을 보였으며, 적응적 임계치 모델, 짧은 수화 적출기, 손 모양 기반 수화 인증기, 부사인 추론기를 사용하지 않은 CRF 모델은 연속된 수화 동작 데이터에서 74%의 적출률, 사전에 적출된 수화 동작 데이타에서 90%의 인식률을 보였다.

• 대한의용생체공학회:의공학회지
• /
• 제21권6호
• /
• pp.591-598
• /
• 2000

본 논문에서는 인터넷 멀티미디어 수화사전 Web-Sign을 설계 및 구현한다. Web-Sign은 여러 가지의 검색조건에 의한 수화동영상을 화면에 출력하고 관련 정보를 쉽게 찾아 볼 수 있는 특징이 있다. 또한 Web-Sign은 100% JAVA로 구현하였기 때문에 플랫폼과 OS의 영향을 거의 받지 않으며, 애플릿과 어플리케이션으로 모두 배포 가능한 장점을 가지고 있다. 웹 브라우저에 의한 접속은 애플릿을 자동으로 지원하며, 어플리케이션을 이용할 경우 모든 데이터는 On-Line 혹은 Off-Line 형태로 전송이 가능하다. 검색방법은 단어입력, 가나다순서별 선택, 동작정보(수위소)선택, 동작화면에 의한 선택, 수화 교과서〔10〕의 챕터순서별로 선택, 주제별 수화분류에 의한 단어선택 등을 이용할 수 있다. 현재까지 등록된 동영상은 현재까지 총 500 여개이며 각 동영상에 대한 시작 및 끝 화면의 정지영상 1000여개와 빠른 전송을 위한 동영상 1000여개를 참고자료로 가지고 있다. 본 논문에서 제안하는 Web-Sign은 많은 검색방법을 가지고 있고, 다양한 정보를 인터넷을 통해 제공할 수 있으므로, 사용자가 쉽게 접근하여 수화를 익힐 수 있을 것으로 판단된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 추계학술발표대회
• /
• pp.619-622
• /
• 2012

본 연구에서는 키넥트(Kinect) 센서를 통해 수화 동작에서 손의 좌표와 이동방향을 추출하여 속성으로 하고, 데이터 마이닝의 분류 기법을 통해 수화를 인식하여 그 결과를 한글 텍스트로 번역해주는 소프트웨어를 개발한다. 제안 방법의 1단계에서는 0.05초 단위로 추출한 손의 좌표만을 속성으로 한다. 2단계에서는 개개인의 특성 및 화면상의 위치와 같은 요소에 따라 좌표 값이 달라지기 때문에, 손의 움직임에서 변위를 추출하여 손이 움직이는 방향을 속성으로 한다. 하지만 비슷한 방향으로 움직이는 수화가 있을 경우 수화의 구분이 어려우므로 3단계에서는 손의 좌표, 방향 두 가지를 분류하는 속성으로 사용한다. 향후 연구 방향은 수화의 중요한 요소인 손의 위치를 속성으로 추가시키고, 데이터 마이닝의 부스팅(Boosting) 기법을 적용하여 인식률을 높이는 것이다.

• 융합신호처리학회 학술대회논문집
• /
• 한국신호처리시스템학회 2005년도 추계학술대회 논문집
• /
• pp.233-237
• /
• 2005

수화의 인식 및 표현 기술에 대한 관련 연구는 수화 인식을 통한 건청인과의 의사 전달, 가상현실에서의 손동작 인식 등을 대상으로 여러 방면으로의 접근 및 연구 결과를 도출하고 있다. 그러나 이들 연구의 대부분 데스크탑 PC기반의 수신호(Hand signal) 제어 및 수화 - 손 동작 인식에 목적을 두었고 수화 신호의 획득을 위하여 영상장비를 이용하였으며 이를 바탕으로 단어 위주의 수화 인식 및 표현에 중점을 둔 수화 인식 시스템의 구현을 통해 비장애인과의 자유로운 의사소통을 추구하고 있다. 따라서 본 논문에서는 햅틱 장치로부터 사용자의 의미있는 수화 제스처를 획득하기 위한 접근 방식을 차세대 착용형 PC 플랫폼 기반의 유비쿼터스 환경으로 확대, 적용시켜 제스처 데이터 입력 모듈로부터 새로운 정보의 획득에 있어 한계성을 극복하고 사용자의 편의를 도모할 수 있는 효율적인 데이터 획득 방안을 제시한다. 또한 퍼지 알고리즘 및 RDBMS 모듈을 이용하여 언제, 어디에서나 사용자의 의미 있는 문장형 수화 제스처를 실시간으로 인식하고 표현하는 수화 제스처 인식기를 구현하였다. 본 논문에서는 수화 제스처 입력 모듈(5th Data Glove System과 $Fastrak{\circledR}$)과 차세대 착용형 PC 플랫폼(embedded I.MX21 board)간의 이격거리를 반경 10M의 타원 형태로 구성하고 규정된 위치로 수화 제스처 데이터 입력모듈을 이동시키면서 5인의 피실험자에 대하여 연속적으로 20회의 반복 실험을 수행하였으며 사용자의 동적 제스처 인식 실험결과 92.2% 평균 인식률을 도출하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.1019-1022
• /
• 2015

사회적 약자인 청각장애인들의 수화통역 서비스가 대체로 만족스럽게 제공되고 있지 않다. 또한 청각 장애인수 대비 수화통역가의 부족과 일반인과의 즉각적인 소통이 어려워 일상생활에 불편함을 느끼는 청각장애인들이 많다. 이의 문제점을 착안하여 본 연구에서는 청각장애인들이 휴대할 수 있는 수화 통역기를 개발하고자 한다. 청각장애인들의 손동작을 인식할 수 있는 3D센서 립모션(Leap-Motion)을 통해 수화를 인식한다. 립모션 센서와 안드로이드 스마트폰 및 태블릿과 연결하여 손 데이터 값을 분석했다. 분석한 손 데이터 값과 특정 지화(자음, 모음)와 간단한 인사말의 수화동작을 취할 때, 트래킹되는 데이터 값을 비교하여 수화를 인식하고 수화와 인식된 지화의 자음과 모음을 글자로 완성시켜, 텍스트와 음성으로 출력한다. 또한 립모션이 부착된 하드케이스 안에 스마트기기 탈착이 가능한 실용성 있는 수화통역기 제품 개발에 대한 연구를 목표로 하고 있다.

• 스마트미디어저널
• /
• 제1권3호
• /
• pp.8-14
• /
• 2012

본 논문에서는 청각장애인(농아인)과 비장애인의 수화 학습의 기회를 넓히고자 스마트폰용 3D 수화교육 앱을 개발하였다. 특히 한국어 문장을 자동으로 수화구조로 변환하는 수화단어 변환 알고리즘을 제안하였다. 또한, 자연스러운 수화 동작을 얻기위해 모션 캡처 시스템과 정확한 손동작 표현을 위해 데이터 글러브를 이용하여 실제 사람과 같은 3D 수화 애니메이션 DB를 구축하였다. 마지막으로 수화 애니메이션의 움직임을 실시간 3D 렌더링하여 화면에 보여주기 위해 UNITY 3D 엔진 프로그래밍이 이용되었다. 제안한 수화교육 앱 콘텐츠는 아이폰 앱스토어와 안드로이드 앱스토어에 약 1,300단어의 3D 수화 DB를 가지는 앱으로 배포 중이다.