• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1999년도 하계종합학술대회 논문집
• /
• pp.655-658
• /
• 1999

In this paper we design a key-frame editor for 3D sign-language animation using the inverse kinematics. Using the editor, we can calculate the joint angles for two arms automatically. Up to now we have computed the values of the joint angles using the forward kinematics, where we have determined the values heuristically based on our experiences. To overcome the drawbacks, we employ the arm transformation matrix of the inverse kinematics. Experimental results show a possibility that the proposed method could be used for making up the sign-language communication dictionaries.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1998년도 하계종합학술대회논문집
• /
• pp.925-928
• /
• 1998

In this paper, we implemented a sign language communication system between korean and japanese using 3D model. Unitl now, we have developed the system through 2D image. The system, however, has some drawbacks base don the limitations of 2D model. Especially it is not comprehensive in the sign language gesture including forward or backward movements becasue it can only display a front view. Therefore, we employed a 3D model for the representation of sign language. The proposed communication system si implemented with windows 95 visual C++ 5.0 imported open inventor library on pentium 233 system. Experimented results show that the 3D system can solve the problems in 2D representation.

• 한국정보처리학회논문지
• /
• 제7권5호
• /
• pp.1317-1329
• /
• 2000

The advanced techniques for video processing and computer graphics enables a sign language education system to appear. the system is capable of showing a sign language motion for an arbitrary sentence using the captured video clips of sign language words. In this paper, a method is suggested which generates the frames between the last frame of a word and the first frame of its following word in order to animate hand motion. In our method, we find hand locations and angles which are required for in between frame generation, capture and store the hand images at those locations and angles. The inbetween frames generation is simply a task of finding a sequence of hand angles and locations. Our method is computationally simple and requires a relatively small amount of disk space. However, our experiments show that inbetween frames for the presentation at about 15fps (frame per second) are achieved so tat the smooth animation of hand motion is possible. Our method improves on previous works in which computation cost is relativey high or unnecessary images are generated.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2024년도 제69차 동계학술대회논문집 32권1호
• /
• pp.317-319
• /
• 2024

본 논문에서는 비디오 캡셔닝 알고리즘을 적용한 수어 번역 및 행동 인식 알고리즘을 적용한 수어 인식 알고리즘을 제안한다. 본 논문에 사용된 비디오 캡셔닝 알고리즘으로 40개의 연속된 입력 데이터 프레임을 CNN 네트워크를 통해 임베딩 하고 트랜스포머의 입력으로 하여 문장을 출력하였다. 행동 인식 알고리즘은 랜덤 샘플링을 하여 한 영상에 40개의 인덱스에서 40개의 연속된 데이터에 CNN 네트워크를 통해 임베딩하고 GRU, 트랜스포머를 결합한 RNN 모델을 통해 인식 결과를 출력하였다. 수어 번역에서 BLEU-4의 경우 7.85, CIDEr는 53.12를 얻었고 수어 인식으로 96.26%의 인식 정확도를 얻었다.

• Journal of information and communication convergence engineering
• /
• 제8권1호
• /
• pp.19-22
• /
• 2010

A finger language helping hearing impaired people in communication A sign language helping hearing impaired people in communication is not popular to ordinary healthy people. In this paper, we propose a method for real-time sign language recognition from a vision system using color information and fuzzy clustering system. We use YCbCr color model and canny mask to decide the position of hands and the boundary lines. After extracting regions of two hands by applying 8-directional contour tracking algorithm and morphological information, the system uses FCM in classifying sign language signals. In experiment, the proposed method is proven to be sufficiently efficient.

• 대한의용생체공학회:의공학회지
• /
• 제21권6호
• /
• pp.591-598
• /
• 2000

본 논문에서는 인터넷 멀티미디어 수화사전 Web-Sign을 설계 및 구현한다. Web-Sign은 여러 가지의 검색조건에 의한 수화동영상을 화면에 출력하고 관련 정보를 쉽게 찾아 볼 수 있는 특징이 있다. 또한 Web-Sign은 100% JAVA로 구현하였기 때문에 플랫폼과 OS의 영향을 거의 받지 않으며, 애플릿과 어플리케이션으로 모두 배포 가능한 장점을 가지고 있다. 웹 브라우저에 의한 접속은 애플릿을 자동으로 지원하며, 어플리케이션을 이용할 경우 모든 데이터는 On-Line 혹은 Off-Line 형태로 전송이 가능하다. 검색방법은 단어입력, 가나다순서별 선택, 동작정보(수위소)선택, 동작화면에 의한 선택, 수화 교과서〔10〕의 챕터순서별로 선택, 주제별 수화분류에 의한 단어선택 등을 이용할 수 있다. 현재까지 등록된 동영상은 현재까지 총 500 여개이며 각 동영상에 대한 시작 및 끝 화면의 정지영상 1000여개와 빠른 전송을 위한 동영상 1000여개를 참고자료로 가지고 있다. 본 논문에서 제안하는 Web-Sign은 많은 검색방법을 가지고 있고, 다양한 정보를 인터넷을 통해 제공할 수 있으므로, 사용자가 쉽게 접근하여 수화를 익힐 수 있을 것으로 판단된다.

• 대한전자공학회논문지SP
• /
• 제37권5호
• /
• pp.21-30
• /
• 2000

서로 다른 언어 사이의 언어 장벽을 극복하기 위한 한 방법으로 CG 애니메이션 기술을 이용한 수화통신 시스템이 연구되고 있다. 이 시스템에서 하나의 수화 애니메이션을 생성하기 위해서는 그 제스춰에 해당하는 팔과 손의 관절 각을 결정해야 한다 그러나 현재까지 시행착오적인 방법으로 관절 각을 계산하였기 때문에 애니메이터의 숙련도에 의지할 수밖에 없었다 따라서 본 논문에서는 이러한 문제점을 해결하기 위하여, 쉽고 빠르게 3차원 수화 애니메이션을 위한 팔과 손의 키 프레임을 함께 생성할 수 있는 통합된 키 프레임 에디터를 제작한다 구현된 키 프레임 에디터에서는 관절 각 계산에 역 운동학을 이용하였으며, 양팔과 20개의 손가락 관절에 통일한 변환 행렬식을 이용 할 수 있도록 표준화하였다 실험 결과 본 논문에서 제시한 에디터를 이용할 경우 이종언어간의 수화통신에 사용되는 수화 파라미터 사전을 좀더 효율적으로 생성할 수 있음을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제4권3호
• /
• pp.238-246
• /
• 2001

복지형 정보단말 장치로 청각장애인과 건청인사이의 커뮤니케이션을 지원하기 위한 수화 생성시스템이 개발되었다. 이 시스템에서는 신체의 각 부위의 움직임을 주목한Motion-Primitives에 기초로 하여 컴퓨터그래픽(CG) 애니메이션으로 수화 단어 동작을 생성하고 있다. 기존의 수화 생성시스템은 수화 단어를 생성할 때 손 모양이나 손과 어깨의 움직임을 제어하기가 어려워 수화 단어를 생성하는데 많은 시간이 소요되었다. 또한 수화 통역을 위해서는 수화단어가 5000단어 이상이 필요하기 때문에 수화단어 데이터 베이스를 구축하는 것도 큰 문제로 대두되고 있다. 따라서, 본 논문에서는 종래의 시스템보다 수화단어 구축에 있어서 다양한 움직임의 경로를 유연하게 만들수 있는 Motion-Primitives에 의한 새로운 시스템을 제안한다. 이 제안한 시스템을 적용하여 실제로 청각장애인을 대상으로 수화단어 100단어에 대하여 평가실험을 행한 결과 종래의 시스템으로 평균 76%의 인식 율을 얻을 수 있었던 것에 비하여 새롭게 제안한 시스템은 82%의 양호한 인식 율을 얻을 수 있었다.

• 한국HCI학회논문지
• /
• 제5권1호
• /
• pp.25-35
• /
• 2010

본 논문에서는 한국어 문장 유형을 자동으로 분류하는 방법을 제안하고 한국어-수화 변환과 한국어 음성 합성 분야에서 문장 유형 정보가 자연스러운 수화 표현과 음성 표현을 생성하는데 이용되는 과정을 보인다. 한국어에서 문장 유형은 크게 평서문, 명령문, 청유문, 의문문, 감탄문의 다섯 가지로 분류되는데, 기존의 방법으로는 대화체 문장에서 동일한 문장이 여러 가지 유형으로 해석되는 중의성의 문제가 발생한다. 본 논문에서는 문장 내에서 형태소 및 구문단위의 다양한 단서들을 활용하여 이를 해결하는 방법을 제안하며, 실험 결과 본 논문에서 제시한 문장 유형 분류 시스템이 만족할 만한 성능을 보이는 것을 확인하였다. 이를 이용하여 한국어-수화 변환 시스템에서 문장 유형에 따라 수화의 비수지신호가 다르게 표현되는 현상을 처리하는 과정과 한국어 음성 합성 시스템에서 문장 유형에 따라 문장의 문미 억양이 변하는 현상을 처리하는 과정을 제시한다. 문장 유형 정보를 음성 합성과 수화 자동 생성에 이용하는 것은 기존에는 연구되지 않았던 방법으로, 좀 더 자연스러운 음성과 수화 표현을 생성하는데 중요한 역할을 할 것으로 기대한다.

• 한국정보통신학회논문지
• /
• 제21권2호
• /
• pp.461-467
• /
• 2017

인터넷의 발전과 스마트 디바이스의 확산으로 e-book에 대한 수요가 늘고 있다. 그러나 청각 손실로 정확한 언어를 배우기 어려운 청각장애인은 텍스트로만 이루어진 e-book 서비스를 사용하기 어렵다. 본 논문에서는 e-book의 문장을 읽어 수화 동영상으로 제공하는 안드로이드 기반 애플리케이션 프로그램을 설계하고 구현하였다. e-book의 한국어 문장을 수화 언어로 번역하기 위해 형태소 분석에 기반한 알고리즘을 사용하였다. 제안한 알고리즘은 3단계로 구성된다. 1단계는 수화 표현을 위한 문장 요소 제거, 2단계는 수화 표현의 변환 및 시제 표현, 3단계는 수화 높임말 용어 변경 및 위치 이동이다. 또한 수화 번역 품질에 대한 평가 방안을 제시하고 100개의 기준 문장에 대해 제안한 알고리즘을 통한 번역 결과의 우수성을 확인하였다.