• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2001년도 하계종합학술대회 논문집(4)
• /
• pp.29-32
• /
• 2001

Visual speech information improves the performance of speech recognition, especially in noisy environment. We have tested the various spatial-temporal features for the Korean lipreading and evaluated the performance by using a hidden Markov model based classifier. The results have shown that the direction as well as the magnitude of the movement of the lip contour over time is useful features for the lipreading.

• 한국음향학회지
• /
• 제21권1호
• /
• pp.19-26
• /
• 2002

본 논문에서는 한국어 입술독해를 위한 기반 연구로서 음성학에 기반하여 음성의 시각적 기본 단위인 viseme을 정의하고 입술의 움직임을 적절히 표현할 수 있는 특징들을 추출하여 그 성능을 분석하였다. 먼저, 다수의 화자로부터 한국어 모음에 해당하는 입술의 동영상 데이터베이스를 획득하고 각모음별 시각적 특성을 분석하여 7개의 한국어 모음 viseme을 정의하였으며 입술 윤곽선상의 특징점과 시공간적 특징 벡터들을 추출하여 은닉 마르코프 모델에 적용함으로써 효과적인 입술독해를 위한 각 특징 벡터별 성능을 비교하였다. 7개의 한국어 각 viseme에 대한 인식 실험 결과에서 입술의 안팎 윤곽선의 정보가 모두 반영된 특징 벡터가 입술독해에 효과적으로 적용될 수 있으며 윤곽선 상의 특징점들의 시간적 움직임 크기와 방향이 입술독해를 위하여 매우 중요한 요소임을 확인할 수 있었다.

• 한국컴퓨터정보학회논문지
• /
• 제11권2호
• /
• pp.159-167
• /
• 2006

립리딩은 잡음이 있는 환경에서 음성 인식 시스템의 성능 향상을 위한 한 방법으로 제안되었다. 기존의 논문들이 소프트웨어 립리딩 방법을 제안하는 것에 반하여, 본 논문에서는 실시간 립리딩을 위한 하드웨어 설계를 제안한다. 실시간 처리와 구현의 용이성을 위하여 본 논문에서는 립리딩 시스템을 이미지 획득 모듈, 특징 벡터 추출 모듈, 인식 모듈의 세 모듈로 분할하였다. 이미지 획득 모듈에서는 CMOS 이미지 센서를 사용하여 입력 영상을 획득하게 하였고, 특징 벡터 추출 모듈에서는 병렬 블록매칭 알고리즘을 이용하여 입력영상으로부터 특징벡터를 추출하도록 하였고, 이를 FPGA로 코딩하여 시뮬레이션 하였다. 인식 모듈에서는 추출된 특징 벡터에 대하여 HMM 기반 인식 알고리즘을 적용하여 발성한 단어를 인식하도록 하였고, 이를 DSP에 코딩하여 시뮬레이션 하였다. 시뮬레이션 결과 실시간 립리딩 시스템이 하드웨어로 구현 가능함을 알 수 있었다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 1993년도 Fifth International Fuzzy Systems Association World Congress 93
• /
• pp.903-906
• /
• 1993

Lipreading through visual processing techniques help provide some useful systems for the hearing impaired to learn communication assistance. This paper proposes a method to understand spoken words by using visual images taken by a camera with a video-digitizer. The image is processed to obtain the contours of lip, which is approximated into a hexagon. The pattern lists, consisting of lengths and angles of hexagon, are compared and computed to get the fuzzy similarity between two lists. By similarity matching, the mouth shape is recognized as the one which has the pronounced voice. Some experiments, exemplified by recognition of the Japanese vowels, are given to show feasibilities of this method.

• 음성과학
• /
• 제8권3호
• /
• pp.123-132
• /
• 2001

In recent years research on HCI technology has been very active and speech recognition is being used as its typical method. Its recognition, however, is deteriorated with the increase of surrounding noise. To solve this problem, studies concerning the multimodal HCI are being briskly made. This paper describes automated lipreading for bimodal speech recognition on the basis of image- and speech information. It employs audio-visual DB containing 1,074 words from 70 voice and tri-viseme as a recognition unit, and state tied HMM as a recognition model. Performance of automated recognition of 22 to 1,000 words are evaluated to achieve word recognition of 60.5% in terms of 22word recognizer.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 1998년도 추계종합학술대회
• /
• pp.181-185
• /
• 1998

최근 통신 시스템의 연구와 발전 방향은 목소리의 음성 정보와 말하는 얼굴 영상의 화상 정보를 함께 적용하므로서 음성 정보만을 제공하는 경우보다 높은 인식율을 제공한다. 따라서 본 연구는 청각장애자들의 언어 대체수단 중 하나인 구화(speechreading)에서 가장 시각적 변별력이 높은 독순(lipreading)을 PC에서 구현하고자 한다. 간 논문은 기존의 방법과 달리 말하는 영상 시퀀스에서 독순(lipreading)을 행하기 위해 3차원 모델을 사용하여 입의 벌어진 정도, 턱의 움직임, 입술의 돌출과 같은 3차원 특징 정보를 제공하였다. 이와 같은 특징 정보를 얻기 위해 3차원 형상 모델을 입력 동영상에 정합시키고 정합된 3차원모델에서 각 특징점의 변화량을 인식파라미터로 사용하였다. 그리고, 인식 단위로 동영상을 분리하는 방법은 3차원 특징점 변화량에서 얻어지는 강도의 기울기에 의한다. 인식은 다차원(multi-dimensional), 다단계 라벨링 방법을 사용하여 3차원 특징벡터를 입력으로 한 이산 HMM을 사용하였다.

• 한국통신학회논문지
• /
• 제35권7C호
• /
• pp.598-603
• /
• 2010

이 논문에서는 해양 선박 안의 잡음 환경에서 현저하게 떨어지는 음성 인식률을 높이기 위해 기존 음성인식 시스템에 화자의 입술의 움직임 변화를 입력정보로 이용하려는 입술 읽기에 대해서 연구하였다. 제안한 방법은 획득한 입력 영상에 Gabor 여파기를 이용하여 전처리과정의 성능을 향상 시켜 인식률을 높였다. 실험은 기본 시스템의 조명의 변화가 발생하는 선박 안의 환경에서 시간에 따라 입술 영상을 획득하여 수행하였으며, 인식 성능비교를 위해서 획득한 입력 영상을 이산여현파변환을 수행한 뒤 얻은 입술 관심영역에 대해 Gabor 여파기를 이용하여 얻어진 영상에 입술 접기를 수행하여 인식하는 방법과 입술 접기를 수행한 영상에 대해 인식을 수행하는 방법으로 실험하였다. 제안한 방법을 적용한 선박환경에서 실험 결과는 관심영역 영상에 Gabor 필터링을 이용하였을 때 기본 시스템에 견주어 매개변수가 거의 줄어들지 않았으며 그 인식률은 44%이었다. 한편, 입술 접기를 수행한 영상을 Gabor 여파하여 조명의 영향에 의한 성분을 제거한 바, 인식률이 11%쯤 높아진 55.8%를 나타내었다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2008년도 제39차 동계학술발표논문집 16권2호
• /
• pp.135-140
• /
• 2009

본 논문은 한국어 8 단모음을 인식하는 자동 독화 신경망 시스템을 구축한 것이다. 얼굴의 특정들은 휘도와 채도 성분으로 인하여 다양한 색 공간에서 다양한 표현 값을 갖는다. 이를 이용하여 각 표현 값들을 증폭하거나 축소, 대비시킴으로서 얼굴 특정들을 추출되게 하였다. 눈과 코, 안쪽 입의 외곽선, 이의 외곽선을 찾았고, 그 후 한국어 8모음 발화시 구분되게 변화는 값들을 파라미터로 설정하였다. 한국어 8모음을 발화하는 2400개의 자료를 모아 분석하고 이 분석을 바탕으로 신경망 시스템을 구축하여 실험하였다. 이 실험에 정상인 5명이 동원되었고, 사람들 사이에 있는 관찰 오차를 정규화를 통하여 수정하였다. 5명으로 분석하였고, 5명으로 인식 실험하여 좋은 결과를 얻었다.

• 한국컴퓨터산업학회논문지
• /
• 제8권4호
• /
• pp.281-288
• /
• 2007

이 논문에서 우리는 입주위에 6개의 관찰 점을 설정하고, 한국어 중 '아/에/이/오/우' 5 모음을 발음할 때 생기는 관찰 점간의 거리 변화를 계수화 하였다. 약 450개의 자료를 모아 분석하고 이 분석을 바탕으로 시스템을 구축하여 실험하였다. 우리 시스템에서는 컴퓨터에 연결된 카메라를 사용하였으며, 6개의 영역간의 변화를 계수로 하였다. 이 실험에 정상인 80명이 동원되었고, 사람들 사이에 있는 관찰 오차를 정규화를 통하여 수정하였다. 30명으로 분석하였고, 50명으로 인식 실험을 하였다. 3개의 시스템을 구축하였는데 신경망이 가장 좋은 결과를 보였다. 신경망의 인식 결과는 87.44%였다.

• 한국컴퓨터정보학회논문지
• /
• 제14권4호
• /
• pp.39-46
• /
• 2009

기존에 PC 환경에서는 많은 입술 영역 검출 방법들이 제안되었는데, 자원이 제한되어있는 모바일 장치에서는 이런 방법들을 그대로 적용하면 실시간 동작이 어렵다. 이러한 문제를 해결하기 위하여, 본 논문은 모바일 장치에서 립리딩을 위한 실시간 입술 영역 검출 방법을 제안한다. 본 논문에서는 적응적 얼굴 색상 정보를 이용하여 얼굴 영역을 검출한 다음에 눈 검출을 하고 눈과 입술의 기하학적 관계를 이용하여 입술 영역을 검출한다. 제안된 알고리즘을 Intel PXA 270 임베디드 프로세서와 386MB 메모리를 가진 스마트 폰에 구현하여 실험한 결과 9.5 프레임/초의 속도로 동작하였고 574장의 영상에 대하여 검출 실험한 결과 98.8%의 검출 성공률을 얻을 수 있었다.