• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.299-302
• /
• 2023

입 모양 인식은 음성인식의 중요한 부분 중 하나로 이를 개선하기위한 다양한 연구가 진행되어 왔다. 기존의 연구에서는 주로 입술주변 영역을 관찰하고 인식하는데 초점을 두었으나, 본 논문은 음성인식 시스템에서 기존의 입술영역과 함께 입술, 턱, 뺨 등 다른 관심 영역을 고려하여 음성인식 시스템의 입모양 인식 성능을 비교하였다. 입 모양 인식의 관심 영역을 자동으로 검출하기 위해 객체 탐지 인공신경망을 사용하며, 이를 통해 다양한 관심영역을 실험하였다. 실험 결과 입술영역만 포함하는 ROI 에 대한 결과가 기존의 93.92%의 평균 인식률보다 높은 97.36%로 가장 높은 성능을 나타내었다.

• 한국컴퓨터산업학회논문지
• /
• 제8권4호
• /
• pp.281-288
• /
• 2007

이 논문에서 우리는 입주위에 6개의 관찰 점을 설정하고, 한국어 중 '아/에/이/오/우' 5 모음을 발음할 때 생기는 관찰 점간의 거리 변화를 계수화 하였다. 약 450개의 자료를 모아 분석하고 이 분석을 바탕으로 시스템을 구축하여 실험하였다. 우리 시스템에서는 컴퓨터에 연결된 카메라를 사용하였으며, 6개의 영역간의 변화를 계수로 하였다. 이 실험에 정상인 80명이 동원되었고, 사람들 사이에 있는 관찰 오차를 정규화를 통하여 수정하였다. 30명으로 분석하였고, 50명으로 인식 실험을 하였다. 3개의 시스템을 구축하였는데 신경망이 가장 좋은 결과를 보였다. 신경망의 인식 결과는 87.44%였다.

• 전자공학회논문지CI
• /
• 제40권5호
• /
• pp.289-297
• /
• 2003

음성인식 시스템과 입술독해 시스템을 결합한 하여 음향학적 잡음에 대하여 안정된 성능을 갖는 바이모달(bimodal) 시스템을 구현한다. 바이모달 시스템의 성능은 두 인식 시스템의 성능뿐만 아니라 입력 신호의 끝점검출 성능에도 크게 영향을 받는다. 본 논문에서는 음성신호와 영상신호에서 끝점을 자각 자동 검출하여 입력 음성신호로부터 음성신호에서 추정한 신호대잡음비(signal-to-noise ratio: SNR)로 두 끝점검출 결과를 선택하는 방법을 제안한다. 즉 낮은 SNR에서는 영상신호로부터 검출된 끝점을 선택하고 높은 SNR에서는 음성신호로부터 검출된 끝점을 선택함으로써 음향학적 잡음에 대하여 견실하게 끝점을 검출한다. 제안한 끝점검출 방법이 적용된 바이모달 시스템이 강한 음향학적 잡음에 대하여 만족스러운 인식성능을 나타냄을 실험견과에서 확인할 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제14권4호
• /
• pp.39-46
• /
• 2009

기존에 PC 환경에서는 많은 입술 영역 검출 방법들이 제안되었는데, 자원이 제한되어있는 모바일 장치에서는 이런 방법들을 그대로 적용하면 실시간 동작이 어렵다. 이러한 문제를 해결하기 위하여, 본 논문은 모바일 장치에서 립리딩을 위한 실시간 입술 영역 검출 방법을 제안한다. 본 논문에서는 적응적 얼굴 색상 정보를 이용하여 얼굴 영역을 검출한 다음에 눈 검출을 하고 눈과 입술의 기하학적 관계를 이용하여 입술 영역을 검출한다. 제안된 알고리즘을 Intel PXA 270 임베디드 프로세서와 386MB 메모리를 가진 스마트 폰에 구현하여 실험한 결과 9.5 프레임/초의 속도로 동작하였고 574장의 영상에 대하여 검출 실험한 결과 98.8%의 검출 성공률을 얻을 수 있었다.

• 한국정보통신학회논문지
• /
• 제6권5호
• /
• pp.783-788
• /
• 2002

최근 통신 시스템의 연구와 발전 방향은 목소리의 음성 정보와 말하는 얼굴 영상의 화상 정보를 함께 적용하므로서 음성 정보만을 제공하는 경우보다 높은 인식율을 제공한다. 따라서 본 연구는 청각장애자들의 언어 대체수단 중 하나인 구화(speechreading)에서 가장 시각적 변별력이 논은 입모양 인식을 일반 퍼스널 컴퓨터상에서 구현하고자 한다. 본 논문은 기존의 방법과 달리 말하는 영상 시퀀스에서 입모양 인식을 행하기 위해 3차원 모델을 사용하여 입의 벌어진 정도, 턱의 움직임, 입술의 돌출과 같은 3차원 특징 정보를 제공하였다. 이와 같은 특징 정보를 얻기 위해 3차원 형살 모델을 입력 동영상에 정합시키고 정합된 3차원 형상모델에서 각 특징점의 변화량을 인식파라미터로 사용하였다. 그리고, 인식단위로 동영상을 분리하는 방법은 3차원 특징점 변화량에서 얻어지는 강도의 기울기에 의하여 이루어지고, 인식은 각각의 3차인 특징벡터를 이산 HMM 인식기의 인식 파라메타로 사용하였다.

• 한국컴퓨터정보학회논문지
• /
• 제14권3호
• /
• pp.173-182
• /
• 2009

본 논문은 한국어 8단모음을 인식하기 위한 효율적인 파라미터의 추출과 자동 독화 시스템의 구축에 관하여 연구한 것이다. 얼굴의 특징들은 다양한 칼라 공간에서 다양한 값으로 표현되는 것을 이용하여 각 표현 값들을 증폭하거나 또는 축소, 대비시켜 얼굴 요소들이 추출되도록 하였다. 눈과 코의 위치, 안쪽 입의 외곽선, 윗입술의 상단, 이의 외곽선을 특징 점으로 찾았으며, 이를 분석하여 안쪽 입의 면적, 안쪽 입의 높이와 폭, 이의 보임 비율 코와 윗입술 상단과의 거리를 파라미터로 사용하였다. 2400개의 영상으로 분석하였고 이 분석을 바탕으로 신경망 시스템을 구축한 후 인식 실험을 하였다. 정상인 5명이 동원되었고, 사람들 사이에 있는 관찰 오차를 정규화를 통하여 수정하였으며 실험하여 파라미터의 유용성 관점에서 좋은 결과를 얻었다.

• 한국음향학회지
• /
• 제21권5호
• /
• pp.471-477
• /
• 2002

최근 립리딩에 대한 연구는 음성인식방법에 있어서 부가적인 정보를 제공하여 잡음환경에서 견인한 음성 인식을 하거나 음성정보의 부가적인 특징벡터로 사용하기 위한 방법으로 연구되고 있다. 그러나 립리딩 연구의 대부분은 실험실 환경하의 제한된 결과로서, 실제 다양한 동적 환경에서의 견인성에 대해서는 연구된 바가 없다. 현재 우리는 입술정보만을 이용한 자동22단어 인식기를 만들었으며, 이미지 기반 립리딩의 성능은 53.54%의 성능을 가지고 있다. 본 연구에서는 기 구현된 립리딩 시스템을 기반으로 하여, 립리딩 성능이 환경 적인 변화에 대해서 얼마나 안정할 수 있는지, 그리고 립리딩의 인식성능 저하를 일으키는 주요 요인이 무엇인지에 대하여 연구하였다. 입술이미지의 동적 변이로서는 이동, 회전. 크기변화와 같은 공간적 변화와 빛에 의한 조명변화를 고려하였다. 실험용 데이터로는 영상변환에 의한 시뮬레이션 된 데이터와 동적 변화가 심한 자동차 환경에서 수집한 데이터를 사용하였다. 실험결과 입술의 공간 변화가 인식성능 저하의 한가지 요인으로 작용함을 발견하였다. 그러나 실제적으로 공간변화보다 더 심각한 성능저하 원인은 시간흐름에 따른 조명조건의 변화로써 70%이상의 왜곡이 발생했다. 따라서 신뢰할 수 있는 립리딩 시스템 구현을 위해서 고려해야 할 가장 큰 요인은 빛의 변화임을 발견할 수 있었다.

• 한국정보통신학회논문지
• /
• 제3권1호
• /
• pp.59-68
• /
• 1999

최근 통신 시스템의 연구와 발전 방향은 목소리의 음성 정보와 말하는 얼굴 영상의 화상 정보를 함께 적용하므로서 음성 정보만을 제공하는 경우보다 높은 인식율을 제공한다. 따라서 본 연구는 청각장애자들의 언어 대체수단 중 하나인 구화(speechreading)에서 가장 시각적 변별력이 높은 입모양 인식을 일반 퍼스널 컴퓨터상에서 구현하고자 한다. 본 논문은 기존의 방법과 달리 말하는 영상 시퀀스에서 입모양 인식을 행하기 위해 3차원 모델을 사용하여 입의 벌어진 정도, 턱의 움직임, 입술의 돌출과 같은 3차원 특징 정보를 제공하였다. 이와 같은 특징 정보를 얻기 위해 3차원 형상 모델을 입력 동영상에 정합시키고 정합된 3차원 형상 모델에서 각 특징점의 변화량을 인식파라미터로 사용하였다. 그리고, 인식단위로 동영상을 분리하는 방법은 3차원 특징점 변화량에서 얻어지는 강도의 기울기에 의하여 이루어지고, 인식은 각각의 3차원 특징벡터를 이산 HMM 인식기의 인식 파라메타로 사용하였다. 본 논문에서는 한국어 10개 모음에 대하여 인식실험하여 비교적 높은 인식율을 얻을 수 있는 것으로 보아 본 연구에서 사용한 특징 벡터를 시간적 변별 요소로서 사용할 수 있음을 제시하였다.