• 한국멀티미디어학회논문지
• /
• 제14권4호
• /
• pp.494-503
• /
• 2011

본 논문에서는 스마트폰에서 웃음 치료를 위한 표정인식 애플리케이션을 제안한다. 제안된 방법에서는 스마트폰의 전면 카메라 영상으로부터 AdaBoost 얼굴 검출 알고리즘을 이용하여 얼굴을 검출한다. 얼굴을 검출한 다음에는 얼굴 영상으로부터 입술 영역을 검출한다. 그 다음 프레임부터는 얼굴을 검출하지 않고 이전 프레임에서 검출된 입술영역을 3단계 블록 매칭 기법을 이용하여 추적한다. 카메라와 얼굴 사이의 거리에 따라 입술 영역의 크기가 달라지므로, 입술 영역을 구한 다음에는 고정된 크기로 정규화한다. 그리고 주변 조명 상태에 따라 영상이 달라지므로, 본 논문에서는 히스토그램 매칭과 좌우대칭을 결합하는 조명 정규화 알고리즘을 이용하여 조명 보정 전처리를 함으로써 조명에 의한 영향을 줄일 수 있도록 하였다. 그 다음에는 검출된 입술 영상에 주성분 분석을 적용하여 특징 벡터를 추출하고 다층퍼셉트론 인공신경망을 이용하여 실시간으로 웃음 표정을 인식한다. 스마트폰을 이용하여 실험한 결과, 제안된 방법은 초당 16.7프레임을 처리할 수 있어서 실시간으로 동작 가능하였고 인식률 실험에서도 기존의 조명 정규화 방법보다 개선된 성능을 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2005년도 추계학술발표대회 및 정기총회
• /
• pp.697-700
• /
• 2005

컴퓨터 비전 기술의 발달에 따라 사용자 인터페이스, 사용자 인증, 보안 등 여러 가지 응용에서 얼굴 정보를 사용하려는 많은 연구가 이루어지고 있다. 얼굴 정보를 이용하는데 있어서, 눈, 코, 입술과 같이 얼굴의 특징을 효과적으로 추출할 필요가 있다. 본 논문에서는 적응성을 갖는 여러 가지 정보를 결합함으로써 조명의 변화가 있는 경우에도 얼굴을 특징을 견고하게 추출할 수 있는 방법을 제안한다.

• 한국멀티미디어학회논문지
• /
• 제14권11호
• /
• pp.1373-1382
• /
• 2011

본 논문에서는 사용자가 스스로 미소 훈련을 할 수 있도록 자동으로 미소를 분석하는 시스템을 제안한다. 제안된 시스템은 입력 영상으로부터 AdaBoost 알고리즘을 통해 얼굴 영역을 검출한 다음, ASM(active shape model)을 이용하여 생성된 얼굴 형태 모델을 이용하여 얼굴의 특징을 찾는다. 얼굴 특징을 찾은 다음에는 미소 분석에 필요한 입술 라인과 개별 치아 영역을 추출한다. 미소의 정도를 분석하기 위해 입술 라인과 치아와의 관계 판별이 필요한데, 이를 위해 치아 영상에 대해 2차 미분을 실행한 후, 세로축과 가로축에 히스토그램 프로젝션 방법을 이용하여 개별적인 치아 영역을 찾는다. 입술 라인과 개별 치아 영역에 대한 분석을 통해 사용자의 미소 정도를 자동으로 분석하고 결과를 실시간으로 사용자가 직접 확인할 수 있게 해 준다. 본 논문에서 개발된 시스템은 기존에 치과 병원에서 이루어진 미소 훈련을 위한 미소 평가 결과와 8.6% 이하의 오차를 보였으며 사용자가 혼자서도 미소를 훈련하는데 활용할 수 있는 것으로 분석되었다.

• 한국음향학회지
• /
• 제20권3호
• /
• pp.63-69
• /
• 2001

본 논문에서는 자연스러운 얼굴 합성을 위한 코퍼스 기반의 립싱크 알고리듬을 제안한다. 립싱크 알고리듬을 개발하기 위하여 여성 아나운서의 시청각 코퍼스를 구축하였다 코퍼스 구축시, 입술파라미터 추출하기 위하여 여성화자의 얼굴에 스티커를 붙이고, 이의 위치를 영상처리기법에 의하여 얻었다. 그리고 길이, 세기 그리고 피치의 운율정보를 얻기 위하여 음성을 HTK (hidden Markov tool kit)를 사용하여 레이블 하였다. 립싱크의 기본단위로는 자음-모음-자음의 음절단위를 사용하였는데, 구축된 시청각 코퍼스는 입술의 정보 그리고 음운론적, 운율적 정보를 포함하는 음절들로 구성된다. 입술합성시에는 입력된 텍스트로부터 음절의 열을 만들고 각 음절에 적절한 대표들을 코퍼스로부터 N개씩 선정후, 최적의 열은 비터비탐색을 통하여 얻었다. 이를 위하여 음운론적 거리와 운율거리 함수가 정하였다. 컴퓨터 모의실험결과 제안된 알고리듬이 좋은 성능을 보임을 확인할 수 있었으며, 특히 립싱크에서는 길이정보뿐 아니라 길이와 피치의 정보도 유용함을 밝혔다.

• 한국산업정보학회논문지
• /
• 제25권4호
• /
• pp.9-16
• /
• 2020

음성 정보를 배제하고 영상 정보만을 이용한 발음 인식 시스템은 다양한 맞춤형 서비스에 적용될 수 있다. 본 논문에서는 베이지안 분류기를 기반으로 입술 모양을 인식하여 한글 모음을 구분하는 시스템을 개발한다. 얼굴 이미지의 입술 모양에서 특징 벡터를 추출하고 설계된 기계 학습모델을 적용하여 실험한 결과 'ㅏ' 발음의 경우 94%의 인식률을 보였으며, 평균 인식률은 약 84%를 나타내었다. 또한 비교군으로 실험한 CNN 환경에서의 인식률보다 높은 결과를 보였다. 이를 통해서 입술 영역의 랜드 마크로 설계된 특징 값을 사용하는 베이지안 분류 기법이 적은 수의 훈련 데이터에서 보다 효율적일 수 있음을 알 수 있다. 따라서 모바일 디바이스와 같은 제한적 하드웨어에서 응용 가능한 어플리케이션 개발에 활용할 수 있다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2001년도 하계종합학술대회 논문집(4)
• /
• pp.29-32
• /
• 2001

Visual speech information improves the performance of speech recognition, especially in noisy environment. We have tested the various spatial-temporal features for the Korean lipreading and evaluated the performance by using a hidden Markov model based classifier. The results have shown that the direction as well as the magnitude of the movement of the lip contour over time is useful features for the lipreading.

• 정보처리학회논문지B
• /
• 제8B권2호
• /
• pp.183-188
• /
• 2001

이 논문은 눈의 형태에 대한 정보를 이용하여 눈동자를 효과적으로 찾는 방법과 얼굴 특성을 반영하는 평가함수를 이용하여 눈동자, 입의 위치와 같은 얼굴 특징들을 인식하는 방법을 제안하였다. 색 정보를 이용하여 입술과 얼굴 영역을 추출하고 눈동자와 흰자위간의 명도 차를 이용하는 함수를 사용하여 눈동자를 인식하였다. 마지막으로 얼굴 특성을 반영하느 평가함수를 정의하고 이를 이용하여 최종적인 얼굴과 눈, 입을 인식하였다. 제안한 방법을 사용하여 여러 영상들에 대해 실험하여 좋은 결과를 얻었다.

• 한국음향학회지
• /
• 제16권3호
• /
• pp.18-25
• /
• 1997

본 연구에서는 성문파에 의한 음원 특성과 입술에서 음성이 방사될 때 발생하는 방사 특성을 효과적으로 제거하기 위하여 성문파의 음원 특성과 입술에서의 방사 특성은 근사적으로 음파의 에너지와 비례한다고 가정하고, 정규화된 단구간 에너지를 이용하는 에너지 의존 프리엠퍼시스 기법을 제안하며, 이를 이용하여 비안정 구간인 발음의 시작 부분과 천이구간에 대하여 음성 신호 분석 성능을 개선하고자 한다. 제안된 프리엠퍼시스 기법을 이용하여 5개 한국어 단모음의 스펙트럼 및 형성음 주파수 추출 등의 음성 신호 분석을 수행하고, 기존에 널리 이용되던 두 가지 프리엠퍼시스 기법과 성능을 비교하여 본 결과, 제안된 방법에 의한 스펙트럼의 형태가 기존의 방법에 비하여 상당히 개선되었고, 보다 더 정확한 형성음 주파수를 나타내며, 인접한 두 형성음 주파수가 증첩되는 현상이 제거되었음을 알 수 있었다.

• 융합신호처리학회논문지
• /
• 제13권3호
• /
• pp.150-155
• /
• 2012

위상한정 상관법은 특징점추출이나 고유얼굴을 사용하지 않고 얼굴을 인식할 수 있는 유용한 방법으로 정사각형 영역에 대하여 푸리에변환을 이용한다. 본 본문에서는 위상한정 상관법을 이용한 얼굴인식 방법의 성능을 향상시키기 위하여 이 기법에 보다 효과적인 정사각형 얼굴영역을 실험을 통하여 제안하고 있다. 구체적으로 세 가지 얼굴영역에 대하여 실험하였다. 첫째 머리부분과 여백을 포함하는 정사각형영역, 둘째 수평방향으로 양 귀 사이와 수직방향으로 턱끝에서 이마까지의 정사각형영역, 셋째 수평방향으로 입술 바로 밑을 지나는 선이 뺨영역과 만나는 두 점 사이, 수직방향으로 입술 바로 밑에서 이마까지의 정사각형영역이다. 실험결과 세 가지 영역 중에서 두 번째 얼굴영역이 위상한정 상관법의 임계치 설정에 가장 유리함을 보였다.

• 한국컴퓨터정보학회논문지
• /
• 제14권3호
• /
• pp.173-182
• /
• 2009

본 논문은 한국어 8단모음을 인식하기 위한 효율적인 파라미터의 추출과 자동 독화 시스템의 구축에 관하여 연구한 것이다. 얼굴의 특징들은 다양한 칼라 공간에서 다양한 값으로 표현되는 것을 이용하여 각 표현 값들을 증폭하거나 또는 축소, 대비시켜 얼굴 요소들이 추출되도록 하였다. 눈과 코의 위치, 안쪽 입의 외곽선, 윗입술의 상단, 이의 외곽선을 특징 점으로 찾았으며, 이를 분석하여 안쪽 입의 면적, 안쪽 입의 높이와 폭, 이의 보임 비율 코와 윗입술 상단과의 거리를 파라미터로 사용하였다. 2400개의 영상으로 분석하였고 이 분석을 바탕으로 신경망 시스템을 구축한 후 인식 실험을 하였다. 정상인 5명이 동원되었고, 사람들 사이에 있는 관찰 오차를 정규화를 통하여 수정하였으며 실험하여 파라미터의 유용성 관점에서 좋은 결과를 얻었다.