• 정보처리학회논문지B
• /
• 제15B권3호
• /
• pp.229-236
• /
• 2008

본 논문은 화자의 입술 움직임으로부터 음성을 인식하는 자동 독순에서 회색조 영상 대신 컬러 영상을 사용하는 것의 유용성에 대해 고찰한다. 먼저 인간의 독순 실험을 통해 컬러 정보가 인식 성능에 어떠한 영향을 미치는지 확인한다. 다음으로 주성분분석을 이용한 자동 독순에서 회색조 또는 컬러 입술영상을 사용하는 경우에 대해 인식 성능을 비교한다. 다양한 컬러 좌표계에 대한 실험을 통해 컬러 영상의 사용으로 인식율이 향상됨을 보인다. 특히 RGB 좌표계를 사용했을 때 가장 좋은 성능을 얻으며, 회색조의 경우에 비해 잡음이 없는 환경에서는 4.7%, 잡음이 있는 경우 평균 13.0%의 상대적 오인식율 감소를 얻을 수 있음을 확인한다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2002년도 춘계학술발표논문집(상)
• /
• pp.299-302
• /
• 2002

컴퓨터를 이용한 독순 연구는 Man Machine Interface, 지적부호화에 있어서의 송신측 기술, 청각 장애인의 독순 훈련 시스템 등 다방면에서 그 응용이 기대된다. 본 논문은, 움직임 정보는 입술의 에지영역에 집중하고 있음에 주목하여, 입술 에지영역의 Optical Flow 추정값을 독순정보로 이용하는 방법을 제안한다. 휘도값을 갖지 않는 에지에, 선형 가상 휘도값를 정해주어 Optical Flow를 추정하는 VGM을 도입해 특징 파라미터를 계산하고, 마할라노비스 평방거리(Mahalanobis's square distance)에 기초한 최대우도판별함수를 이용하여 단모음을 분석하는 알고리즘을 제안한다.

• 정보처리학회논문지B
• /
• 제14B권7호
• /
• pp.523-530
• /
• 2007

본 논문에서는 자동 독순(automatic lipreading)의 인식기로 쓰이는 은닉 마르코프 모델(HMM: hidden Markov model)의 새로운 확률적 최적화 기법을 제안한다. 제안하는 기법은 전역 최적화가 가능한 확률적 기법인 모의 담금질과 지역 최적화 기법을 결합하는 것으로써, 알고리즘의 빠른 수렴과 좋은 해로의 수렴을 가능하게 한다. 제안하는 알고리즘이 전역 최적해로 수렴함을 수학적으로 보인다. 제안하는 기법을 통해 HMM을 학습함으로써 기존의 알고리즘이 지역해만을 찾는 단점을 개선함으로써 향상된 독순 성능을 나타냄을 실험으로 보인다.

• 정보처리학회논문지B
• /
• 제15B권2호
• /
• pp.123-130
• /
• 2008

자동 독순(automatic lipreading)은 화자의 입술 움직임을 통해 음성을 인식하는 기술이다. 이 기술은 잡음이 존재하는 환경에서 말소리를 이용한 음성인식의 성능 저하를 보완하는 수단으로 최근 주목받고 있다. 자동 독순에서 중요한 문제 중 하나는 기록된 영상으로부터 인식에 적합한 특징을 정의하고 추출하는 것이다. 본 논문에서는 독순 성능의 향상을 위해 새로운 필터링 기법을 이용한 특징추출 기법을 제안한다. 제안하는 기법에서는 입술영역 영상에서 각 픽셀값의 시간 궤적에 대역통과필터를 적용하여 음성 정보와 관련이 없는 성분, 즉 지나치게 높거나 낮은 주파수 성분을 제거한 후 주성분분석으로 특징을 추출한다. 화자독립 인식 실험을 통해 영상에 잡음이 존재하는 환경이나 존재하지 않는 환경에서 모두 향상된 인식 성능을 얻음을 보인다.

• 정보처리학회논문지B
• /
• 제15B권1호
• /
• pp.53-60
• /
• 2008

본 논문은 입술의 움직임을 통해 음성을 인식하는 자동 독순의 인식 성능 향상을 위해 인식기로 사용되는 은닉 마르코프 모델을 분별적으로 학습하는 기법을 제안한다. 기존에 많이 사용되는 Baum-Welch 알고리즘에서는 각 모델이 해당 클래스 데이터의 확률을 최대화하는 것을 목표로 학습시키는 반면, 제안하는 알고리즘에서는 클래스간의 분별력을 높이기 위해 두 가지의 최소화 목적함수로 이루어진 새로운 학습 목표를 정의하고 이를 달성하기 위해 모의 담금질 기법에 기반을 둔 다목적함수 전역 최적화 기법을 개발한다. 화자종속 인식 실험을 통해 제안하는 기법의 성능을 평가하며, 실험결과 기존의 학습 방법에 비해 오인식율을 상대적으로 약 8% 감소시킬 수 있음을 보인다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 1998년도 추계종합학술대회
• /
• pp.181-185
• /
• 1998

최근 통신 시스템의 연구와 발전 방향은 목소리의 음성 정보와 말하는 얼굴 영상의 화상 정보를 함께 적용하므로서 음성 정보만을 제공하는 경우보다 높은 인식율을 제공한다. 따라서 본 연구는 청각장애자들의 언어 대체수단 중 하나인 구화(speechreading)에서 가장 시각적 변별력이 높은 독순(lipreading)을 PC에서 구현하고자 한다. 간 논문은 기존의 방법과 달리 말하는 영상 시퀀스에서 독순(lipreading)을 행하기 위해 3차원 모델을 사용하여 입의 벌어진 정도, 턱의 움직임, 입술의 돌출과 같은 3차원 특징 정보를 제공하였다. 이와 같은 특징 정보를 얻기 위해 3차원 형상 모델을 입력 동영상에 정합시키고 정합된 3차원모델에서 각 특징점의 변화량을 인식파라미터로 사용하였다. 그리고, 인식 단위로 동영상을 분리하는 방법은 3차원 특징점 변화량에서 얻어지는 강도의 기울기에 의한다. 인식은 다차원(multi-dimensional), 다단계 라벨링 방법을 사용하여 3차원 특징벡터를 입력으로 한 이산 HMM을 사용하였다.

• 인간행동과 음악연구
• /
• 제5권2호
• /
• pp.41-66
• /
• 2008

본 연구는 전통타악기를 활용한 즉흥연주가 청각장애 대학생의 스트레스에 미치는 효과를 알아본 연구로 독순법이 가능한 21~22세의 후천적 청각장애대학생 4명을 선정해 40분의 개별세션과 50분의 그룹세션을 주 1회씩 총 20회기를 진행하였다. 전겸구 김교헌(1991)이 개발한 대학생용 생활스트레스 척도를 개선한 척도를 이용한 양적 자료와 연구자 및 음악치료사 2인의 관찰을 통해 수집한 질적 자료를 이용해 전통 타악기를 활용한 즉흥연주가 청각장애 대학생의 스트레스에 효과적으로 해소되었음을 확인하였다. 결과적으로 본 연구를 통한 양적분석과 기술적인 분석을 볼 때, 청각장애를 가진 대학생들에게도 소리가 중심이 되는 음악이 치료의 도구로 사용될 수 있음이 입증되었고, 대인관계와 생활 속에서 발생하는 스트레스의 대처관리에 음악이 사용될 수 있음이 확인되었다. 또한 이러한 결과는 향후 다양한 연령대의 청각장애인을 대상으로 하는 음악치료연구의 중요성을 시사한다.