Geometric Correction of Lips Using Lip Information

There can be lips transformed geometrically in the lip images according to the location or the pose of camera and speaker. This transformation of the lip images changes geometric information of original lip phases. Therefore, for enhancing global lip information by using partial information of lips to correct lip phases transformed geometrically, in this paper we propose a method that can geometrically correct lips. The method is composed of two steps - the feature-deciding step and the correcting step. In the former, it is for us to extract key points and features of source image according to the its lip model and to create that of target image according to the its lip model. In the latter, we decide mapping relation after partition a source and target image based on information extracted in the previous step into each 4 regions. and then, after mapping, we unite corrected sub-images to a result image. As experiment image, we use fames that contain pronunciation on short vowels of the Korean language and use lip symmetry for evaluating the proposed algorithm. In experiment result, the correcting rate of the lower lip than the upper lip and that of lips moving largely than little was highly enhanced.

입술정보를 이용한 입술모양의 기하학적 보정

화자의 입술영상에는 카메라와 화자의 위치나 자세로 인하여 정상적인 입술이 기하학적으로 변환될 수 있다. 이러한 변환은 본래 입술위상의 기하학적 정보를 변경시킨다. 따라서 기하학적으로 변환된 입술모양을 보정하는데 부분적인 입술위상정보를 사용함으로써 전체 입술정보를 개선하고자, 본 논문에서는 입술모양의 기하학적 보정 기법을 제안한다. 제안한 기법은 특징결정 단계와 보정 단계로 구성된다. 특징결정 단계에서는 원영상과 목표영상의 입술모델에 따라 원영상의 특징점과 특징을 추출하고 목표영상의 특징점과 특징을 결정한다. 보정단계에서는 이전 단계에서 추출한 정보를 기반으로 영상을 부분영상으로 분할하고 사상 후 보정된 영상을 통합한다. 실험영상은 6개의 한국어 단모음 발음에 대한 동영상 프레임이고 알고리즘 평가를 위하여 입술의 좌우 대칭성을 활용한다. 실험 결과, 윗입술보다는 아랫입술의 보정률, 입술의 움직임이 작은 발음보다는 움직임이 큰 발음의 보정률이 높게 개선되었다.