• Journal of Korea Multimedia Society
• /
• v.6 no.6
• /
• pp.1000-1007
• /
• 2003

In this paper, we propose an efficient method for locating lip. The lip shape is represented as a set of points based on Point Distribution Model. We use the Isodata clustering algorithm to find clusters for all training data. For each cluster, a lip shape model is calculated using principle component analysis. For all training data, a lip boundary model is calculated based on the pixel values around the lip boundary. To decide whether a recognition result is correct, we use a cost function based on the lip boundary model. Because of using different models according to the lip shapes, our method can localize correctly the flu far from the mean shape. The experiments have been performed for many images, and show correct recognition rate of 92%.

• Journal of Korea Multimedia Society
• /
• v.7 no.11
• /
• pp.1531-1539
• /
• 2004

In this paper, we propose an efficient method for locating human lips. Based on Point Distribution Model and Principle Component Analysis, a lip shape model is built. Lip boundary model is represented based on the concatenated gray level distribution model. We calculate the distribution of shape parameters using Gaussian mixture. The problem to locate lip is simplified as the minimization problem of matching object function. The Down Hill Simplex Algorithm is used for the minimization with Gaussian Mixture for setting initial condition and refining estimate of lip shape parameter, which can refrain iteration from converging to local minima. The experiments have been performed for many images, and show very encouraging result.

• Journal of KIISE:Software and Applications
• /
• v.31 no.4
• /
• pp.403-410
• /
• 2004

Bimodal speech recognition systems have been proposed for enhancing recognition rate of ASR under noisy environments. Visual feature extraction is very important to develop these systems. To extract visual features, it is necessary to detect exact lip position. This paper proposed the method that detects a lip position using color similarity model and SVM. Face/Lip color distribution is teamed and the initial lip position is found by using that. The exact lip position is detected by scanning neighbor area with SVM. By experiments, it is shown that this method detects lip position exactly and fast.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1998.06e
• /
• pp.347-350
• /
• 1998

음성신호와 영상신호를 함께 이용하는 바이모달(Bi-modal)음성인식에서 어떤 입술 파라미터를 사용하는가에 따라 인식시스템의 성능이 달라진다. 그래서 본 논문에서는 이미지에 근거한 입술파라미터를 견인하게 추출하기 위한 방법으로 x 프로파일(profile)을 이용한 방법을 사용하였다. 파라미터를 선정을 달리하여 실험한 결과 15dB이상에서는 안쪽입술의 2개의 파라미터를 이용한 경우가, 10dB이하에서는 4개의 입술파라미터를 이용한 경우가 더 좋은 인식률을 보였다. 안쪽 입술 파라미터를 이용한 경우가 바깥쪽 입술 파라미터를 이용한 경우보다 더 좋은 인식률을 보였다.

• The Journal of the Acoustical Society of Korea
• /
• v.18 no.3
• /
• pp.68-72
• /
• 1999

The choice of parameters from various lip information and the robustness of extracting lip parameters play important roles in the performance of bimodal speech recognition system. In this paper, lip parameters are extracted by using an automatic extraction algorithm and inner lip parameters effect on the recognition rate more than outer lip parameters. Compared with a manual extraction algorithm, the automatic extraction method is evaluated about its robustness.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2012.07a
• /
• pp.277-278
• /
• 2012

본 논문에서는 색상 군집화를 이용한 입술탐지 알고리즘을 제안한다. 이를 위해 이미 많이 알려져 있는 AdaBoost를 이용한 얼굴탐지를 수행한다. 탐지된 얼굴영역에 Lab 컬러시스템을 적용 시킨 후 입술픽셀의 특징에 따른 색상 마커를 사용하여 피부영역을 추출한다. 추출된 피부영역에 대하여 K-means 색상 군집화를 통해 입술영역을 추출한다. 그리고 실험을 통해 입술탐지 결과를 확인하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.05a
• /
• pp.431-434
• /
• 2007

얼굴 인식은 생체인식 기술 중 비 강압식이라는 장점으로 인해 각광받고 있는 분야이다. 그러나 얼굴인식은 조명, 표정에 의해 인식 성능이 저하되는 단점이 있다. 그 중 얼굴표정에 많은 영향을 받으며, 잡음이 많은 부분이 입술부분이다. 입술모양의 변화에 따라 가보벡터 추출에 잡음이 포함되기 때문에, 얼굴 인식 성능이 저하되는 현상이 발생됨을 실험을 통해 알 수 있었다. 따라서 본 논문에서는 입술모양의 변화에 따른 잡음을 줄이기 위해 입술영역에 최적화된 말스버그 가보 웨이브렛 커널(Malsburg Gabor Wavelet Kerne)을 제안한다. 각 입술 특징점에 말스 버그 가보 웨이브렛을 적용하여, 추출된 가보벡터를 통계적으로 분석함으로써 잡음을 확인 할 수 있었으며, 잡음을 최소화하기 위해 입술 영역에 적응적인 말스버그 가보 웨이브렛 커널 을 제안하였다. 실험에 사용한 이미지는 1196 FERET Gellery 이미지를 사용하였으며, 얼굴 인식 성능이 향상됨을 알 수 있었다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2003.05b
• /
• pp.524-527
• /
• 2003

최근 들어 립리딩은 멀티모달 인터페이스 기술의 응용분야에서 많은 관심을 모으고 있다. 동적 영상을 이용한 립리딩 시스템에서 해결해야 할 주된 문제점은 상황 변화에 독립적인 얼굴 영역과 입술 영역을 추출하는 것이다. 본 논문에서는 움직임이 있는 영상에서 화자의 얼굴영역과 입술영역을 컬러, 조명등의 변화에 독립적으로 추출하기 위해 HSI 모델과 블록 매칭을 이용하였고 특징 점 추출에는 이미지 기반 방법인 PCA 기법을 이용하였다. 추출된 입술 파라미터와 음성 데이터에 각각 HMM 기반 패턴 인식 방법을 개별적으로 적용하여 단어를 인식하였고 각각의 인식 결과를 가중치를 주어 합병하였다. 실험 결과에 의하면 잡음으로 음성 인식률이 낮아지는 경우에 음성인식과 립리딩을 함께 사용함으로써 전체적인 인식 결과를 향상시킬 수 있었다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.29 no.6C
• /
• pp.834-841
• /
• 2004

There can be lips transformed geometrically in the lip images according to the location or the pose of camera and speaker. This transformation of the lip images changes geometric information of original lip phases. Therefore, for enhancing global lip information by using partial information of lips to correct lip phases transformed geometrically, in this paper we propose a method that can geometrically correct lips. The method is composed of two steps - the feature-deciding step and the correcting step. In the former, it is for us to extract key points and features of source image according to the its lip model and to create that of target image according to the its lip model. In the latter, we decide mapping relation after partition a source and target image based on information extracted in the previous step into each 4 regions. and then, after mapping, we unite corrected sub-images to a result image. As experiment image, we use fames that contain pronunciation on short vowels of the Korean language and use lip symmetry for evaluating the proposed algorithm. In experiment result, the correcting rate of the lower lip than the upper lip and that of lips moving largely than little was highly enhanced.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.10 no.10
• /
• pp.1891-1896
• /
• 2006

In this paper, we propose an improved Active Shape Model for extracting lip contour. Lip deformation is modeled by a statistically deformable model based Active Shape Model. Because each point is moved independently using local profile information in Active Shape Model, many error may happen. To use a global information, we define an energy function similar to an energy function in Active Contour Model, and points are moved to positions at which the total energy is minimized. The experiments have been performed for many lip images of Tulip 1 database, and show that our method extracts lip shape than a traditional ASM more exactly.