• 한국통신학회논문지
• /
• 제29권6C호
• /
• pp.834-841
• /
• 2004

화자의 입술영상에는 카메라와 화자의 위치나 자세로 인하여 정상적인 입술이 기하학적으로 변환될 수 있다. 이러한 변환은 본래 입술위상의 기하학적 정보를 변경시킨다. 따라서 기하학적으로 변환된 입술모양을 보정하는데 부분적인 입술위상정보를 사용함으로써 전체 입술정보를 개선하고자, 본 논문에서는 입술모양의 기하학적 보정 기법을 제안한다. 제안한 기법은 특징결정 단계와 보정 단계로 구성된다. 특징결정 단계에서는 원영상과 목표영상의 입술모델에 따라 원영상의 특징점과 특징을 추출하고 목표영상의 특징점과 특징을 결정한다. 보정단계에서는 이전 단계에서 추출한 정보를 기반으로 영상을 부분영상으로 분할하고 사상 후 보정된 영상을 통합한다. 실험영상은 6개의 한국어 단모음 발음에 대한 동영상 프레임이고 알고리즘 평가를 위하여 입술의 좌우 대칭성을 활용한다. 실험 결과, 윗입술보다는 아랫입술의 보정률, 입술의 움직임이 작은 발음보다는 움직임이 큰 발음의 보정률이 높게 개선되었다.

• 한국멀티미디어학회논문지
• /
• 제17권7호
• /
• pp.806-817
• /
• 2014

The extraction of lip region is essential to Lip Reading, which is a field of image processing to get some meaningful information by the analysis of lip movement from human face image. Many conventional methods to extract lip region are proposed. One is getting the position of lip by using geometric face structure. The other discriminates lip and skin regions by using color information only. The former is more complex than the latter, however it can analyze black and white image also. The latter is very simple compared to the former, however it is very difficult to discriminate lip and skin regions because of close similarity between these two regions. And also, the accuracy is relatively low compared to the former. Conventional analysis of color coordinate systems are mostly based on specific extraction scheme for lip regions rather than coordinate system itself. In this paper, the method for selection of effective color coordinate system and chromaticity transformation to discriminate these two lip and skin region are proposed.

• 지능정보연구
• /
• 제8권1호
• /
• pp.75-85
• /
• 2002

이 논문은 입술의 형태와 입술 외곽선 부근의 화소값을 이용하여 입술을 효과적으로 인식하는 방법을 제안하였다. 입술의 형태는 학습 영상을 통계적으로 분석하는 능동적 형태 모델을 기반으로 구성하였다. 이 방법은 탐색시 초기 위치의 영향을 받기 때문에 이 논문에서는 입술의 형태에 기반한 가중치 벡터를 이용하여 두 입술 사이의 경계선을 찾고 탐색의 초기 위치로 사용하였다. 다양한 입술 영상들을 대상으로 실험하여 좋은 결과를 얻었다.

• 융합정보논문지
• /
• 제12권5호
• /
• pp.225-236
• /
• 2022

본 연구의 목적은 프로폴리스 추출물이 함유된 립밤 제품과 LED 기기를 적용한 입술 임상 연구를 하여 임상정보과 양적자료로 도움이되고자 한다. 본 연구의 참여자는 서울·경기 소재 만 19~50세 여성을 대상으로 시험제품 선정 후 입술의 LED 기기와 립 크림의 입술 탄력, 입술 보습, 입술 각질 개선 및 12시간 입술 보습 지속 효과를 알아보기 위하여 제품 사용 전, 사용 직후, 사용 6시간 후, 사용 12시간 후 사용 2주 후에 사용 시험항목을 측정 후 제품의 안전성, 유효성, 기호도 설문조사를 분석하고자 한다. 일련의 연구절차를 통하여 도출된 결과는 다음과 같다. 1회 또는 2주 사용으로 입술 탄력, 입술 보습, 입술 각질 개선 및 12시간 입술 보습 지속력에 도움을 주는 것으로 나타났다.

• 정보처리학회 논문지
• /
• 제13권4호
• /
• pp.166-173
• /
• 2024

본 연구에서는 얼굴 동영상에서 입술의 움직임과 음성 간의 동기화 탐지 방법을 제안한다. 기존의 연구에서는 얼굴 탐지 기술로 얼굴 영역의 바운딩 박스를 도출하고, 박스의 하단 절반 영역을 시각 인코더의 입력으로 사용하여 입술-음성 동기화 탐지에 필요한 시각적인 특징을 추출하였다. 본 연구에서는 입술-음성 동기화 탐지 모델이 음성 정보의 발화 영역인 입술에 더 집중할 수 있도록 사전 학습된 시각적 Attention 기반의 인코더 도입을 제안한다. 이를 위해 음성 정보 없이 시각적 정보만으로 발화하는 말을 예측하는 독순술(Lip-Reading)에서 사용된 Visual Transformer Pooling(VTP) 모듈을 인코더로 채택했다. 그리고, 제안 방법이 학습 파라미터 수가 적음에도 불구하고 LRS2 데이터 세트에서 다섯 프레임 기준으로 94.5% 정확도를 보임으로써 최근 모델인 VocaList를 능가하는 것을 실험적으로 증명하였다. 또, 제안 방법은 학습에 사용되지 않은 Acappella 데이터셋에서도 VocaList 모델보다 8% 가량의 성능 향상이 있음을 확인하였다.

• 한국지능시스템학회논문지
• /
• 제19권4호
• /
• pp.478-484
• /
• 2009

음성 인식 기술은 편리한 삶을 추구하는 요즘 추세에 HMI를 위해 매력적인 기술이다. 음성 인식기술에 대한 많은 연구가 진행되고 있으나 여전히 잡음 환경에서의 성능은 취약하다. 이를 해결하기 위해 요즘은 청각 정보 뿐 아니라 시각 정보를 이용하는 시각 음성인식에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 모바일 환경에서의 시각 음성인식을 위한 입술의 탐지 방법을 제안한다. 시각 음성인식을 위해서는 정확한 입술의 탐지가 필요하다. 우리는 입력 영상에서 입술에 비해 보다 찾기 쉬운 눈을 이용하여 눈의 위치를 먼저 탐지한 후 이 정보를 이용하여 대략적인 입술 영상을 구한다. 구해진 입술 영상에 K-means 집단화 알고리듬을 이용하여 영역을 분할하고 분할된 영역들 중 가장 큰 영역을 선택하여 입술의 양 끝점과 중심을 얻는다. 마지막으로, 실험을 통하여 제안된 기법의 성능을 확인하였다.

• 한국컴퓨터정보학회논문지
• /
• 제14권4호
• /
• pp.39-46
• /
• 2009

기존에 PC 환경에서는 많은 입술 영역 검출 방법들이 제안되었는데, 자원이 제한되어있는 모바일 장치에서는 이런 방법들을 그대로 적용하면 실시간 동작이 어렵다. 이러한 문제를 해결하기 위하여, 본 논문은 모바일 장치에서 립리딩을 위한 실시간 입술 영역 검출 방법을 제안한다. 본 논문에서는 적응적 얼굴 색상 정보를 이용하여 얼굴 영역을 검출한 다음에 눈 검출을 하고 눈과 입술의 기하학적 관계를 이용하여 입술 영역을 검출한다. 제안된 알고리즘을 Intel PXA 270 임베디드 프로세서와 386MB 메모리를 가진 스마트 폰에 구현하여 실험한 결과 9.5 프레임/초의 속도로 동작하였고 574장의 영상에 대하여 검출 실험한 결과 98.8%의 검출 성공률을 얻을 수 있었다.

• 한국컴퓨터정보학회논문지
• /
• 제19권3호
• /
• pp.37-43
• /
• 2014

본 논문에서는 색상 군집화를 이용한 입술탐지 알고리즘을 제안한다. RGB 색상 모델로 주어진 입력영상에서 AdaBoost 알고리즘을 이용하여 얼굴영역을 추출한 후, 얼굴영역을 Lab 컬러 모델로 변환한다. Lab 컬러 모델에서 a 성분은 입술과 유사한 색상을 잘 표현할 수 있는 반면 b 성분은 입술의 보색을 표현할 수 있기 때문에 Lab 컬러로 표현된 얼굴영역에서 a와 b 성분을 기준으로 최단 이웃(nearest neighbour) 군집화 알고리즘을 이용하여 피부 영역을 분리한 후, K-means 색상 군집화를 통해 입술 후보 영역을 추출하고, 마지막으로 기하학적 특징을 이용하여 최종적인 입술영역을 탐지하였다. 실험 결과는 제안된 방법이 강건하게 입술을 탐지함을 보인다.

• 음성과학
• /
• 제10권2호
• /
• pp.77-84
• /
• 2003

In this research, we seek the beginning of the speech and detect the stationary speech region using lip information. Performing running average of the estimated speech signal in the stationary region, we reduce the effect of musical noise which is inherent to the conventional MlMSE (Minimum Mean Square Error) speech enhancement algorithm. In addition to it, SFM (Spectral Flatness Measure) is incorporated to reduce the speech signal estimation error due to speaking habit and some lacking lip information. The proposed algorithm with Wiener filtering shows the superior performance to the conventional methods according to MOS (Mean Opinion Score) test.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권4호
• /
• pp.403-410
• /
• 2004

바이모달 음성인식기는 잡음 환경하 음성인식 성능을 향상하기 위해 고안되었다. 바이모달 음 성인식기에 있어 영상을 통한 시각 특징 추출은 매우 중요한 역할을 하며 이를 위한 입술 위치 검출은 시각 특징 추출을 위한 중요한 선결 과제이다 본 논문은 색상분포와 SVM을 이용하여 시각 특징 추출을 위한 입술 위치 검출 방법을 제안하였다. 제안된 방법은 얼굴색/입술 색상 분포를 학습하여 이로부터 입술의 초기 위치를 빠르게 찾아내고 SVM을 이용하여 입술의 정확한 위치를 찾음으로써 정확하고 빠르게 입술의 위치를 찾도록 하였으며 실험을 통해 바이모달 인식기에 적용하기에 적합함을 알 수 있었다.