• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2011년도 춘계학술발표대회
• /
• pp.444-446
• /
• 2011

본 논문은 실시간으로 카메라 영상으로부터 얼굴의 각 특징점을 검출하고, 검출된 특징점을 이용하여 웃음 표정을 인식하는 시스템을 제안한다. 제안된 시스템은 ASM(Active Shape Model)을 이용하여 실시간 검출부에서 얼굴 영상을 획득한 다음 ASM 학습부에서 학습된 결과를 가지고 얼굴의 특징을 찾는다. 얼굴 특징의 영상으로부터 입술 영역을 검출한다. 이렇게 검출된 입술 영역과 얼굴 특징점을 이용하여 사용자의 웃음 표정을 검출하고 인식하는 방법을 사용함으로써 웃음 표정 인식의 정확도를 높힐 수 있음을 알 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제4권6호
• /
• pp.510-517
• /
• 2001

본 논문에서는 다수의 사람이 존재하는 입력영상에서 입술 움직임 정보를 이용한 실시간 화자 클로즈업(close-up) 시스템을 구현한다. 칼라 CCD 카메라를 통해 입력되는 동영상에서 화자를 검출한 후 입술 움직임 정보를 이용하여 다른 한 대의 카메라로 화자를 클로즈업한다. 구현된 시스템은 얼굴색 정보와 형태 정보를 이용하여 각 사람의 얼굴 및 입술 영역을 검출한 후, 입술 영역 변화량을 이용하여 화자를 검출한다. 검출된 화자를 클로즈업하기 위하여 PTZ(Pan/Tilt/Zoom) 카메라를 사용하였으며, RS-232C 시리얼 포트를 이용하여 카메라를 제어한다. 실험결과 3인 이상의 입력 동영상에서 정확하게 화자를 검출할 수 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (B)
• /
• pp.262-264
• /
• 2003

얼굴영상을 효율적으로 처리하기 위해선 먼저 입력영상에서 얼굴영역과 얼굴을 구성하는 각 기관을 검출하는 전처리과정이 필요하다. 본 논문에서는 얼굴의 크기와 얼굴의 회전, 조영의 변화가 어느 정도 허용되고 피부색 배경이 얼굴에 병합된 경우에도 얼굴영역과 얼굴기관(눈, 입)을 강건하게 검출할 수 있는 방법으로, 입력영상에 따른 적응적 칼라 색상정보와 얼굴기관의 부분 템플릿매칭을 조합한 알고리즘을 제안한다. 변환된 HSV 칼라 좌표계상의 대역적 피부색상 정보와 히스토그램을 이용한 적응적 피부색상 정보로 얼굴영역을 검출한 뒤, 얼굴영역 안에서 입술색상 정보로 도출된 입술영역의 X축 기울기를 이용해 회전얼굴을 보정하고, 양안의 조합으로 이루어진 부분 템플릿을 이용해 눈을 검출한다.

• 한국항행학회논문지
• /
• 제15권4호
• /
• pp.672-679
• /
• 2011

본 논문에서는 텔레비전 칼라영상에서 사람의 피부색을 기반으로 얼굴영역을 검출하는 방법을 제안하였다. 제안된 방법은 피부색을 샘플링하여 기준영상으로 놓고, 텔레비전 영상의 화소와 기준영상의 화소 사이의 유클리디안(Euclidean) 거리를 이용하여 얼굴후보 영역결정을 하였다. 얼굴 후보영역에서 눈 검출은 RGB 칼라를 CMY칼라 모델로 변환 하여 Y와 C 사이의 색차성분에 대한 평균값과 표준 편차를 이용하여 검출 하였다. 입술 영역은 RGB 칼라모델에서 YIQ 칼라 공간으로 변환 하여 Q 요소로 입술 영상을 검출 하였다. 얼굴영역 검출은 눈 영상과 입술 영상을 논리연산 하여 지식 기반으로 결정 하였다. 제안된 방법의 타당성을 입증하기 위하여 텔레비전 칼라영상에서 입력받은 정면 칼라 영상으로 실험한 결과, 얼굴영역 검출이 얼굴의 위치와 크기에 관계없이 검출됨을 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.299-302
• /
• 2023

입 모양 인식은 음성인식의 중요한 부분 중 하나로 이를 개선하기위한 다양한 연구가 진행되어 왔다. 기존의 연구에서는 주로 입술주변 영역을 관찰하고 인식하는데 초점을 두었으나, 본 논문은 음성인식 시스템에서 기존의 입술영역과 함께 입술, 턱, 뺨 등 다른 관심 영역을 고려하여 음성인식 시스템의 입모양 인식 성능을 비교하였다. 입 모양 인식의 관심 영역을 자동으로 검출하기 위해 객체 탐지 인공신경망을 사용하며, 이를 통해 다양한 관심영역을 실험하였다. 실험 결과 입술영역만 포함하는 ROI 에 대한 결과가 기존의 93.92%의 평균 인식률보다 높은 97.36%로 가장 높은 성능을 나타내었다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제9권12호
• /
• pp.431-438
• /
• 2020

본 논문에서는 입술 윤곽선을 검출하기 위한 다중 문턱치 기반의 검출방법을 제안하였다. 기존의 연구 중 Spyridonos 등이 제안한 방법은 입력영상을 RGB로부터 YIQ 좌표계로 변환하여 Q 성분만을 이용하여 Q 영상을 얻는다. Q 영상으로부터 변화 점 검출을 통하여 입술 모양의 좌우 끝점을 얻어낸다. 좌우 끝점에 대한 수직 좌표의 평균값을 이용하여 Q 영상을 상하로 분리하고, 상하 영역 각각에 대하여 별도로 Q값을 대상으로 문턱치를 적용하여 후보 윤곽선을 추출한다. 추출된 후보 윤곽선에 특징치 거리를 이용하여 최적의 문턱치를 찾고, 해당하는 윤곽선을 최종 입술 윤곽선으로 결정한다. 이 때 사용되는 특징치 거리 D는 후보 윤곽선 상의 점들을 기준으로 주변 영역에 대한 차이의 절대값을 이용하여 계산한다. 기존연구의 문제점은 세 가지인데, 첫째는 입술 끝점 추출 과정에서 피부영역의 과다한 참여로 입술 끝점의 추출의 정확도가 감소하고, 따라서 후속되는 상/하 영역 분리에도 영향을 미친다. 둘째는 YIQ 칼라 좌표계를 사용하였는데, 다양한 칼라 좌표계에 대한 분석이 미비하므로 추가적인 분석이 필요하다. 세 째, 최적 윤곽선의 선택 시 적용하는 거리 값 파라미터의 계산 과정에서, 문턱치를 적용하여 구한 해당 윤곽선 주변의 데이터들에 의한 변화분을 계산하여 변화가 가장 큰 윤곽선을 입술 후보로 채택하는데, 변화분의 최대치를 기준으로 하기 때문에 검출된 입술영역이 기준보다 축소되는 문제점이 있다. 첫 번째 문제점을 해결하기 위하여 피부영역의 계산과정 참여를 줄여서 성능을 30%정도 향상시켰다. 두 번째는 YIQ 외에 HSV, CIELUV, YCrCb 등의 칼라 좌표계에 대한 성능테스트를 거쳐 기존연구 방법이 칼라좌표계에 대한 의존성이 없음을 확인하였다. 세 번째는 윤곽선 주변의 변화분 검토 시, 윤곽선 포인트 당 변화분의 평균값 대신에 변화분의 총량을 적용하여 46% 성능개선 효과를 얻었다. 이상의 내용을 모두 적용하여 제안한 통합방법은 기존연구 대비 2배의 성능향상과 안정성을 확보할 수 있었다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2003년도 추계학술발표대회(상)
• /
• pp.310-313
• /
• 2003

최근 들어 립리딩은 멀티모달 인터페이스 기술의 응용분야에서 많은 관심을 모으고 있다. 동적영상을 이용한 립리딩 시스템에서 해결해야 할 주된 문제점은 상황 변화에 독립적으로 얼굴 영역과 입술 영역을 추출하고 오프라인이 아닌 실시간으로 입력된 입술 영상의 인식을 처리하여 립리딩의 사용도를 높이는 것이다. 본 논문에서는 사용자가 쉽게 사용할 수 있는 PC카메라를 사용하여 영상을 입력받아 학습과 인식을 실시간으로 처리하는 립리딩 시스템을 구현하였다. 본 논문에서는 움직임이 있는 화자의 얼굴영역과 입술영역을 컬러, 조명등의 변화에 독립적으로 추출하기 위해 HSI모델을 이용하였다. 입력 영상에서 일정한 크기의 영역에 대한 색도 히스토그램 모델을 만들어 색도 영상에 적용함으로써 얼굴영역의 확률 분포를 구하였고, Mean-Shift Algorithm을 이용하여 얼굴영역의 검출과 추적을 하였다. 특징 점 추출에는 이미지 기반 방법인 PCA 기법을 이용하였고, HMM 기반 패턴 인식을 사용하여 실시간으로 실험영상데이터에 대한 학습과 인식을 수행할 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제14권4호
• /
• pp.494-503
• /
• 2011

본 논문에서는 스마트폰에서 웃음 치료를 위한 표정인식 애플리케이션을 제안한다. 제안된 방법에서는 스마트폰의 전면 카메라 영상으로부터 AdaBoost 얼굴 검출 알고리즘을 이용하여 얼굴을 검출한다. 얼굴을 검출한 다음에는 얼굴 영상으로부터 입술 영역을 검출한다. 그 다음 프레임부터는 얼굴을 검출하지 않고 이전 프레임에서 검출된 입술영역을 3단계 블록 매칭 기법을 이용하여 추적한다. 카메라와 얼굴 사이의 거리에 따라 입술 영역의 크기가 달라지므로, 입술 영역을 구한 다음에는 고정된 크기로 정규화한다. 그리고 주변 조명 상태에 따라 영상이 달라지므로, 본 논문에서는 히스토그램 매칭과 좌우대칭을 결합하는 조명 정규화 알고리즘을 이용하여 조명 보정 전처리를 함으로써 조명에 의한 영향을 줄일 수 있도록 하였다. 그 다음에는 검출된 입술 영상에 주성분 분석을 적용하여 특징 벡터를 추출하고 다층퍼셉트론 인공신경망을 이용하여 실시간으로 웃음 표정을 인식한다. 스마트폰을 이용하여 실험한 결과, 제안된 방법은 초당 16.7프레임을 처리할 수 있어서 실시간으로 동작 가능하였고 인식률 실험에서도 기존의 조명 정규화 방법보다 개선된 성능을 보였다.

• 조명전기설비학회논문지
• /
• 제17권5호
• /
• pp.68-79
• /
• 2003

본 논문에서는 여러 사람이 참여하는 영상 회의에서 입술 움직임 정보를 이용하여 화자를 검출하는 시스템을 구현하였다. 구현된 시스템은 얼굴색 정보와 형태 정보를 이용하여 각 사람의 얼굴 및 입술 영역을 검출한 후, 입술 영역에서 이전 프레임과의 변화량을 계산하여 화자를 검출한다. 검출된 화자를 클로즈업하기 위하여 두 대의 CCD카메라를 사용하였으며, RS-232C시리얼 포트를 이용하여 PTZ 카메라를 제어한다. 실험 결과 3인 이상의 입력 동영상에서 얼굴의 기울어짐에 무관하게 화자를 검출할 수 있었으며 최초 기준 영상에서 화자를 클로즈업하는데 약 4∼5초 정도의 시간이 소요되었다. 또한 320${\times}$240 크기의 얼굴 영역 화면과 전체적인 배경 화면을 동시에 제공하므로 영상회의 및 인터넷 방송 등과 같은 영상 전송 시스템에서 보다 효율적인 의사 전달이 가능하게 하였다.

• 한국지능시스템학회논문지
• /
• 제19권4호
• /
• pp.478-484
• /
• 2009

음성 인식 기술은 편리한 삶을 추구하는 요즘 추세에 HMI를 위해 매력적인 기술이다. 음성 인식기술에 대한 많은 연구가 진행되고 있으나 여전히 잡음 환경에서의 성능은 취약하다. 이를 해결하기 위해 요즘은 청각 정보 뿐 아니라 시각 정보를 이용하는 시각 음성인식에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 모바일 환경에서의 시각 음성인식을 위한 입술의 탐지 방법을 제안한다. 시각 음성인식을 위해서는 정확한 입술의 탐지가 필요하다. 우리는 입력 영상에서 입술에 비해 보다 찾기 쉬운 눈을 이용하여 눈의 위치를 먼저 탐지한 후 이 정보를 이용하여 대략적인 입술 영상을 구한다. 구해진 입술 영상에 K-means 집단화 알고리듬을 이용하여 영역을 분할하고 분할된 영역들 중 가장 큰 영역을 선택하여 입술의 양 끝점과 중심을 얻는다. 마지막으로, 실험을 통하여 제안된 기법의 성능을 확인하였다.