• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.05a
• /
• pp.328-329
• /
• 2007

본 논문은 로봇과 같이 외부 음향잡음에 노출되어 있는 상황 하에서, 대면하고 있는 사람이 입술을 움직여 발성하는 경우에만 음성인식 기능이 수행되도록 하기 위한 방안의 일환으로, 입술움직임 영상을 보다 정확히 추적하기 위한 테스트 환경 구현에 관한 것이다. 음성구간 검출과정에서 입술움직임 영상 추적결과의 활용여부는 입술움직임을 얼마나 정확하게 추적할 수 있느냐에 달려있다. 이를 위해 영상 프레임율 동적 제어, 칼라/이진영상 변환, 순간 캡쳐, 녹화 및 재생기능을 구현함으로써, 다각적인 방향에서 입술움직임 영상 추적기능을 확인해 볼 수 있도록 하였다. 음성/영상기능을 연동시킨 결과 약 99.3%의 연동성공율을 보였다.

• Proceedings of the KIEE Conference
• /
• 2009.07a
• /
• pp.1913_1914
• /
• 2009

본 논문에서 조명환경하에서 음성/영상 연동시스템을 통해서 외부음향잡음의 차단을 위한 강인한 입술움직임 영상영역을 추적하는 한 가지 방법을 제안한다. 조명환경하에서 강인한 입술움직임 영상영역을 추적하기 위해 온라인상에서 입술움직임 표준영상을 수집하였고 다양한 조명환경에 적응하는 입술 움직임 영상의 특징들을 추출하였다. 동시에 온라인 템플릿 영상을 획득하였고, 이 영상들을 템플릿 정합을 위해 사용했다. 음성/영상처리시스템의 연동결과, 다양한 조명환경하에서 그 연동률을 99.3%까지 높일 수 있었고 음향잡음에 의한 음성인식 실행을 원천적으로 차단할 수 있었다.

• Journal of KIISE:Software and Applications
• /
• v.31 no.4
• /
• pp.403-410
• /
• 2004

Bimodal speech recognition systems have been proposed for enhancing recognition rate of ASR under noisy environments. Visual feature extraction is very important to develop these systems. To extract visual features, it is necessary to detect exact lip position. This paper proposed the method that detects a lip position using color similarity model and SVM. Face/Lip color distribution is teamed and the initial lip position is found by using that. The exact lip position is detected by scanning neighbor area with SVM. By experiments, it is shown that this method detects lip position exactly and fast.

• Journal of Broadcast Engineering
• /
• v.11 no.4 s.33
• /
• pp.533-540
• /
• 2006

In this study we propose to use a facial motion capture technique to track facial motions and expressions effectively by using the stereo vision module, which has two CMOS IMAGE SENSORS. In the proposed tracking algorithm, a center point tracking technique and correlation tracking technique, based on neural networks, were used. Experimental results show that the two tracking techniques using stereo vision motion capture are able to track general face expressions at a 95.6% and 99.6% success rate, for 15 frames and 30 frames, respectively. However, the tracking success rates(82.7%,99.1%) of the center point tracking technique was far higher than those(78.7%,92.7%) of the correlation tracking technique, when lips trembled.

• Journal of Intelligence and Information Systems
• /
• v.28 no.1
• /
• pp.243-262
• /
• 2022

In this study, eye tracking was used for the appearance of the robot during the social robot design study. During the research, each part of the social robot was designated as AOI (Areas of Interests), and the user's attitude was measured through a design evaluation questionnaire to construct a design research model of the social robot. The data used in this study are Fixation, First Visit, Total Viewed, and Revisits as eye tracking indicators, and AOI (Areas of Interests) was designed with the face, eyes, lips, and body of the social robot. And as design evaluation questionnaire questions, consumer beliefs such as Face-highlighted, Human-like, and Expressive of social robots were collected and as a dependent variable was attitude toward robots. Through this, we tried to discover the mechanism that specifically forms the user's attitude toward the robot, and to discover specific insights that can be referenced when designing the robot.

• Journal of the Institute of Convergence Signal Processing
• /
• v.11 no.4
• /
• pp.289-297
• /
• 2010

In this paper, A method to prevent the external acoustic noise from being misrecognized as the speech recognition object is presented in the speech activity detection process for the speech recognition. Also this paper confirmed besides the acoustic energy to the lip movement image signals. First of all, the successive images are obtained through the image camera for personal computer and the lip movement whether or not is discriminated. The next, the lip movement image signal data is stored in the shared memory and shares with the speech recognition process. In the mean time, the acoustic energy whether or not by the utterance of a speaker is verified by confirming data stored in the shared memory in the speech activity detection process which is the preprocess phase of the speech recognition. Finally, as a experimental result of linking the speech recognition processor and the image processor, it is confirmed to be normal progression to the output of the speech recognition result if face to the image camera and speak. On the other hand, it is confirmed not to the output the result of the speech recognition if does not face to the image camera and speak. Also, the initial feature values under off-line are replaced by them. Similarly, the initial template image captured while off-line is replaced with a template image captured under on-line, so the discrimination of the lip movement image tracking is raised. An image processing test bed was implemented to confirm the lip movement image tracking process visually and to analyze the related parameters on a real-time basis. As a result of linking the speech and image processing system, the interworking rate shows 99.3% in the various illumination environments.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.07a
• /
• pp.409-414
• /
• 2021

본 연구는 소셜로봇 디자인 연구의 흐름 중 하나인 로봇의 외형에 관하여 시선 추적을 활용하고자 한다. 소셜로봇의 몸 전체, 얼굴, 눈, 입술 등의 관심 영역으로부터 측정된 사용자의 시선 추적 지표와 디자인평가 설문을 통하여 파악된 사용자의 태도를 연결하여 소셜로봇의 디자인에 연구 모형을 구성하였다. 구체적으로 로봇에 대한 사용자의 태도를 형성하는 메커니즘을 발견하여 로봇 디자인 시 참고할 수 있는 구체적인 인사이트를 발굴하고자 하였다. 구체적으로 본 연구에서 사용된 시선 추적 지표는 고정된 시간(Fixation), 첫 응시 시간(First Visit), 전체 머문 시간(Total Viewed), 그리고 재방문 횟수(Revisits)이며, 관심 영역인 AOI(Areas of Interests)는 소셜로봇의 얼굴, 눈, 입술, 그리고 몸체로 설계하였다. 그리고 디자인평가 설문을 통하여 소셜로봇의 감정 표현, 인간다움, 얼굴 두각성 등의 소비자 신념을 수집하였고, 종속변수로 로봇에 대한 태도로 설정하였다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2003.11a
• /
• pp.310-313
• /
• 2003

최근 들어 립리딩은 멀티모달 인터페이스 기술의 응용분야에서 많은 관심을 모으고 있다. 동적영상을 이용한 립리딩 시스템에서 해결해야 할 주된 문제점은 상황 변화에 독립적으로 얼굴 영역과 입술 영역을 추출하고 오프라인이 아닌 실시간으로 입력된 입술 영상의 인식을 처리하여 립리딩의 사용도를 높이는 것이다. 본 논문에서는 사용자가 쉽게 사용할 수 있는 PC카메라를 사용하여 영상을 입력받아 학습과 인식을 실시간으로 처리하는 립리딩 시스템을 구현하였다. 본 논문에서는 움직임이 있는 화자의 얼굴영역과 입술영역을 컬러, 조명등의 변화에 독립적으로 추출하기 위해 HSI모델을 이용하였다. 입력 영상에서 일정한 크기의 영역에 대한 색도 히스토그램 모델을 만들어 색도 영상에 적용함으로써 얼굴영역의 확률 분포를 구하였고, Mean-Shift Algorithm을 이용하여 얼굴영역의 검출과 추적을 하였다. 특징 점 추출에는 이미지 기반 방법인 PCA 기법을 이용하였고, HMM 기반 패턴 인식을 사용하여 실시간으로 실험영상데이터에 대한 학습과 인식을 수행할 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.04a
• /
• pp.741-744
• /
• 2002

본 논문에서는 3D 모델의 눈 변형을 계산하기 위해 검출된 눈 형태를 이용한 눈 움직임 합성 방법을 제안하였다. 얼굴 특징들의 정확한 위치 측정과 추적은 MPEG-4 코딩 시스템을 기반으로 한 고품질 모델 개발에 중요하다. 매우 낮은 비트율의 영상회의 응용에서 시간의 경과에 따라 눈과 입술의 움직임을 정확히 추적하기 위해 얼굴 특징들의 정확한 위치 측정과 추적이 필요하다. 이들의 움직임은 코딩되어지고 원격지로 전송되어 질 수 있다. 애니메이션 기술은 얼굴 모델에서 움직임을 합성하는데 이용되어진다. 본 논문에서는 얼굴 특징 검출과 추적 알고리즘으로 잘 알려지고, 효과적으로 향상시킬 수 있는 휴리스틱 방법을 제안하겠다. 본 논문에서는 눈 움직임의 검출뿐만 아니라 추적, 모델링에도 초점을 두었다.

• Proceedings of the KSLP Conference
• /
• 1999.11a
• /
• pp.177-177
• /
• 1999

배경 : 성문폐쇄부전을 나타내는 질환 중 성대구증은 음성개선을 위한 치료면에서 가장 어려운 질환중에 하나다. 성대구증의 음성개선을 위해서 현재 다양한 수술적 방법과 보형물의 주입술이 이용되고는 있으나 만족할 만한 음성개선을 얻기는 힘들었다. 목적 : 진행된 성대구증 환자의 성문폐쇄부전을 치료하기 위한 새로운 방법으로 본 교실에서 시도하고 있는 경피적 근전도유도하 교원질주입술의 치료성적 및 음성 및 음향학적 추적결과와 술기의 유용성에 관하여 알아보고자 하였다. (중략)