• Proceedings of the Acoustical Society of Korea Conference
• /
• 1998.06c
• /
• pp.111-114
• /
• 1998

기존의 음성인식시스템의 잡음환경에서 인식률의 한계를 극복하기 위해 음성신호뿐만이 아니라 입술정보를 결합하여 음성인식에 이용하여 바이모달(Bi-modal) 음성인식이 근래에 제안되어지고 있다. 그래서 바이모달 음성인식 시스템을 실제로 구현해보고 인식 실험을 수행해 보았다. 입술영상은 이미지에 근거한 입술모양을 파라메터화하여 인식실험에 사용하였으며 음성과 입술영상을 각각 인식한 후 인식스코어(Score)에 가중치를 적용하여 통합하는 방법을 사용하였다. 마지막으로 바이모달 음성인식의 잡음환경에서의 성능을 알아보기 위해 음성신호에 여러 레벨의 잡음을 섞어서 실험을 하고 잡음환경에서 인식률의 한계를 입술정보를 이용하여 극복할 수 있다는 것을 보이고자 한다.

• Journal of KIISE:Software and Applications
• /
• v.31 no.4
• /
• pp.403-410
• /
• 2004

Bimodal speech recognition systems have been proposed for enhancing recognition rate of ASR under noisy environments. Visual feature extraction is very important to develop these systems. To extract visual features, it is necessary to detect exact lip position. This paper proposed the method that detects a lip position using color similarity model and SVM. Face/Lip color distribution is teamed and the initial lip position is found by using that. The exact lip position is detected by scanning neighbor area with SVM. By experiments, it is shown that this method detects lip position exactly and fast.

• Transactions of the Korean Society of Mechanical Engineers A
• /
• v.36 no.12
• /
• pp.1605-1612
• /
• 2012

The distribution of a response usually depends on the distribution of the variables. When a variable shows a distribution with two different modes, the response also shows a distribution with two different modes. In this case, recently developed methods for reliability analysis assume that the distribution functions are continuous with a mode. In actual problems, however, because information is often provided in a discrete form with two or more modes, it is important to estimate the distributions for such information. In this study, we employ the finite mixture model to estimate the response distribution with two different modes, and we select the best candidate distribution through AIC. Mathematical examples are illustrated to verify the proposed method.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.11a
• /
• pp.701-704
• /
• 2005

최근 들어 바이모달 인식에 관한 연구가 활발히 진행되고 있다. 본 논문에서는 음성과 얼굴을 이용하여 바이모달 시스템을 구현하였다. 얼굴인식은 객체 분류 기법인 SVM을 이용하여 얼굴을 검출 및 인식하였으며, 음성인식은 HMM을 이용하여 음성인식을 하였다. 각기 인식된 결과에 대해 합성을 통하여 잡음에 의해 낮아지는 음성 인식률을 얼굴 인식과 같이 사용함으로서, 전체적인 인식률 향상을 볼 수 있다.

• Journal of Korea Multimedia Society
• /
• v.13 no.2
• /
• pp.225-236
• /
• 2010

This study proposes a method for the recognition of emergency situation according to the bimodal information of camera image sensor and gravity sensor. This method can recognize emergency condition by mutual cooperation and compensation between sensors even when one of the sensors malfunction, the user does not carry gravity sensor, or in the place like bathroom where it is hard to acquire camera images. This paper implemented HMM(Hidden Markov Model) based learning and recognition algorithm to recognize actions such as walking, sitting on floor, sitting at sofa, lying and fainting motions. Recognition rate was enhanced when image feature vectors and gravity feature vectors are combined in learning and recognition process. Also, this method maintains high recognition rate by detecting moving object through adaptive background model even in various illumination changes.

• Journal of the Korea Society of Computer and Information
• /
• v.10 no.5 s.37
• /
• pp.353-362
• /
• 2005

Recently, study of Bimodal recognition has become very active. In this paper we propose a Bimodal user recognition system that uses face information and audio information. Face recognition consists of face detection step and face recognition step. Face detection uses AdaBoost to find face candidate area. After finding face candidates, PCA feature extraction is applied to decrease the dimension of feature vector. And then, SVM classifiers are used to detect and recognize face. Audio recognition uses MFCC for audio feature extraction and HMM is used for audio recognition. Experimental results show that the Bimodal recognition can improve the user recognition rate much more than audio only recognition, especially in the Presence of noise.

• TTA Journal
• /
• s.132
• /
• pp.24-25
• /
• 2010

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1998.06e
• /
• pp.347-350
• /
• 1998

음성신호와 영상신호를 함께 이용하는 바이모달(Bi-modal)음성인식에서 어떤 입술 파라미터를 사용하는가에 따라 인식시스템의 성능이 달라진다. 그래서 본 논문에서는 이미지에 근거한 입술파라미터를 견인하게 추출하기 위한 방법으로 x 프로파일(profile)을 이용한 방법을 사용하였다. 파라미터를 선정을 달리하여 실험한 결과 15dB이상에서는 안쪽입술의 2개의 파라미터를 이용한 경우가, 10dB이하에서는 4개의 입술파라미터를 이용한 경우가 더 좋은 인식률을 보였다. 안쪽 입술 파라미터를 이용한 경우가 바깥쪽 입술 파라미터를 이용한 경우보다 더 좋은 인식률을 보였다.

• Proceedings of the IEEK Conference
• /
• 2009.05a
• /
• pp.308-309
• /
• 2009

본 논문은 도로상에 매설된 자기표지의 인식을 통해 주행 중인 바이모달 트램의 위치를 추정하는 추정알고리즘 설계 및 검증에 대한 내용을 다룬다. 바이모달 트램은 자동 안내제어를 위해 도로상에 4m 간격으로 매설된 자기표지를 인식하여 차량과 기준경로사이의 경로오차를 측정하고, 이 때 측정된 정보를 이용하여 차량의 위치를 계산한다. 경로오차 측정 정보는 125msec간격으로 이산적으로 주어지며, 차량의 선형모델에 근거한 관측기를 이용하여 차량의 위치를 실시간으로 추정하는 알고리즘을 설계하고, 시뮬레이션을 통해 검증한다.

• The Journal of the Acoustical Society of Korea
• /
• v.18 no.4
• /
• pp.31-37
• /
• 1999

A bimodal speech recognition using visual and audio information has been proposed and researched to improve the performance of ASR(Automatic Speech Recognition) system in noisy environments. The integration method of two modalities can be usually classified into an early integration and a late integration. The early integration method includes a method using a fixed weight of lip parameters and a method using a variable weight according to speech SNR information. The 4 late integration methods are a method using audio and visual information independently, a method using speech optimal path, a method using lip optimal path and a way using speech SNR information. Among these 6 methods, the method using the fixed weight of lip parameter showed a better recognition rate.