• Proceedings of the Acoustical Society of Korea Conference
• /
• spring
• /
• pp.187-190
• /
• 2002

본 논문에서는 음성 신호에서 발성 화자가 바뀌는 시점을 자동적으로 찾아내는 화자변화 구간 검출에 대하여 연구하였다. 화자변화 검출을 위해서는 음성 신호에 나타나는 화자 개별성에 의한 차이만 비교해야 하는데 실제 환경에서는 화자들이 동일한 내용의 발성을 하지 않으므로 다른 발성내용에 의한 정보가 포함되어 검출 성능을 저하시킨다. 그러므로 각 화자의 개별특성만 강조되도록 발성내용에 포함된 음성학적 정보의 영향을 제거하는 방법을 통해 검출 성능을 향상시켰다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2002.05d
• /
• pp.547-552
• /
• 2002

본 논문에서는 다수의 사람이 존재하는 입력영상에서 입술 움직임 정보를 이용한 실시간 화자의 클로즈업(close-up) 시스템을 구현한다. 칼라 CCD 카메라를 통해 입력되는 동영상에서 화자를 검출한 후 입술 움직임 정보를 이용하여 다른 한 대의 카메라로 화자를 클로즈업한다. 구현된 시스템은 얼굴색 정보와 형태 정보를 이용하여 각 사람의 얼굴 및 입술 영역을 검출한 후, 입술 영역 변화량을 이용하여 화자를 검출한다. 검출된 화자를 클로즈업하기 위하여 PTZ(Pan/Tilt/Zoom) 카메라를 사용하였으며, RS-232C 시리얼 포트를 이용하여 카메라를 제어한다. 실험결과 3인 이상의 입력 동영상에서 정확하게 화자를 검출할 수 있으며, 움직이는 화자의 얼굴 트레킹이 가능하다.

• Journal of Convergence Society for SMB
• /
• v.6 no.4
• /
• pp.71-77
• /
• 2016

In this paper, we proposed a verification of speaker change utilizing the KL distance based on GMM-UBM to improve the performance of conventional BIC based Speaker Change Detection(SCD). We have verified Conventional BIC-based SCD using KL-distance based SCD which is robust against difference of information volume than BIC-based SCD. And we have applied GMM-UBM to compensate asymmetric information volume. Conventional BIC-based SCD was composed of two steps. Step 1, to detect the Speaker Change Candidate Point(SCCP). SCCP is positive local maximum point of dissimilarity d. Step 2, to determine the Speaker Change Point(SCP). If ${\Delta}BIC$ of SCCP is positive, it decides to SCP. We examined verification of SCP using GMM-UBM based KL distance D. If the value of D on each SCP is higher than threshold, we accepted that point to the final SCP. In the experimental condition MDR(Missed Detection Rate) is 0, FAR(False Alarm Rate) when the threshold value of 0.028 has been improved to 60.7%.

• Journal of Korea Multimedia Society
• /
• v.4 no.6
• /
• pp.510-517
• /
• 2001

In this paper, we implement a real time speaker close-up system using lip motion information from input images having some people. After detecting a speaker from input moving pictures through one color CCD camera, the other camera closes up the speaker by using lip motion information. The implemented system detects a face and lip area of each person by means of a facial color and a morphological information, and then finds out a speaker by using lip area variation. A PTZ(Pan/Tilt/Zoom) camera is used in order to close up the detected speaker and it is controlled by RS-232C serial port. Consequently, we can exactly detect a speaker in input moving pictures including more than three people.

• Journal of the Korean Institute of Illuminating and Electrical Installation Engineers
• /
• v.17 no.5
• /
• pp.68-79
• /
• 2003

In this paper, we propose a system that detects the current speaker in multi-speaker video conference by using lip motion. First, the system detects the face and lip area of each of the speakers using face color and shape information. Then, to detect the current speaker, it calculates the change between the current frame and the previous frame. To accomplish this, we used two CCD cameras. One is a general CCD camera, the other is a PTZ camera controlled by RS-232C serial port. The result is a system capable of detecting the face of current speaker in a video feed with more than three people, regardless of orientation of the faces. With this system, it only takes 4 to 5 seconds to zoom in on the speaker from the initial image. Also, it is amore efficient image transmission system for such things as video conference and internet broadcasting because it offers a face area screen at a resolution of 320X240, while at the same time providing a whole background screen.

• Proceedings of the Acoustical Society of Korea Conference
• /
• spring
• /
• pp.151-154
• /
• 2002

본 논문에서는 음성 데이터에서 동일한 화자의 음성 구간을 찾아내는 화자 인덱싱(Speaker Indexing) 기술 중 사전 화자 모델링 과정을 통한 인덱싱 방법을 제안하고 실험하였다. 제안한 인덱싱 방법은 문장 독립(Text Independent) 화자 식별(Speaker Identification)에 사용할 수 있는 모음(Vowel)에 대해 특징 파라미터를 추출하고, 이를 바탕으로 화자별 모델을 구성하였다. 인덱싱은 음성 구간에서 모음의 위치를 검출하고, 구성한 화자 모델과의 거리 계산을 통하여 가장 가까운 모델을 식별된 결과로 한다. 그리고 식별된 결과는 화자 구간 변화와 음성 데이터의 특성을 바탕으로 필터링 과정을 거쳐 최종적인 인덱싱 결과를 얻는다. 화자 인덱싱 실험 대상으로 방송 뉴스를 녹음하여 10명의 화자 모델을 구성하였고, 인덱싱 실험을 수행한 결과 $91.8\%$의 화자 인덱싱 성능을 얻었다.

• Journal of Korea Multimedia Society
• /
• v.14 no.4
• /
• pp.481-493
• /
• 2011

As the development of mobile devices, mobile phones are equipped with many features. Video-call feature is one of them. In this paper, we present distance measurement between speaker and smart-phone using multiple color spaces and multiple thresholds. first, detect face based on skin color information. and second, measure distance between speaker and smart-phone using the detected face region. Especially, the first considering point in the development of face area detection is real-time processing and the second point is robustness to solve the problems of face detection errors due to rapid change of object movement, lighting and background between adjacent frames.

• The Journal of the Acoustical Society of Korea
• /
• v.28 no.4
• /
• pp.401-407
• /
• 2009

In this paper, we propose a novel method for the cross-correlation based double-talk detection (DTD), which employing the Gaussian Mixture Model (GMM) in the frequency domain. The proposed algorithm transforms the cross correlation coefficient used in the time domain into 16 channels in the frequency domain using the discrete fourier transform (DFT). The channels are then selected into seven feature vectors for GMM and we identify three different regions such as far-end, double-talk and near-end speech using the likelihood comparison based on those feature vectors. The presented DTD algorithm detects efficiently the double-talk regions without Voice Activity Detector which has been used in conventional cross correlation based double-talk detection. The performance of the proposed algorithm is evaluated under various conditions and yields better results compared with the conventional schemes. especially, show the robustness against detection errors resulting from the background noises or echo path change which one of the key issues in practical DTD.

• Proceedings of the Acoustical Society of Korea Conference
• /
• spring
• /
• pp.249-252
• /
• 2002

본 논문에서는 음향반향제거기에서 상관계수를 이용하여 동시통화 구간을 검출하는 방법에서 검출 오류로 인해 발생되는 문제점에 대해서 다룬다. 상관계수(correlation coefficient)를 이용한 DT 검출 방법에서 동시통화 구간과 반향경로의 변화를 명확하게 구분 짓는 문턱값 설정이 어렵기 때문에 때때로 검출 오류가 발생한다. 즉, 동시통화 중간에 반향경로가 변함으로써 동시통화 구간의 끝점 검출에 실패하거나 반항경로 변화를 DT로 잘못 인식하는 경우가 발생하는데, 이럴 경우 더 이상 적응필터의 계수를 갱신을 할 수 없는 상태에 빠지기도 한다. 본 논문에서는 반향제거기에 보조필터를 사용하여 이러한 문제점을 해결하고자 한다. 이는 보조필터가 기준입력신호(reference signal)를 이용하여 변화된 반향신호 성분은 추정할 수 있지만 근단화자 신호는 추정할 수 없다는 점을 이용한다 실험을 통해 제안한 알고리즘이 검출 오류로 인해 발생되는 문제를 효율적으로 해결할 수 있음을 확인하였다.

• Journal of Digital Convergence
• /
• v.13 no.6
• /
• pp.151-156
• /
• 2015

In this paper, we have proposed personal multimodal biometric authentication system based on face detection, recognition and speaker verification for smart-phone environment. Proposed system detect the face with Modified Census Transform algorithm then find the eye position in the face by using gabor filter and k-means algorithm. Perform preprocessing on the detected face and eye position, then we recognize with Linear Discriminant Analysis algorithm. Afterward in speaker verification process, we extract the feature from the end point of the speech data and Mel Frequency Cepstral Coefficient. We verified the speaker through Dynamic Time Warping algorithm because the speech feature changes in real-time. The proposed multimodal biometric system is to fuse the face and speech feature (to optimize the internal operation by integer representation) for smart-phone based real-time face detection, recognition and speaker verification. As mentioned the multimodal biometric system could form the reliable system by estimating the reasonable performance.