• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권4호
• /
• pp.403-410
• /
• 2004

바이모달 음성인식기는 잡음 환경하 음성인식 성능을 향상하기 위해 고안되었다. 바이모달 음 성인식기에 있어 영상을 통한 시각 특징 추출은 매우 중요한 역할을 하며 이를 위한 입술 위치 검출은 시각 특징 추출을 위한 중요한 선결 과제이다 본 논문은 색상분포와 SVM을 이용하여 시각 특징 추출을 위한 입술 위치 검출 방법을 제안하였다. 제안된 방법은 얼굴색/입술 색상 분포를 학습하여 이로부터 입술의 초기 위치를 빠르게 찾아내고 SVM을 이용하여 입술의 정확한 위치를 찾음으로써 정확하고 빠르게 입술의 위치를 찾도록 하였으며 실험을 통해 바이모달 인식기에 적용하기에 적합함을 알 수 있었다.

• 정보처리학회 논문지
• /
• 제13권6호
• /
• pp.284-290
• /
• 2024

음성감정인식(Speech Emotion Recognition, SER)은 사용자의 목소리에서 나타나는 떨림, 어조, 크기 등의 음성 패턴 분석을 통하여 감정 상태를 판단하는 기술이다. 하지만, 기존의 음성 감정인식 연구는 구현된 시나리오를 이용하여 제한된 환경 내에서 숙련된 연기자를 대상으로 기록된 음성인 구현발화를 중심의 연구로 그 결과 또한 높은 성능을 얻을 수 있지만, 이에 반해 자유발화 감정인식은 일상생활에서 통제되지 않는 환경에서 이루어지기 때문에 기존 구현발화보다 현저히 낮은 성능을 보여주고 있다. 본 논문에서는 일상적 자유발화 음성을 활용하여 감정인식을 진행하고, 그 성능을 향상하고자 한다. 성능평가를 위하여 AI Hub에서 제공되는 한국인 자유발화 대화 음성데이터를 사용하였으며, 딥러닝 학습을 위하여 1차원의 음성신호를 시간-주파수가 포함된 2차원의 스펙트로그램(Spectrogram)로 이미지 변환을 진행하였다. 생성된 이미지는 CNN기반 전이학습 신경망 모델인 VGG (Visual Geometry Group) 로 학습하였고, 그 결과 7개 감정(기쁨, 사랑스러움, 화남, 두려움, 슬픔, 중립, 놀람)에 대해서 성인 83.5%, 청소년 73.0%의 감정인식 성능을 확인하였다. 본 연구를 통하여, 기존의 구현발화기반 감정인식 성능과 비교하면, 낮은 성능이지만, 자유발화 감정표현에 대한 정량화할 수 있는 음성적 특징을 규정하기 어려움에도 불구하고, 일상생활에서 이루어진 대화를 기반으로 감정인식을 진행한 점에서 의의를 두고자 한다.

• 음성과학
• /
• 제11권2호
• /
• pp.181-192
• /
• 2004

This paper presents an efficient speech interactive agent rendering smooth car navigation and Telematics services, by employing embedded automatic speech recognition (ASR), distributed speech recognition (DSR) and text-to-speech (ITS) modules, all while enabling safe driving. A speech interactive agent is essentially a conversational tool providing command and control functions to drivers such' as enabling navigation task, audio/video manipulation, and E-commerce services through natural voice/response interactions between user and interface. While the benefits of automatic speech recognition and speech synthesizer have become well known, involved hardware resources are often limited and internal communication protocols are complex to achieve real time responses. As a result, performance degradation always exists in the embedded H/W system. To implement the speech interactive agent to accommodate the demands of user commands in real time, we propose to optimize the hardware dependent architectural codes for speed-up. In particular, we propose to provide a composite solution through memory reconfiguration and efficient arithmetic operation conversion, as well as invoking an effective out-of-vocabulary rejection algorithm, all made suitable for system operation under limited resources.

• 대한의용생체공학회:의공학회지
• /
• 제29권4호
• /
• pp.307-315
• /
• 2008

In this paper, we developed a visual-auditory cue software for reading training of motor speech disorder patients. Motor speech disorder patients can use the visual and/or auditory cues for reading training and improving their symptom. The software provides some sentences with visual-auditory cues. Our sentences used for reading training are adequately comprised on modulation training according to a professional advice in speech therapy field. To ameliorate reading skills we developed two algorithms, first one is automatically searching the starting time of speech spoken by patients and the other one is removing auditory-cue from the recorded speech that recorded at the same time. The searching of speech starting time was experimented by 10 sentences per 6 subjects in four kinds of noisy environments thus the results is that $7.042{\pm}8.99[ms]$ error was detected. The experiment of the cancellation algorithm of auditory-cue was executed from 6 subjects with 1 syllable speech. The result takes improved the speech recognition rate $25{\pm}9.547[%]$ between before and after cancellation of auditory-cue in speech. User satisfaction index of the developed program was estimated as good.

• International Journal of Computer Science & Network Security
• /
• 제23권8호
• /
• pp.40-48
• /
• 2023

Speech Emotions recognition has become the active research theme in speech processing and in applications based on human-machine interaction. In this work, our system is a two-stage approach, namely feature extraction and classification engine. Firstly, two sets of feature are investigated which are: the first one is extracting only 13 Mel-frequency Cepstral Coefficient (MFCC) from emotional speech samples and the second one is applying features fusions between the three features: Zero Crossing Rate (ZCR), Teager Energy Operator (TEO), and Harmonic to Noise Rate (HNR) and MFCC features. Secondly, we use two types of classification techniques which are: the Support Vector Machines (SVM) and the k-Nearest Neighbor (k-NN) to show the performance between them. Besides that, we investigate the importance of the recent advances in machine learning including the deep kernel learning. A large set of experiments are conducted on Surrey Audio-Visual Expressed Emotion (SAVEE) dataset for seven emotions. The results of our experiments showed given good accuracy compared with the previous studies.

• 말소리와 음성과학
• /
• 제9권4호
• /
• pp.123-128
• /
• 2017

This study aims to compare the performance of syllable identification task according to auditory and visual stimuli presentation methods and syllable position. Twenty-two typically developing children (age 4-6) participated in the study. Three-syllable words were used to identify the first syllable and the final syllable in each word with auditory and visual stimuli. For the auditory stimuli presentation, the researcher presented the test word only with oral speech. For the visual stimuli presentation, the test words were presented as a picture, and asked each child to choose appropriate pictures for the task. The results showed that when tasks were presented visually, the performances of phonological awareness were significantly higher than in presenting with auditory stimuli. Also, the performances of the first syllable identification were significantly higher than those of the last syllable identification. When phonological awareness task are presented by auditory stimuli, it is necessary to go through all the steps of the speech production process. Therefore, the phonological awareness performance by auditory stimuli may be low due to the weakness of the other stages in the speech production process. When phonological awareness tasks are presented using visual picture stimuli, it can be performed directly at the phonological representation stage without going through the peripheral auditory processing, phonological recognition, and motor programming. This study suggests that phonological awareness skills can be different depending on the methods of stimulus presentation and syllable position of the tasks. The comparison of performances between visual and auditory stimulus tasks will help identify where children may show weakness and vulnerability in speech production process.

• 전자공학회논문지CI
• /
• 제38권3호
• /
• pp.61-67
• /
• 2001

본 논문에서는 한국어 숫자음 인식을 위해 음성과 영상 정보를 사용하고, 음성에 사용하는 선형예측계수 알고리즘을 영상에 적용하는 방법을 제안한다. 입력으로 얻어지는 음성신호는 0.95의 매개변수를 통해 고역 신호가 강조되고, 해밍창과 자기상관 분석, Levinson-Durbin 알고리즘에 의해 13차 선형예측계수를 구한다. 마찬가지로, 그레이 영상신호도, 음성의 자기상관 분석, Levinson-Durbin 알고리즘을 사용하여 13차의 2차원 선형예측계수를 구한다, 이러한 음성/영상 신호에 대한 선형예측계수들은 다층 신경회로망에 적용하여 학습이 이루어졌고, 각 레벨의 잡음이 섞인 음성신호를 적용한 결과, 숫자음 '3', '5', '9' 에서 음성만으로 인식한 결과보다 훨씬 좋은 인식결과를 얻을 수 있었다. 결과적으로, 본 연구에서는 영상 신호의 2차원 선형 예측 계수들이 음성인식에 사용될 경우, 특징 추출에 따른 부가적인 알고리즘이 새로 고안될 필요가 없이, 음성특징 계수를 추출하는 방법을 그대로 사용할 수 있으며, 또한 데이터량과 인식율이 잡음 환경에서 보다 향상되는 효율적인 방법을 제시하고 있음을 알 수 있었다.

• 한국정보통신학회논문지
• /
• 제4권1호
• /
• pp.35-43
• /
• 2000

본 연구는 장애인이 일반인과 똑같이 정보사회에 적응시키기 위해 장애인복지를 위한 정보통신의 발전방향을 연구하였다. 연구의 방법으로는 델파이기법을 도입하였으며, 조사방법으로는 문헌적조사방법과 면담조사방법을 병행하여 연구분석의 틀에 의해 분석하였다. 정보통신에 대한 장애인의 문제점을 살펴보면, 정보통신 접근의 불편, 보편적 서비스 저하, 장애인의 PC 통신 이용 저조, 장애인복지의 낙후, 정보통신요금의 부담, 정보화교육의 부족, 장애인정보의 부족, 장애인복지 정책결정에 장애인 미참여 등으로 분석되었다. 장애인에 필요한 정보통신기술을 살펴보면, 지체장애인에게는 음성인식기술ㆍ화상인식기술ㆍ호흡압력감지기술, 시각장애인에게는 표시기술ㆍ음성인식기술ㆍ문자인식기술ㆍ지적변환처리기술ㆍ화상인식음성합성기술, 청각ㆍ언어장애인에게는 음성신호처리기술ㆍ음성인식기술ㆍ기적변환처리기술ㆍ문자인식기술ㆍ화상인식기술ㆍ음성합성기술이 필요하다. 장애인복지를 위한 정보통신을 발전시키기 위해서는 장애인정보통신위원회의 구성, 보편적 서비스의 제공, 정보화교육의 실시, 연구개발의 지원, 중소정보통신기업의 지원 육성, 소프트웨어산업의 육성, 장애인용 표준화 작업 추진이 요구된다.

• 한국통신학회논문지
• /
• 제35권7C호
• /
• pp.598-603
• /
• 2010

이 논문에서는 해양 선박 안의 잡음 환경에서 현저하게 떨어지는 음성 인식률을 높이기 위해 기존 음성인식 시스템에 화자의 입술의 움직임 변화를 입력정보로 이용하려는 입술 읽기에 대해서 연구하였다. 제안한 방법은 획득한 입력 영상에 Gabor 여파기를 이용하여 전처리과정의 성능을 향상 시켜 인식률을 높였다. 실험은 기본 시스템의 조명의 변화가 발생하는 선박 안의 환경에서 시간에 따라 입술 영상을 획득하여 수행하였으며, 인식 성능비교를 위해서 획득한 입력 영상을 이산여현파변환을 수행한 뒤 얻은 입술 관심영역에 대해 Gabor 여파기를 이용하여 얻어진 영상에 입술 접기를 수행하여 인식하는 방법과 입술 접기를 수행한 영상에 대해 인식을 수행하는 방법으로 실험하였다. 제안한 방법을 적용한 선박환경에서 실험 결과는 관심영역 영상에 Gabor 필터링을 이용하였을 때 기본 시스템에 견주어 매개변수가 거의 줄어들지 않았으며 그 인식률은 44%이었다. 한편, 입술 접기를 수행한 영상을 Gabor 여파하여 조명의 영향에 의한 성분을 제거한 바, 인식률이 11%쯤 높아진 55.8%를 나타내었다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2001년도 하계종합학술대회 논문집(4)
• /
• pp.29-32
• /
• 2001

Visual speech information improves the performance of speech recognition, especially in noisy environment. We have tested the various spatial-temporal features for the Korean lipreading and evaluated the performance by using a hidden Markov model based classifier. The results have shown that the direction as well as the magnitude of the movement of the lip contour over time is useful features for the lipreading.