• 대한음성학회지:말소리
• /
• 제62호
• /
• pp.149-161
• /
• 2007

In this paper we proposed a modified reliability function for improving bimodal speaker identification(BSI) performance. The convectional reliability function, used by N. Fox[1], is extended by introducing an optimization factor. We evaluated the proposed method in BSI domain. A BSI system was implemented based on GMM and it was tested using VidTIMIT database. Through speaker identification experiments we verified the usefulness of our proposed method. The experiments showed the improved performance, i.e., the reduction of error rate by 39%.

• 한국산학기술학회:학술대회논문집
• /
• 한국산학기술학회 2001년도 춘계학술대회 발표논문집
• /
• pp.188-191
• /
• 2001

본 논문에서는 화자의 입모양의 변화를 분석하여 발음된 음성을 인식하는 방법에 관하여 연구하였다. 입모양 변화를 나타내는 특징벡터의 서로 다른 선택이 인식성능에 미치는 영향을 비교 분석하였다. 특징벡터로서는 ASM(Active Shape Model) 파라메터와 Acticulatory 파라메터를 특별히 선택하여 인식성능을 비교하였다. 모의실험 결과, Articulatory 파라메터를 사용하는 것이 인식성능도 더 우수하고 계산량도 더 적음을 확인할 수 있었다.

• 말소리와 음성과학
• /
• 제11권1호
• /
• pp.41-49
• /
• 2019

전통적인 음성인식 모델은 주로 음향 모델과 언어 모델을 사용하여 구현된다. 이때 음향 모델을 학습시키기 위해서는 음성 데이터에 대한 정답 텍스트뿐만 아니라 음성인식에 사용되는 단어의 발음사전과 프레임 단위의 음소 정답 데이터가 필요하다. 이 때문에 모델을 훈련하기 위해서는 먼저 프레임 단위의 정답을 생성하는 등의 여러 과정이 필요하다. 그리고 음향 모델과 별도의 텍스트 데이터로 훈련한 언어 모델을 적용하여야 한다. 이러한 불편함을 해결하기 위하여 최근에는 하나의 통합 신경망 모델로 이루어진 종단간(end-to-end) 음성인식 모델이 연구되고 있다. 이 모델은 훈련에 여러 과정이 필요없고 모델의 구조를 이해하기 쉽다는 장점이 있다. 하지만 인식이 내부적으로 어떤 과정을 거쳐 이루어지는지 알기 어렵다는 문제가 있다. 본 논문에서는 어텐션 기반 종단간 모델을 시각화 분석하여 내부적인 작동 원리를 이해하고자 하였다. 이를 위하여 BLSTM-HMM 하이브리드 음성인식 모델의 음향 모델과 종단간 음성인식 모델의 인코더를 비교하고, 신경망 레이어 별로 어떠한 차이가 있는지 분석하기 위해 t-SNE를 사용하여 시각화하였다. 그 결과로 음향모델과 종단간 모델 인코더의 차이점을 알 수 있었다. 또한 종단간 음성인식 모델의 디코더의 역할을 언어모델 관점에서 분석하고, 종단간 모델 디코더의 개선이 성능 향상을 위해 필수적임을 알 수 있었다.

• Clinical and Experimental Pediatrics
• /
• 제64권10호
• /
• pp.497-503
• /
• 2021

Reading disability (dyslexia) refers to an unexpected difficulty with reading for an individual who has the intelligence to be a much better reader. Dyslexia is most commonly caused by a difficulty in phonological processing (the appreciation of the individual sounds of spoken language), which affects the ability of an individual to speak, read, and spell. In this paper, I describe reading disabilities by focusing on their underlying neurobiological mechanisms. Neurobiological studies using functional brain imaging have uncovered the reading pathways, brain regions involved in reading, and neurobiological abnormalities of dyslexia. The reading pathway is in the order of visual analysis, letter recognition, word recognition, meaning (semantics), phonological processing, and speech production. According to functional neuroimaging studies, the important areas of the brain related to reading include the inferior frontal cortex (Broca's area), the midtemporal lobe region, the inferior parieto-temporal area, and the left occipitotemporal region (visual word form area). Interventions for dyslexia can affect reading ability by causing changes in brain function and structure. An accurate diagnosis and timely specialized intervention are important in children with dyslexia. In cases in which national infant development screening tests have been conducted, as in Korea, if language developmental delay and early predictors of dyslexia are detected, careful observation of the progression to dyslexia and early intervention should be made.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2004년도 제16회 한글.언어.인지 한술대회
• /
• pp.315-318
• /
• 2004

The purpose of this study is to examine the neuroanatomical areas related with onomatopoeia (sound-imitated word). Using the block-designed fMRI, whole-brain images (N=11) were acquired during lexical decisions. We examined how the lexical information initiates brain activation during visual word recognition. The onomatopoeic word recognition activated the bilateral occipital lobes and superior mid-temporal gyrus.

• 말소리와 음성과학
• /
• 제13권1호
• /
• pp.1-15
• /
• 2021

본 연구는 중의성을 가진 어휘가 심성 어휘집에 표상된 방식과 감각 양상에 따른 처리 과정을 알아보기 위하여 한국어 동음동철이의 어절의 시·청각 재인 과정을 조사하였다. 청각 어절 판단 과제(실험 1)와 시각 어절 판단 과제(실험 2)를 이용한 두 실험에서 두 가지 이상의 의미를 가진 동음동철이의 어절(예: '물었다')과 단일한 의미만을 가진 통제 어절(예: '고통을')이 사용되었다. 어절 자극들의 누적 빈도는 조작하는 한편, 각 동음동철이의 어절의 다양한 의미가 가지는 상대적 빈도는 통제하였다. 어절 판단 과제를 사용한 두 실험 모두에서 유의한 빈도의 주효과와 함께 의미 수에 따른 어절 유형과 빈도 간의 상호작용이 발견되었다. 실험 1에서 청각적으로 제시된 동음동철이의 어절은 저빈도 조건에서 단의 어절에 비해 반응시간이 빠른 중의성 이득 효과가 나타난 반면, 고빈도 조건에서는 이와 반대로 비이득 효과가 나타났다. 마찬가지로 시각적으로 제시된 실험 2의 자극에서도 유사한 상호작용 패턴이 발견되었다. 본 연구 결과는 시각 및 청각 양상 모두에서 어휘-의미 처리가 상호의존적으로 이루어짐을 보여주며, 이는 의미 처리가 감각 의존적 단계보다는 일반적 어휘 지식 처리 단계에서 이루어질 가능성을 시사한다. 이와 더불어 의미 선택 과정에서 동음동철이의 어절이 가지는 다양한 의미의 후보군은 어절의 빈도가 상대적으로 낮을 때에만 촉진적 피드백을 제공함을 보여준다.

• 한국항행학회논문지
• /
• 제21권5호
• /
• pp.435-442
• /
• 2017

안개 등의 영향을 받는 활주로 시정은 비행장에서 항공기 이착륙의 가능 여부를 결정하는 주요 지표중 하나이다. 운송용 항공기가 운항되는 공항의 경우 활주로 시정을 포함한 주요 국지 기상 예보를 시행하며, 이를 항공종사자가 확인할 수 있도록 하고 있다. 본 논문은 최근 영상 처리, 음성 인식, 자연어 처리 등의 다양한 분야에 적용되고 있는 심층신경망을 활주로 시정 예측에 적용하여 국지 비행장의 활주로 시정 예측 모델을 개발하고 이를 활용한 예측을 수행하였다. 적용 대상 비행장의 과거 실제 기상 관측 값을 활용하여 신경망 학습 후 시정에 대한 예측을 수행하였고, 기존 관측 데이터와 비교한 결과 비교적 정확한 예측 결과를 확인하였다. 또한 개발된 모델은 별도의 예보 기능이 없는 해당 비행장에서 참고할 수 있는 기상정보를 생성하는데 사용될 수 있을 것이다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제9권4호
• /
• pp.420-430
• /
• 2003

본 논문에서는 멀티모달(multi-modal) 인터페이스를 통해 지능적 가상검객과 체감형 검도게임을 할 수 있는 시스템을 제안한다. 제안된 검도게임 시스템은 멀티모달 인터페이스(시각과 청각), 인공지능(AI), 피드백(스크린과 사운드) 등 크게 세 가지 모듈로 구성된다. 첫 번째로, 멀티모달 인터페이스는 시각기반, 3차원 인터페이스를 이용하여 사용자가 자유롭게 3차원 공간에서 움직일 수 있도록 하고, 음성기반 인터페이스를 이용하여 사용자가 현실감 있는 검도게임을 즐길 수 있도록 한다. 두 번째, 인공지능은 가상검객에게 멀티모달 인터페이스에서 입력되는 시각과 음성을 인식하여 가상검객의 반응을 유도한다. 마지막으로, 대형 스크린과 스피커를 통한 시청각 피드백은 체감형 상호작용을 통하여 사용자가 몰입감을 느끼며 검도게임을 경험할 수 있도록 한다. 따라서 제안된 시스템은 전신의 움직임으로 사용자에게 몰입감의 검도게임을 제공한다. 제안된 시스템은 오락 외에 교육, 운동, 예술행위 등 다양한 분야에 적용될 수 있다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2010년도 춘계학술대회
• /
• pp.934-937
• /
• 2010

본 논문에서는 물리적 스위치 방식의 인터페이스를 사용하기 불편한 장애우나 전자기기 사용에 익숙하지 못한 사람들을 위한 차세대 인터페이스를 구현하기 위해 음성인식과 3축 가속도센서를 헤드셋과 연동하여 새로운 마우스 포인팅 시스템을 구현하였다. 인식률이 상대적으로 높은 화자종속방식을 지원하고 그 음성신호를 인식해서 BCD 코드로 출력을 내는 음성인식 모듈을 헤드셋의 마이크의 출력부와 연결하여 사용하였으며, TMS320F2812 프로세서를 사용한 컨트롤러를 구축하여 3축 가속도 센서와 연동한 후 헤드셋의 머리윗부분에 장착하여 비주얼 베이직을 통해 헤드셋으로 마우스 포인팅 및 클릭이 가능한 시스템을 구현하였다.

• International Journal of Computer Science & Network Security
• /
• 제21권8호
• /
• pp.87-96
• /
• 2021

The demand for e-learning through video lectures is rapidly increasing due to its diverse advantages over the traditional learning methods. This led to massive volumes of web-based lecture videos. Indexing and retrieval of a lecture video or a lecture video topic has thus proved to be an exceptionally challenging problem. Many techniques listed by literature were either visual or audio based, but not both. Since the effects of both the visual and audio components are equally important for the content-based indexing and retrieval, the current work is focused on both these components. A framework for automatic topic-based indexing and search depending on the innate content of the lecture videos is presented. The text from the slides is extracted using the proposed Merged Bounding Box (MBB) text detector. The audio component text extraction is done using Google Speech Recognition (GSR) technology. This hybrid approach generates the indexing keywords from the merged transcripts of both the video and audio component extractors. The search within the indexed documents is optimized based on the Naïve Bayes (NB) Classification and K-Means Clustering models. This optimized search retrieves results by searching only the relevant document cluster in the predefined categories and not the whole lecture video corpus. The work is carried out on the dataset generated by assigning categories to the lecture video transcripts gathered from e-learning portals. The performance of search is assessed based on the accuracy and time taken. Further the improved accuracy of the proposed indexing technique is compared with the accepted chain indexing technique.