• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2000년도 ITC-CSCC -1
• /
• pp.15-18
• /
• 2000

In this study, we improve the performance of a speech recognition system of visual information depending on lip movements. This paper focuses on the robustness of the word recognition system with the rotation, transition and scaling of the lip images. The different methods of lipreading have been used to estimate the stability of recognition performance. Especially, we work out the special system of the log-polar mapping, which is called Mellin transform with quasi RTS-invariant and related approaches to machine vision. The results of word recognition are reported with HMM (Hidden Markov Model) recognition system.

• 한국산학기술학회:학술대회논문집
• /
• 한국산학기술학회 2007년도 춘계학술발표논문집
• /
• pp.178-180
• /
• 2007

본 논문은 인간의 언어정보처리 과정 중 시각단어재인(visual word recognition) 과정에서 음운정보와 철자정보의 역할 및 심성어휘집의 표상 형태를 알아보기 위해, 계산주의적 모델을 제안하고, 제안된 모델을 이용하여 실험하였다. 실험결과 계산주의적 모텔은 한국어에 대한 시각 단어재인 시 보이는 언어현상 중 음운, 철자 이웃 크기효과(phonological and orthographic neighborhood effect)를 나타냈으며, 이를 통해 한국어 시각단어재인 과정에서 심성어휘집이 음운정보로 표상되어 있다는 것을 시사하는 증거를 보였다.

• 인지과학
• /
• 제7권4호
• /
• pp.111-140
• /
• 1996

• 방송공학회논문지
• /
• 제8권2호
• /
• pp.198-203
• /
• 2003

본 논문에서는 멀티미디어 데이터에 존재하는 입술의 움직임(영상언어)과 음성을 함께 이용하여 음성의 끝점을 정확히 추정하는 방법과 이를 기반으로 한 음성인식 시스템을 제안한다. 잡음 섞인 음성의 끝점추정 방법은 다음과 같다. 각 테스트 단어에 대하여 영상언어를 이용한 끝점과 깨끗한 음성을 이용한 끝점을 각각 구한 후 이것들의 차이를 계산한다. 이 차이에 영상언어 끝점을 더하여 잡음 섞인 음성의 끝점으로 추정한다. 이와 같은 끝점(즉, 음성구간)의 추정방법을 인식기에 적용한다. 동일한 구간의 음성이 인식기의 각 단어모델에 입력되는 기존의 인식 방법과는 달리, 새로운 인식기에서는 각 단어별로 추정된 서로 다른 구간의 음성이 각 해당단어모델에 입력된다. 제안된 방식을 모의실험 한 결과, 음성잡음의 크기에 관계없이 정확한 끝점을 추정 할 수 있었으며, 그 결과 약 8% 정도의 인식률 향상을 이루었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 1995년도 제7회 한글 및 한국어 정보처리 학술대회
• /
• pp.244-252
• /
• 1995

본 연구는 한자를 이용하여 시각 정보 (Visual Information)와 음성 정보(Phonological Information)가 단어 재인과 단어 명명 과정에 어떻게 영향을 주는 지를 조사하기 위하여 실시되었다. 기존의 영어를 이용한 연구에서는 시각 정보와 음성 정보를 독립적으로 조작할 수 없었기에 두 요소가 단어 재인에 어떤 영향을 주는 지를 살피는데 어려움이 있었다. 그러나 한자단어를 이용하면 시각 정보와 음성 정보를 독립적으로 조작할 수 있기 때문에 영어 단어를 사용하는 것보다 유리하다. 본 실험에서는 한자 단어를 이용하여 점화 단어 (Prime Word)와 목표 단어(Target Word)간의 시간간격(SOA)을 100 ms, 200 ms, 750 ms, 그리고 2000 ms로 변화시키면서 시간이 흐름에 따라 시각적 유사성과 음성적 유사성에 의한 점화 효과(Priming Effect)가 어떻게 변화하는 지를 조사하였다. 이 실험 결과에 의하면, 100 ms 조건에서는 시각적 유사성에 의한 점화 효과만 있었다. 그러나, 200 ms, 750 ms, 2000 ms 조건들에서는 시각적 유사성뿐만 아니라 음성적 유사성에 의해서도 점화효과가 있었다. 이와 같은 실험 결과는 최초의 한자 단어의 어휘 접근 (Lexical Access)이 시각 정보에 의해 결정됨을 보여주고 있다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2004년도 제16회 한글.언어.인지 한술대회
• /
• pp.315-318
• /
• 2004

The purpose of this study is to examine the neuroanatomical areas related with onomatopoeia (sound-imitated word). Using the block-designed fMRI, whole-brain images (N=11) were acquired during lexical decisions. We examined how the lexical information initiates brain activation during visual word recognition. The onomatopoeic word recognition activated the bilateral occipital lobes and superior mid-temporal gyrus.

• 말소리와 음성과학
• /
• 제13권1호
• /
• pp.1-15
• /
• 2021

본 연구는 중의성을 가진 어휘가 심성 어휘집에 표상된 방식과 감각 양상에 따른 처리 과정을 알아보기 위하여 한국어 동음동철이의 어절의 시·청각 재인 과정을 조사하였다. 청각 어절 판단 과제(실험 1)와 시각 어절 판단 과제(실험 2)를 이용한 두 실험에서 두 가지 이상의 의미를 가진 동음동철이의 어절(예: '물었다')과 단일한 의미만을 가진 통제 어절(예: '고통을')이 사용되었다. 어절 자극들의 누적 빈도는 조작하는 한편, 각 동음동철이의 어절의 다양한 의미가 가지는 상대적 빈도는 통제하였다. 어절 판단 과제를 사용한 두 실험 모두에서 유의한 빈도의 주효과와 함께 의미 수에 따른 어절 유형과 빈도 간의 상호작용이 발견되었다. 실험 1에서 청각적으로 제시된 동음동철이의 어절은 저빈도 조건에서 단의 어절에 비해 반응시간이 빠른 중의성 이득 효과가 나타난 반면, 고빈도 조건에서는 이와 반대로 비이득 효과가 나타났다. 마찬가지로 시각적으로 제시된 실험 2의 자극에서도 유사한 상호작용 패턴이 발견되었다. 본 연구 결과는 시각 및 청각 양상 모두에서 어휘-의미 처리가 상호의존적으로 이루어짐을 보여주며, 이는 의미 처리가 감각 의존적 단계보다는 일반적 어휘 지식 처리 단계에서 이루어질 가능성을 시사한다. 이와 더불어 의미 선택 과정에서 동음동철이의 어절이 가지는 다양한 의미의 후보군은 어절의 빈도가 상대적으로 낮을 때에만 촉진적 피드백을 제공함을 보여준다.

• 한국멀티미디어학회논문지
• /
• 제21권8호
• /
• pp.960-968
• /
• 2018

The mobile visual search service uses a query image to acquire linkage information through pre-constructed DB search. From the standpoint of this purpose, it would be more useful if you could perform a search on a web-based keyword search system instead of a pre-built DB search. In this paper, we propose a representative query extraction algorithm to be used as a keyword on a web-based search system. To do this, we use image classification labels generated by the CNN (Convolutional Neural Network) algorithm based on Deep Learning, which has a remarkable performance in image recognition. In the query extraction algorithm, dictionary meaningful words are extracted using Wikipedia, and hierarchical categories are constructed using WordNet. The performance of the proposed algorithm is evaluated by measuring the system response time.

• ETRI Journal
• /
• 제46권1호
• /
• pp.22-34
• /
• 2024

Exposure to varied noisy environments impairs the recognition performance of artificial intelligence-based speech recognition technologies. Degraded-performance services can be utilized as limited systems that assure good performance in certain environments, but impair the general quality of speech recognition services. This study introduces an audiovisual speech recognition (AVSR) model robust to various noise settings, mimicking human dialogue recognition elements. The model converts word embeddings and log-Mel spectrograms into feature vectors for audio recognition. A dense spatial-temporal convolutional neural network model extracts features from log-Mel spectrograms, transformed for visual-based recognition. This approach exhibits improved aural and visual recognition capabilities. We assess the signal-to-noise ratio in nine synthesized noise environments, with the proposed model exhibiting lower average error rates. The error rate for the AVSR model using a three-feature multi-fusion method is 1.711%, compared to the general 3.939% rate. This model is applicable in noise-affected environments owing to its enhanced stability and recognition rate.

• 한국인지과학회:학술대회논문집
• /
• 한국인지과학회 2006년도 춘계학술대회
• /
• pp.119-123
• /
• 2006

문자는 의사소통의 중요한 매개체 중 하나로 사람이 문자를 인식할 때, 글자의 크기나 모양, 위치, 글 자체 등의 매우 다양한 지각적인 변화에 의한 영향을 크게 받지 않는다. 이는 문자에 대한 처리가 다른 사물과는 다소 다르게 일어나며 머릿속에 추상적인 형태(abstract form)로 저장되어 있음을 의미한다. 이러한 처리과정은 시각단어재인 과정에서 어휘 지식에 접근하기 위한 중요한 단계로 여겨지면서 이와 관련된 대뇌 영역의 국재화 양상에 대한 연구들이 진행되고 있다. 본 연구에서는 한글 시각단어재인에 있어 Cohen과 Dehaene 등이 'visual word form area'주장하고 있는 좌측 ventral occipito-tempoarl region의 대뇌 활성화 양상을 살펴보았다. 실험 결과, 좌측 'VWFA'는 어휘의 친숙성에 우뇌의 대측 지점은 어휘성(lexicality)에 민감한 것으로 나타났다.