• Proceedings of the KSPS conference
• /
• 2003.05a
• /
• pp.83-86
• /
• 2003

This paper presents our style-based language model adaptation for Korean conversational speech recognition. Korean conversational speech is observed various characteristics of content and style such as filled pauses, word omission, and contraction as compared with the written text corpora. For style-based language model adaptation, we report two approaches. Our approaches focus on improving the estimation of domain-dependent n-gram models by relevance weighting out-of-domain text data, where style is represented by n-gram based tf*idf similarity. In addition to relevance weighting, we use disfluencies as predictor to the neighboring words. The best result reduces 6.5％ word error rate absolutely and shows that n-gram based relevance weighting reflects style difference greatly and disfluencies are good predictor.

• Proceedings of the Acoustical Society of Korea Conference
• /
• spring
• /
• pp.35-38
• /
• 2000

본 연구에서는 연속음성인식 시스템의 성능 향상을 위한 기초 연구로서 시스템에 적합한 음향모델과 언어모델을 작성하고 항공편 예약 태스크를 대상으로 인식실험을 실시한 결과 그 유효성을 확인하였다. 이를 위하여 먼저 HMM의 출력확률분포의 mixture와 파라미터의 차원에 대한 정확한 분석을 통한 음향모델을 작성하였다. 또한 반복학습법으로 특정 태스크를 대상으로 N-gram 언어모델을 적용하여 인식 시스템에 적합한 모델을 작성하였다. 인식실험에 있어서는 3인의 화자가 발성한 200문장에 대해 파라미터 차원 및 mixture의 변화에 따른 음향모델과 반복학습에 의해 작성한 언어모델에 대해 multi-pass 탐색 알고리즘을 이용하였다. 그 결과, 25차원에 대한 mixture 수가 9인 음향모델과 10회 반복 학습한 언어모델을 이용한 경우 평균 $81.0\%$의 인식률을 얻었으며, 38차원에 대한 mixture 수가 9인 음향모델과 10회 반복 학습한 언어모델을 이용한 경우 평균 $90.2\%$의 인식률을 보여 인식률 제고를 위해서는 38차원에 대한 mixture 수가 9인 음향모델과 10회 반복학습으로 작성한 언어모델을 이용한 경우가 매우 효과적임을 알 수 있었다.

• The Journal of the Acoustical Society of Korea
• /
• v.27 no.8
• /
• pp.435-442
• /
• 2008

The n-gram model is appropriate for languages, such as English, in which the word-order is grammatically rigid. However, it is not suitable for Korean in which the word-order is relatively free. Previous work proposed a twoply HMM that reflected the characteristics of Korean but failed to reflect word-order structures among words. In this paper, we define a new segment unit which combines two words in order to reflect the characteristic of word-order among adjacent words that appear in verbal morphemes. Moreover, we propose a two-path language model that estimates probabilities depending on the context based on the proposed segment unit. Experimental results show that the proposed two-path language model yields 25.68% perplexity improvement compared to the previous Korean language models and reduces 94.03% perplexity for the prediction of verbal morphemes where words are combined.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.79-84
• /
• 2021

메신저 사용의 증가와 함께 관련 범죄와 사고가 증가하고 있어 메시지 사용자 검증의 필요성이 대두되고 있다. 본 연구에서는 그래프 기반의 인스턴트 메세지 분석 모델을 제안하여 채팅 사용자를 검증하고자 한다. 사용자 검증은 주어진 두 개의 텍스트의 작성자가 같은지 여부를 판단하는 문제다. 제안 모델에서는 사용자의 이전 대화를 토대로 n-gram 전이 그래프를 구축하고, 작성자를 알 수 없는 메세지를 이용해 전이 그래프를 순회한 랜덤워크의 특성을 추출한다. 사용자의 과거 채팅 습관과 미지의 텍스트에 나타난 특징 사이의 관계를 분석한 모델은 10,000개의 채팅 대화에서 86%의 정확도, 정밀도, 재현율로 사용자를 검증할 수 있었다. 전통적인 통계 기반 모델들이 명시적 feature를 정의하고, 방대한 데이터를 이용해 통계 수치로 접근하는데 반해, 제안 모델은 그래프 기반의 문제로 치환함으로써 제한된 데이터 분량에도 안정적인 성능을 내는 자동화된 분석 기법을 제안했다.

• The Journal of the Acoustical Society of Korea
• /
• v.21 no.6
• /
• pp.543-551
• /
• 2002

In this paper, we present an efficient decoding method that performs in real time for 20k word continuous speech recognition task. Basic search method is a one-pass Viterbi decoder on the search space constructed from the novel language model network. With the consistent search space representation derived from various language models by the LM network, we incorporate basic pruning strategies, from which tokens alive constitute a dynamic search space. To facilitate post-processing, it produces a word graph and a N-best list subsequently. The decoder is tested on the database of 20k words and evaluated with respect to accuracy and RTF.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2011.05a
• /
• pp.602-604
• /
• 2011

Due to wide usage of smartphones and mobile internet, mobile devices are used in various fields such as sending SMS, participating SNS, retrieving information and the number of users taking advantage of them are growing. The keypads of a mobile device are relatively smaller than those of desktop computers. Thus, the user has a difficulty in input sentences quickly and correctly. In this study, we introduce some string recommendation and modification techniques which can be used for helping a user input in mobile devices quickly and correctly. We describe a TRIE dictionary and n-gram language model which are the main technologies of the keyword recommendation applied to the online search engines.

• The Journal of the Acoustical Society of Korea
• /
• v.18 no.1
• /
• pp.53-60
• /
• 1999

This paper is a study on the korean broadcasting speech recognition. Here we present the methods for the large vocabuary continuous speech recognition. Our main concerns are the language modeling and the search algorithm. The used acoustic model is the uni-phone semi-continuous hidden markov model and the used linguistic model is the N-gram model. The search algorithm consist of three phases in order to utilize all available acoustic and linguistic information. First, we use the forward Viterbi beam search to find word end frames and to estimate related scores. Second, we use the backword Viterbi beam search to find word begin frames and to estimate related scores. Finally, we use A/sup */ search to combine the above two results with the N-grams language model and to get recognition results. Using these methods maximum 96.0% word recognition rate and 99.2% syllable recognition rate are achieved for the speaker-independent continuous speech recognition problem with about 12,000 vocabulary size.

• The KIPS Transactions:PartB
• /
• v.11B no.2
• /
• pp.241-246
• /
• 2004

In this paper, we propose VCCV units as a processing unit of language model and compare them with clauses and morphemes of existing processing units. Clauses and morphemes have many vocabulary and high perplexity. But VCCV units have low perplexity because of the small lexicon and the limited vocabulary. The construction of language models needs an issue of the smoothing. The smoothing technique used to better estimate probabilities when there is an insufficient data to estimate probabilities accurately. This paper made a language model of morphemes, clauses and VCCV units and calculated their perplexity. The perplexity of VCCV units is lower than morphemes and clauses units. We constructed the N-grams of VCCV units with low perplexity and tested the language model using Katz, absolute, modified Kneser-Ney smoothing and so on. In the experiment results, the modified Kneser-Ney smoothing is tested proper smoothing technique for VCCV units.

• Annual Conference on Human and Language Technology
• /
• 2010.10a
• /
• pp.183-185
• /
• 2010

디지털 기기들의 발전은 사전 검색 수요의 증가와 함께 강건한 검색 기법의 필요성도 증가시키고 있다. 기존의 사전 검색 기법들은 사용자의 입력 오류를 고려하지 않고, 검색 최적화만을 위해 설계되었다. 본 논문에서는 언어 모델 키워드와 자소 범주 키워드를 이용하여 오타에 강건한 사전 검색 방법을 제안한다. 제안된 방법은 오류가 포함된 사용자의 입력 단어에 대하여 활용 가능한 수준의 높은 성능과 검색 속도를 보여주었다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• spring
• /
• pp.82-85
• /
• 1999

본 연구에서는 연속음성인식 시스템의 성능 향상을 위하여 음성의 채록환경 및 데이터량 등을 고려한 효과적인 언어모델 작성방법을 제안하고, 이를 항공편 예약시스템에 적용하여 성능 평가 실험을 실시한 결과 $91.6\%$의 인식률을 얻어 제안한 방법의 유효성을 확인하였다. 이를 위하여 소량의 200문장의 항공편 예약 텍스트 데이터를 이용하여 좀더 강건한 단어발생 확률을 가지도록 하기 위해 일반적으로 대어휘 연속음성인식에서 많이 이용되고 있는 단어 N-gram 언어모델을 도입하고 이를 다양한 발성환경을 고려하여 1,154문장으로 확장한 후 동일 문장'을 반복 학습하여 언어모델을 작성하였다. 인식에 있어서는 오인식과 문법적 오류를 최소화하기 위하여 forward - backward pass 방법의 stack decoding알고리즘을 이용하였다. 인식실험 결과, 평가용 3인의 200문장을 각 반복학습 회수에 따라 학습한 각 언어모델에 대해 평가한 결과, forward pass의 경우 평균 $84.1\%$, backward pass의 경우 평균 $91.6\%$의 문장 인식률을 얻었다. 또한, 반복학습 회수가 증가함에 따라 backward pass의 인시률의 변화는 없었으나, forward pass의 경우, 인식률이 반복회수에 따라 증가하다가 일정값에 수렴함을 알 수 있었고, 언어모델의 복잡도에서도 반복회수가 증가함에 따라 서서히 줄어들며 수렴함을 알 수 있었다. 이상의 결과로부터 소량의 텍스트 데이터를 이용한 제한된 태스크에서 언어모델을 작성할 때 반복학습 방법이 유효함을 확인할 수 있다.