• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.28 no.9C
• /
• pp.884-890
• /
• 2003

In this paper, we studied the speaker adaptation methods that improve the speaker independent recognition system. For the independent speakers, we compared the results between bigram and back-off bigram, MAP and MLLR. Cause back-off bigram applys unigram and back-off weighted value as bigram probability value, it has the effect adding little weighted value to bigram probability value. We did an experiment using total 39-feature vectors as featuring voice parameter with 12-MFCC, log energy and their delta and delta-delta parameter. For this recognition experiment, We constructed a system made by CHMM and tri-phones recognition unit and bigram and back-off bigrams language model.

• Annual Conference on Human and Language Technology
• /
• 2010.10a
• /
• pp.9-14
• /
• 2010

본 논문에서는 명사의 띄어쓰기 bigram과 단일명사 정보를 이용하여 복합명사를 분해하는 방법을 제시한다. 붙여쓰기와 띄어쓰기를 모두 허용하는 복합명사의 특징에 따라 띄어쓰기 bigram으로 후보를 선정할 경우, 분해시간과 후보의 수를 크게 줄일 수 있으며, 긴 음절의 복합명사도 bigram의 chain을 통해 빠르게 후보 조합이 가능하다. 분해 후보가 복수일 경우, 명사 간 bigram 확률을 계산하여 최적의 분해 후보를 선정한다.

• Annual Conference on Human and Language Technology
• /
• 2000.10d
• /
• pp.85-88
• /
• 2000

대용량 말뭉치에서 이웃 음절간 공기빈도 정보를 추출하여 한글의 bigram 음절 특성을 조사하였다. Bigram 음절 특성은 띄어쓰기가 무시된 문서에 대한 자동 띄어쓰기, 어떤 어절이 띄어쓰기 오류어인지 판단, 맞춤법 검사기에서 철자 오류어의 교정 등 다양한 응용분야에서 유용하게 사용될 것으로 예상되고 있다. 본 논문에서는 한글의 bigram 음절 특성을 자동 띄어쓰기 및 입력어절이 띄어쓰기 오류어인지를 판단하는데 적용하는 실험을 하였다. 실험 결과에 의하면 bigram 음절 특성이 매우 유용하게 사용될 수 있음을 확인하였다.

• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2000.06a
• /
• pp.85-88
• /
• 2000

대용량 말뭉치에서 이웃 음절간 공기빈도 정보를 추출하여 한글의 bigram 음절 특성을 조사하였다. Bigram 음절 특성은 띄어쓰기가 무시된 문서에 대한 자동 띄어쓰기, 어떤 어절이 띄어쓰기 오류어인지 판단, 맞춤법 검사기에서 절차 오류어의 교정 등 다양한 응용분야에서 유용하게 사용될 것으로 예상되고 있다. 본 논문에서는 한글의 bigram 음절 특성을 자동 띄어쓰기 및 입력어절이 띄어쓰기 오류어인지를 판단하는데 적용하는 실험을 하였다. 실험 결과에 의하면 bigram 음절 특성이 매우 유용하게 사용될 수 있음을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2005.10a
• /
• pp.189-193
• /
• 2005

본 논문은 통계 기반 방법인 음절 bigram을 이용한 자동 띄어쓰기를 기본 방법으로 하고 경우의 수를 세분화한 확장된 음절 bigram을 이용한 공백 확률, 띄어쓰기 통계를 바탕으로 최종 띄어쓰기 임계치 차등 적용, 에러 사전 적용 3가지 방법을 추가로 사용하는 경우 기본적인 방법만을 쓴 경우보다 띄어쓰기 정확도가 향상된다는 것을 확인하였다. 그리고 해당 음절에 대한 bigram이 없는 경우 확장된 음절 unigram을 통해 근사적으로 계산해 데이터부족 문제를 개선하였다. 한국어 말뭉치와 중국어 말뭉치에 대한 실험을 통해 본 논문에서 제안하는 방법이 한국어 자동 띄어쓰기뿐만 아니라 중국어 단어 분리에 적용할 수 있다는 것도 확인하였다.

• Speech Sciences
• /
• v.8 no.2
• /
• pp.83-90
• /
• 2001

We proposed a probabilistic approach of using syllable bigrams to the word-spacing problem. Syllable bigrams are extracted and the frequencies are calculated for the large corpus of 12 million words. Based on the syllable bigrams, we performed three experiments: (1) automatic word-spacing, (2) detection and correction of word-spacing errors for spelling checker, and (3) automatic insertion of a space at the end of line in the character recognition system. Experimental results show that the accuracy ratios are 97.7 percent, 82.1 percent, and 90.5%, respectively.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04b
• /
• pp.441-443
• /
• 2000

연속 음성 인식을 하는 경우에 많은 에러가 발생한다. 특히 기능어의 경우나 서술어의 경우에는 동시 조음 현상에 의한 음운 변화에 의해 빈번한 에러가 발생한다. 이러한 빈번한 에러를 수정하기 위한 방법에는 언어 모델의 개선과 음향 모델의 개선등을 통한 인식률 향상과 여러 단계의 인식과정을 두어 서로 다른 언어 모델을 적용하는 등의 방법이 있지만 모두 시간과 비용이 많이 들고 각각의 상황에 의존적인 단점이 있다. 따라서 본 논문에서 제안하는 방법은 이것을 수정하기 위해 음성 인식기로부터 인식되어 나온 결과 문장을 정답과 비교, 학습함으로써 빈번하게 에러 패턴을 통계적 방법에 의해 학습하고 후처리 모듈을 이용하여 인식시에 발생하는 에러를 적은 비용과 시간으로 수정할 수 있도록 하는 것이다. 실험은 3000 단어급의 한국어 낭독체 연속 음성을 대상으로 하여 형태소와 의사형태소를 각각 인식단위로 하고, 언어모델로 World bigram과 Tagged word bigram을 각각 적용 실험을 하였다. 형태소, 의사 형태소일 경우 모두 언어 모델을 tagged word bigram을 사용하였을 경우 N best 후보 문장 중 적당한 단어 후보의 분포로 각각 1 best 문장에 비해 12%, 18%정도의 에러 수정하여 문장 인식률 향상에 상당한 기여를 하였다.

• Annual Conference on Human and Language Technology
• /
• 2010.10a
• /
• pp.186-190
• /
• 2010

본 논문은 쇼핑몰의 이용 후기 중 광고성 리뷰를 분류해 내는 방법을 제안한다. 여기서 광고성 리뷰는 주로 업체에서 작성하는 것으로 리뷰 안에 광고 내용이 포함되어 있다. 국외 연구 중에는 드물게 오피니언 스팸 문서의 분류 연구가 진행되고 있지만 한국어 상품평으로부터 광고성 리뷰를 분류하는 연구는 아직 이루어지지 않고 있다. 본 논문에서는 Naive Bayes Classifier를 활용하여 광고성 리뷰를 분류하였다. 이때 확률 계산을 위해 사용된 특징 단어는 POS-Tagging+Bigram, POS-Tagging+Unigram, Bigram을 사용하여 추출하였다. 실험 결과는 POS-Tagging+Bigram 방법을 이용하였을 때 광고성 리뷰의 F-Measure가 80.35%로 정확도 높았다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04b
• /
• pp.883-885
• /
• 2004

본 논문은 대용량 말뭉치로부터 어절 unigram과 음절 bigram 통계 정보를 추출하여 구축한 한국어 자동 띄어쓰기 시스템의 성능을 개선하는 방법을 제안한다 어절 통계를 주로 이용하는 기법으로 한국어 문서를 처리할 때, 한국어의 교착어적인 특성으로 인해 자료부족 문제가 발생한다 이물 극복하기 위해서 본 논문은 음절 bigram간 띄어쓸 확률 정보를 이용함으로써 어절로 인식 가능한 추가의 후보 어절을 추정하는 방법을 제안한다. 이와 글이 개선된 시스템의 성능을 다양한 실험 데이터를 사용하여 평가한 결과, 평균 93.76%의 어절 단위 정확도를 얻었다.

• IEMEK Journal of Embedded Systems and Applications
• /
• v.17 no.4
• /
• pp.199-208
• /
• 2022

Korean is an agglutinative language, and one or more morphemes are combined to form a single word. Part-of-speech tagging method separates each morpheme from a word and attaches a part-of-speech tag. In this study, we propose a new Korean part-of-speech tagging method based on the Head-Tail tokenization technique that divides a word into a lexical morpheme part and a grammatical morpheme part without decomposing compound words. In this method, the Head-Tail is divided by the syllable boundary without restoring irregular deformation or abbreviated syllables. Korean part-of-speech tagger was implemented using the Head-Tail tokenization and deep learning technique. In order to solve the problem that a large number of complex tags are generated due to the segmented tags and the tagging accuracy is low, we reduced the number of tags to a complex tag composed of large classification tags, and as a result, we improved the tagging accuracy. The performance of the Head-Tail part-of-speech tagger was experimented by using BERT, syllable bigram, and subword bigram embedding, and both syllable bigram and subword bigram embedding showed improvement in performance compared to general BERT. Part-of-speech tagging was performed by integrating the Head-Tail tokenization model and the simplified part-of-speech tagging model, achieving 98.99% word unit accuracy and 99.08% token unit accuracy. As a result of the experiment, it was found that the performance of part-of-speech tagging improved when the maximum token length was limited to twice the number of words.