정보과학회 컴퓨팅의 실제 논문지 (KIISE Transactions on Computing Practices)

  • 제22권7호
  • /
  • Pages.315-319
  • /
  • 2016
  • /
  • 2383-6318(pISSN)
  • /
  • 2383-6326(eISSN)
한국정보과학회 (Korean Institute of Information Scientists and Engineers)
권호 표지
DOI QR코드

DOI QR Code

워드 임베딩과 품사 태깅을 이용한 클래스 언어모델 연구

Class Language Model based on Word Embedding and POS Tagging

  • 투고 : 2016.03.18
  • 심사 : 2016.05.12
  • 발행 : 2016.07.15
⟨ 이전 논문 다음 논문 ⟩

초록

음성인식 성능 개선을 위한 언어모델의 기술적 진보는 최근 심층 신경망을 기반으로 한 접근방법으로 한 단계 더 진보한 모양새다. 그러나 연구되고 있는 심층 신경망 기반 언어모델은 대부분 음성인식 이후 리스코링 단계에서 적용할 수 있는 한계를 지닌다. 또한 대규모 어휘에 대한 심층 신경망 접근방법은 아직 시간이 필요하다고 본다. 따라서 본 논문은 심층 신경망 언어 모델의 단순화된 형태인 워드 임베딩 기술을 음성인식 후처리가 아닌 기반 N-gram모델에 바로 적용할 수 있는 접근 방법을 찾는다. 클래스 언어모델이 한 접근 방법이 될 수 있는데, 본 연구에서는 워드 임베딩을 우선 구축하고, 해당 어휘별 벡터 정보를 클러스터링하여 클래스 언어모델을 구축 방법을 제시한다. 이를 기존 어휘기반 N-gram 모델에 통합한 후, 언어모델의 성능 개선 여부를 확인한다. 클래스 언어모델의 타당성 검증을 위해 다양한 클래스 개수의 언어모델 실험과 RNN LM과의 비교 결과를 검토한 후, 모든 언어모델의 성능 개선을 보장하는 품사 부착 언어모델 생성 방법을 제안한다.

Recurrent neural network based language models (RNN LM) have shown improved results in language model researches. The RNN LMs are limited to post processing sessions, such as the N-best rescoring step of the wFST based speech recognition. However, it has considerable vocabulary problems that require large computing powers for the LM training. In this paper, we try to find the 1st pass N-gram model using word embedding, which is the simplified deep neural network. The class based language model (LM) can be a way to approach to this issue. We have built class based vocabulary through word embedding, by combining the class LM with word N-gram LM to evaluate the performance of LMs. In addition, we propose that part-of-speech (POS) tagging based LM shows an improvement of perplexity in all types of the LM tests.

키워드

과제정보

연구 과제번호 : 언어학습을 위한 자유발화형 음성대화처리 원천기술 개발

연구 과제 주관 기관 : 정보통신기술진흥센터

참고문헌

  1. Y. Bengio, R. Ducharme, P. Vincent, A neural probabilistic language model, Journal of Machine Learning Research, 3:1137-1155, 2003.
  2. T. Mikolov, A. Deoras, D. Povey, L. Burget and J. Cernocky, "Strategies for training large scale neural network language models," Automatic Speech Recognition and Understanding (ASRU), 2011.
  3. T. Mikolov, K. Chen, G. Corrado and J. Dean, "Efficient Estimation of Word Representations in Vector Space," International Conference of Learning Representations (ICLR), 2013.
  4. A. Neelakantan, J. Shankar, A. Passos and A. McCallum, "Efficient non-parametric estimation of multiple embeddings per word in vector space," Empirical Methods on Natural Language Processing (EMNLP), 2014.
  5. E. Chung and J. Park, "Word Embedding based Class Language Model," Human & Cognitive Language Technology (HCLT), 2015.
  6. S. F. Chen and J. Goodman, "An empirical study of smoothing techniques for language modeling," Technical Report TR-10-98, Computer Science Group, Harvard University, 1998.
  7. X. Rong, "word2vec Explained: Deriving Mikolov et al.'s Negative-Sampling Word-Embedding Method," arXiv:1402.3722 [cs.CL], 2014.
  8. X. Rong, "word2vec Parameter Learning Explained," arXiv:1411.2738 [cs.CL], 2016.
  9. C. Lee, J. Kim and J. Kim, "Korean Dependency Parsing using Deep Learning," Human & Cognitive Language Technology (HCLT), 2014.
  10. D. Q. Nguyen, D. D. Pham and S. B. Pham, "RDRPOSTagger: A Ripple Down Rules-based Part-Of-Speech Tagger," European Chapter of the Association for Computational Linguistics (EACL), pp. 17-20, 2014.