KIISE Transactions on Computing Practices (정보과학회 컴퓨팅의 실제 논문지)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지
DOI QR코드

DOI QR Code

A Word Embedding used Word Sense and Feature Mirror Model

단어 의미와 자질 거울 모델을 이용한 단어 임베딩

  • 이주상 (울산대학교 전기전자컴퓨터공학과) ;
  • 신준철 (울산대학교 IT융합전공) ;
  • 옥철영 (울산대학교 IT융합전공)
  • Received : 2016.09.21
  • Accepted : 2016.12.27
  • Published : 2017.04.15
⟨ Previous Next ⟩

Abstract

Word representation, an important area in natural language processing(NLP) used machine learning, is a method that represents a word not by text but by distinguishable symbol. Existing word embedding employed a large number of corpora to ensure that words are positioned nearby within text. However corpus-based word embedding needs several corpora because of the frequency of word occurrence and increased number of words. In this paper word embedding is done using dictionary definitions and semantic relationship information(hypernyms and antonyms). Words are trained using the feature mirror model(FMM), a modified Skip-Gram(Word2Vec). Sense similar words have similar vector. Furthermore, it was possible to distinguish vectors of antonym words.

단어 표현은 기계학습을 사용하는 자연어 처리 분야에서 중요하다. 단어 표현은 단어를 텍스트가 아닌 컴퓨터가 분별할 수 있는 심볼로 표현하는 방법이다. 기존 단어 임베딩은 대량의 말뭉치를 이용하여 문장에서 학습할 단어의 주변 단어를 이용하여 학습한다. 하지만 말뭉치 기반의 단어 임베딩은 단어의 등장 빈도수나 학습할 단어의 수를 늘리기 위해서는 많은 양의 말뭉치를 필요로 한다. 본 논문에서는 말뭉치 기반이 아닌 단어의 뜻풀이와 단어의 의미 관계(상위어, 반의어)를 이용하며 기존 Word2Vec의 Skip-Gram을 변형한 자질거울모델을 사용하여 단어를 벡터로 표현하는 방법을 제시한다. 기존 Word2Vec에 비해 적은 데이터로 많은 단어들을 벡터로 표현 가능하였으며 의미적으로 유사한 단어들이 비슷한 벡터를 형성하는 것을 확인할 수 있다. 그리고 반의어 관계에 있는 두 단어의 벡터가 구분되는 것을 확인할 수 있다.

Keywords

Acknowledgement

Grant : Symbolic Approach 기반 인간모사형 자가 학습 지능 원천 기술 개발

Supported by : 정보통신기술진흥센터

References

  1. Bengio, Y., Ducharme, R., Vincent, P., &Jauvin, C. A neural probabilistic language model, journal of machine learning research, 3(Feb), 1137-1155, 2003.
  2. Mikolov, T., Karafiat, M., Burget, L., Cernocky, J., & Khudanpur, S. Recurrent neural network based language model, Interspeech, Vol. 2, p. 3, Sep. 2010.
  3. Pennington, J., Socher, R., &Manning, C. D. Glove: Global Vectors for Word Representation, EMNLP, Vol. 14, pp. 1532-43). 2014.
  4. Levy, O., Goldberg, Y. Dependency-Based Word Embeddings, ACL (2), pp. 302-308, 2014.
  5. Mikolov, T., Chen, K., Corrado, G., & Dean, J. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.
  6. Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., & Dean, J. Distributed representations of words and phrases and their compositionality, Advances in neural information processing systems, pp. 3111-3119, 2013.
  7. Young-Jun Bae., CheolYoung Ock. Introduction to the Korean Word Map(UWordMap) and API, Proc. of the 26th Annual Conference on Human and Cognitive Language Technology, pp. 27-31, 2014.