Smart Media Journal (스마트미디어저널)

THE KOREAN INSTITUTE OF SMART MEDIA (한국스마트미디어학회)
권호 표지
DOI QR코드

DOI QR Code

Korean Part-Of-Speech Tagging by using Head-Tail Tokenization

Head-Tail 토큰화 기법을 이용한 한국어 품사 태깅

  • 서현재 (국민대학교 컴퓨터공학과) ;
  • 김정민 (국민대학교 컴퓨터공학과) ;
  • 강승식 (국민대학교 컴퓨터공학과)
  • Received : 2022.05.13
  • Accepted : 2022.07.01
  • Published : 2022.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

Korean part-of-speech taggers decompose a compound morpheme into unit morphemes and attach part-of-speech tags. So, here is a disadvantage that part-of-speech for morphemes are over-classified in detail and complex word types are generated depending on the purpose of the taggers. When using the part-of-speech tagger for keyword extraction in deep learning based language processing, it is not required to decompose compound particles and verb-endings. In this study, the part-of-speech tagging problem is simplified by using a Head-Tail tokenization technique that divides only two types of tokens, a lexical morpheme part and a grammatical morpheme part that the problem of excessively decomposed morpheme was solved. Part-of-speech tagging was attempted with a statistical technique and a deep learning model on the Head-Tail tokenized corpus, and the accuracy of each model was evaluated. Part-of-speech tagging was implemented by TnT tagger, a statistical-based part-of-speech tagger, and Bi-LSTM tagger, a deep learning-based part-of-speech tagger. TnT tagger and Bi-LSTM tagger were trained on the Head-Tail tokenized corpus to measure the part-of-speech tagging accuracy. As a result, it showed that the Bi-LSTM tagger performs part-of-speech tagging with a high accuracy of 99.52% compared to 97.00% for the TnT tagger.

기존의 한국어 품사 태깅 방식은 복합어를 단위 형태소들로 분해하여 품사를 부착하므로 형태소 태그가 세분화되어 있어서 태거의 활용 목적에 따라 불필요하게 복잡하고 다양한 어절 유형들이 생성되는 단점이 있다. 딥러닝 언어처리에서는 키워드 추출 목적으로 품사 태거를 사용할 때 복합조사, 복합어미 등 문법 형태소들을 단위 형태소로 분할하지 않는 토큰화 방식이 효율적이다. 본 연구에서는 어절을 형태소 단위로 토큰화할 때 어휘형태소 부분과 문법형태소 부분 두 가지 유형의 토큰으로만 분할하는 Head-Tail 토큰화 기법을 사용하여 품사 태깅 문제를 단순화함으로써 어절이 과도하게 분해되는 문제점을 보완하였다. Head-Tail 토큰화된 데이터에 대해 통계적 기법과 딥러닝 모델로 품사 태깅을 시도하여 각 모델의 품사 태깅 정확도를 실험하였다. 통계 기반 품사 태거인 TnT 태거와 딥러닝 기반 품사 태거인 Bi-LSTM 태거를 사용하여 Head-Tail 토큰화된 데이터셋에 대한 품사 태깅을 수행하였다. TnT 태거와 Bi-LSTM 태거를 Head-Tail 토큰화된 데이터셋에 대해 학습하여 품사 태깅 정확도를 측정하였다. 그 결과로, TnT 태거는 97.00%인데 비해 Bi-LSTM 태거는 99.52%의 높은 정확도로 품사 태깅을 수행할 수 있음을 확인하였다.

Keywords

Acknowledgement

이 논문은 2021년 스마트미디어학회 추계학술대회 최우수논문상 수상 논문을 확장하여 작성하였음. 이 논문은 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (NRF-2021R1F1A1061433).

References

  1. 강승식, "다층 형태론과 한국어 형태소 분석 모델," 제6회 한글 및 한국어 정보처리 학술발표 논문집, 140-145쪽, 1994년 11월
  2. 이건일, "Sequence-to-sequence 기반 한국어 형태소 분석 및 품사 태깅," 정보과학회논문지, 제44권, 제1호, 57-62쪽, 2017년 01월
  3. 윤준영, 이재성, "한국어 형태소 분석 및 품사 태깅을 위한 딥 러닝 기반 2단계 파이프라인 모델," 정보과학회논문지, 제48권, 제4호, 444-452쪽, 2021년 4월
  4. 김선우, 최성필, "Bidirectional LSTM-CRF 기반의 음절 단위 한국어 품사 태깅 및 띄어쓰기 통합 모델 연구," 정보과학회논문지, 제45권, 제8호, 792-800쪽, 2018년 08월
  5. 강승식, "음절 특성을 이용한 한국어 불규칙 용언의 형태소 분석," 정보과학회논문지(B), 제22권, 제10호, 1480-1487쪽, 1995년 10월
  6. 이현영, 김정민, 강승식, "대용량 말뭉치를 이용한 한국어 Head-Tail 토큰화," 제12회 융합 스마트미디어시스템 워크샵, 25-28쪽, 2021년 7월
  7. Thorsten Brants, "TnT - A Statistical Part-of-Speech Tagger", In Sixth Applied Natural Language Processing Conference, pp. 224-231, Seattle, Washington, USA, Apr. 2000.
  8. Sepp Hochreiter, Jurgen Schmidhuber, "Long Short-Term Memory," Neural Computation, Vol. 9, pp. 1753-1780, Nov. 1997.
  9. Mike Schuster and Kuldip K. Paliwal, "Bidirectional Recurrent Neural Networks," IEEE Transactions on Signal Processing, Vol. 9, pp. 2673-2681, Nov. 1997.
  10. Zhiheng Huang, Wei X, Kai Yu, "Bidirectional LSTM-CRF Models for Sequence Tagging," arXiv preprint arXiv:1508.01991, August. 2015.
  11. Andrew Matteson, Chanhee Lee, Heuiseok Lim and Young-Bum Kim, "Rich Character-Level Information for Korean Morphological Analysis and Part-of-Speech Tagging," In Proceedings of the 27th International Conference on Computational Linguistics, pp. 2482-2492, Santa Fe, New Mexico, USA, 2018.
  12. Barbara Plank, Anders Sogaard, Yoav Goldberg, "Multilingual Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Models and Auxiliary Loss," In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 412-418, Berlin, Germany, August. 2016.
  13. Rushali Dhumal Deshmukh, Arvind Kiwelekar, "Deep Learning Techniques for Part of Speech Tagging by Natural Language Processing," 2020 2nd International Conference on Innovative Mechanisms for Industry Applications(ICIMIA), pp. 76-81, Bangalore, India, Apr. 2020.