Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

A Study on Named Entity Recognition for Effective Dialogue Information Prediction

효율적 대화 정보 예측을 위한 개체명 인식 연구

  • Go, Myunghyun (Department of Digital Contents, Sejong University) ;
  • Kim, Hakdong (Department of Digital Contents, Sejong University) ;
  • Lim, Heonyeong (Department of Digital Contents, Sejong University) ;
  • Lee, Yurim (Department of Artificial Intelligence and Linguistic Engineering, Sejong University) ;
  • Jee, Minkyu (Department of Software Convergence, Sejong University) ;
  • Kim, Wonil (Department of Software, Sejong University)
  • 고명현 (세종대학교 디지털콘텐츠학과) ;
  • 김학동 (세종대학교 디지털콘텐츠학과) ;
  • 임헌영 (세종대학교 디지털콘텐츠학과) ;
  • 이유림 (세종대학교 인공지능언어공학과) ;
  • 지민규 (세종대학교 소프트웨어융합학과) ;
  • 김원일 (세종대학교 소프트웨어학과)
  • Received : 2018.11.15
  • Accepted : 2018.12.31
  • Published : 2019.01.30
Download PDF
⟨ Previous Next ⟩

Abstract

Recognition of named entity such as proper nouns in conversation sentences is the most fundamental and important field of study for efficient conversational information prediction. The most important part of a task-oriented dialogue system is to recognize what attributes an object in a conversation has. The named entity recognition model carries out recognition of the named entity through the preprocessing, word embedding, and prediction steps for the dialogue sentence. This study aims at using user - defined dictionary in preprocessing stage and finding optimal parameters at word embedding stage for efficient dialogue information prediction. In order to test the designed object name recognition model, we selected the field of daily chemical products and constructed the named entity recognition model that can be applied in the task-oriented dialogue system in the related domain.

대화 문장 내 고유명사와 같은 개체명에 대한 인식 연구는 효율적 대화 정보 예측을 위한 가장 기본적이며 중요한 연구 분야이다. 목적 지향 대화 시스템에서 가장 주요한 부분은 대화 내 객체가 어떤 속성을 가지고 있느냐 하는 것을 인지하는 것이다. 개체명 인식모델은 대화 문장에 대하여 전처리, 단어 임베딩, 예측 단계를 통해 개체명 인식을 진행한다. 본 연구는 효율적인 대화 정보 예측을 위해 전처리 단계에서 사용자 정의 사전을 이용하고 단어 임베딩 단계에서 최적의 파라미터를 발견하는 것을 목표로 한다. 그리고 설계한 개체명 인식 모델을 실험하기 위해 생활 화학제품 분야를 선택하고 관련 도메인 내 목적 지향 대화 시스템에서 적용 할 수 있는 개체명 인식 모델을 구축하였다.

Keywords

BSGHC3_2019_v24n1_58_f0001.png 이미지

그림 1. Bi-LSTM 모델 개요 Fig. 1. Introduction of Bi-LSTM Model

BSGHC3_2019_v24n1_58_f0002.png 이미지

그림 2. 문자 단위 합성 곱 신경망(Char-CNN) Fig. 2. Character Level Convolutional Neural Network

BSGHC3_2019_v24n1_58_f0003.png 이미지

그림 3. Bi-LSTM 인공 신경망 모델 Fig. 3. Bi-LSTM Neural Network Model

BSGHC3_2019_v24n1_58_f0004.png 이미지

그림 4. 개체명 인식 모델 구조도 Fig. 4. Named Entity Recognition Model Architecture

표 1. TTA 표준 태그 세트와 제안 태그 세트 비교 Table 1. Comparison Between TTA Standard and Proposal Tag Set

BSGHC3_2019_v24n1_58_t0001.png 이미지

표 2. 제안 모델 실험 결과(정확도/F1점수) Table 2. Proposed Model Experiment Result(Accuracy/F1 score)

BSGHC3_2019_v24n1_58_t0002.png 이미지

표 3. 실험 결과 요약(사용자 사전-임베딩 모델) Table 3. Summary of Experiment Result(user dictionary - embedding model)

BSGHC3_2019_v24n1_58_t0003.png 이미지

표 4. 실험 결과 요약(임베딩 모델-필터 모양) Table 4. Summary of Experiment Result(embedding model - filter shape)

BSGHC3_2019_v24n1_58_t0004.png 이미지

References

  1. J. Huang, O. Kwon, K. Lee and Y. Kim, "A Chatter Bot for a Task-Oriented Dialogue System", KIPS Transactions on Software and Data Engineering, Vol.6, No.11 pp.499-506, Nov 2017 https://doi.org/10.3745/KTSDE.2017.6.11.499
  2. D. Nadeau and S. Sekine, "A survey of named entity recognition and classification", Lingvisticae Investigationes, Vol.30, No.1, pp.3-26, Jan 2007 https://doi.org/10.1075/li.30.1.03nad
  3. S. Na and J. Min, "Character-Based LSTM CRFs for Named Entity Recognition", Proceedings of KISS Korea Computer Congress, pp.729-731, Jun 2016
  4. S. Nam, Y. Hahm and K. Choi, "Application of Word Vector with Korean Specific Feature to Bi-LSTM model for Named Entity Recognition", Human & Cognitive Language Technology(HCLT 2017), Oct 2017
  5. S. Hochreiter and J. Schmidhuber, "LONG SHORT-TERM MEMORY", Neural Computation Archive, Vol.9, No.8, pp.1735-1780 , Nov 1997 https://doi.org/10.1162/neco.1997.9.8.1735
  6. JL. Elman, "Finding Structure in Time", Cognitive Science , Vol.14, No.2, pp.179-211, Mar 1990 https://doi.org/10.1207/s15516709cog1402_1
  7. G. Lample, M. Ballesteros, S. Subramanian, K. Kawakami and C. Dyer, "Neural Architectures for Named Entity Recognition", Proceedings of NAACL-HLT 2016, pp.260-270, Jun 2016
  8. X. Ma and E. Hovy, "End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF", arXiv preprint arXiv:1603.01354, 2016
  9. TTA, "Tag Set and Tagged Corpus for Named Entity Recognition", TTAK.KO-10.0852, 2015
  10. T. Mikolov, I. Sutskever, K. Chen, GS. Corrado, and J. Dean, "Distributed Representations of Words and Phrases and their Compositionality", In Advances in Neural Information Processing Systems, pp.3111-3119, 2013
  11. J. Pennington, R. Socher, and C. Manning, "GloVe: Global Vectors for Word Representation", In Proceedings of EMNLP-2014, pp.1532-1543, Oct 2014
  12. X. Zhang, J. Zhao and Y. LeCun, "Character-level Convolutional Networks for Text Classification", Advances in Neural Information Processing Systems 28 (NIPS 2015), Vol.1, pp.649-657, 2015
  13. C. Sutton and A. McCallum, "An Introduction to Conditional Random Fields for Relational Learning", Foundations and Trends(R) in Machine Learning, Vol.2, 2006
  14. E. Park and S. Cho, "KoNLPy: Korean natural language processing in Python", The 26th Annual Conference on Human & Cognitive Language Technology, pp.133-136, Oct 2014
  15. Gensim Topic Modelling for Humans, https://radimrehurek.com/gensim (accessed Jul. 1, 2018).
  16. GloVe: Global Vectors for Word Representation, https://nlp.stanford.edu/projects/glove/ (accessed Jun. 1, 2018).
  17. Tensorflow, https://www.tensorflow.org (accessed Jun. 1, 2018).