Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))

Human and Language Technology (한국정보과학회 언어공학연구회)
권호 표지

Korean Dependency Parsing Using ELMo and Multi-head Attention

ELMo와 멀티헤드 어텐션을 이용한 한국어 의존 구문 분석

  • Park, Seongsik (Kangwon National University Computer and Communication Engineering) ;
  • Oh, Shinhyeok (Kangwon National University Computer and Communication Engineering) ;
  • Kim, Hongjin (Kangwon National University Computer and Communication Engineering) ;
  • Kim, Sihyung (Kangwon National University Computer and Communication Engineering) ;
  • Kim, Harksoo (Kangwon National University Computer and Communication Engineering)
  • 박성식 (강원대학교 컴퓨터정보통신공학과) ;
  • 오신혁 (강원대학교 컴퓨터정보통신공학과) ;
  • 김홍진 (강원대학교 컴퓨터정보통신공학과) ;
  • 김시형 (강원대학교 컴퓨터정보통신공학과) ;
  • 김학수 (강원대학교 컴퓨터정보통신공학과)
  • Published : 2018.10.12
Download PDF
⟨ Previous Next ⟩

Abstract

구문 분석이란 문장을 단어, 어절, 구 등의 구성 성분으로 분해하고 각각의 구조적 정보를 분석하여 문장의 구조를 알아내는 작업을 말한다. 최근 의존 구문 분석은 심층 신경망을 이용하는 방법이 활발히 연구되고 있다. 특히 포인터 네트워크를 사용하는 방법은 다른 심층 신경망보다 높은 성능을 보이고 있다. 그러나 포인터 네트워크의 사용만으로 의존 관계와 의존 관계명을 예측하는 것은 한계가 존재한다. 본 논문에서는 최근 사용하는 단어 표상 방법 별로 비교 실험을 진행하고 의존 구문 분석에서 GloVe의 성능이 가장 좋음을 보인다. 또한 언어 모델을 통한 단어 표상 방법인 ELMo와 멀티헤드 어텐션을 사용하여 포인터 네트워크만을 사용 했을 때보다 높은 성능(UAS 92.85%, LAS 90.65%)을 보였다.

Keywords