Modification Distance Model using Headible Path Contexts for Korean Dependency Parsing

지배가능 경로 문맥을 이용한 의존 구문 분석의 수식 거리 모델

  • Published : 2007.02.15

Abstract

This paper presents a statistical model for Korean dependency-based parsing. Although Korean is one of free word order languages, it has the feature of which some word order is preferred to local contexts. Earlier works proposed parsing models using modification lengths due to this property. Our model uses headible path contexts for modification length probabilities. Using a headible path of a dependent it is effective for long distance relation because the large surface context for a dependent are abbreviated as its headible path. By combined with lexical bigram dependency, our probabilistic model achieves 86.9% accuracy in eojoel analysis for KAIST corpus, more improvement especially for long distance dependencies.

본 논문에서는 한국어 의존 구문 분석을 위한 새로운 확률 모델을 제안한다. 한국어가 자유 어순 언어라 할지라도 지역적 어순은 존재하기 때문에 의존관계를 결정하기 위해 의존하는 두 어절인 의존소와 지배소 사이의 수식 거리가 유용하다는 것은 이미 많은 연구를 통해 밝혀졌다. 본 연구에서는 수식거리의 정확한 수식 거리의 추정을 위해 지배가능 경로 문맥을 이용한 수식 거리 확률 모델을 제안한다. 수식 거리를 위해 지배가능 경로를 고려함으로써, 긴 표층 문맥을 압축하는 효과를 가져다 준다. 이를 통해 구문 분석 정확률 향상과 원거리 의존 관계 향상을 보임을 설명한다. 실험 및 평가를 통해 제안하는 모델의 구문 분석 성능은 86.9%이며, 기존에 제안된 구문 분석 모델과 비교하여 높은 구문 분석 결과를 보이며, 특히 원거리 의존관계에 대하여 더욱 향상된 성능을 보인다.

Keywords

References

  1. M. Covington, 'A dependency parser for variableword-order languages,' Research Report AI-1990-01, University of Georgia, 1990
  2. 윤준태, '공기 관계 기반 어휘 연관도를 이용한 한국어 구문 분석', 연세대학교 박사학위 논문, 1997
  3. 김학수, 서정연, '어휘 의존 정보에 기반한 한국어 통계적 구문분석기', 97년도 정보과학회 인공지능 연구회 춘계 발표 논문집, pp. 74-90, 1997
  4. 김형근, '확률 의존 문법을 이용한 한국어 분석,' KAIST 석사학위 논문, 1994
  5. M.Collins, 'A new statistical parser based on bigram lexical dependencies,' In Proceedings of the 34th Annual Meeting of the Association for Computational Linguistics, 1996
  6. H.Chung, 'Statistical Korean Dependency Parsing Model based on Surface Contextual Information,' 고려대학교 박사학위 논문, 2004
  7. C.Kim, et al. 'A Right-to-Left Chart Parser for Dependency Grammar using Headible Paths,' Proceeding of the 1994 International Conference on Computer Processing of Oriental Language, 1994
  8. K.Seo, et al. 'A Probabilistic model of the dependency parse for the variable-word-order language by using ascending dependency,' Computer Processing of Oriental Languages, pp. 309-322, 1999
  9. 류법모 외 2인, '한국어 파서에서의 지역 의존관계의 이용', 제 8회 한글 및 한국어 정보처리 학술대회, pp. 464-468, 1996
  10. 장두성, 최기선, '내부 및 외부 확률을 이용한 의존문법의 비통제 학습', 제 12회 한글 및 한국어 정보처리학술회의 논문집, 2000
  11. 이공주, '언어특성에 기반한 한국어의 확률적 구문 분석', KAIST 박사학위 논문, 1998
  12. 최기선, 'KAIST 언어자원 v.2001', 2001
  13. S.Sekine,et al. 'Backward beam search algorithm for dependency analysis of Japanese,' In Proceedings of the 18th International Conference on Computational Linguistics, pp. 745-760, 2000