• Title/Summary/Keyword: Korean parsing

Search Result 326, Processing Time 0.021 seconds

A Transition based Joint Model for Korean POS Tagging & Dependency Parsing using Deep Learning (딥러닝을 이용한 전이 기반 한국어 품사 태깅 & 의존 파싱 통합 모델)

  • Min, Jin-Woo;Na, Seung-Hoon;Sin, Jong-Hoon
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.97-102
    • /
    • 2017
  • 형태소 분석과 의존 파싱은 자연어 처리 분야에서 핵심적인 역할을 수행하고 있다. 이러한 핵심적인 역할을 수행하는 형태소 분석과 의존 파싱에 대해 일괄적으로 학습하는 통합 모델에 대한 필요성이 대두 되었고 이에 대한 많은 연구들이 수행되었다. 기존의 형태소 분석 & 의존 파싱 통합 모델은 먼저 형태소 분석 및 품사 태깅에 대한 학습을 수행한 후 이어서 의존 파싱 모델을 학습하는 파이프라인 방식으로 진행되었다. 이러한 방식의 학습을 두 번 연이어 진행하기 때문에 시간이 오래 걸리고 또한 형태소 분석과 파싱이 서로 영향을 주지 못하는 단점이 존재하였다. 본 논문에서는 의존 파싱에서 형태소 분석에 대한 전이 액션을 포함하도록 전이 액션을 확장하여 한국어 형태소 분석 & 의존파싱에 대한 통합모델을 제안하였고 성능 측정 결과 세종 형태소 분석 데이터 셋에서 F1 97.63%, SPMRL '14 한국어 의존 파싱 데이터 셋에서 UAS 90.48%, LAS 88.87%의 성능을 보여주어 기존의 의존 파싱 성능을 더욱 향상시켰다.

  • PDF

Korean Dependency Parsing with Multi-layer Pointer Networks (멀티 레이어 포인터 네트워크를 이용한 한국어 의존 구문 분석)

  • Park, Cheoneum;Hwang, Hyunsun;Lee, Changki;Kim, Hyunki
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.92-96
    • /
    • 2017
  • 딥 러닝 모델은 여러 히든 레이어로 구성되며, 히든 레이어의 깊이가 깊어질수록 레이어의 벡터는 높은 수준으로 추상화된다. 본 논문에서는 Encoder RNN의 레이어를 여러 층 쌓은 멀티 레이어 포인터 네트워크를 제안하고, 멀티 태스크 학습 기반인 멀티 레이어 포인터 네트워크를 이용한 한국어 의존 구문 분석 모델을 제안한다. 멀티 태스크 학습 모델은 어절 간의 의존 관계와 의존 레이블 정보를 동시에 구하여 의존 구문 분석을 수행한다. 실험 결과, 본 논문에서 제안한 모델이 기존 한국어 의존 구문 분석 연구들 보다 좋은 UAS 92.16%, LAS 89.88%의 성능을 보였다.

  • PDF

Korean Dependency Parsing using Dynamic Oracle (동적 오라클을 이용한 한국어 의존 구문분석)

  • Lee, Gyoung Ho;Lee, Kong Joo
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.87-91
    • /
    • 2017
  • 구문분석은 자연언어처리의 오랜 관심 분야로 다양한 접근방법과 알고리즘이 시도되어 계속 발전하고 있다. 하지만 기존의 접근방법은, 학습단계에서는 정답으로부터 추출된 이전 정보를 사용하고 평가 단계에서는 예측으로 이루어진 정보를 활용한다는 근본적인 차이가 있다. 이러한 차이를 극복하기 위한 다양한 시도가 있었고 그 중 동적 오라클 기법이 합리적인 시간 증가와 성능향상을 보였다. 본 연구에서는 이러한 동적 오라클 기법을 한국어 구문분석에 적용하였다. 동적 오라클 기법을 한국어에 적용할 때 고려해야하는 부분에 대해 탐구하고 실험을 통해 동적 오라클 기법을 한국어 구문분석에 적용하여 결과를 살펴보았다.

  • PDF

Korean Dependency Parsing Using Statistical/Semantic Information (통계/의미 정보를 이용한 한국어 의존 파싱)

  • Jang, Myung-Gil;Ryu, Pum-Mo;Park, Jae-Deuk;Park, Dong-In;Myaeng, Sung-Hyun
    • Annual Conference on Human and Language Technology
    • /
    • 1997.10a
    • /
    • pp.313-319
    • /
    • 1997
  • 한국어 의존 파싱에서는 불필요한 의존관계의 과다한 생성과 이에 따른 다수의 구문분석 결과 생성에 대처하는 연구가 필요하다. 본 논문에서는 한국어 의존 파싱 과정에서 생기는 불 필요한 의존관계에 따른 다수의 후보 의존 트리들에 대하여 통계/의미 정보를 활용하여 최적 트리를 결정하는 구문 분석 방법을 제안한다. 본 논문의 구문 분석에서 사용하는 통계/의미 정보는 구문구조부착 말뭉치(Tree Tagged Corpus)를 이용하여 구축한 술어 하위범주화 정보 사전에서 얻었으며, 이러한 정보를 활용한 구문 분석은 한국어 구문 분석의 모호성 해소에 적용되어 한국어 구문 분석의 정확도를 높인다.

  • PDF

Probabilistic Parsing of Korean Sentences Based on Lexical Co-occurrence and Syntactic Rules (중심어간의 공기 정보와 구문 규칙을 기반으로 한 확률적 한국어 구문 분석)

  • Lee, Kong-Joo;Kim, Jae-Hoon;Kim, Gil-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 1997.10a
    • /
    • pp.332-338
    • /
    • 1997
  • 어휘 정보는 구문 구조의 중의성을 해결하는데 중요한 정보원으로서 작용할 수 있다. 본 논문에서는 입력 문장에 대한 구조적 중의성을 해결하는데 확률 구문 규칙뿐만 아니라, 어휘간에 발생할 수 있는 공기 정보를 사용할 수 있는 확률 모델을 제안한다. 제안된 확률 모델에 대하여 실험 데이타에 대해 평가한 결과 약 84%정도의 구문 분석 정확도를 얻을 수 있었다.

  • PDF

Unification based Chart Parsing for Korean (Chart와 단일화를 이용한 한국어 분석 기법)

  • Kwon, Hyuk-Chul;Chae, Young-Soog;Yun, Ae-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 1989.10a
    • /
    • pp.15-20
    • /
    • 1989
  • 이 논문은 상대적으로 어순이 자유로운 언어인 한국어의 특성을 반영하면서, 모든 가능한 문장 구조를 분석할 수 있는 한국어 분석 방법을 제시한다. 특히 구절 구조에 의한 통사 표현 기능을 하위 범주화와 단일화에 의해 보완하는 기법을 이용하면서, bottom-up과 left-right에 의해 분석이 가능한 단일 과정 (one-path) 분석 기법을 이용하는 것이 본 논문의 특징이다. 그리고 하위 범주화와 서술어의 어미가 가진 양상 정보에 의존하여 한국어의 내포문 처리가 이루어져야함을 보여준다.

  • PDF

Biological signal processing using syntactic pattern recognition (SYNTACTIC 패턴인식에 의한 생체신호처리)

  • Kim, Yong-Man;Kim, Jung-Hun;Jeong, Hee-Kyo;Lee, Myoung-Ho
    • Proceedings of the KIEE Conference
    • /
    • 1987.07b
    • /
    • pp.1284-1287
    • /
    • 1987
  • A method of quantitative electrocardiogram analysis, based on concepts drawn from syntactic pattern recognition theories, is described. The algorithm can be used for removing the Interference noises and base line drift as a filter function, and for reducing the number of points representing the digitized ECG waveform. The Parsing is performed with simple finite state automata inferred by experiments and suitable to be updated during experiment execution. Two parameters are utilized for defining the noise and these make the algorithm flexible. The examples for testing the algorithm is real ECG waveforms with noise. Some experimental results lire presented.

  • PDF

An Efficient Concept-based Spoken Language Parsing for Korean using Mutual Information between Concepts (개념간 상호 정보를 이용한 효율적인 개념기반 한국어 대화체 파싱)

  • Noh, Seo-Young;Jung, Chun-Young;Seo, Young-Hoon
    • Annual Conference on Human and Language Technology
    • /
    • 1998.10c
    • /
    • pp.365-369
    • /
    • 1998
  • 개념기반 한국어 대화체 분석 시스템에서 어려운 점으로 대두될 수 있는 것 중의 하나가 대화체 파싱에서 과다한 탐색공간의 생성이다. 과다한 탐색공간의 생성은 대화체 발화문으로부터 불필요한 탐색공간을 제거하는 메커니즘의 결여 때문이다. 따라서 본 논문에서는 이러한 문제점을 해결하고자 개념에 기반 되어서 작성된 문법을 통해서 얻어진 동사정보를 구성하여 단일 최상위 레벨 개념들로 분리하고 이를 가장 최소 개수의 최상위 레벨 개념으로 제한해서 제한된 개념으로 대화체 토큰열을 전사시키는 방법을 제시하였다. 그 결과 기존 탐색공간의 40%정도의 탐색공간을 제약할 수 있었다.

  • PDF

Transition-Based Korean Dependency Parsing using Bidirectional LSTM (Bidirectional LSTM을 이용한 전이기반 한국어 의존 구문분석)

  • Ha, Tae-Bin;Lee, Tae-Hyeon;Seo, Young-Hoon
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.527-529
    • /
    • 2018
  • 초기 자연언어처리에 FNN(Feedforward Neural Network)을 적용한 연구들에 비해 LSTM(Long Short-Term Memory)은 현재 시점의 정보뿐만 아니라 이전 시점의 정보를 담고 있어 문장을 이루는 어절들, 어절을 이루는 형태소 등 순차적인(sequential) 데이터를 처리하는데 좋은 성능을 보인다. 본 논문에서는 스택과 버퍼에 있는 어절을 양방향 LSTM encoding을 이용한 representation으로 표현하여 전이기반 의존구문분석에 적용하여 현재 UAS 89.4%의 정확도를 보였고, 자질 추가 및 정제작업을 통해 성능이 개선될 것으로 보인다.

  • PDF

Korean Dependency Parsing using Multi-head Attention and Pointer Network (멀티헤드 어텐션과 포인터 네트워크를 이용한 한국어 의존 구문 분석)

  • Park, Seongsik;Oh, Shinhyeok;Kim, Hongjin;Kim, Harksoo
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.682-684
    • /
    • 2018
  • 구문 분석은 문장을 구성하는 단어들 간의 관계를 알아내 문장의 구조를 분석하는 작업이다. 구문 분석은 구구조 분석과 의존 구문 분석으로 나누어지는데 한국어처럼 어순이 자유로운 언어는 의존 구문 분석이 적합하다. 최근 구문 분석은 심층 신경망을 적용한 방식이 중점적으로 연구되고 있으며, 포인터 네트워크를 사용하는 모델이 가장 좋은 성능을 보였다. 그러나 포인터 네트워크만으로 구문적인 정보를 학습하기에는 한계가 있다. 본 논문에서는 멀티헤드 어텐션을 함께 사용하여 포인터 네트워크만을 사용 했을 때보다 높은 성능(UAS 92.85%, LAS 90.65%)을 보였다.

  • PDF