• 제목/요약/키워드: 의존 구문 분석기

검색결과 40건 처리시간 0.021초

한국어 의존 구문 분석의 분석 단위에 관한 실험적 연구 (Empirical Research on Segmentation Method for Korean Dependency Parsing)

  • 이진우;조혜미;박수연;신효필
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.427-432
    • /
    • 2021
  • 현재 한국어 의존 구문 분석의 표준은 어절 단위로 구문 분석을 수행하는 것이다. 그러나 의존 구문 분석의 분석 단위(어절, 형태소)에 대해서는 현재까지 심도 있는 비교 연구가 진행된 바 없다. 본 연구에서는 의존 구문 분석의 분석 단위가 자연어 처리 분야의 성능에 유의미한 영향을 끼침을 실험적으로 규명한다. STEP 2000과 모두의 말뭉치를 기반으로 구축한 형태소 단위 의존 구문 분석 말뭉치를 사용하여, 의존 구문 분석기 모델 및 의존 트리를 입력으로 활용하는 문장 의미 유사도 분석(STS) 및 관계 추출(RE) 모델을 학습하였다. 그 결과, KMDP가 기존 어절 단위 구문 분석과 비교하여 의존 구문 분석기의 성능과 응용 분야(STS, RE)의 성능이 모두 유의미하게 향상됨을 확인하였다. 이로써 형태소 단위 의존 구문 분석이 한국어 문법을 표현하는 능력이 우수하며, 문법과 의미를 연결하는 인터페이스로써 높은 활용 가치가 있음을 입증한다.

  • PDF

가중치를 가지는 의존관계를 이용한 구문분석 후보의 순위화 방법 (A Method for Ranking Candidate Parse Trees using Weighted Dependency Relation)

  • 류재민;김민호;권혁철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.924-927
    • /
    • 2017
  • 통계 모형에 기반을 둔 구문분석기는 자료 부족 문제에 취약하거나 장거리 의존관계와 같은 특정 언어현상에 대한 처리가 어렵다는 단점이 있다. 이러한 한계점을 극복하고자 본 연구진은 규칙에 기반을 둔 한국어 구문분석기를 개발하고 있다. 다른 구문 분석기와 다르게 형태소 단위 구문분석을 시도하며 생성 가능한 모든 구문분석 후보를 보여주는 것이 특징이다. 본 연구진의 기존 연구에서 개발한 한국어 구문분석기는 형태소의 입력순서와 구문분석 후보의 생성 순서에 의존하여 구문분석 후보를 순서화하였다. 그러나 생성되는 구문분석 후보 중 가장 정답에 가까운 구문분석 후보의 순위를 낮추기 위해서는 각 구문분석 트리가 특정한 점수를 가질 필요가 있다. 본 논문에서는 품사 태거(tagger)에서 출력하는 어절별 형태소의 순위에 따른 가중치, 수식 거리에 따른 가중치, 특정한 지배-의존 관계에 대한 가중치를 이용해 가중치 합을 가지는 구문분석 후보를 구성하고 이를 정렬하여 이전 연구보다 향상된 성능을 가진 한국어 구문분석기 모델을 제안한다. 실험은 본 연구진이 직접 구축한 평가데이터를 기반으로 진행하였으며 기존의 Unlabeled Attachment Score(UAS) 87.86%에서 제안 모델의 UAS 93.34%로 약 5.48의 성능향상을 확인할 수 있었다.

입력 문장 특성을 이용한 의존 구조 분석기 통합 (Integrating two dependency parsers : picking the better one)

  • 이지민;정상근;이청재;이진식;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2009년도 제21회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.202-206
    • /
    • 2009
  • 의존 구조 분석의 중요성이 커지면서 의존 구문 분석에 대한 연구가 활발해 지고 있다. 이와 함께 기존의 의존 구조 분석기를 통합하려는 연구도 다양하게 시도되고 있다. 본 논문에서는 여러 개의 구문 분석 결과들로부터 새로운 구문 분석 결과를 만들어 내는 기존 연구들과는 다르게, 입력문장의 특성을 사용해서 사용할 의존 구조 분석기를 미리 선택하는 새로운 의존 구조 분석기 통합 방법을 제안한다. 본 논문에서는 기계학습과 규칙을 함께 사용하는 하이브리드 형태로 의존 구조 분석기를 선택하는 방법을 설명하고, 이 방법을 두 쌍의 의존 구조 분석기 통합에 적용하고 성능 향상이 있었음을 보인다.

  • PDF

멀티헤드 어텐션과 포인터 네트워크 기반의 음절 단위 의존 구문 분석 (Multi-head Attention and Pointer Network Based Syllables Dependency Parser)

  • 김홍진;오신혁;김담린;김보은;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.546-548
    • /
    • 2019
  • 구문 분석은 문장을 구성하는 어절들 사이의 관계를 파악하여 문장의 구조를 이해하는 기술이다. 구문 분석은 구구조 분석과 의존 구문 분석으로 나누어진다. 한국어처럼 어순이 자유로운 언어에는 의존 구문 분석이 더 적합하다. 의존 구문 분석은 문장을 구성하고 있는 어절 간의 의존 관계를 분석하는 작업으로, 각 어절의 지배소를 찾아내어 의존 관계를 분석한다. 본 논문에서는 멀티헤드 어텐션과 포인터 네트워크를 이용한 음절 단위 의존 구문 분석기를 제안하며 UAS 92.16%, LAS 89.71%의 성능을 보였다.

  • PDF

한국어 구절 구문 코퍼스의 의존 구문 구조 트리로의 변환에서 중심어 전파 규칙 (Head-Percolation Rules of Constituent-to-Dependency Conversion in Korean)

  • 최용석;이공주
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.514-519
    • /
    • 2018
  • 본 연구에서는 세종 구문 코퍼스를 의존 구문 코퍼스로 변환할 때 사용되는 중심어 전파(Head-Percolation) 규칙에 대하여 논의한다. 한국어는 중심어-후위 언어이기 때문에 의존 구문 트리를 구축할 때 지배소를 의존소 뒤에 배치시키는 것을 원칙으로 하였다. 그러나 의존 관계에 있는 단어 사이에 지배소를 앞쪽으로 설정하는 것이 더 자연스러운 경우가 있다. 본 연구에서는 지배소를 앞쪽으로 배치시키는 것을 허용하는 중심어 전파 규칙을 채택하여 의존 구문 코퍼스를 구축해 보고 중심어 전파 규칙이 구문 분석기의 성능에 어떤 영향을 미치는지 살펴본다. 실험 결과 지배소를 앞쪽으로 설정하는 것을 허용한 경우, 0.43%의 성능 저하가 있었으나 학습 코퍼스의 일관성을 유지한다면 성능 저하의 차이를 좀 더 줄일 수 있을 것이다.

  • PDF

문형 정보를 이용한 규칙 기반 한국어 의존구문분석 (Rules-based Korean Dependency Parsing using Sentence Pattern Informations.)

  • 김성태;김민호;김현아;권혁철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.139-143
    • /
    • 2019
  • 본 논문에서 제안하는 구문분석기는 품사 태거를 사용하지 않고 문장에서 나오는 모든 형태소 분석 후보에 의존관계를 부여하는 광범위 의존구문분석기이다. 중의성이 발생할 수 있는 문장에 대해 나오는 모든 후보 구문분석 트리를 출력하며 규칙을 통해 순위화를 진행한다. 또한 문형 정보 말뭉치의 적절한 사용을 위해 이전 연구의 한계점을 극복한 규칙과 알고리즘을 구현하고 문형 정보를 통해 후보 구문분석 트리의 순위화를 강화하였다. 뿐만 아니라 순위화가 어려운 [명사-관형사구] 자질에 대해 문형 정보를 사용하여 순위화를 강화하였다. 그 결과, 1순위의 구문 분석 트리에 대한 UAS(Unlabeled Attachment Score)가 0.52% 향상되었고, 후보트리에 대한 평균 정답 순위는 12.2%의 성능향상을 보였다.

  • PDF

순차적 구문 분석 방법을 반영한 포인터 네트워크 기반의 한국어 의존 구문 분석기 (Korean Dependency Parsing Using Sequential Parsing Method Based on Pointer Network)

  • 한장훈;박영준;정영훈;이인권;한정욱;박서준;김주애;서정연
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.533-536
    • /
    • 2019
  • 의존 구문 분석은 문장 구성 성분 간의 의존 관계를 분석하는 태스크로, 자연어 이해의 대표적인 과제 중 하나이다. 본 논문에서는 한국어 의존 구문 분석의 성능 향상을 위해 Deep Bi-Affine Network와 Left to Right Dependency Parser를 적용하고, 새롭게 한국어의 언어적 특징을 반영한 Right to Left Dependency Parser 모델을 제안한다. 3개의 의존 구문 분석 모델에 단어 표현을 생성하는 방법으로 ELMo, BERT 임베딩 방법을 적용하고 여러 종류의 모델을 앙상블하여 세종 의존 구문 분석 데이터에 대해 UAS 94.50, LAS 92.46 성능을 얻을 수 있었다.

  • PDF

대화 시스템의 말뭉치 구축을 위한 Object-Action 반자동 추출기 (Semi-Automatic Object-Action Extractor to Build the Utterance Corpus for the Dialogue System)

  • 윤정민;황재원;고영중
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.220-223
    • /
    • 2015
  • 본 논문은 대화 시스템에서 사용되는 말뭉치의 구축을 위해 Object와 Action을 반자동으로 추출하는 도구에 대해 기술한다. 제안하는 추출 도구는 형태소 분석과 의존 구문 분석의 결과를 기반으로 적절한 Object와 Action을 추출하는 것에 목표를 두고 있다. 그러나 형태소 분석과 의존 구문 분석의 결과는 여러 가지 오류가 포함될 수 있다. 이러한 오류는 잘못된 Object와 Action의 추출로 이어질 수 있다. 그리고 Object의 추출에 있어 해당 명사의 격이 중요한 정보를 가진다. 하지만 한국어의 특성한 조사의 생략 등으로 인해 격 태깅의 모호성이 발생하게 된다. 따라서 본 논문에서 제안하는 반자동 추출기는 형태소 분석과 의존 구문 분석의 잘못된 결과를 사용자가 손쉽게 수정할 수 있도록 하고 모호성이 발생할 수 있는 Object를 사용자에게 알려주어 올바른 Object와 Action의 추출을 가능하게 한다. 추출기를 이용한 말뭉치의 구축은 1) 형태소 분석 2) 의존 구문 분석 3) Object-Action 추출의 단계로 진행된다. 실험에서 사용된 발화는 관광 회화용 대화 시스템의 숙박, 공항 영역의 500개의 발화이며, 이 중 259개의 발화가 태깅 시 모호성이 발생하는 발화이다. 반자동 추출기를 통해 모호성이 발생한 발화를 태깅한 결과 전체 발화 중 51.8%의 발화를 빠르고 정확하게 태깅할 수 있었다.

  • PDF

스택-포인터 네트워크와 부분 트리 정보를 이용한 한국어 의존 구문 분석 (Korean Dependency Parsing Using Stack-Pointer Networks and Subtree Information)

  • 최용석;이공주
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권6호
    • /
    • pp.235-242
    • /
    • 2021
  • 본 연구에서는 포인터 네트워크 모델을 의존 구문 분석에 맞게 확장한 스택-포인터 네트워크 모델을 이용하여 한국어 의존 구문 분석기를 구현한다. 스택-포인터 네트워크 모델 기반 의존 구문 분석기는 인코더-디코더로 구성되어 있으며 다른 의존 구문 분석기와 달리 내부 스택을 갖고 있어 루트부터 시작하는 하향식 구문 분석이 가능하다. 디코더의 각 단계에서는 의존소를 찾기 위해 부모 노드뿐만 아니라 이미 파생된 트리 구조에서 조부모와 형제 노드를 참조할 수 있다. 기존 연구에서는 단순하게 해당 노드들의 합을 계산하여 입력으로 사용하였고, 형제 노드의 경우에는 가장 최근에 방문했던 것만을 사용할 수 있었다. 본 연구에서는 그래프 어텐션 네트워크를 도입하여 이미 파생된 부분 트리를 표현하고 이를 스택-포인터 네트워크의 입력으로 사용하도록 구문 분석기를 수정한다. 세종 코퍼스와 모두의 코퍼스를 대상을 실험한 결과 레이어 2의 그래프 어텐션 네트워크를 이용하여 부분 트리를 표현했을 때 특히 문장 단위의 구문 분석 정확도에서 많은 성능 향상을 확인할 수 있었다.

의존 구문 분석에 손실 함수가 미치는 영향: 한국어 Left-To-Right Parser를 중심으로 (Effects of the Loss Function for Korean Left-To-Right Dependency Parser)

  • 이진우;최맹식;이충희;이연수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.93-97
    • /
    • 2020
  • 본 연구는 딥 러닝 기반 의존 구문 분석에서, 학습에 적용하는 손실 함수에 따른 성능을 평가하였다. Pointer Network를 이용한 Left-To-Right 모델을 총 세 가지의 손실 함수(Maximize Golden Probability, Cross Entropy, Local Hinge)를 이용하여 학습시켰다. 그 결과 LH 손실 함수로 학습한 모델이 선행 연구와 같이 MGP 손실 함수로 학습한 것에 비해 UAS/LAS가 각각 0.86%p/0.87%p 상승하였으며, 특히 의존 거리가 먼 경우에 대하여 분석 성능이 크게 향상됨을 확인하였다. 딥러닝 의존 구문 분석기를 구현할 때 학습모델과 입력 표상뿐만 아니라 손실 함수 역시 중요하게 고려되어야 함을 보였다.

  • PDF