• 제목/요약/키워드: 의존파싱

검색결과 44건 처리시간 0.021초

지배소 후위 제약을 적용한 트랜지션 시스템 기반 한국어 의존 파싱 모델 (Korean Dependency Parsing Model based on Transition System using Head Final Constraint)

  • 임준호;윤여찬;배용진;임수종;김현기;이규철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.81-86
    • /
    • 2014
  • 한국어 의존 파싱은 문장 내 단어의 지배소를 찾음으로써 문장의 구조적 중의성을 해소하는 작업이다. 지배소 후위 원칙은 단어의 지배소는 자기 자신보다 뒤에 위치한다는 원리로, 한국어 구문분석을 위하여 널리 사용되는 원리이다. 본 연구에서는 한국어 지배소 후위 원리를 의존 파싱을 위한 트랜지션 시스템의 제약 조건으로 적용하여 2가지 트랜지션 시스템을 제안한다. 제안 모델은 기존 트랜지션 시스템 중 널리 사용되는 arc-standard와 arc-eager 알고리즘에 지배소 후위 제약을 적용한 포워드(forward) 기반 트랜지션 시스템과, 트랜지션 시스템의 단점인 에러 전파(error propagation)를 완화시키기 위하여 arc-eager 알고리즘의 lazy-reduce 방식을 적용한 백워드(backward) 기반 트랜지션 시스템이다. 실험은 세종 구구조 말뭉치를 의존구조로 변환하여 실험하였고, 실험 결과 백워드 기반 트랜지션 시스템이 포워드 방식보다 우수한 성능을 보였다. 기존 연구와의 비교를 위하여 기존 연구를 조사하였지만 세부 실험 환경이 서로 달라서 직접적인 비교는 어려웠다. 제안하는 시스템의 최고 성능은 UAS 92.85%, LAS 90.82% 이다.

  • PDF

통계/의미 정보를 이용한 한국어 의존 파싱 (Korean Dependency Parsing Using Statistical/Semantic Information)

  • 장명길;류법모;박재득;박동인;맹성현
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.313-319
    • /
    • 1997
  • 한국어 의존 파싱에서는 불필요한 의존관계의 과다한 생성과 이에 따른 다수의 구문분석 결과 생성에 대처하는 연구가 필요하다. 본 논문에서는 한국어 의존 파싱 과정에서 생기는 불 필요한 의존관계에 따른 다수의 후보 의존 트리들에 대하여 통계/의미 정보를 활용하여 최적 트리를 결정하는 구문 분석 방법을 제안한다. 본 논문의 구문 분석에서 사용하는 통계/의미 정보는 구문구조부착 말뭉치(Tree Tagged Corpus)를 이용하여 구축한 술어 하위범주화 정보 사전에서 얻었으며, 이러한 정보를 활용한 구문 분석은 한국어 구문 분석의 모호성 해소에 적용되어 한국어 구문 분석의 정확도를 높인다.

  • PDF

Bidirectional Stack Pointer Network를 이용한 한국어 의존 파싱 (Bidirectional Stack Pointer Network for Korean Dependency Parsing)

  • 홍승연;나승훈;신종훈;김영길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.19-22
    • /
    • 2018
  • 본 논문에서는 기존 Stack Pointer Network의 의존 파싱 모델을 확장한 Bi-Stack Pointer Network를 제안한다. Stack Pointer Network는 기존의 Pointer Network에 내부 stack을 만들어 전체 문장을 읽어 dependency tree를 구성한다. stack은 tree의 깊이 우선 탐색을 통해 선정되고 Pointer Network는 stack의 top 단어(head)의 자식(child)을 선택한다. 제안한 모델은 기존의 Stack Pointer Network가 지배소(head)정보로 의존소(child)를 예측하는 부분에 Biaffine attention을 통해 의존소(child)에서 지배소(head)를 예측하는 방향을 추가하여 양방향 예측이 가능하게 한 모델이다. 실험 결과, 제안 Bi-Stack Pointer Network모델은 UAS 91.53%, LAS 90.93%의 성능을 보여주어 기존 최고 성능을 개선시켰다.

  • PDF

Easy-First Deep Biaffine Attention을 이용한 한국어 의존 파싱 (Easy-First Deep Biaffine Attention for Korean Dependency Parsing)

  • 홍승연;나승훈;신종훈;김영길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.30-33
    • /
    • 2019
  • 기존의 그래프 기반 파서는 문장의 가능한 모든 트리를 찾고 가장 높은 점수를 갖는 트리를 취하는 방식이다. 하지만 점수를 계산하는데 있어서 노드 정보만을 사용하기 때문에 트리 구조의 특성을 반영하지 못하는 단점이 있다. 이를 위해 본 논문에서는 사전 학습된 모델에서 단어 간의 점수를 얻어 높은 점수를 가지는 단어를 미리 결정하고 결정된 의존성을 통해 부분 트리 만든다. 만들어진 부분 트리 정보를 사용하여 트리 구조의 특성을 반영할 수 있도록 하였다.

  • PDF

확률적 차트 파싱에 기반 한 한국어 의존 구조 분석기 (Korean Dependency Structure Analyzer based on Probabilistic Chart Parsing)

  • 은지현;정민우;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2005년도 제17회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.105-111
    • /
    • 2005
  • 정형적인 프로그래밍 언어에서는 언어를 기계적으로 해석하기 위해 입력의 구조적인 형태를 구축하는 파싱이 필수적인 과정으로 여겨진다. 기계에 기반 해서 개발된 프로그래밍 언어와 달리, 인간의 자유로운 의사소통을 위해 형성된 자연어는 특유의 다양성으로 인해 어휘, 구문, 의미 분석이 매우 어렵다. 반대로 자연어 구조 분석이 성공적으로 이루어지면 응용 시스템의 성능 향상에 상당한 기여를 할 것이라고 여겨지고, 이로 인해 끊임없이 자연어 처리, 특히 구문 분석에 많은 연구가 이루어지고 있다. 본 논문에서는 파싱에 사용되는 문법 전체를 말뭉치로부터 자동 구축하여 영역별 이식성 및 문법의 효율성을 도모했다. 또한 확률적 차트 파싱 기법과 immediate-head 파싱 모델을 적용하여 기존 파싱 시스템의 성능 향상을 시도했다. 세종 말뭉치를 이용한 파서의 성능은 각각 LP/LR 78.98%/79.55%로 나타났다.

  • PDF

Dual Decomposition을 이용한 전이기반 및 그래프 기반 의존 파서 통합 모델 (Integrating Transition-based and Graph-based Dependency Parsers using Dual Decomposition)

  • 민진우;나승훈;신종훈;김영길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.25-29
    • /
    • 2019
  • 딥러닝을 이용한 한국어 의존 파싱은 전이 기반 방식과 그래프 기반 방식으로 나뉘어 연구되어 왔다. 전이 기반 방식은 입력 버퍼와 스택으로부터 자질을 추출하여 모델을 통해 액션을 결정하고 액션에 따라 파스트리를 생성해 나가는 상향식(Botton-Up)의 지역적 모델이고 그래프 기반 방식은 문장 내의 모든 단어에 대해 지배소, 의존소가 될 수 있는 점수를 딥러닝 모델을 통해 점수화하여 트리를 생성하는 전역적 모델이다. 본 논문에서는 Dual Decomposition을 이용하여 하이브리드 방식으로 전이 기반 파서와 그래프 기반 파서를 결합하는 방법을 제안하고 BERT 언어 모델을 반영하여 세종 데이터 셋에서 UAS 94.47%, LAS 92.58% 그리고 SPMRL '14 데이터 셋에서 UAS 94.74%, UAS 94.20%의 성능을 보여 기존 그래프 기반 파서의 성능을 더욱 개선하였다.

  • PDF

트리 접합 문법의 LR파싱 알고리즘 (A LR Parsing Algorithm for Tree Adjoining Grammar)

  • 한성국
    • 인지과학
    • /
    • 제6권3호
    • /
    • pp.41-63
    • /
    • 1995
  • 트리접합문법의 LR상향식 파싱 방법을 제시한다.먼저 트리접합문법의 형식특성을 기술하기 위한 접합규칙 시스템을 도입하여 파싱과정을 효율적으로 수행할 수 있게 한다.트리접합문법은 문맥의존성을 갖고 있는데,접합 순간은 문맥자 유문법 체계로 기술할 수 있음을 보이고,이러한 특성을 기반으로 상향식 파싱방법을 유도한다.본 논문에서 제시한 LR상향식 파싱방법은 트리접합문법에 문맥자유문법의 파싱방법을 변형하여 적용할 수 있음을 보인다.

  • PDF

단일 상태 파싱 오토마톤을 생성하는 문법 클래스들 (Grammar Classes Generating Single State Parsing Automata)

  • 이경옥
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제41권7호
    • /
    • pp.518-522
    • /
    • 2014
  • 단일 상태 파싱 오토마톤은 오토마톤의 행동이 과거 전이 경로에 의존하지 않고 현 상태로만 결정가능하다는 특징을 가진다. 이런 특징으로부터 대표적인 오토마톤인 LR 오토마톤과 비교시에, 단일상태 파싱 오토마톤은 구문 분석에 관한 시간 단축과 메모리 용량의 감소라는 장점을 가진다. 한편 단일상태 파싱 오토마톤을 생성하는 문법 클래스에 관해서는 현재까지 알려진 바가 없다. 본 논문에서는 단일상태 파싱 오토마톤을 생성하는 문법 클래스에 관한 연구 결과를 제시한다. 또한 이들 문법 클래스에 대한 단일 상태 파싱 오토마톤의 생성 방법을 제시한다.

단일 상태 파싱 오토마톤의 생성 (Constructing a of Single State Parsing Automaton)

  • 이경옥
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제35권11호
    • /
    • pp.701-704
    • /
    • 2008
  • 일반 오토마톤은 다중 입력 전이를 허용하기에 과거 전이 경로가 필요한 경우에는 별도 작업이 필요하다. LR 오토마톤의 경우는 스택을 이용하여 과거 전이 경로를 저장한 후에 파싱 시에 이를 이용한다. 한편 과거 경로의 정보를 포함하도록 상태 구성이 가능한 경우에는 과거 정보 추적을 위한 오버헤드를 피할 수가 있다. 본 논문에서는 과거 전이에 의존하지 않는 단일 상태 파싱 오토마톤을 제안한다. 적용 가능한 문법 클래스는 LR 문법보다 작으나, 오토마톤의 상태가 과거 경로의 정보를 포함하기에 LR 오토마톤과 달리 파싱시에 과거 정보의 추적이 불필요하다.

확률적 CFG 파싱을 활용한 한국어 복합명사 구조 분석의 중의성 해소 (Disambiguation on the Analysis of Korean Complex Nominals, Using Probabilistic CFG Parsing)

  • 김동성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2011년도 제23회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.61-66
    • /
    • 2011
  • 본 논문은 한국어 복합명사 구조의 분석을 목적으로 한다. 연구는 이론 언어학뿐만이 아니라 정보처리, 정보검색과 같은 언어의 전산적 처리에서도 중요한다. 복합명사 구조는 크게 외심구조와 내심구조로 나뉘며 내심구조의 경우에 좌분지나 우분지 구조로 분석이 되어야 하는 중의성이 있다. 기존의 Lauer 모델은 사전적 정보에서 발견되는 확률 정보를 구조 정보에 연결하기 위한 모델로 의존모델과 인접모델을 제시하였다. 본 연구에서는 구조에 기반을 둔 확률정보를 결합하기 위한 확률적 CFG 파싱 방법을 활용하고자 하였다. 이를 위해서 실제 코퍼스상에서 발견되는 복합명사 패턴을 대상으로 구조적 분석을 화자 직관을 통해서 진행하고, 이를 다시 Lauer 모델과 확률적 CFG 파싱 방법 응용과 비교해 보았다. 결과적으로 화자 직관에 가장 일치한 예측을 하였으며, 구조에 대한 정보 해석이 가능하였다.

  • PDF