• 제목/요약/키워드: Korean parsing

검색결과 325건 처리시간 0.03초

한국어에서 의존 구문분석을 위한 구묶음의 활용 (Exploiting Chunking for Dependency Parsing in Korean)

  • 남궁영;김재훈
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권7호
    • /
    • pp.291-298
    • /
    • 2022
  • 본 논문은 한국어에 대해서 구묶음을 수행한 후에 의존구조를 분석하는 방법을 제안한다. 의존구조 분석은 단어의 지배어를 결정하는 과정이다. 지배어를 정할 때, 문법적인 지배어를 정할 것인지 의미적인 지배어를 정할 것인지가 고질적인 문제이다. 일반적으로는 문법적인 지배어를 정하고 있다. 예를 들면 문장 "밥을 먹고 싶다"에서 어절 "먹고"의 지배어로 "싶다"를 정한다. 그러나 "싶다"는 보조용언으로 의미적으로 지배어가 될 수 없다. 이와 같은 방법으로 구문을 분석하면 의미분석을 위해서 또 다른 변환이 있어야 한다. 본 논문에서는 이런 문제를 다소 완화하기 위해서 구묶음을 수행한 후에 구문을 분석하는 방법을 제안한다. 구묶음은 문장을 구성성분 단위로 분할하는 과정이며 구성성분은 내용어 말덩이와 기능어 말덩이로 구성된다. 구묶음을 수행하면 구문 분석의 입력이 되는 문장 성분의 수가 줄어들므로 구문 분석 속도가 개선될 수 있으며, 문장에서 중심어를 중심으로 하나의 말덩이로 묶이므로 말덩이에 대해서만 그 의존 관계를 파악할 수 있어 구문 분석의 효율성을 높일 수 있다. 본 논문은 세종의존말뭉치를 사용해서 성능을 분석했으며 UAS와 LAS가 각각 86.48%와 84.56%였으며 입력의 노드 수도 약 22% 정도 줄일 수 있었다.

Structural Disambiguation of Korean Adverbs Based on Correlative Relation and Morphological Context

  • Seo, Young-Ae;Park, Sang-Kyu;Choi, Key-Sun
    • ETRI Journal
    • /
    • 제28권6호
    • /
    • pp.803-806
    • /
    • 2006
  • This letter addresses a structural disambiguation method for Korean adverbs based on the correlative relation constraints between adverbs and modifiees, and the morphological context information of sentences. Using the proposed method, we improved the dependency parsing accuracy of adverbs from 79.2 to 89%. The experimental result shows that the proposed method is especially expert in parsing adverbs which can modify multiple word classes or have a long distance dependency relation to their modifiees.

  • PDF

문장 형태 정보를 이용한 조건단일화 기반 한국어 파싱 (A Conditional Unification Based Parsing for Korean Using Sentence-Type Information)

  • 양승원
    • 한국산업정보학회논문지
    • /
    • 제9권4호
    • /
    • pp.1-7
    • /
    • 2004
  • 본 논문에서는 한국어 문장의 구조를 파악하는 데에 결정적인 역할을 하는 조사에 대한 정보를 보다 적극적으로 이용하는 파싱 방법을 기술한다. 이러한 방법을 실현하기 위하여 용언을 세밀하게 분류하였으며, 이를 바탕으로 문장의 형태를 분류하고 이 문장 형태에 필수적으로 나타나는 명사구의 문법적 역할을 파악하는 방법을 이용한 파싱을 시도하였다. 또한, 내부적으로는 언어학적인 틀에서 크게 벗어나지 않는 범위 내에서 약간의 경험지식을 동원하였다. 이를 구현함에 있어서 문법의 수준에서 파싱을 직접 제어하기 위하여 조건단일화 파싱을 사용하였다. 본 논문에서 제시한 파싱 방법은 분석의 초기에 불필요한 가지를 전지함으로써 결과 트리가 간략해져 복잡한 문장의 모호성을 상당두분 제거할 수 있게 해준다.

  • PDF

Robust Syntactic Annotation of Corpora and Memory-Based Parsing

  • Hinrichs, Erhard W.
    • 한국언어정보학회:학술대회논문집
    • /
    • 한국언어정보학회 2002년도 Language, Information, and Computation Proceedings of The 16th Pacific Asia Conference
    • /
    • pp.1-1
    • /
    • 2002
  • This talk provides an overview of current work in my research group on the syntactic annotation of the T bingen corpus of spoken German and of the German Reference Corpus (Deutsches Referenzkorpus: DEREKO) of written texts. Morpho-syntactic and syntactic annotation as well as annotation of function-argument structure for these corpora is performed automatically by a hybrid architecture that combines robust symbolic parsing with finite-state methods ("chunk parsing" in the sense Abney) with memory-based parsing (in the sense of Daelemans). The resulting robust annotations can be used by theoretical linguists, who lire interested in large-scale, empirical data, and by computational linguists, who are in need of training material for a wide range of language technology applications. To aid retrieval of annotated trees from the treebank, a query tool VIQTORYA with a graphical user interface and a logic-based query language has been developed. VIQTORYA allows users to query the treebanks for linguistic structures at the word level, at the level of individual phrases, and at the clausal level.

  • PDF

Biaffine 한국어 의존파서 (Biaffine Dependency Parser for Korean)

  • ;민태홍;윤준영;이재성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.678-681
    • /
    • 2018
  • Dependency parsing is an important task in natural language processing whose results are used in many downstream tasks such as machine translation, information retrieval, relation extraction, question answering and many others. Most of the dependency parsing literature focuses on using end-to-end and sequence-to-sequence neural architectures as the core of the system. One such system, namely Biaffine dependency parser is explored in the current paper for effective dependency parsing of Korean language.

  • PDF

Transition and Parsing State and Incrementality in Dynamic Syntax

  • Kobayashi, Masahiro;Yoshimoto, Kei
    • 한국언어정보학회:학술대회논문집
    • /
    • 한국언어정보학회 2007년도 정기학술대회
    • /
    • pp.249-258
    • /
    • 2007
  • This paper presents an implementation of a gramar of Dynamic Syntax for Japanese. Dynamic Syntax is a grammar formalism which enables a parser to process a sentence in an incremental fashion, establishing the semantic representation. Currently the application of lexical rules and transition rules in Dynamic Syntax is carried out arbitrarily and this leads to inefficient parsing. This paper provides an algorithm of rule application and partitioned parsing state for efficient parsing with special reference to processing Japanese, which is one of head-final languages. At the present stage the parser is still small but can parse scrambled sentences, relative clause constructions, and embedded clauses. The parser is written in Prolog and this paper shows that the parser can process null arguments in a complex sentence in Japanese.

  • PDF

점진적 LR 파싱 : 리덕션 골의 예상을 이용한 방법 (Incremental LR Parsing: Methods Using Reduction Goal Prediction)

  • 이경옥
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권5호
    • /
    • pp.651-657
    • /
    • 2004
  • 본 논문에서는 LR 파싱 시에 미리 예상 가능한 리덕션 골의 정보를 이용한 점진적 LR 파서를 제안한다. 이 방법은 기존의 연구들에 비해 상대적으로 적은 메모리 공간과 컴퓨팅 시간을 필요로 한다.

단일 상태 파싱 오토마톤의 생성 (Constructing a of Single State Parsing Automaton)

  • 이경옥
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제35권11호
    • /
    • pp.701-704
    • /
    • 2008
  • 일반 오토마톤은 다중 입력 전이를 허용하기에 과거 전이 경로가 필요한 경우에는 별도 작업이 필요하다. LR 오토마톤의 경우는 스택을 이용하여 과거 전이 경로를 저장한 후에 파싱 시에 이를 이용한다. 한편 과거 경로의 정보를 포함하도록 상태 구성이 가능한 경우에는 과거 정보 추적을 위한 오버헤드를 피할 수가 있다. 본 논문에서는 과거 전이에 의존하지 않는 단일 상태 파싱 오토마톤을 제안한다. 적용 가능한 문법 클래스는 LR 문법보다 작으나, 오토마톤의 상태가 과거 경로의 정보를 포함하기에 LR 오토마톤과 달리 파싱시에 과거 정보의 추적이 불필요하다.

영한 기계번역에서 구문 분석 정확성 향상을 위한 구문 범주 예측 (Syntactic Category Prediction for Improving Parsing Accuracy in English-Korean Machine Translation)

  • 김성동
    • 정보처리학회논문지B
    • /
    • 제13B권3호
    • /
    • pp.345-352
    • /
    • 2006
  • 실용적인 영한 기계번역 시스템은 긴 문장을 빠르고 정확하게 번역할 수 있어야 한다. 보다 빠른 번역을 위해 문장 분할을 이용한 부분 파싱 방법이 제안되어 속도 향상에 기여하였다. 본 논문에서는 보다 정확한 분석을 위해 결정 트리를 이용한 구문 범주 예측 방법을 제안한다. 문장 분할을 적용한 영어 분석에서 각각의 분할된 부분은 개별적으로 분석되며 각 분석 결과들이 결합되어 문장의 구조가 생성된다. 여기서 각 분할의 구문 범주를 미리 예측하여 부분 파싱 후에 보다 정확한 분석 결과를 선정하고 예측된 구문 범주에 근거하여 올바르게 다른 문장의 분할결과와 결합함으로써 문장 분석의 정확도를 향상시키는 것이 본 논문에서 제안한 방법의 목적이다. 본 논문에서는 Wall Street Journal의 파싱된 말뭉치에서 구문 범주 예측에 필요한 특성을 추출하고 결정 트리를 이용하여 구문 범주 예측을 위한 결정 트리를 생성하였다. 실험에서는 사람이 구축한 규칙을 이용한 방법, trigram 확률을 이용한 방법, 신경망을 이용한 방법 등에 의한 구문 범주 예측 성능을 측정, 비교하였으며 제안된 구문 범주 예측이 번역의 품질 향상에 기여한 정도를 제시하였다.

개선된 점진적 LL(1) 파싱 방법 (An Improved Incremental LL(1) Parsing Method)

  • 이경옥
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권6호
    • /
    • pp.486-490
    • /
    • 2010
  • 점진적 파싱은 기존의 입력 문자열에 대한 파싱 정보를 새로운 문자열의 파싱시에 이용하고자 하는 취지로 연구 개발되었다. 본 논문은 기존에 제안된 비단말 심볼을 미리보기(lookahead) 심볼로 포함시킨 점진적 LL(1) 파서를 개선시킨 방법을 제안한다. 기존 연구에서는 오류가 발생한 상황에서 불필요한 작업을 반복적으로 수행하기에 시간적으로 비효율적이다. 본 논문에서는 이에 대한 해결 방안을 제공한다.