• Title/Summary/Keyword: 파싱

Search Result 385, Processing Time 0.024 seconds

Random Order Chart Parsing Algorithm (임의 순서 차트 파싱 알고리즘)

  • Shim, Kwang-Seob
    • Journal of KIISE:Software and Applications
    • /
    • v.37 no.6
    • /
    • pp.446-454
    • /
    • 2010
  • According to the original chart parsing algorithm, a sentence is parsed in a strict left-to-right order. The modified chart parsing algorithm proposed in this paper breaks the strictness. With the proposed algorithm, a sentence is parsed in a random order. Conventional left-to-right parsing is also possible, since left-to-right parsing is a special case of random-order parsing. The proposed parsing algorithm is an extension of chart parsing algorithm and its control structure is very simple, so that it is easy to implement the algorithm.

Design of Xml Pull Parser Using JFlex and BYacc/J (JFlex와 BYacc/J를 이용한 XML Pull Parser 설계)

  • 장주현;노희영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04c
    • /
    • pp.31-33
    • /
    • 2003
  • XML을 파싱하는 기존의 파싱 Model인 Document Object Model은 메모리 내에 트리 구조와 같은 문서의 컨텐츠를 구성하기 때문에 메모리 사용이 많으며 Event 기반의 Push Model은 Consumer의 상태와 관계없이 파싱된 정보를 이벤트 처리 메소드를 이용함으로 처리의 지연, 처리의 지연을 위한 메모리 사용 등의 단점이 있다. 이에 반해 Pull 파싱 Model은 Client가 파싱의 요청을 하는 Model로써 Streaming Data를 파싱 할 시에 적은 지연시간, 메모리의 효율적인 사용 파싱속도가 신속하다는 장점이 있다. 따라서 본 논문에서는 XML 파서 설계에 있어서 Pull 파싱 모델에 파서 Generator tool인 JFlex와 BYacc/J를 사용하여 기존의 Xml Parser보다 파싱 속도를 향상시키는 Pull 파서의 설계 방법을 제안하고자 한다.

  • PDF

A Transition based Joint Model for Korean POS Tagging & Dependency Parsing using Deep Learning (딥러닝을 이용한 전이 기반 한국어 품사 태깅 & 의존 파싱 통합 모델)

  • Min, Jin-Woo;Na, Seung-Hoon;Sin, Jong-Hoon
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.97-102
    • /
    • 2017
  • 형태소 분석과 의존 파싱은 자연어 처리 분야에서 핵심적인 역할을 수행하고 있다. 이러한 핵심적인 역할을 수행하는 형태소 분석과 의존 파싱에 대해 일괄적으로 학습하는 통합 모델에 대한 필요성이 대두 되었고 이에 대한 많은 연구들이 수행되었다. 기존의 형태소 분석 & 의존 파싱 통합 모델은 먼저 형태소 분석 및 품사 태깅에 대한 학습을 수행한 후 이어서 의존 파싱 모델을 학습하는 파이프라인 방식으로 진행되었다. 이러한 방식의 학습을 두 번 연이어 진행하기 때문에 시간이 오래 걸리고 또한 형태소 분석과 파싱이 서로 영향을 주지 못하는 단점이 존재하였다. 본 논문에서는 의존 파싱에서 형태소 분석에 대한 전이 액션을 포함하도록 전이 액션을 확장하여 한국어 형태소 분석 & 의존파싱에 대한 통합모델을 제안하였고 성능 측정 결과 세종 형태소 분석 데이터 셋에서 F1 97.63%, SPMRL '14 한국어 의존 파싱 데이터 셋에서 UAS 90.48%, LAS 88.87%의 성능을 보여주어 기존의 의존 파싱 성능을 더욱 향상시켰다.

  • PDF

A Transition based Joint Model for Korean POS Tagging & Dependency Parsing using Deep Learning (딥러닝을 이용한 전이 기반 한국어 품사 태깅 & 의존 파싱 통합 모델)

  • Min, Jin-Woo;Na, Seung-Hoon;Sin, Jong-Hoon
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.97-102
    • /
    • 2017
  • 형태소 분석과 의존 파싱은 자연어 처리 분야에서 핵심적인 역할을 수행하고 있다. 이러한 핵심적인 역할을 수행하는 형태소 분석과 의존 파싱에 대해 일괄적으로 학습하는 통합 모델에 대한 필요성이 대두 되었고 이에 대한 많은 연구들이 수행되었다. 기존의 형태소 분석 & 의존 파싱 통합 모델은 먼저 형태소 분석 및 품사 태깅에 대한 학습을 수행한 후 이어서 의존 파싱 모델을 학습하는 파이프라인 방식으로 진행되었다. 이러한 방식의 학습을 두 번 연이어 진행하기 때문에 시간이 오래 걸리고 또한 형태소 분석과 파싱이 서로 영향을 주지 못하는 단점이 존재하였다. 본 논문에서는 의존 파싱에서 형태소 분석에 대한 전이 액션을 포함하도록 전이 액션을 확장하여 한국어 형태소 분석 & 의존파싱에 대한 통합모델을 제안하였고 성능 측정 결과 세종 형태소 분석 데이터 셋에서 F1 97.63%, SPMRL '14 한국어 의존 파싱 데이터 셋에서 UAS 90.48%, LAS 88.87%의 성능을 보여주어 기존의 의존 파싱 성능을 더욱 향상시켰다.

  • PDF

A Robust Natural Language Parsing Method Using Local Bi-directional Analysis (지역적 양방향 분석을 이용한 견고한 자연어 파싱 기법)

  • 박성완;나동열
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10b
    • /
    • pp.176-178
    • /
    • 2000
  • 자연어 파싱에 많이 사용되는 Earley 파싱 알고리즘은 입력문장에 에러(error)가 있으면 즉시 종료되기 때문에 견고한(robust) 파싱을 구현하기 어렵다. 본 논문에서 우리는 Earley 파싱 알고리즘을 보다 견고한 파싱 기법으로 만드는 방법을 제안한다. Earley 파싱을 하다가 멈추면 파싱 모드를 지역적 양방향 분석으로 전환시킨다. 에러 위치 다음에 나타나는 단어를 아일랜드(island)로 정한다. 아일랜드를 지역적으로 양방향으로 확장시켜 에어 위치까지 도달하게 한 다음 에러의 종류를 파악하고 이를 복구하는 기법을 사용함으로써 견고성을 얻을 수 있다.

  • PDF

Parsing Korean Using Tree Combining Grammar (트리 합성 문법을 이용한 한국어 파싱)

  • Yang, Seong-Il;Ra, Dong-Yul
    • Annual Conference on Human and Language Technology
    • /
    • 1994.11a
    • /
    • pp.426-433
    • /
    • 1994
  • 본 논문에서는 트리의 점증적인 합성에 의하여 파싱을 진행시켜 나가는 파싱 방법을 소개하며 이의 한국어 파싱에의 응용을 살펴 본다. 이와 같은 트리 합성 파싱(tree combining parsing)을 지원하기 위한 문법인 트리 합성 문법(Tree Combining Grammar)을 소개한다. 우리는 먼저 문맥 자유 문법을 작성한 후 이로부터 자동적인 변환에 의하여 트리 합성 문법을 얻는 과정을 취한다. 따라서 트리 합성 파싱은 일종의 문맥 자유 파싱(context-free parsing)으로 볼 수 있으나 점증성(incremental), 하향성(top-down), 상향성(bottom-up), 유연성(flexible) 등과 같은 장점을 갖고 있다. 트리 합성 파싱의 유연성을 기반으로 하여 부분 자유 어순, 중심어 후행성과 같은 특성을 가진 한국어를 효과적으로 파싱할 수 있도록 트리 합성 파싱을 확장하는 방법을 살펴본다.

  • PDF

An Efficient Incremental Parsing for LR Parsers (LR 파서를 위한 효율적인 점진적 파싱)

  • An, Hui-Hak
    • The Transactions of the Korea Information Processing Society
    • /
    • v.5 no.6
    • /
    • pp.1660-1669
    • /
    • 1998
  • 본 논문에서는 실제 사용에 있어서 시간과 기억 장소를 상당히 요구하는 기존의 점진적 파싱 알고리즘들을 조사하여, 이들보다 효율적인 점진적 LR 파싱 알고리즘을 제안한다. 문법 기호를 포함하는 확장형 LR 파싱표를 본 논문에서 제안한 점진적 LR 파싱 알고리즘을 적용한다. 여러 문장의 경우에 본 점진적 LR 파싱 알고리즘을 이용하여 파싱 단계와 기억 장소를 감소시켰다. 본 알고리즘은 복잡하고 큰 문법의 경우에 더욱 효과적이다.

  • PDF

The Priority Heuristics for Concurrent Parsing of JavaScript (자바스크립트 동시 파싱을 위한 우선순위 휴리스틱)

  • Cha, Myungsu;Park, Hyukwoo;Moon, Soo-Mook
    • KIISE Transactions on Computing Practices
    • /
    • v.23 no.8
    • /
    • pp.510-515
    • /
    • 2017
  • It is important to speed up the loading time of web applications. Parsing is a loading process that contributes to an increased loading time. To address this issue, the optimization called Concurrent Parsing has been proposed which handles the parsing process in parallel by using additional threads. However, Concurrent Parsing has a limitation that it does not consider the priority order of parsing. In this paper, we propose heuristics that exploit priorities of parsing to improve the Concurrent Parsing. For parsing priority, we empirically investigate the sequence of function calls, classify functions into 3 categories, and extract function call probabilities. If a function has high call probability, we give a high priority and if a function has low probability, we give a low priority. We evaluate this priority heuristics on real web applications and get the 2.6% decrease of loading time on average.

A Model of Probabilistic Parsing Automata (확률파싱오토마타 모델)

  • Lee, Gyung-Ok
    • Journal of KIISE
    • /
    • v.44 no.3
    • /
    • pp.239-245
    • /
    • 2017
  • Probabilistic grammar is used in natural language processing, and the parse result of the grammar has to preserve the probability of the original grammar. As for the representative parsing method, LL parsing and LR parsing, the former preserves the probability information of the original grammar, but the latter does not. A characteristic of a probabilistic parsing automaton has been studied; but, currently, the generating model of probabilistic parsing automata has not been known. The paper provides a model of probabilistic parsing automata based on the single state parsing automata. The generated automaton preserves the probability of the original grammar, so it is not necessary to test whether or not the automaton is probabilistic parsing automaton; defining a probability function for the automaton is not required. Additionally, an efficient automaton can be constructed by choosing an appropriate parameter.

A One-Gap Parsing with Extended PLR(1) Grammars (확장된 PLR(1) 문법에 대한 단일 틈 파싱)

  • Lee, Gyung-Ok
    • Journal of KIISE
    • /
    • v.42 no.3
    • /
    • pp.361-366
    • /
    • 2015
  • Gap parsing is an algorithm for parsing incomplete input strings which include some gaps. Gap parsing is different from conventional parsing, and as known results, one-gap parsing algorithms for arbitrary context-free grammar and LL(1) grammar have $O(n^3)$ and $O(n^2)$ time complexity, respectively. This paper presents a one-gap parsing algorithm for extended PLR(1) grammars. Extended PLR(1) grammars are the class of grammars smaller than LR(1) but much larger than LL(1). The one-gap parsing algorithm of the grammar class is shown to have the time complexity of $O(n^2)$, which is equal to the complexity of one-gap parsing algorithms for LL(1) grammars.