• 제목/요약/키워드: Korean Parsing

검색결과 325건 처리시간 0.026초

소규모 문맥 자유 문법에 대한 Left-Corner / Look-Ahead 차트 파싱 알고리즘의 성능 평가 (Performance Evaluation of Left-Comer and Look-Ahead Chart Parsing for Small-Sized Context Free Grammar)

  • 심광섭
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제36권7호
    • /
    • pp.571-579
    • /
    • 2009
  • 차트 파싱 알고리즘에서 left-corner와 look-ahead 정보를 이용하여 불필요한 중간 구조가 생성되지 않도록 함으로써 파싱 속도를 향상시키는 방법이 제안된 바 있다. left-corner와 look-ahead 정보를 이용할 경우 불필요한 중간 구조가 생성되지 않으므로 파싱 속도가 빨라지겠지만 이러한 정보를 유지 관리하고 참조하는 데 따른 추가 비용이 발생한다. 이러한 추가 비용이 발생함에도 불구하고 대규모 문법을 사용하여 파싱을 할 때에는 파싱 속도가 상당한 많이 향상되었다는 연구 결과가 있었다. 본 논문에서 는 소규모 문법을 사용했을 때 파싱 속도가 어느 정도 향상되는가를 관찰하는 실험을 하였다. 실험 결과 소규모의 문법에서는 파싱 속도 향상 정도가 상대적으로 낮았으며 left-corner 정보는 파싱 속도를 향상 시키는 것이 아니라 오히려 저해한다는 사실을 알 수 있었다.

Extended LR Methods for Efficient Parsing with Feature-based Grammars

  • Le, Kang-Hyuk
    • 인지과학
    • /
    • 제15권1호
    • /
    • pp.25-33
    • /
    • 2004
  • 본 논문은 자질기반 문법의 LR 파싱 테이블 생성과 관련된 두 가지 문제점을 논의한다. 먼저 자질기반 문법에 LR 파싱 방법을 적용할 경우 발생하는 비종결성 및 비결정성의 문제를 살펴본 후, 이 문제를 해결할 수 있는 LR 방법을 제시한다. 또한 파싱 테이블을 생성하기에는 충분한 정보를 가지지 못하는 하위명시 규칙의 문제점을 지적하고, 이러한 규칙들을 LR 파싱 방법으로 처리할 수 있도록 하는 규칙추론 알고리듬을 제안한다.

  • PDF

포인터 네트워크를 이용한 한국어 의존 구문 분석 (Korean Dependency Parsing using Pointer Networks)

  • 박천음;이창기
    • 정보과학회 논문지
    • /
    • 제44권8호
    • /
    • pp.822-831
    • /
    • 2017
  • 본 논문에서는 멀티 태스크 학습 기반 포인터 네트워크를 이용한 한국어 의존 구문 분석 모델을 제안한다. 멀티 태스크 학습은 두 개 이상의 문제를 동시에 학습시켜 성능을 향상시키는 방법으로, 본 논문에서는 이 방법에 기반한 포인터 네트워크를 이용하여 어절 간의 의존 관계와 의존 레이블 정보를 동시에 구하여 의존 구문 분석을 수행한다. 어절 기반의 의존 구문 분석에서 형태소 기반의 멀티 태스크 학습 기반 포인터 네트워크를 수행하기 위하여 입력 기준 5가지를 정의하고, 성능 향상을 위하여 fine-tuning 방법을 적용한다. 실험 결과, 본 논문에서 제안한 모델이 기존 한국어 의존 구문 분석 연구들 보다 좋은 UAS 91.79%, LAS 89.48%의 성능을 보였다.

Proper Noun Embedding Model for the Korean Dependency Parsing

  • Nam, Gyu-Hyeon;Lee, Hyun-Young;Kang, Seung-Shik
    • Journal of Multimedia Information System
    • /
    • 제9권2호
    • /
    • pp.93-102
    • /
    • 2022
  • Dependency parsing is a decision problem of the syntactic relation between words in a sentence. Recently, deep learning models are used for dependency parsing based on the word representations in a continuous vector space. However, it causes a mislabeled tagging problem for the proper nouns that rarely appear in the training corpus because it is difficult to express out-of-vocabulary (OOV) words in a continuous vector space. To solve the OOV problem in dependency parsing, we explored the proper noun embedding method according to the embedding unit. Before representing words in a continuous vector space, we replace the proper nouns with a special token and train them for the contextual features by using the multi-layer bidirectional LSTM. Two models of the syllable-based and morpheme-based unit are proposed for proper noun embedding and the performance of the dependency parsing is more improved in the ensemble model than each syllable and morpheme embedding model. The experimental results showed that our ensemble model improved 1.69%p in UAS and 2.17%p in LAS than the same arc-eager approach-based Malt parser.

Deep Facade Parsing with Occlusions

  • Ma, Wenguang;Ma, Wei;Xu, Shibiao
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권2호
    • /
    • pp.524-543
    • /
    • 2022
  • Correct facade image parsing is essential to the semantic understanding of outdoor scenes. Unfortunately, there are often various occlusions in front of buildings, which fails many existing methods. In this paper, we propose an end-to-end deep network for facade parsing with occlusions. The network learns to decompose an input image into visible and invisible parts by occlusion reasoning. Then, a context aggregation module is proposed to collect nonlocal cues for semantic segmentation of the visible part. In addition, considering the regularity of man-made buildings, a repetitive pattern completion branch is designed to infer the contents in the invisible regions by referring to the visible part. Finally, the parsing map of the input facade image is generated by fusing the results of the visible and invisible results. Experiments on both synthetic and real datasets demonstrate that the proposed method outperforms state-of-the-art methods in parsing facades with occlusions. Moreover, we applied our method in applications of image inpainting and 3D semantic modeling.

점진적 LL(1) 구문분석에서의 재사용 시점의 계산 (Computation of Reusable Points in Incremental LL(1) Parsing)

  • 이경옥
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권11호
    • /
    • pp.845-850
    • /
    • 2010
  • 점진적 구문분석은 기존 입력 문자열에 대한 구문분석 정보를 새로운 문자열의 구문분석 시에 재사용하고자 하는 취지로 연구 개발되었다. 기존 점진적 LL(1) 구문분석에서는 미리 재사용 시점을 계산하여 이를 구문분석 시에 이용하였다 본 논문에서는 기존의 재사용 시점 계산을 인수분해하여 불필요한 중복 계산 없이 효율적으로 수행하는 방법을 제안한다. 또한 기존의 재사용 시점 파악을 위해서 사용되었던 공통심볼 저장방법과 거리저장방법을 결합하여 공통심볼까지의 거리저장방법을 제안한다. 이에 기반한 효율적인 점진적 LL(1) 구문분석기를 생성한다.

효율적인 HL7 메시지 파싱 알고리즘 (An Efficient Algorithm for HL7 Message Parsing)

  • 트란퉁;김형회;조훈;김화선
    • 대한전기학회논문지:시스템및제어부문D
    • /
    • 제55권6호
    • /
    • pp.274-278
    • /
    • 2006
  • An upgraded algorithm that in proves the performance of existing interfacing software for parsing HL7 messages is introduced. It incorporates stack operations on objects to guarantee segment order while parsing messages. This object-oriented design greatly facilitates the complicated process of validating, parsing, and creating HL7 messages in the clinical setting. The new interface engine can manage all HL7 messages corresponding to admission and registration, discharge and transfer, laboratory results, clinical images, and clinical reports. The international version of this engine, currently under development, will be tested in Asian countries using standard character code such as Unicode (ISO 10646).

핵심개념 기반의 강건한 한국어 대화체 파싱 (A Robust Korean Spoken Language Parsing Based on Core Concept)

  • 노서영;정천영;서영훈
    • 한국정보처리학회논문지
    • /
    • 제6권8호
    • /
    • pp.2113-2123
    • /
    • 1999
  • 부분 자유어순 특성을 가지는 한국어를 CFG형태의 문법으로 기술했을 때 문법이 방대해지고 CFG형태의 문법을 파서가 이용할 때는 자연발화문의 특징인 간투어, 중복발화 등 때문에 불필요 성분을 따로 처리해야 하므로 파서의 부담이 커진다. 이러한 문제점을 해결하기 위해 본 논문에서는 발화문에서 중요한 의미를 가지는 요소를 '핵심개념'이라 정의하고 핵심개념만을 문법에 기술하여 문법이 방대해지는 것을 막고 문법에 기술된 핵심개념을 파싱요소로 선택함으로써 불필요 성분처리에 대한 파서의 부담을 줄였으며 이렇게 단순화된 문법만으로도 정확한 파싱결과를 내줄 수 있음으로 보인다. 실험결과 '여행안내'영역 자연발화문에 대해서 평균 98%이상의 올바른 파싱결과를 얻어낼 수 있었다.

  • PDF

영어 구문 분석의 효율 개선을 위한 3단계 구문 분석 (Three-Phase English Syntactic Analysis for Improving the Parsing Efficiency)

  • 김성동
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권1호
    • /
    • pp.21-28
    • /
    • 2016
  • 영어 구문 분석기는 영한 기계번역 시스템의 성능에 가장 큰 영향을 미치는 부분이다. 본 논문에서의 영어 구문 분석기는 규칙 기반 영한 기계번역 시스템의 한 부분으로서, 많은 구문 규칙을 구축하고 차트 파싱 기법으로 구문 분석을 수행한다. 구문 규칙의 수가 많기 때문에 구문 분석 과정에서 많은 구조가 생성되는데, 이로 인해 구문 분석 속도가 저하되고 많은 메모리를 필요로 하여 번역의 실용성이 떨어진다. 또한 쉼표를 포함하는 긴 문장들은 구문 분석 복잡도가 매우 높아 구문 분석 시간/공간 효율이 떨어지고 정확한 번역을 생성하기 매우 어렵다. 본 논문에서는 실제 생활에서 나타나는 긴 문장들을 효율적으로 번역하기 위해 문장 분할 방법을 적용한 3단계 구문 분석 방법을 제안한다. 구문 분석의 각 단계는 독립된 구문 규칙들을 적용하여 구문 분석을 수행함으로써 구문 분석의 복잡도를 줄이려 하였다. 이를 위해 구문 규칙을 3가지 부류로 분류하고 이를 이용한 3단계 구문 분석 알고리즘을 고안하였다. 특히 세 번째 부류의 구문 규칙은 쉼표로 구성되는 문장 구조에 대한 규칙으로 구성되는데, 이들 규칙들을 말뭉치의 분석을 통해 획득하는 방법을 제안하여 구문 분석의 적용률을 지속적으로 개선하고자 하였다. 실험을 통해 제안한 방법이 문장 분할만을 적용한 기존 2단계 구문 분석 방법에 비해 유사한 번역 품질을 유지하면서도 시간/공간 효율 면에서 우수함을 확인하였다.

FPGA를 이용한 하드웨어 기반 고성능 XML 파싱 기법 (Hardware-Based High Performance XML Parsing Technique Using an FPGA)

  • 이규희;서병석
    • 한국통신학회논문지
    • /
    • 제40권12호
    • /
    • pp.2469-2475
    • /
    • 2015
  • 다양한 웹 서비스들은 서비스의 제공을 위해서 구조화된 표준문서인 XML(eXtensible Markup Language)을 널리 사용하고 있으며, 모바일 환경에서의 전자문서 및 전자서명 그리고 메일시스템에서도 XML이 사용되고 있다. XML을 사용하기 위해서는 문서의 파싱이 요구되며, 이는 XML 처리에서 가장 계산 집중적 작업이다. 따라서, XML 파싱 성능을 높이기 위해 하드웨어 기반의 파서들이 제안되어 성능 향상에 초점을 맞추고 있지만 실제 파싱 기법들에 대한 연구는 거의 이루어지지 않았다. 본 논문에서는 파서의 종류와 상관없이 사용될 수 있는 고성능 XML 파싱 기법을 제안하고 FPGA를 이용하여 파서를 설계하여 검증하였다. 제안된 파싱 기법은 상태머신 대신에 엘리먼트 분석기들을 사용하며 다중바이트 단위 엘리먼트 매칭을 수행한다. 제안된 파싱 기법은 CPB 항목에서 약 2~4배의 소비 클록을 감소시켰으며 파싱 이전에 전처리작업을 요구하지 않는다. 다른 파서들과 비교하여 제안된 파서는 약 1.33~1.82배 속도를 향상시켰다. 따라서, 제안된 파싱 기법은 실시간 XML 파싱이 가능하며 일반적인 XML 파서들에서도 적용할 수 있는 적합한 구조를 갖는다.