• Title/Summary/Keyword: Korean parsing

Search Result 325, Processing Time 0.025 seconds

Bidirectional Stack Pointer Network for Korean Dependency Parsing (Bidirectional Stack Pointer Network를 이용한 한국어 의존 파싱)

  • Hong, Seung-Yean;Na, Seung-Hoon;Shin, Jong-Hoon;Kim, Young-Kil
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.19-22
    • /
    • 2018
  • 본 논문에서는 기존 Stack Pointer Network의 의존 파싱 모델을 확장한 Bi-Stack Pointer Network를 제안한다. Stack Pointer Network는 기존의 Pointer Network에 내부 stack을 만들어 전체 문장을 읽어 dependency tree를 구성한다. stack은 tree의 깊이 우선 탐색을 통해 선정되고 Pointer Network는 stack의 top 단어(head)의 자식(child)을 선택한다. 제안한 모델은 기존의 Stack Pointer Network가 지배소(head)정보로 의존소(child)를 예측하는 부분에 Biaffine attention을 통해 의존소(child)에서 지배소(head)를 예측하는 방향을 추가하여 양방향 예측이 가능하게 한 모델이다. 실험 결과, 제안 Bi-Stack Pointer Network모델은 UAS 91.53%, LAS 90.93%의 성능을 보여주어 기존 최고 성능을 개선시켰다.

  • PDF

영한자동번역에서의 두단계 영어 전산문법

  • 최승권
    • Language and Information
    • /
    • v.4 no.1
    • /
    • pp.97-109
    • /
    • 2000
  • Application systems of natural language processing such as machine translation system must deal with actual texts including the full range of linguistic phenomena. But it seems to be impossible that the existing grammar covers completely such actual texts because they include disruptive factors such as long sentences, unexpected sentence patterns and erroneous input to obstruct well-formed analysis of a sentence. In order to solve analysis failure due to the disruptive factors or incorrect selection of correct parse tree among forest parse trees, this paper proposes two-level computational grammar which consists of a constraint-based grammar and an error-tolerant grammar. The constraint-based computational grammar is the grammar that gives us the well-formed analysis of English texts. The error-tolerant computational grammar is the grammar that reconstructs a comprehensible whole sentence structure with partially successful parse trees within failed parsing results.

  • PDF

The estended query-by-example supporting subqueries (부질의 기능을 추가한 확장된 Query-by-Example)

  • 원희선;이종학;황규영
    • Journal of the Korean Institute of Telematics and Electronics B
    • /
    • v.31B no.9
    • /
    • pp.10-21
    • /
    • 1994
  • Query-by-Example(QBE) is high-level display-oriented databased manipulation language that provides a convenient and unified style for querying, updating, defining, and controling a relational database. QBE is relationally complete. However, lack of aubquery constructs limits th usability of QBE significantly. In particular, certain queries cannot be represented in one window. In this paper, we define a subquery box and extend QBE for subquery construction. The Extended QBE makes it possible to represent the queries that the QBE cannot do in one window, reducing the overhead and complexity of composing those queries. We also define the grammar of the Extended QBE and present the parsing techniques. Finally, we present an algorithm to transform the queries in Exteded QBE to those in SQL. The result of the transformation can be executed using dynamic SQL features of any SQL system. The proposed language has been implemented on OS/2 using the OS/2 EE Database Manager.

  • PDF

A Korean Grammar Chacker Founded on Expanded Lexical Disambiguation Rule and Partial Parsing (확장한 어휘적 중의성 제거 규칙에 따른 부분 문장 분석에 기반한 한국어 문법 검사기)

  • Park, Su-Ho;Kwon, Hyuk-Chul
    • Annual Conference on Human and Language Technology
    • /
    • 2001.10d
    • /
    • pp.516-522
    • /
    • 2001
  • 본 논문에서는 한국어 형태소 분석기가 처리할 수 없는 어휘적 중의성 해결을 위한 방법으로 부분 문장 분석 기법을 연구한다. 부분 문장 분석 기법의 신뢰도를 높이기 위해서 말뭉치를 이용한 데이터를 통해 학습한 경험적 규칙을 이용한다. 학습한 경험적 규칙을 오류 유형에 따라 확장하고 전문화하여 축적된 연구결과를 지식 베이스로 삼아 한국어 맞춤법 및 문법 검사기에서 사용하는 부분 문장 분석기의 성능을 향상시킨다. 본 논문에서 사용한 확장하고 전문화한 지식 베이스는 말뭉치에서 얻은 경험적 규칙을 기반으로 한다. 이 경험적 규칙은 언어적 지식을 기반으로 한다.

  • PDF

Korean Dependency Structure Analyzer based on Probabilistic Chart Parsing (확률적 차트 파싱에 기반 한 한국어 의존 구조 분석기)

  • Eun, Ji-Hyun;Jeong, Min-Woo;Lee, Gary Geun-Bae
    • Annual Conference on Human and Language Technology
    • /
    • 2005.10a
    • /
    • pp.105-111
    • /
    • 2005
  • 정형적인 프로그래밍 언어에서는 언어를 기계적으로 해석하기 위해 입력의 구조적인 형태를 구축하는 파싱이 필수적인 과정으로 여겨진다. 기계에 기반 해서 개발된 프로그래밍 언어와 달리, 인간의 자유로운 의사소통을 위해 형성된 자연어는 특유의 다양성으로 인해 어휘, 구문, 의미 분석이 매우 어렵다. 반대로 자연어 구조 분석이 성공적으로 이루어지면 응용 시스템의 성능 향상에 상당한 기여를 할 것이라고 여겨지고, 이로 인해 끊임없이 자연어 처리, 특히 구문 분석에 많은 연구가 이루어지고 있다. 본 논문에서는 파싱에 사용되는 문법 전체를 말뭉치로부터 자동 구축하여 영역별 이식성 및 문법의 효율성을 도모했다. 또한 확률적 차트 파싱 기법과 immediate-head 파싱 모델을 적용하여 기존 파싱 시스템의 성능 향상을 시도했다. 세종 말뭉치를 이용한 파서의 성능은 각각 LP/LR 78.98%/79.55%로 나타났다.

  • PDF

Korean Dependency Parsing using Deep Learning (딥 러닝을 이용한 한국어 의존 구문 분석)

  • Lee, Changki;Kim, Junseok;Kim, Jeonghee
    • Annual Conference on Human and Language Technology
    • /
    • 2014.10a
    • /
    • pp.87-91
    • /
    • 2014
  • 일반적인 기계학습 기반의 자연어처리 모듈의 개발에서 자질의 설계와 최적의 자질 조합을 구하는 작업은 많은 시간과 노력이 필요하다. 본 논문에서는 딥 러닝 기술을 전이 기반 방식의 한국어 의존 구문 분석에 적용하여 자질 튜닝 작업에 들어가는 많은 시간과 노력을 줄일 수 있음을 보인다. 또한 딥 러닝을 적용하기 위해 필요한 다양한 단어 표현(word embedding) 모델을 적용하여 최적의 단어 표현 모델을 알아내고, 성능 향상을 위해 최근에 개발된 Drop-out 및 Rectified Linear hidden Unit(ReLU) 기술을 적용한다. 실험결과, 기존 한국어 의존 구문 분석 연구들보다 높은 UAS 90.37%의 성능을 보였다.

  • PDF

Subtree-based XML Storage and XPath Processing

  • Shin, Ki-Hoon;Kang, Hyun-Chul
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • v.4 no.5
    • /
    • pp.877-895
    • /
    • 2010
  • The state-of-the-art techniques of storing XML data, modeled as an XML tree, are node-based in the sense that they are centered around XML node labeling and the storage unit is an XML node. In this paper, we propose a generalization of such techniques so that the storage unit is an XML subtree that consists of one or more nodes. Despite several advantages with such generalization, a major problem would be inefficiency in XPath processing where the stored subtrees are to be parsed on the fly in order for the nodes inside them to be accessed. We solve this problem, proposing a technique whereby no parsing of the subtrees involved in XPath processing is needed at all unless they contain the nodes of the final query result. We prove that the correctness of XPath processing is guaranteed with our technique. Through implementation and experiments, we also show that the overhead of our technique is acceptable.

Pattern Recognition Using Attributed Grammar (속성문법에 의한 물체인식)

  • Yim, Seung-Cheol;Kim, Tae-Kyun;Kwon, Oh-Suk
    • Proceedings of the KIEE Conference
    • /
    • 1988.07a
    • /
    • pp.675-678
    • /
    • 1988
  • This paper describes the method of syntactic-semantic pattern recognition and description for two dimensional object which is adjusted or changed in size and its orientation. To avoid the complexity and ambiguity which is arised in the case of syntactic or decision-theoretic method is used individually, an attributed grammar is introduced which applies computative attributes to pattern primitives, and then uses decision-theoretic method for attributes and syntactic method for pattern structure. A primitive extraction embedding parsing and grobal rule for classification is also applied for more effective pattern recognition and description.

  • PDF

Korean Parsing using Sejong Dictionary (세종전자사전을 활용한 한국어 구문분석)

  • Seong, Yeolwon
    • Annual Conference on Human and Language Technology
    • /
    • 2007.10a
    • /
    • pp.261-268
    • /
    • 2007
  • 본 논문에서는 세종전자사전의 정보를 활용하여 논항 결합의 정확도를 향상시키는 한국어 구문분석 모델을 제안한다. 구문분석 과정에서 노드간의 결합 가능성을 계산할 때, 세종전자사전 동사사전의 격틀 정보, 논항 제약 정보와 명사사전의 의미부류 정보를 활용하여 가산점을 부여하여 사전의 내용과 일치하는 결합이 선호되도록 하였다. 이 과정에서 구조적 오류를 해결할 수 있었고, 결합에 참여하는 동사와 명사의 의미 중의성도 해소할 수 있었다. 평균 13어절 길이의 실험용 문장 50개를 대상으로 실험한 결과, 35% 정도의 오류 감소 효과를 볼 수 있었다. 또한 구문분석 결과 정보를, 전자 사전에 기술된 정보의 완결성을 시험하고 보완하는 데에도 활용하였다.

  • PDF

Implementation of Network Layer for a High Speed Rail (고속전철 네트워크용 네트워크 계층 구현)

  • Kim, Seok-Heon;Kim, Hyung-In;Jung, Sung-Youn;Kim, Han-Do;Park, Jae-Hyun
    • Proceedings of the KSR Conference
    • /
    • 2008.06a
    • /
    • pp.2021-2026
    • /
    • 2008
  • Recently, a high speed rail consists of many train coaches and power cars. For keeping the reliable train communication system with train coaches and power cars, train uses the OSI model(Open Systems Interconnection Basic Reference Model) and KTX(Korea Train eXpress) only uses the Physical to Transport layer of OSI model. This paper describes the analysis of CLNP(Connectionless Network Protocol) and ES-IS(End System to Intermediate System) protocols used in KTX for the network layer. CLNP is used to send data to other system and ES-IS protocol is used to route and send information between end systems and intermediate systems. Also this paper presents the protocol parsing program and implementation of Network layer.

  • PDF