• 제목/요약/키워드: 파싱

검색결과 385건 처리시간 0.03초

임의 순서 차트 파싱 알고리즘 (Random Order Chart Parsing Algorithm)

  • 심광섭
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권6호
    • /
    • pp.446-454
    • /
    • 2010
  • 차트 파싱 알고리즘에서는 입력 문장의 왼쪽에서 오른쪽으로 파싱을 진행하여야 한다는 제약이 따른다. 본 논문에서는 이러한 제약을 없앤 임의 순서 차트 파싱 알고리즘을 제안한다. 제안한 알고리즘에서는 입력 문장의 각 단어에 대하여 어떤 순서로 파싱을 하더라도 무방하다. 입력 문장의 왼쪽에서 오른쪽으로 파싱을 진행하는 것은 임의 순서로 파싱을 진행하는 것의 특수한 형태이므로 임의 순서 차트파싱 알고리즘에서도 입력 문장의 왼쪽에서 오른쪽으로 파싱을 하는 것이 가능하다. 제안된 알고리즘은 차트 파싱 알고리즘을 확장한 것으로서 제어 구조가 매우 단순하며 구현도 용이하다.

JFlex와 BYacc/J를 이용한 XML Pull Parser 설계 (Design of Xml Pull Parser Using JFlex and BYacc/J)

  • 장주현;노희영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (B)
    • /
    • pp.31-33
    • /
    • 2003
  • XML을 파싱하는 기존의 파싱 Model인 Document Object Model은 메모리 내에 트리 구조와 같은 문서의 컨텐츠를 구성하기 때문에 메모리 사용이 많으며 Event 기반의 Push Model은 Consumer의 상태와 관계없이 파싱된 정보를 이벤트 처리 메소드를 이용함으로 처리의 지연, 처리의 지연을 위한 메모리 사용 등의 단점이 있다. 이에 반해 Pull 파싱 Model은 Client가 파싱의 요청을 하는 Model로써 Streaming Data를 파싱 할 시에 적은 지연시간, 메모리의 효율적인 사용 파싱속도가 신속하다는 장점이 있다. 따라서 본 논문에서는 XML 파서 설계에 있어서 Pull 파싱 모델에 파서 Generator tool인 JFlex와 BYacc/J를 사용하여 기존의 Xml Parser보다 파싱 속도를 향상시키는 Pull 파서의 설계 방법을 제안하고자 한다.

  • PDF

딥러닝을 이용한 전이 기반 한국어 품사 태깅 & 의존 파싱 통합 모델 (A Transition based Joint Model for Korean POS Tagging & Dependency Parsing using Deep Learning)

  • 민진우;나승훈;신종훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.97-102
    • /
    • 2017
  • 형태소 분석과 의존 파싱은 자연어 처리 분야에서 핵심적인 역할을 수행하고 있다. 이러한 핵심적인 역할을 수행하는 형태소 분석과 의존 파싱에 대해 일괄적으로 학습하는 통합 모델에 대한 필요성이 대두 되었고 이에 대한 많은 연구들이 수행되었다. 기존의 형태소 분석 & 의존 파싱 통합 모델은 먼저 형태소 분석 및 품사 태깅에 대한 학습을 수행한 후 이어서 의존 파싱 모델을 학습하는 파이프라인 방식으로 진행되었다. 이러한 방식의 학습을 두 번 연이어 진행하기 때문에 시간이 오래 걸리고 또한 형태소 분석과 파싱이 서로 영향을 주지 못하는 단점이 존재하였다. 본 논문에서는 의존 파싱에서 형태소 분석에 대한 전이 액션을 포함하도록 전이 액션을 확장하여 한국어 형태소 분석 & 의존파싱에 대한 통합모델을 제안하였고 성능 측정 결과 세종 형태소 분석 데이터 셋에서 F1 97.63%, SPMRL '14 한국어 의존 파싱 데이터 셋에서 UAS 90.48%, LAS 88.87%의 성능을 보여주어 기존의 의존 파싱 성능을 더욱 향상시켰다.

  • PDF

딥러닝을 이용한 전이 기반 한국어 품사 태깅 & 의존 파싱 통합 모델 (A Transition based Joint Model for Korean POS Tagging & Dependency Parsing using Deep Learning)

  • 민진우;나승훈;신종훈
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.97-102
    • /
    • 2017
  • 형태소 분석과 의존 파싱은 자연어 처리 분야에서 핵심적인 역할을 수행하고 있다. 이러한 핵심적인 역할을 수행하는 형태소 분석과 의존 파싱에 대해 일괄적으로 학습하는 통합 모델에 대한 필요성이 대두 되었고 이에 대한 많은 연구들이 수행되었다. 기존의 형태소 분석 & 의존 파싱 통합 모델은 먼저 형태소 분석 및 품사 태깅에 대한 학습을 수행한 후 이어서 의존 파싱 모델을 학습하는 파이프라인 방식으로 진행되었다. 이러한 방식의 학습을 두 번 연이어 진행하기 때문에 시간이 오래 걸리고 또한 형태소 분석과 파싱이 서로 영향을 주지 못하는 단점이 존재하였다. 본 논문에서는 의존 파싱에서 형태소 분석에 대한 전이 액션을 포함하도록 전이 액션을 확장하여 한국어 형태소 분석 & 의존파싱에 대한 통합모델을 제안하였고 성능 측정 결과 세종 형태소 분석 데이터 셋에서 F1 97.63%, SPMRL '14 한국어 의존 파싱 데이터 셋에서 UAS 90.48%, LAS 88.87%의 성능을 보여주어 기존의 의존 파싱 성능을 더욱 향상시켰다.

  • PDF

지역적 양방향 분석을 이용한 견고한 자연어 파싱 기법 (A Robust Natural Language Parsing Method Using Local Bi-directional Analysis)

  • 박성완;나동열
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (2)
    • /
    • pp.176-178
    • /
    • 2000
  • 자연어 파싱에 많이 사용되는 Earley 파싱 알고리즘은 입력문장에 에러(error)가 있으면 즉시 종료되기 때문에 견고한(robust) 파싱을 구현하기 어렵다. 본 논문에서 우리는 Earley 파싱 알고리즘을 보다 견고한 파싱 기법으로 만드는 방법을 제안한다. Earley 파싱을 하다가 멈추면 파싱 모드를 지역적 양방향 분석으로 전환시킨다. 에러 위치 다음에 나타나는 단어를 아일랜드(island)로 정한다. 아일랜드를 지역적으로 양방향으로 확장시켜 에어 위치까지 도달하게 한 다음 에러의 종류를 파악하고 이를 복구하는 기법을 사용함으로써 견고성을 얻을 수 있다.

  • PDF

트리 합성 문법을 이용한 한국어 파싱 (Parsing Korean Using Tree Combining Grammar)

  • 양성일;나동렬
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1994년도 제6회 한글 및 한국어정보처리 학술대회
    • /
    • pp.426-433
    • /
    • 1994
  • 본 논문에서는 트리의 점증적인 합성에 의하여 파싱을 진행시켜 나가는 파싱 방법을 소개하며 이의 한국어 파싱에의 응용을 살펴 본다. 이와 같은 트리 합성 파싱(tree combining parsing)을 지원하기 위한 문법인 트리 합성 문법(Tree Combining Grammar)을 소개한다. 우리는 먼저 문맥 자유 문법을 작성한 후 이로부터 자동적인 변환에 의하여 트리 합성 문법을 얻는 과정을 취한다. 따라서 트리 합성 파싱은 일종의 문맥 자유 파싱(context-free parsing)으로 볼 수 있으나 점증성(incremental), 하향성(top-down), 상향성(bottom-up), 유연성(flexible) 등과 같은 장점을 갖고 있다. 트리 합성 파싱의 유연성을 기반으로 하여 부분 자유 어순, 중심어 후행성과 같은 특성을 가진 한국어를 효과적으로 파싱할 수 있도록 트리 합성 파싱을 확장하는 방법을 살펴본다.

  • PDF

LR 파서를 위한 효율적인 점진적 파싱 (An Efficient Incremental Parsing for LR Parsers)

  • 안희학
    • 한국정보처리학회논문지
    • /
    • 제5권6호
    • /
    • pp.1660-1669
    • /
    • 1998
  • 본 논문에서는 실제 사용에 있어서 시간과 기억 장소를 상당히 요구하는 기존의 점진적 파싱 알고리즘들을 조사하여, 이들보다 효율적인 점진적 LR 파싱 알고리즘을 제안한다. 문법 기호를 포함하는 확장형 LR 파싱표를 본 논문에서 제안한 점진적 LR 파싱 알고리즘을 적용한다. 여러 문장의 경우에 본 점진적 LR 파싱 알고리즘을 이용하여 파싱 단계와 기억 장소를 감소시켰다. 본 알고리즘은 복잡하고 큰 문법의 경우에 더욱 효과적이다.

  • PDF

자바스크립트 동시 파싱을 위한 우선순위 휴리스틱 (The Priority Heuristics for Concurrent Parsing of JavaScript)

  • 차명수;박혁우;문수묵
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권8호
    • /
    • pp.510-515
    • /
    • 2017
  • 웹 어플리케이션은 로딩 시간을 빠르게 하는 것이 중요하다. 파싱은 로딩 과정 중 하나로서 로딩을 길어지게 하는 원인이 되고 있다. 이러한 이유로 파싱 쓰레드를 만들어 파싱을 병렬화 시킨 동시 파싱 기법이 제안되었다[3]. 그러나 동시 파싱은 파싱 순서에 대한 고려가 없다는 한계가 있었다. 본 논문에서는 동시 파싱을 사용할 때 어떤 함수를 먼저 파싱해야 하는가에 대한 휴리스틱을 제안한다. 파싱 우선 순위를 정하기 위해 실제 웹 어플리케이션의 자바스크립트 함수들을 분석하여 함수를 세 가지 기준으로 분류하였고, 각 분류의 호출 확률(call probability)을 구하였다. 조사한 호출 확률을 이용하여 높은 호출 확률을 갖는 함수들에 높은 파싱 우선 순위를 주었고, 반대로 낮은 호출 확률의 함수들은 낮은 우선 순위를 주었다. 정의한 우선 순위를 토대로 휴리스틱을 제안했고 이를 검증하기 위해 실제 웹 어플리케이션에서 로딩 시간을 측정하여 최대 3.8%, 평균 2.6%의 로딩 시간을 단축하였다.

확률파싱오토마타 모델 (A Model of Probabilistic Parsing Automata)

  • 이경옥
    • 정보과학회 논문지
    • /
    • 제44권3호
    • /
    • pp.239-245
    • /
    • 2017
  • 확률문법은 자연어처리에서 사용되며, 확률문법에 대한 구문분석의 결과인 파스는 문법의 확률을 그대로 보존해야 한다. 대표적인 구문분석방법인 LL 파싱과 LR 파싱의 확률파싱 가능성을 살펴볼 때 LL 파싱은 문법의 확률정보를 그대로 유지하는 반면에 LR 파싱은 그렇지 않다. 확률문법과 확률파싱오토마톤과의 관계에 관한 기존 연구로 확률보존조건을 충족하는 오토마톤의 특성에 관한 연구는 진행된 바 있다. 그렇지만, 현재로서는 확률보존조건을 충족하는 오토마톤 생성모델에 관해서는 알려진 바가 없다. 본 논문에서는 단일상태파싱오토마타에 기반한 확률파싱오토마타 모델을 제안한다. 제안 모델로부터 생성되는 오토마톤은 확률보존조건을 보장하기에 별도의 확률파싱 가능 여부를 테스팅하는 단계가 불필요하고, 별도의 확률 함수를 정의하지 않아도 된다. 또한 매개인자를 적절하게 선택하여 효율적인 오토마톤의 생성이 가능하다.

확장된 PLR(1) 문법에 대한 단일 틈 파싱 (A One-Gap Parsing with Extended PLR(1) Grammars)

  • 이경옥
    • 정보과학회 논문지
    • /
    • 제42권3호
    • /
    • pp.361-366
    • /
    • 2015
  • 틈(Gap) 파싱은 완전하지 않고 틈이 있는 입력 스트링에 대한 구문 분석을 수행한다. 이런 틈 파싱에 관한 기존 연구로서 임의의 문법에 대한 단일 틈 파싱 알고리즘과 LL(1) 문법에 대한 단일 틈 파싱 알고리즘이 제안되었으며, 이들의 시간복잡도는 각각 $O(n^3)$$O(n^2)$이다. 본 논문에서는 확장된 PLR(1) 문법에 대한 단일 틈 파싱 알고리즘을 제안한다. 확장된 PLR(1) 문법은 LR(1) 문법의 부분 클래스이지만 LL(1) 문법보다는 휠씬 넒은 범위의 문법 클래스이다. 이 문법 클래스에 대한 단일 틈 파싱 알고리즘이 LL(1) 문법에 대한 기존에 알려진 단일 틈 파싱 알고리즘의 복잡도와 동일한 $O(n^2)$임을 보인다.