• 제목/요약/키워드: Parsing Method

검색결과 150건 처리시간 0.028초

불완전 XML을 위한 파싱 방법 (A Parsing Method for an Incomplete XML)

  • 조경룡;조성언;박장우
    • 한국정보통신학회논문지
    • /
    • 제12권12호
    • /
    • pp.2153-2158
    • /
    • 2008
  • 대표적인 웹 문서의 표준인 XML은 문서의 구조와 내용을 기술하기 위해 태그로 이루어진 문법 구조를 갖는다. XML 문서 작성자는 XML 문서 작성 중 해당 XML DTD(Document Type Definition)에 문법적으로 올바르지 않은 문장을 입력할 수 있다. 즉, 일반적인 텍스트 에디터 환경에서 XML 문서에 입력되는 내용과 태그의 쌍은 완전하지 못한 형태로 입력될 수 있다. 문법적으로 불완전한 문장 입력은 사용자의 계속적인 편집 상태를 종료하고, 정상적인 파싱을 보장하지 않는 원인이 된다. XML 문서를 작성하는 과정에서 문법적으로 불완전한 문장 입력은 정상적인 파싱을 보장하지 않는다. 따라서, 에디터가 문법적으로 빠져있는 부분의 심볼이 무엇인지 정확히 인식 가능하고, 주어진 문법에 따라 부분적인 파스트리를 완성한다면, 사용자의 프로그래밍 편집 상태를 종료하지 않고 계속적인 편집과 성공적인 파싱을 보장할 수 있을 것이다. 본 논문은 XML 문서 편집기에 사용될 수 있는 XML 파서가 문법적으로 불충분한 문장의 입력에 대해 문법에 따라 빠진 부분을 인식하고, 누락된 문법 심벌을 찾아 부족한 부분 파스트리를 완성함으로써 사용자에게 성공적인 XML 문서 편집을 보장할 수 있는 파싱 방법을 제안한다. 제안된 파싱 방법을 통해 사용자는 프로그래밍 편집 중 문법 오류에 대한 부담을 줄일 수 있다. 또한, 사용자는 불완전 입력에 대해 일반적인 에러 처리에 따른 편집 중단 없이 계속적인 문서 파싱 을 보장받아 편집 효율을 높일 수 있다.

한국어 구문분석의 효율성을 개선하기 위한 구문제약규칙의 학습 (Loaming Syntactic Constraints for Improving the Efficiency of Korean Parsing)

  • 박소영;곽용재;정후중;황영숙;임해창
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제29권10호
    • /
    • pp.755-765
    • /
    • 2002
  • 본 논문에서는 한국어 구문분석에 적합한 다양한 구문정보에 대해 살펴보고, 이를 바탕으로 학습한 제약규칙을 이용하여 구문분석모델의 효율성을 개선시키는 방법을 제안한다. 제안하는 방법의 특징은 다음과 같다. 첫째, 제약규칙을 이용하여 불필요한 중간결과물의 생성을 제약하므로, 구문분석의 효율성이 향상된다. 둘째, 제약규칙의 학습에 이용되는 구문정보가 한국어의 특성을 적절히 반영하고 있으므로, 한국어 문장에 대해 비교적 견고하게 분석할 수 있다. 셋째, 제약규칙은 결정트리 학습알고리즘에 의해 말뭉치에서 자동으로 학습되므로, 제약규칙의 획득이 용이하다. 제약규칙을 이용하여 실험한 결과 구문분석모델의 과생성이 1/2~1/3로 줄고 처리속도가 2~3배 빨라졌다.

의존 구문 분석을 이용한 질의 기반 정답 추출 (Query-based Answer Extraction using Korean Dependency Parsing)

  • 이도경;김민태;김우주
    • 지능정보연구
    • /
    • 제25권3호
    • /
    • pp.161-177
    • /
    • 2019
  • 질의응답 시스템은 크게 사용자의 질의를 분석하는 방법인 질의 분석과 문서 내에서 적합한 정답을 추출하는 방법인 정답 추출로 이루어지며, 두 방법에 대한 다양한 연구들이 진행되고 있다. 본 연구에서는 문장의 의존 구문 분석 결과를 이용하여 질의응답 시스템 내 정답 추출의 성능 향상을 위한 연구를 진행한다. 정답 추출의 성능을 높이기 위해서는 문장의 문법적인 정보를 정확하게 반영할 필요가 있다. 한국어의 경우 어순 구조가 자유롭고 문장의 구성 성분 생략이 빈번하기 때문에 의존 문법에 기반한 의존 구문 분석이 적합하다. 기존에 의존 구문 분석을 질의응답 시스템에 반영했던 연구들은 구문 관계 정보나 구문 형식의 유사도를 정의하는 메트릭을 사전에 정의해야 한다는 한계점이 있었다. 또 문장의 의존 구문 분석 결과를 트리 형태로 표현한 후 트리 편집 거리를 계산하여 문장의 유사도를 계산한 연구도 있었는데 이는 알고리즘의 연산량이 크다는 한계점이 존재한다. 본 연구에서는 구문 패턴에 대한 정보를 사전에 정의하지 않고 정답 후보 문장을 그래프로 나타낸 후 그래프 정보를 효과적으로 반영할 수 있는 Graph2Vec을 활용하여 입력 자질을 생성하였고, 이를 정답 추출모델의 입력에 추가하여 정답 추출 성능 개선을 시도하였다. 의존 그래프를 생성하는 단계에서 의존 관계의 방향성 고려 여부와 노드 간 최대 경로의 길이를 다양하게 설정하며 자질을 생성하였고, 각각의 경우에 따른 정답추출 성능을 비교하였다. 본 연구에서는 정답 후보 문장들의 신뢰성을 위하여 웹 검색 소스를 한국어 위키백과, 네이버 지식백과, 네이버 뉴스로 제한하여 해당 문서에서 기존의 정답 추출 모델보다 성능이 향상함을 입증하였다. 본 연구의 실험을 통하여 의존 구문 분석 결과로 생성한 자질이 정답 추출 시스템 성능 향상에 기여한다는 것을 확인하였고 해당 자질을 정답 추출 시스템뿐만 아니라 감성 분석이나 개체명 인식과 같은 다양한 자연어 처리 분야에 활용 될 수 있을 것으로 기대한다.

투사성과 재탐색을 이용한 결정적 한국어 의존구조 분석의 보정기법 (Correction Method for Korean Dependency Parsing using Projectivity and Re-searching)

  • 박영민;서정연
    • 인지과학
    • /
    • 제22권4호
    • /
    • pp.429-447
    • /
    • 2011
  • 본 논문에서는 투사성의 원칙을 이용해 결정적 한국어 의존 구문분석을 보완하는 방법을 제안한다. 우리는 결정적 의존 구문분석에 투사성의 원칙을 이용하여 의존 구문분석의 오류를 찾아내고 투사성의 원칙을 만족하도록 수정하여 오류를 개선하였다. 제안하는 모델은 기존의 결정적 의존 구문분석에 비해 높은 정확률을 제공하고 결정적 의존 구문분석의 장점을 유지할 수 있다. 또한 우리는 중간 분석결과를 이용한 자질모델을 제안하였다. 우리는 실험을 통하여 제안한 의존 구문분석 모델이 기존의 의존 구문분석 모델들에 비해 성능이 향상됨을 보였다.

  • PDF

확률적 문법규칙에 기반한 국어사전의 뜻풀이말 구문분석기 (A Parser of Definitions in Korean Dictionary based on Probabilistic Grammar Rules)

  • 이수광;옥철영
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제28권5호
    • /
    • pp.448-448
    • /
    • 2001
  • The definitions in Korean dictionary not only describe meanings of title, but also include various semantic information such as hypernymy/hyponymy, meronymy/holonymy, polysemy, homonymy, synonymy, antonymy, and semantic features. This paper purposes to implement a parser as the basic tool to acquire automatically the semantic information from the definitions in Korean dictionary. For this purpose, first we constructed the part-of-speech tagged corpus and the tree tagged corpus from the definitions in Korean dictionary. And then we automatically extracted from the corpora the frequency of words which are ambiguous in part-of-speech tag and the grammar rules and their probability based on the statistical method. The parser is a kind of the probabilistic chart parser that uses the extracted data. The frequency of words which are ambiguous in part-of-speech tag and the grammar rules and their probability resolve the noun phrase's structural ambiguity during parsing. The parser uses a grammar factoring, Best-First search, and Viterbi search In order to reduce the number of nodes during parsing and to increase the performance. We experiment with grammar rule's probability, left-to-right parsing, and left-first search. By the experiments, when the parser uses grammar rule's probability and left-first search simultaneously, the result of parsing is most accurate and the recall is 51.74% and the precision is 87.47% on raw corpus.

효율적인 영어 구문 분석을 위한 최대 엔트로피 모델에 의한 문장 분할 (Intra-Sentence Segmentation using Maximum Entropy Model for Efficient Parsing of English Sentences)

  • 김성동
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제32권5호
    • /
    • pp.385-395
    • /
    • 2005
  • 긴 문장 분석은 높은 분석 복잡도로 인해 기계 번역에서 매우 어려운 문제이다. 구문 분석의 복잡도를 줄이기 위하여 문장 분할 방법이 제안되었으며 본 논문에서는 문장 분할의 적용률과 정확도를 높이기 위한 최대 엔트로피 확률 모델 기반의 문장 분할 방법을 제시한다. 분할 위치의 어휘 문맥적 특징을 추출하여 후보 분할 위치를 선정하는 규칙을 학습을 통해 자동적으로 획득하고 각 후보 분할 위치에 분할 확률 값을 제공하는 확률 모델을 생성한다. 어휘 문맥은 문장 분할 위치가 표시된 말뭉치로부터 추출되며 최대 엔트로피 원리에 기반하여 확률 모델에 결합된다. Wall Street Journal의 문장을 추출하여 학습 데이타를 생성하는 말뭉치를 구축하고 네 개의 서로 다른 영역으로부터 문장을 추출하여 문장 분할 실험을 하였다. 실험을 통해 약 $88\%$의 문장 분할의 정확도와 약 $98\%$의 적용률을 보였다. 또한 문장 분할이 효율적인 파싱에 기여하는 정도를 측정하여 분석 시간 면에서 약 4.8배, 공간 면에서 약 3.6배의 분석 효율이 향상되었음을 확인하였다.

표준형상 매개변수 추출을 이용한 자동공정계획 (Automatic Process Planning by Parsing the Parameters of Standard Features)

  • 신동목
    • 한국정밀공학회지
    • /
    • 제20권3호
    • /
    • pp.105-111
    • /
    • 2003
  • This paper presents an approach to automate process planning of press dies for manufacturing of car bodies. Considering that the press-dies used at the same press operations regardless of the panels they produce or the car models of which they produce panels have similar shapes except for the forming part of the dies, general approaches to recognize manufacturing features from CAD models are not necessary. Therefore, a hybrid approach is proposed combining feature-based design and feature-extraction approaches. The proposed method recognizes features by parsing the parameters extracted from CAD models and finds proper operations by querying the database by the recognized features. An internet-based process planning system is developed to demonstrate the proposed approach and to suggest a new paradigm of process planning system that utilizes an internet access to the CAD system.

요약파싱기법을 사용한 웹 접근성의 정적 분석 (Static Analysis of Web Accessibility Based on Abstract Parsing)

  • 김현하;도경구
    • 정보과학회 논문지
    • /
    • 제41권12호
    • /
    • pp.1099-1109
    • /
    • 2014
  • 웹 접근성 평가 도구는 웹 사이트가 웹 접근성 지침을 잘 지키고 있는지 검사하는 도구이다. 국내외 법과 제도가 마련된 이후 지침 준수여부를 검사하는 도구가 많이 나왔지만, 대부분 동적으로 페이지를 수집해서 분석하는 방법을 사용한다. 특히 자동화된 도구들은 페이지를 수집한 후에 분석하는데, 실행환경이나 접근권한의 문제로 수집하지 못해서 분석결과에서 빠지는 경우가 발생할 수 있다. 본 연구는 기존 방법과 달리 정적으로 분석하여 웹 접근성을 평가하는 방법을 제안한다. 정적인 분석방법은 실행 가능한 모든 경로를 고려하기 때문에 놓치는 페이지 없이 분석할 수 있다. 요약해석기법에 파싱이론을 접목한 요약파싱 기술을 사용해서 동적으로 생성될 웹 페이지의 웹 접근성을 정적으로 분석하는 도구를 개발하였다. 실험 대상 PHP 프로그램을 제안하는 연구방법으로 개발한 도구와 비교 대상 도구에서 분석한 결과를 비교해서 비교 대상 도구에서는 접근권한이나 실행경로 등의 문제로 분석하지 못하고 놓치는 웹 페이지가 있음을 확인하였다.

디지털 방송 서비스에서 트랜스포트 스트림 분석 및 파싱 능력 향상에 관한 연구 (A Study on Transport Stream Analysis and Parsing Ability Enhancement in Digital Broadcasting and Service)

  • 김장원
    • 한국정보전자통신기술학회논문지
    • /
    • 제10권6호
    • /
    • pp.552-557
    • /
    • 2017
  • 유 무선 디지털 방송이 고화질 TV의 탄생과 함께 2010년 이후로 급격하게 확산되었으며, 단방향 콘텐츠 이용뿐만 아니라 양방향 콘텐츠 이용이 급격하게 증가되고 있다. 현재 우리나라 위성 통신망에서는 유럽 디지털 방송 표준화기구의 DVB를 국내 데이터 방송의 표준으로 채택하고 있으며, IPTV의 발전에 의해 선택적 콘텐츠의 이용방법도 또한 다양하게 연구되었다. 디지털 방송에서는 MPEG-2 system의 비디오, 오디오, 그리고 데이터 등의 멀티미디어 정보를 전송하기 위해 정보를 다중화 하는 방식으로 Transport Stream Packet(TSP)을 이용한 방식을 사용하는데, 이 Stream에는 비디오, 오디오 정보는 물론, TV 편성표와 프로그램에 대한 상세한 정보까지도 포함되어 있다. 본 연구에서는 이러한 데이터 방송 시스템을 이해하기 위하여 Linux 환경에서 Transport Stream(TS)을 Packet별로 구분하고 각각의 기능별로 분석, 출력해주는 TS Analyzer를 구현하였으며, TS의 이해를 돕고 Stream Parsing 능력향상을 이룰 수 있었다.