• 제목/요약/키워드: Korean parsing

검색결과 325건 처리시간 0.022초

카운팅 블룸필터를 이용한 SSD 기반의 디렉토리 탐색 기법 (An SSD-Based Directory Parsing with the Counting Bloom Filter)

  • 김만윤;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.347-349
    • /
    • 2014
  • 데이터의 폭발적인 증가로 우리는 빅데이터 시대를 맞이하게 되었다. 빅데이터의 파일 시스템 내에는 아주 큰 트리구조로 이루어진 디렉토리와 파일이 무수히 존재한다. 이 커다란 트리구조에서 사용자가 요청하는 디렉토리와 파일을 탐색하는 것은 매우 어려운 작업이다. 이에 우리는 카운팅 블룸필터를 이용한 디렉토리 탐색 기법을 제시한다. SDP(SSD-based Directory Parsing)는 최근 또는 자주 액세스한 디렉토리와 파일의 메타데이터를 보관하는 SSD 기반의 캐시이다. 대규모 파일 시스템에서 사용자가 파일을 요청했을 때 파일 시스템은 저장 장치에 메타데이터를 검색하기 위해 여러 번 액세스한다. 이러한 비효율적인 SSD에 대한 액세스를 방지하기 위해 카운팅 블룸필터를 이용하여 메타데이터를 빠르고 효율적으로 검색하는 기법을 제시한다.

  • PDF

다양한 앙상블 알고리즘을 이용한 한국어 의존 구문 분석 (Korean Dependency Parsing Using Various Ensemble Models)

  • 조경철;김주완;김균엽;박성진;강상우
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.543-545
    • /
    • 2019
  • 본 논문은 최신 한국어 의존 구문 분석 모델(Korean dependency parsing model)들과 다양한 앙상블 모델(ensemble model)들을 결합하여 그 성능을 분석한다. 단어 표현은 미리 학습된 워드 임베딩 모델(word embedding model)과 ELMo(Embedding from Language Model), Bert(Bidirectional Encoder Representations from Transformer) 그리고 다양한 추가 자질들을 사용한다. 또한 사용된 의존 구문 분석 모델로는 Stack Pointer Network Model, Deep Biaffine Attention Parser와 Left to Right Pointer Parser를 이용한다. 최종적으로 각 모델의 분석 결과를 앙상블 모델인 Bagging 기법과 XGBoost(Extreme Gradient Boosting) 이용하여 최적의 모델을 제안한다.

  • PDF

리덕션 골의 예상: 결정적인 접근 방법 ((Prediction of reduction goals : deterministic approach))

  • 이경옥
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권5_6호
    • /
    • pp.461-465
    • /
    • 2003
  • LR 파싱 시에 리덕션 골을 리덕션 시점 이전에 찾는 기법은 우문맥 계산 등의 다양한 응용을 갖는다. 기존 연구로서 미리 결정될 수 있는 리덕션 골의 집합을 생성해주는 방식이 제안되었다. 한편 이와 같은 집합 형태의 접근은 비결정적이어서 응용에 따라서는 부적절한 경우가 있다 이에 본 논문에서는 집합의 형태가 아닌 유일한 예상 가능한 리덕션 골을 제시하는 결정적인 방법을 제안한다.

한국어 의존 구문 분석을 위한 개선된 Deep Biaffine Attention (Improved Deep Biaffine Attention for Korean Dependency Parsing)

  • 오동석;우종성;이병우;김경선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.608-610
    • /
    • 2018
  • 한국어 의존 구문 분석(Dependency Parsing)은 문장 어절의 중심어(head)와 수식어(modifier)의 의존관계를 표현하는 자연어 분석 방법이다. 최근에는 이러한 의존 관계를 표현하기 위해 주의 집중 메커니즘(Attention Mechanism)과 LSTM(Long Short Term Memory)을 결합한 모델들이 높은 성능을 보이고 있다. 본 논문에서는 개선된 Biaffine Attention 의존 구문 분석 모델을 제안한다. 제안된 모델은 기존의 Biaffine Attention에서 의존성과 의존 관계를 결정하는 방법을 개선하였고, 한국어 의존 구문 분석을 위한 입력 열의 형태소 표상을 확장함으로써 기존의 모델보다 UAS(Unlabeled Attachment Score)가 0.15%p 더 높은 성능을 보였다.

  • PDF

A Study of Main Contents Extraction from Web News Pages based on XPath Analysis

  • Sun, Bok-Keun
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권7호
    • /
    • pp.1-7
    • /
    • 2015
  • Although data on the internet can be used in various fields such as source of data of IR(Information Retrieval), Data mining and knowledge information servece, and contains a lot of unnecessary information. The removal of the unnecessary data is a problem to be solved prior to the study of the knowledge-based information service that is based on the data of the web page, in this paper, we solve the problem through the implementation of XTractor(XPath Extractor). Since XPath is used to navigate the attribute data and the data elements in the XML document, the XPath analysis to be carried out through the XTractor. XTractor Extracts main text by html parsing, XPath grouping and detecting the XPath contains the main data. The result, the recognition and precision rate are showed in 97.9%, 93.9%, except for a few cases in a large amount of experimental data and it was confirmed that it is possible to properly extract the main text of the news.

Prediction of Prosodic Boundaries Using Dependency Relation

  • Kim, Yeon-Jun;Oh, Yung-Hwan
    • The Journal of the Acoustical Society of Korea
    • /
    • 제18권4E호
    • /
    • pp.26-30
    • /
    • 1999
  • This paper introduces a prosodic phrasing method in Korean to improve the naturalness of speech synthesis, especially in text-to-speech conversion. In prosodic phrasing, it is necessary to understand the structure of a sentence through a language processing procedure, such as part-of-speech (POS) tagging and parsing, since syntactic structure correlates better with the prosodic structure of speech than with other factors. In this paper, the prosodic phrasing procedure is treated from two perspectives: dependency parsing and prosodic phrasing using dependency relations. This is appropriate for Ural-Altaic, since a prosodic boundary in speech usually concurs with a governor of dependency relation. From experimental results, using the proposed method achieved 12% improvement in prosody boundary prediction accuracy with a speech corpus consisting 300 sentences uttered by 3 speakers.

  • PDF

UML diagram-driven test scenarios generation based on the temporal graph grammar

  • Shi, Zhan;Zeng, Xiaoqin;Zhang, Tingting;Han, Lei;Qian, Ying
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권7호
    • /
    • pp.2476-2495
    • /
    • 2021
  • Model-based software architecture verification and test scenarios generation are becoming more and more important in the software industry. Based on the existing temporal graph grammar, this paper proposes a new formalization method of the context-sensitive graph grammar for aiming at UML activity diagrams, which is called the UML Activity Graph Grammar, or UAGG. In the UAGG, there are new definitions and parsing algorithms. The proposed mechanisms are able to not only check the structural correctness of the UML activity diagram but also automatically generate the test scenario according to user constraints. Finally, a case study is discussed to illustrate how the UAGG and its algorithms work.

확률모형과 수식정보를 이용한 와/과 병렬사구 범위결정 (Range Detection of Wa/Kwa Parallel Noun Phrase using a Probabilistic Model and Modification Information)

  • 최용석;신지애;최기선
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제35권2호
    • /
    • pp.128-136
    • /
    • 2008
  • 한국어 구문 분석의 초기 단계로서 병렬구조의 해석은 파싱의 효율을 높일 수 있다. 본 논문은 병렬구조 해석을 위한 비지도식 언어에 독립적인 확률 모델을 제안한다. 이 모델은 병렬구조의 대칭성과 상호교환성에 근거한다. 대칭성은 같은 구조가 반복된다는 것이고, 교환성은 좌우 구성요소를 교환해도 같은 의미를 지닌다는 것이다. 병렬구조는 일반적으로 대칭성을 따르지만, 수식어의 성질에 따라서 한쪽만을 수식하는 비대칭적인 구조가 출현하기도 한다. 비대칭 병렬구조 해석을 위해서 추가적으로 수식관계 통계정보를 사용한다. 제안된 모델을 본 논문에서는 "와/과" 조사로 이루어진 한국어의 명사구 병렬구조를 해석하는데 사용되는 것[1]을 중점으로 보여준다. 지도적 방식에 의한 모델을 포함한 다른 모델들에 비해 효율적임을 실험적으로 보여준다.

미국 특허 서지정보 추출 방법에 대한 연구: HTML 파싱 기법의 활용을 중심으로 (An Extraction Method of Bibliographic Information from the US Patents: Using an HTML Parsing Technique)

  • 한유진;오승우
    • 정보관리학회지
    • /
    • 제27권2호
    • /
    • pp.7-20
    • /
    • 2010
  • 본 연구는 미국 특허 문서에서 가장 최신의 정보를 추출할 수 있는 방법을 제시하였다. 이를 위해 미국특허청 웹페이지에 직접 접속하여, HTML 문서를 파싱하는 방법을 제시하였다. 먼저 관심 있는 키워드로 검색을 한 후 50개로 이루어진 리스트가 출력되면, HTML 파싱 기법을 이용하여 여기서 직접 특허번호, 출원인, 미국 특허 클래스와 같은 주요 서지정보를 추출할 수 있는 알고리즘을 제안하였다. 또한 미국 특허문서에서 특수하게 제공되는 선.후행 특허간의 관계를 활용해 본 특허와 후행 특허의 미국 특허 클래스를 동시에 추출 할 수 있는 알고리즘도 보여주었다. 본 연구에서 제시한 방법은 몇 가지 한계를 가지지만, 적시성.포괄성 측면에서 이미 존재하는 데이터베이스를 보완할 수 있을 것이다.

스토리 정보의 검색을 위한 웹 기반의 협업적 스크립트 분석 플랫폼 개발 (Development of Collaborative Script Analysis Platform Based on Web for Information Retrieval Related to Story)

  • 박승보;김현식;백영태;유은순
    • 한국컴퓨터정보학회논문지
    • /
    • 제19권9호
    • /
    • pp.93-101
    • /
    • 2014
  • 영화의 스토리에 대한 분석은 영화의 설계도와 같은 스크립트를 분석하여 용이하게 이루어질 수 있다. 영화의 스크립트는 파이널 드래프트(Final Draft)의 형식화된 구조로 기술되어 있지만, 웹상에 공개된스크립트들은 대부분 형식이 파괴되어 문장 내용에 대한 분석이 없으면 형식을 복원하기 힘든 상황이다. 이를 위해 자동으로 스크립트를 파싱한 후에 사용자들이 협업적으로 결과물의 오류를 자유롭게 점검하고 수정할 수 있도록 웹기반의 스크립트 분석 소프트웨어를 개발하고 제공할 필요가 있다. 따라서 본 논문에서는 사용자에 의해 스크립트의 형식 오류가 수정되고 걸러지게 하여 완성도 높은 영화 데이터 축적을 가능케 하는 웹 기반의 협업적 스크립트 분석 플랫폼의 구조를 제시하고, 구현 결과에 대한 성능평가를 진행하였다. 실험을 통해 자동 파싱 성공률이 64.95%로 나타났고, 협업적 오류 수정은 5단계를 거친 후에 대부분의 오류가 수정되어 99.58%의 파싱 정확도를 보여주었다.