• 제목/요약/키워드: Korean parsing

검색결과 325건 처리시간 0.026초

효율적인 한국어 파싱을 위한 최장일치 기반의 형태소 분석기 기능 확장 (Functional Expansion of Morphological Analyzer Based on Longest Phrase Matching For Efficient Korean Parsing)

  • 이현영;이종석;강병도;양승원
    • 디지털콘텐츠학회 논문지
    • /
    • 제17권3호
    • /
    • pp.203-210
    • /
    • 2016
  • 한국어는 문장 구성소의 생략과 수식 범위가 자유롭기 때문에 파싱보다는 형태소 분석 단계에서 처리하면 좋은 경우가 있다. 본 논문에서는 파싱의 부담을 덜어 줄 수 있는 형태소 분석기의 기능 확장 방안을 제안한다. 이 방법은 미지어의 추정, 복합 명사 및 복합동사의 처리, 숫자 및 심볼의 처리에 의해 여러 형태소 열이 하나의 구문 범주를 가질 때 이것을 최장일치 방법으로 결합하고 의미 자질을 부여하여 하나의 구문 단위로 처리하는 것이다. 제안한 형태소 분석 방법은 불필요한 형태론적 모호성이 제거되고 형태소 분석 결과가 줄어들어 태거 및 파서의 정확률이 향상되었다. 또한, 실험을 통해 파싱트리는 평균 73.4%, 파싱 시간은 평균 52.9%로 줄었음을 보인다.

중심어 간의 공기정보를 이용한 한국어 확률 구문분석 모델 (Korean Probabilistic Syntactic Model using Head Co-occurrence)

  • 이공주;김재훈
    • 정보처리학회논문지B
    • /
    • 제9B권6호
    • /
    • pp.809-816
    • /
    • 2002
  • 구문 분석에서 가장 큰 문제점 중 하나는 구문 구조의 중의성을 어떻게 해결하느냐에 달려있다. 확률 구문 규칙은 구문 구조의 중의성 해결에 한 방법이 될 수 있다. 본 논문에서는 중심어 간의 공기정보를 이용하여 한국어 구문 구조의 중의성을 해결하는 확률 모델을 제안하고자 한다. 중심어는 어휘를 이용하기 때문에 자료 부족 문제를 야기시킬 수 있다. 이 때문에 자료부족 문제를 어떻게 해결하느냐에 따라 어휘 정보 사용의 성공이 결정될 수 있다. 본 논문에서는 구문규칙을 단순화하고 Back-off 방법을 이용해서 이 문제를 완화한다. 제안된 모델은 실험 데이터에 대해 약 84%의 정확도를 보였다.

순환 신경망을 이용한 전이 기반 한국어 의존 구문 분석 (Korean Transition-based Dependency Parsing with Recurrent Neural Network)

  • 이건일;이종혁
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권8호
    • /
    • pp.567-571
    • /
    • 2015
  • 기존의 전이 기반 한국어 의존 구문 분석 방법론들은 사용 될 자질의 설계에 많은 노력이 필요하다. 최근에 인공 신경망을 이용하여 자질 설계 단계에서의 시간과 노력을 줄이는 연구들이 많이 수행되었으나 제한된 context의 정보들만 보고 전이 과정에 필요한 decision을 내려야 하는 문제점들이 있다. 본 논문에서는 순환 신경망 모델을 이용하여 자질 설계에 필요한 노력을 줄이고 순환 구조로 먼 거리 의존관계를 고려하였다. 실험을 진행한 결과 일반적인 다층 신경망에 비해 0.51%의 성능향상을 이루었으며 UAS 90.33%의 성능을 선보인다.

요약파싱기법을 사용한 웹 접근성의 정적 분석 (Static Analysis of Web Accessibility Based on Abstract Parsing)

  • 김현하;도경구
    • 정보과학회 논문지
    • /
    • 제41권12호
    • /
    • pp.1099-1109
    • /
    • 2014
  • 웹 접근성 평가 도구는 웹 사이트가 웹 접근성 지침을 잘 지키고 있는지 검사하는 도구이다. 국내외 법과 제도가 마련된 이후 지침 준수여부를 검사하는 도구가 많이 나왔지만, 대부분 동적으로 페이지를 수집해서 분석하는 방법을 사용한다. 특히 자동화된 도구들은 페이지를 수집한 후에 분석하는데, 실행환경이나 접근권한의 문제로 수집하지 못해서 분석결과에서 빠지는 경우가 발생할 수 있다. 본 연구는 기존 방법과 달리 정적으로 분석하여 웹 접근성을 평가하는 방법을 제안한다. 정적인 분석방법은 실행 가능한 모든 경로를 고려하기 때문에 놓치는 페이지 없이 분석할 수 있다. 요약해석기법에 파싱이론을 접목한 요약파싱 기술을 사용해서 동적으로 생성될 웹 페이지의 웹 접근성을 정적으로 분석하는 도구를 개발하였다. 실험 대상 PHP 프로그램을 제안하는 연구방법으로 개발한 도구와 비교 대상 도구에서 분석한 결과를 비교해서 비교 대상 도구에서는 접근권한이나 실행경로 등의 문제로 분석하지 못하고 놓치는 웹 페이지가 있음을 확인하였다.

절 경계와 트리 거리를 사용한 2단계 부분 의미 분석 시스템 (A Two-Phase Shallow Semantic Parsing System Using Clause Boundary Information and Tree Distance)

  • 박경미;황규백
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권5호
    • /
    • pp.531-540
    • /
    • 2010
  • 본 논문은 최대 엔트로피 모형에 기반한 두 단계 부분 의미 분석 방법을 제안한다. 먼저, 의미 논항의 경계를 인식하고, 그 다음 단계에서 확인된 논항에 적절한 의미역을 할당한다. 두 단계 부분 의미 분석에서는 두 번째 단계인 논항 분류가 논항 확인 단계의 결과에 기반하여 수행되기 때문에 논항 확인의 성능이 매우 중요하다. 본 논문은 논항 확인의 성능을 향상시키기 위하여 논항 확인의 전처리 단계에 구문 지식을 통합한다. 구체적으로, 절 인식 결과로부터 술어의 인접절 및 상위절들을 확인하고, 구문 분석 결과로부터 술어의 부모 노드로부터 구문 구성 요소의 부모 노드까지의 트리 거리를 추출하여 전처리 단계에서 활용한다. 실험을 통해, 구문 지식을 활용하는 것이 부분 의미 분석 성능에 기여함과 제안하는 두 단계 방법이 한 단계 방법보다 우수한 성능을 낼 수 있음을 보인다.

효율적인 영어 구문 분석을 위한 최대 엔트로피 모델에 의한 문장 분할 (Intra-Sentence Segmentation using Maximum Entropy Model for Efficient Parsing of English Sentences)

  • 김성동
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제32권5호
    • /
    • pp.385-395
    • /
    • 2005
  • 긴 문장 분석은 높은 분석 복잡도로 인해 기계 번역에서 매우 어려운 문제이다. 구문 분석의 복잡도를 줄이기 위하여 문장 분할 방법이 제안되었으며 본 논문에서는 문장 분할의 적용률과 정확도를 높이기 위한 최대 엔트로피 확률 모델 기반의 문장 분할 방법을 제시한다. 분할 위치의 어휘 문맥적 특징을 추출하여 후보 분할 위치를 선정하는 규칙을 학습을 통해 자동적으로 획득하고 각 후보 분할 위치에 분할 확률 값을 제공하는 확률 모델을 생성한다. 어휘 문맥은 문장 분할 위치가 표시된 말뭉치로부터 추출되며 최대 엔트로피 원리에 기반하여 확률 모델에 결합된다. Wall Street Journal의 문장을 추출하여 학습 데이타를 생성하는 말뭉치를 구축하고 네 개의 서로 다른 영역으로부터 문장을 추출하여 문장 분할 실험을 하였다. 실험을 통해 약 $88\%$의 문장 분할의 정확도와 약 $98\%$의 적용률을 보였다. 또한 문장 분할이 효율적인 파싱에 기여하는 정도를 측정하여 분석 시간 면에서 약 4.8배, 공간 면에서 약 3.6배의 분석 효율이 향상되었음을 확인하였다.

안구이동추적을 통해 살펴본 관계절의 통사처리 과정 (Processing of syntactic dependency in Korean relative clauses: Evidence from an eye-tracking study)

  • 이미선;용남석
    • 인지과학
    • /
    • 제20권4호
    • /
    • pp.507-533
    • /
    • 2009
  • 관계절의 공백과 채움어의 의존관계(gap-filler dependencies)가 어떻게 해결되는지에 대한 가설은 '채움어촉발 처리전략(filler-driven parsing strategy)'과 '공백촉발 처리전략(gap-driven parsing strategy)'으로 요약할 수 있다. 두 가설의 언어보편적 타당성을 알아보기 위해, 본 연구는 안구이동추적법(eyetracking)을 이용하여, 한국어 화자들이 후핵언어(head-final language)인 한국어의 주격관계절과 여격관계절을 실시간으로 처리하는 과정을 살펴보았다. 그 결과, 피험자들이 관계절 내 공백의 위치에서 채움어에 상응하는 그림을 거의 응시하지 않았으나, 관계사와 결합한 관계절동사를 들은 시점부터는 채움어 그림을 응시하는 비율이 큰 폭으로 증가하기 시작하여 머리어를 들은 시점에서 가장 많이, 가장 오래 채움어 그림을 응시하였다. 이 결과는 공백이 관계절의 처리를 촉발하는 것이 아니라, 관계사와 결합한 관계절 동사에서 관계절의 통사처리가 시작되어 채움어가 인지된 시점에서 완성됨을 보여주는 것이다. 또한 주격관계절과 여격관계절 간의 상이한 안구이동 양상은 관계절 내의 논항과 결합한 격조사의 통사정보에 기인하는 것으로 보여서, 한국어의 관계절은 채움어촉발 처리전략을 따르기는 하지만 영어와 같은 선핵언어와는 다른 처리전략이 사용됨을 알 수 있다.

  • PDF

쉼표의 자동분류에 따른 중국에 장문분할 (Segmentation of Long Chinese Sentences using Comma Classification)

  • 김미훈;김미영;이종혁
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제33권5호
    • /
    • pp.470-480
    • /
    • 2006
  • 입력문장이 길어질수록 구문분석의 정확률은 크게 낮아진다. 따라서 긴 문장의 구문분석 정확률을 높이기 위해 장문분할 방법들이 많이 연구되었다. 중국어는 고립어로서 자연언어처리에 도움을 줄 수 있는 굴절이나 어미정보가 없는 대신 쉼표를 비교적 많이, 또 정확히 사용하고 있어서 이러한 쉼표사용이 장문분할에 도움을 줄 수 있다. 본 논문에서는 중국어 문장에서 쉼표 주변의 문맥을 파악하여 해당 쉼표위치에 문장분할이 가능한지 Support Vector Machine을 이용해 판단하고자 한다. 쉼표의 분류의 정확률이 87.1%에 이르고, 이 분할모델을 적용한 후 구문분석한 결과, 의존트리의 정확률이 5.6% 증가했다.

Empirical Comparison of Deep Learning Networks on Backbone Method of Human Pose Estimation

  • Rim, Beanbonyka;Kim, Junseob;Choi, Yoo-Joo;Hong, Min
    • 인터넷정보학회논문지
    • /
    • 제21권5호
    • /
    • pp.21-29
    • /
    • 2020
  • Accurate estimation of human pose relies on backbone method in which its role is to extract feature map. Up to dated, the method of backbone feature extraction is conducted by the plain convolutional neural networks named by CNN and the residual neural networks named by Resnet, both of which have various architectures and performances. The CNN family network such as VGG which is well-known as a multiple stacked hidden layers architecture of deep learning methods, is base and simple while Resnet which is a bottleneck layers architecture yields fewer parameters and outperform. They have achieved inspired results as a backbone network in human pose estimation. However, they were used then followed by different pose estimation networks named by pose parsing module. Therefore, in this paper, we present a comparison between the plain CNN family network (VGG) and bottleneck network (Resnet) as a backbone method in the same pose parsing module. We investigate their performances such as number of parameters, loss score, precision and recall. We experiment them in the bottom-up method of human pose estimation system by adapted the pose parsing module of openpose. Our experimental results show that the backbone method using VGG network outperforms the Resent network with fewer parameter, lower loss score and higher accuracy of precision and recall.

UEPF:A blockchain based Uniform Encoding and Parsing Framework in multi-cloud environments

  • Tao, Dehao;Yang, Zhen;Qin, Xuanmei;Li, Qi;Huang, Yongfeng;Luo, Yubo
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권8호
    • /
    • pp.2849-2864
    • /
    • 2021
  • The emerging of cloud data sharing can create great values, especially in multi-cloud environments. However, "data island" between different cloud service providers (CSPs) has drawn trust problem in data sharing, causing contradictions with the increasing sharing need of cloud data users. And how to ensure the data value for both data owner and data user before sharing, is another challenge limiting massive data sharing in the multi-cloud environments. To solve the problems above, we propose a Uniform Encoding and Parsing Framework (UEPF) with blockchain to support trustworthy and valuable data sharing. We design namespace-based unique identifier pair to support data description corresponding with data in multi-cloud, and build a blockchain-based data encoding protocol to manage the metadata with identifier pair in the blockchain ledger. To share data in multi-cloud, we build a data parsing protocol with smart contract to query and get the sharing cloud data efficiently. We also build identifier updating protocol to satisfy the dynamicity of data, and data check protocol to ensure the validity of data. Theoretical analysis and experiment results show that UEPF is pretty efficient.