• 제목/요약/키워드: sentence processing

검색결과 324건 처리시간 0.019초

한글 음소 단위 딥러닝 모형을 이용한 감성분석 (Sentiment Analysis Using Deep Learning Model based on Phoneme-level Korean)

  • 이재준;권순범;안성만
    • 한국IT서비스학회지
    • /
    • 제17권1호
    • /
    • pp.79-89
    • /
    • 2018
  • Sentiment analysis is a technique of text mining that extracts feelings of the person who wrote the sentence like movie review. The preliminary researches of sentiment analysis identify sentiments by using the dictionary which contains negative and positive words collected in advance. As researches on deep learning are actively carried out, sentiment analysis using deep learning model with morpheme or word unit has been done. However, this model has disadvantages in that the word dictionary varies according to the domain and the number of morphemes or words gets relatively larger than that of phonemes. Therefore, the size of the dictionary becomes large and the complexity of the model increases accordingly. We construct a sentiment analysis model using recurrent neural network by dividing input data into phoneme-level which is smaller than morpheme-level. To verify the performance, we use 30,000 movie reviews from the Korean biggest portal, Naver. Morpheme-level sentiment analysis model is also implemented and compared. As a result, the phoneme-level sentiment analysis model is superior to that of the morpheme-level, and in particular, the phoneme-level model using LSTM performs better than that of using GRU model. It is expected that Korean text processing based on a phoneme-level model can be applied to various text mining and language models.

The Loom-LAG for syntax analysis Adding a language-independent level to LAG

  • Schulze, Markus
    • 한국언어정보학회:학술대회논문집
    • /
    • 한국언어정보학회 2002년도 Language, Information, and Computation Proceedings of The 16th Pacific Asia Conference
    • /
    • pp.411-420
    • /
    • 2002
  • The left-associative grammar model (LAG) has been applied successfully to the morphologic and syntactic analysis of various european and asian languages. The algebraic definition of the LAG is very well suited for the application to natural language processing as it inherently obeys de Saussure's second law (de Saussure, 1913, p. 103) on the linear nature of language, which phrase-structure grammar (PSG) and categorial grammar (CG) do not. This paper describes the so-called Loom-LAGs (LLAG) -a specialization of LAGs for the analysis of natural language. Whereas the only means of language-independent abstraction in ordinary LAG is the principle of possible continuations, LLAGs introduce a set of more detailed language-independent generalizations that form the so-called loom of a Loom-LAG. Every LLAG uses the very smut loom and adds the language-specific information in the form of a declarative description of the language -much like an ancient mechanised Jacquard-loom would take a program-card providing the specific pattern for the cloth to be woven. The linguistic information is formulated declaratively in so-called syntax plans that describe the sequential structure of clauses and phrases. This approach introduces the explicit notion of phrases and sentence structure to LAG without violating de Saussure's second law iud without leaving the ground of the original algebraic definition of LAG, LLAGS can in fact be shown to be just a notational variant of LAG -but one that is much better suited for the manual development of syntax grammars for the robust analysis of free texts.

  • PDF

XML 기반 다이어그램 시스템 (A Diagram System based on XML)

  • 김성근;김영철;윤태희;유재우
    • 정보처리학회논문지D
    • /
    • 제12D권3호
    • /
    • pp.447-454
    • /
    • 2005
  • XML 문서와 관련된 기존의 다이어그램 시스템은 대부분 특정한 목적으로 이용할 수 있도록 작성되어 있다. 또한 다이어그램 컴포넌트가 정의되어 있지 않기 때문에 자동적으로 DML 문서를 생성하기가 어렵다. 본 논문에서는 XML 문서가 실행될 수 있는 다이어그램 시스템을 설계하고 구현한다. 다이어그램 시스템은 위지웍(WYSIWYG) 개념을 이용하여 다이어그램 컴포넌트를 정의하며, 자동적으로 DML 문서를 생성할 수 있도록 설계되었다. 따라서 더욱 효율적으로 새로운 다이어그램을 개발할 수 있으며, DTD를 이용해 다이어그램에 대한 문법을 정의함으로써 XML DTD에 대한 의미적 일관성을 유지하였다. 또한 본 시스템은 다이어그램 문장에 대한 문법검사와 의미실행을 위하여 VPL(Visual programming Language) 개념을 이용하였다. 본 시스템을 활용하면, DML 문서를 쉽게 생성할 수 있고, XML DTD 기반의 문법검사와 의미실행을 할 수 있다.

악곡구조 분석과 활용 (Music Structure Analysis and Application)

  • 서정범;배재학
    • 정보처리학회논문지B
    • /
    • 제14B권1호
    • /
    • pp.33-42
    • /
    • 2007
  • 본 논문에서는 음악수사법에 기초하여 악곡요약을 구현할 새로운 악곡구조 분석 방법론을 소개한다. 이 방법론에서는 악곡 구성요소 간의 유사도 분석을 통해 악곡의 결합구조를 파악한 뒤, 결합구조에서 해당 곡이 취하고 있는 음악양식을 추정한다. 그 후 악식의 음악적 수사구조가 가지는 전통적인 특징과 표현기법을 근거로 악곡구조 안에서 주요선율을 추출한다. 문서요약의 경우와 같이 주어진 악보에서 추출된 주요선율은 그 곡의 요약이라고 간주할 수 있다. 개발한 악곡구조 분석 방법론은 대중음악 사례를 통하여 그 효용성을 가늠해 보았다.

주성분 분석과 비정칙치 분해를 이용한 문서 요약 (Text Summarization using PCA and SVD)

  • 이창범;김민수;백장선;박혁로
    • 정보처리학회논문지B
    • /
    • 제10B권7호
    • /
    • pp.725-734
    • /
    • 2003
  • 본 논문에서는 통계적 분석 기법인 주성분 분석과 비정칙치 분해를 이용한 문서 방법을 제안한다. 제안한 방법은 문서내의 주제어를 추출한 후, 추출된 주제어와 문장간의 거리가 가장 짧은 문장들을 중요 문장으로 추출하여 요약으로 제시한다. 주제어를 추출하기 위해서는 주성분 분석을 이용하였으며, 이는 문서 자체내의 빈도 정보와 단어간의 연관 정보를 이용한 것이다. 그리고, 중요 문장을 추출하기 위해 비정칙치 분해를 시행하여 문장 벡터와 주제어 벡터론 획득한 후, 두 벡터간의 유클리디언 거리를 계산하였다. 신문 기사를 대상으로 실험한 결과, 제안한 방법이 출현 빈도만을 이용한 방법과 주성분 분석만을 이용한 방법보다 성능이 우수함을 알 수 있었다.

불-한 연어 데이터베이스 구축을 위한 굴절 정보의 처리 (Processing of Inflectional forms for the French-Korean Collocational Database)

  • 윤애선;정휘웅;권혁철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.267-272
    • /
    • 2001
  • 구(phrase) 단위 또는 문장(sentence) 단위의 연어(collocation) 정보는 자연언어 처리를 위한 단일어 또는 이중어 데이터베이스를 구축할 수 있는 중요한 기초 자료가 될 뿐 아니라, 외국어 학습에서도 어휘 단계를 넘어선 학습 자료를 제공할 수 있다. 불어는 굴절 언어(inflectional language)로서 기본형 대 굴절형의 비율이 약 1:9 정도로 비교적 굴절 비율이 높은 언어다. 또한 불어 표제어 중 95% 이상을 차지하는 불어의 동사, 명사, 형용사 중 상당한 비율이 암기해야 할 목록(list)이라는 특성을 갖기 때문에 검색과 학습에 있어 오류가 지속적으로 일어나는 부분이다. 표제어의 검색의 경우 불어 굴절 현상을 지원하는 전자 사전이 개발되어 있지만 아직까지 연어 정보에서 굴절형을 지원할 수 사전 또는 데이터베이스는 개발되어 있지 않다. 본 연구의 목적은 전자 사전과 형태소 분석기를 이용하여 굴절형 처리를 지원할 수 있는 불-한 연어 데이터베이스를 구축하는데 있다. 이를 위해 부산대학교 언어정보 연구실에서 개발한 불어 형태소 분석기 Infection와 불-한 전자 사전 Franco를 사용하였으며, 지금까지 구축된 불-한 연어 정보는 94,965 개이다. 본 고에서는 두 정보를 이용하여 불어 굴절형 정보를 분석 및 생성하는 방식 및 불-한 연어 데이터베이스 구조를 살펴 본다.

  • PDF

애니메이션의 이중적 기호작용 원리 - 구조주의 기호학의 관점에서 - (The Principle of Dual Semiotic Process in Animation - Within Structuralism Semiotics -)

  • 주영숙;김치용
    • 한국멀티미디어학회논문지
    • /
    • 제9권9호
    • /
    • pp.1196-1207
    • /
    • 2006
  • 본 논문에서는 구조주의 기호학자인 바르트의 기호학적 이론에 근거하여, 기호학을 구성하는 요소들과 애니메이션 텍스트에 나타나는 기호학의 원리를 알아보았다. 이러한 접근은 고전 기호학의 도식적 분석에서 벗어나, 애니메이션이 대중에게 효과적으로 메시지를 전달하는 원리의 분석을 가능하게 한다. 또한 사회적 작용을 고려하지 않는 순수 미학의 맹목적 관점을 경계할 수 있다. 애니메이션 텍스트를 바르트의 구조주의 기호학적 관점에서 한마디로 표현하자면 "애니메이션 텍스트는 하나의 기호가 갖는 이중적인 역할"이다. 이는 "대중매체의 애니메이션은 사회를 개념화하고 의미화 하는 특별한 과정이다"라고 말할 수 있다. 다시 말하면 "지배질서가 자신을 자연적 질서로 여겨지도록 대중을 동화하는 과정"이라는 것이다.

  • PDF

지지벡터기계(Support Vector Machines)를 이용한 한국어 화행분석 (An analysis of Speech Acts for Korean Using Support Vector Machines)

  • 은종민;이성욱;서정연
    • 정보처리학회논문지B
    • /
    • 제12B권3호
    • /
    • pp.365-368
    • /
    • 2005
  • 본 연구에서는 지지 벡터 기계(Support Vector Machines)를 이용하여 한국어 대화의 화행을 분석하는 방법을 제안한다. 우리는 발화의 어휘 및 품사와 이진 품사 쌍을 문장 자질로 사용하고 이전 발화의 문맥을 문맥 발화로 사용한다. 카이 제곱 통계량을 이용해 적절한 자질을 선택하고 선택된 자질로 지지 벡터 기계를 학습하였다. 학습된 지지 벡터 기계 분류기를 이용하여 각 발화의 화행을 분석하였다. 호텔 예약 영역의 말뭉치에 대해 제안된 시스템을 이용하여 실험한 결과 약 $90.54\%$의 정확률을 얻었다.

SVM을 이용한 절-절 간의 의존관계 설정 (Determining the Dependency among Clauses based on SVM)

  • 김미영
    • 정보처리학회논문지B
    • /
    • 제14B권2호
    • /
    • pp.141-144
    • /
    • 2007
  • 문장이 길어질수록 구문분석의 정확률이 급격히 떨어지므로, 문장을 분할하여 각각의 분할단위로 구문분석을 수행한 후 각 구문분석결과를 합쳐 완성된 구문트리를 만드는 것이 일반적이다. 이 때 주로 절 단위로 문장이 분할되고, 각 절의 구문분석결과를 통합하게 되는데, 통합 과정에서 절-절 간의 의존관계 설정에 많은 오류가 생긴다. 이러한 절 간의 의존관계의 애매성을 해결하기 위하여, 본 논문은 기계학습을 이용하여 절-절 간의 의존관계를 분석해 본다. Support Vector Machines(SVM)을 사용하여 성능을 평가하고, 본 논문에서 실험한 방법과 기존의 방법들의 성능을 비교해 본 결과, 절-절 간의 의존관계 설정에 있어서 $8.88{\sim}15.35%$의 성능향상을 보였다.

안구운동 추적을 통한 한국어 중의성 해소과정 연구 (Resolving Grammatical Marking Ambiguities of Korean: An Eye-tracking Study)

  • 김영진
    • 인지과학
    • /
    • 제15권4호
    • /
    • pp.49-59
    • /
    • 2004
  • 한국어의 문법적 표지 중의성 해소 과정과, 한국어의 형태론적 정보 처리과정에 관한 길-혼동 의형과 제약-기반 모형의 예측을 비교 검토하기 위해 안구운동 추적 연구를 수행하였다. 최소부착원리에 따라 구문분석될 수 있는 복합 명사구 구조와, 첫 명사에 주격조사 (-가/이), 한정사(-만), 및 주제표지(-는/은)가 부착되는 삽입 관계절 구조를 비교하였다. 실험 결과, 한국어의 표지 중의성이 최소 부착의 원리에 따라 해소됨을 확인할 수 있었고, 주제표지는 재분석 과정에 영향을 끼침을 알 수 있었다. 안구 고정 시간의 양상은 길-혼동 모형과 더 일치했으며, 제약-기반 설명과는 일치하지 않았다. 추후 연구를 위한 제안을 논의하였다.

  • PDF