• 제목/요약/키워드: lexical information

검색결과 324건 처리시간 0.029초

한국어 특성을 고려한 감성 분류 (Sentiment Classification considering Korean Features)

  • 김정호;김명규;차명훈;인주호;채수환
    • 감성과학
    • /
    • 제13권3호
    • /
    • pp.449-458
    • /
    • 2010
  • 다양한 분야에서 인터넷 상의 방대한 양의 문서 혹은 리뷰로부터 유용한 정보를 얻고자 하는 노력이 높아짐에 따라 문서 혹은 리뷰 상의 생각 및 의견에 대한 자동 분류 연구의 필요성이 대두되었다. 이러한 자동분류를 감성 분류라 하며, 감성 분류 연구는 크게 세 가지 단계를 가지는데, 첫 번째로 주관적인 생각이나 느낌을 표현하는 문장을 추출하기 위한 주관성 분류 연구, 두 번째로 문서 또는 문장을 긍정, 부정으로 나누는 극성 분류 연구, 그리고 세 번째로 문서 또는 문장이 어느 정도의 주관성 및 극성을 갖는지 그 강도를 구하는 강도 분류 연구이다. 최근 의견 분류에 대한 연구들을 살펴보면, 분류를 위해 자질(Feature)로서 단일어(Single word)가 아닌 2개 이상의 N-gram 단어, 어휘 구문 패턴 및 통사 구문 패턴 등을 사용하는 것을 확인할 수 있다. 특히, 패턴은 단일어나 N-gram 단어에 비해 유연하고, 언어학적으로 풍부한 정보를 표현할 수 있기 때문에 이를 이용한 많은 연구가 이루어져 왔다. 그럼에도 불구하고, 이러한 연구들은 주로 영어에 대한 연구들이었으며, 한국어에 패턴을 적용하여 주관성을 갖는 문장을 분류하거나, 극성을 분류하는 연구들은 아직 미비하다. 한편, 한국어는 용언의 활용이 발달되어 있어, 어미의 변화가 다양하며, 그 변화에 따라 의미가 미묘하게 변화한다. 그러나 기존 한국어에 대한 의견 분류 연구들은 단어의 핵심 의미만을 파악하기 위해 어미부분을 제거하고 어간만을 취해서 처리하여 어미에 대한 의미변화를 고려하지 못하였다. 그래서 본 연구는 영어에 적용된 패턴을 이용한 기존 방법들을 정리하고, 그 방법들 중에서 극성을 지닌 문장성분 패턴을 한국어에 적용하였다. 그리고 어미의 변화에 대한 패턴을 추출하여 이 변화가 의견 분류의 성능에 미치는 영향을 분석하였다.

  • PDF

기계학습 및 필터링 방법을 결합한 경쟁관계 인식 (Competition Relation Extraction based on Combining Machine Learning and Filtering)

  • 이충희;서영훈;김현기
    • 정보과학회 논문지
    • /
    • 제42권3호
    • /
    • pp.367-378
    • /
    • 2015
  • 본 논문은 기계학습 방법과 필터링 방법을 결합해서 경쟁관계를 인식하는 방법에 대한 연구이다. 기존 연구들은 기계학습 방법에만 의존해서 관계유형을 인식하는 연구들이 대부분이며. 사용되는 자질도 일반적인 관계유형에 적합한 자질을 사용하고 특히 구문분석 정보가 매우 중요한 자질로 사용된다. 본 논문에서는 구문분석 등의 언어분석 결과를 이용하지 않고, 단순한 자질들(어휘, 거리, 위치, 단서단어)만을 사용해도 경쟁관계 인식에 효과적임을 확인하였다. 또한, 경쟁관계인식 긍정 정확도를 향상시킬 수 있는 문장별 경쟁유무 분류방법, 스팸분류 방법, 거리제약 기반 자질필터링 방법을 기계학습 방법과 결합한 방법론을 제안한다. 방법론 검증을 위해서 뉴스분야 2,565개 문장을 평가셋으로 구축하였고, 비교 평가를 위해서 규칙기반 경쟁관계 인식기와 기존연구의 관계추출 방법론에 기반한 일반 관계추출기를 적용해서 비교하였다. 성능평가 결과로 규칙기반 엔진이 긍정정확도와 전체정확도(accuracy)가 81.2%와 56.8% 성능을 보였고, 일반 관계추출기는 61.2%와 56.3%를 보였다. 그에 비해서 본 논문에서 제안하는 방법은 긍정 정확도 92.2%와 전체정확도 71.3% 성능을 보여서 경쟁관계 인식에 효과적임을 확인하였다.

텍스트 문서 기반의 감성 인식 시스템 (An Emotion Scanning System on Text Documents)

  • 김명규;김정호;차명훈;채수환
    • 감성과학
    • /
    • 제12권4호
    • /
    • pp.433-442
    • /
    • 2009
  • 요즈음 인터넷을 통해 물건을 구매하는 경향이 증가하고 있다. 또한 물건을 구매한 소비자는 리뷰, 댓글, 비평 또는 블로그 등의 형식으로 온라인에 그들의 사용 후기를 작성한다. 또한 작성된 사용 후기부터 많은 구매자들은 물건을 구매하기 전에 자신이 구입하고자 하는 물건에 대한 정보를 얻는다. 따라서 회사나 공공기관은 대중이 다른 사람의 의견에 관심을 기울인다는 점 때문에 대중의 의견을 수집하고 분석할 필요성에 직면하였다. 그러나 온라인상에 댓글이 너무 많고, 중복적이면서 짧은 경향이 있다. 이러한 환경 속에서 텍스트 문서의 감성을 인식하는 시스템의 필요성이 대두되었다. 텍스트로부터 작성자의 의견이나 주관적인 생각을 추출할 수 있게 영어에서는 단어에 속성이 주어진 GI와 LKB가 있으나 한글은 아직 속성이 주어진 사전이 존재하지 않는다. 이 논문에서는 한글 품사 중 4개의 품사(명사, 동사, 형용사, 부사)에 속성을 주었다. 그리고 학습 군을 만들어서 감성 단어의 패턴을 구성하고, 문장에서 단어 사이의 공기관계를 구성하여 학습 시켰다. 이 학습을 바탕으로, SO-PMI을 이용하여 문서를 긍정과 부정 2가지 극성을 분류하고, 4개의 품사(명사, 동사, 형용사, 부사)를 각각 조합하여 최상의 조건을 구하였다. 마지막으로 사용자 인터페이스를 통해 새로운 감성 표현, 구성형식, 단어 연관성을 반자동적으로 삽입하고 교정할 수 있는 시스템을 설계하였다.

  • PDF

다차원 구어 단기기억에 따른 전도 실어증 환자의 언어수행력 분석 (Language performance analysis based on multi-dimensional verbal short-term memories in patients with conduction aphasia)

  • 하지완;황유미;편성범
    • 인지과학
    • /
    • 제23권4호
    • /
    • pp.425-455
    • /
    • 2012
  • 다차원 구어 단기기억 기제는 크게 음운적 통로와 어휘-의미적 통로로 구분된다. 전자를 음운단기기억, 후자를 의미단기기억이라고 할 수 있는데, 단기기억 과제를 정상적으로 수행하기 위해서는 두 통로 모두의 정보를 활발히 활용하여야 한다. 그리고 음운단기기억은 다시 음운입력완충기와 음운출력완충기로 나누어지며, 음운입력완충기는 음운자극의 입력 시, 음운출력완충기는 음운 산출 시에 작동한다. 본 연구에서는 유사한 수준의 전도 실어증 증상을 보이는 세 명의 환자에 대해, 각각의 언어 수행력을 구어 단기기억의 다차원적 측면에서 분석하였다. 그러기 위하여 세 명의 전도 실어증 환자들에게 단어 수준과 문장 수준에서 스스로 말하기, 따라말하기, 스스로 쓰기, 받아쓰기의 네 가지 양태의 언어과제를 실시하여 수행력을 비교 분석하였고, 숫자폭검사와 언어학습검사를 이용하여 음운단기기억력과 의미단기기억력을 평가하였다. 그 결과 세 대상자들은 네 양태의 언어 검사에서 다양한 수행력과 오반응 유형을 보였고, 단기기억력 검사 결과도 동일하게 나타나지 않았다. 즉 전도 실어증 환자들의 언어 수행력은 의미단기기억 또는 음운단기기억의 결함으로 설명될 수 있으며, 음운단기기억 가운데에서도 음운입력완충기, 음운출력완충기 혹은 둘 다의 결함 여부에 따라 언어특성이 상이하게 나타날 가능성을 제시하고 있다. 본 연구에서는 전도 실어증 환자들의 언어 검사와 단기기억력 검사 결과를 바탕으로, 언어와 다차원 구어 단기기억력과의 관계에 대하여 논의하고 있다.

  • PDF

감정 단어의 의미적 특성을 반영한 한국어 문서 감정분류 시스템 (A Korean Document Sentiment Classification System based on Semantic Properties of Sentiment Words)

  • 황재원;고영중
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권4호
    • /
    • pp.317-322
    • /
    • 2010
  • 본 논문은 감정단어(Sentiment Word)의 의미적 특성을 반영하여 한국어 문서 감정분류 시스템의 성능을 향상시킬 수 있는 방법을 제안한다. 감정단어는 감정을 가지는 단어를 의미하며, 감정단어들의 집합은 감정자질(Sentiment Feature)로써 감정분류를 위한 중요한 어휘 자원이다. 감정자질은 일반적으로 사용될 때와 특정 영역(Domain)에서 사용될 때에 그 감정 정도의 차이를 가진다. 감정자질이 일반적으로 사용될 때 그 감정 정도는 검색 엔진을 통해 얻을 수 있는 스니핏(Snippet)을 통해 추정할 수 있으며, 특정 영역에서 사용될 때의 감정 정도는 실험 말뭉치를 이용하여 추정할 수 있다. 이렇게 추정된 감정자질의 감정 정도 수치를 의미지향성이라고 하며, 문서내의 문장의 감정 강도를 추정하기 위해 이용된다. 문장의 감정 강도가 추정되면 문장 감정 강도를 감정자질의 가중치에 반영하게 된다. 본 논문은 지지 벡터 기계(Support Vector Machine)를 이용하여 일반적, 영역 의존적, 일반적/영역 의존적 의미지향성을 반영한 경우에 대해 성능을 평가한다. 평가 결과, 앞의 3가지 경우에 모두 성능 향상을 얻었으며 일반적/영역 의존적 의미지향성을 반영한 경우, 일반적인 정보 검색에서 사용하는 내용어(Content Word) 기반의 자질을 사용한 경우보다 3.1%의 성능 향상을 얻을 수 있었다.

이중 언어 기반 패러프레이즈 추출을 위한 피봇 차별화 방법 (Pivot Discrimination Approach for Paraphrase Extraction from Bilingual Corpus)

  • 박에스더;이형규;김민정;임해창
    • 인지과학
    • /
    • 제22권1호
    • /
    • pp.57-78
    • /
    • 2011
  • 패러프레이즈는 같은 의미를 다른 단어를 사용하여 표현한 것을 말한다. 패러프레이즈는 일상적인 언어생활에서도 흔히 관측되며 자연어처리 분야에서 다양하게 활용할 수 있다. 특히 최근에는 통계적 기계 번역 분야에서 데이터 부족 문제를 보완하여 번역 성능을 향상시키기 위해 패러프레이즈를 활용한 연구가 많다. 이중 언어 병렬 말뭉치를 이용하는 패러프레이즈 추출 과정에서는 일반적으로 다른 언어를 피봇으로 사용하기 때문에 단어 정렬 및 구 정렬 과정을 두 번 거친다. 따라서 단어 정렬의 오류가 패러프레이즈로 전파될 수 있다. 특히 한국어와 영어와 같이 언어의 구조적인 차이가 큰 경우에는 단어 정렬 오류가 더 심각하기 때문에 피봇 프레이즈부터 잘못 추출되는 경우가 많아진다. 이러한 문제를 보완하기 위해 본 논문에서는 패러프레이즈 추출 과정에서 피봇 프레이즈를 차별화하는 방안으로서 어휘, 품사 정보를 이용해 올바른 피봇 프레이즈에 더 높은 가중치를 부여하는 방법을 제안한다. 실험 결과, 제안하는 피봇 가중치 부여 방법을 기존의 패러프레이즈 추출 방법에 추가했을 때 패러프레이즈 추출 정확률과 재현율이 모두 향상됨을 확인할 수 있었다. 또한, 제안하는 방법을 통해 추출한 패러프레이즈를 한영 기계 번역 시스템에서 활용하였을 때 번역률이 향상됨을 확인할 수 있었다.

  • PDF

무선 인터넷 서비스를 위한 WAP 게이트웨이용 WML 컴파일러의 설계 및 구현 (A Design and Implementation of WML Compiler for WAP Gateway for Wireless Internet Services)

  • 최은정;한동원;임경식
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제7권2호
    • /
    • pp.165-182
    • /
    • 2001
  • 무선 마크업 언어(Wireless Markup Language) 컴파일러는 텍스트로 구성된 문서를 바이너리 문서로 변환, 압축함으로써, 낮은 대역폭을 갖는 무선 선로에서 트래픽을 감소시키며, 낮은 성능을 갖고 있는 이동 단말기에서 브라우징 처리를 간단하게 하는 역할을 한다. 또한 이러한 변환 과정에서 확장 마크업 언어(eXtensible Markup Language)의 well-formedness와 validation 과정을 동시에 처리함으로써, 이동 단말기에서 문서처리 부담을 대폭 경감하는 효과를 가져온다. 본 논문에서 구현한 무선 마크업 언어 컴파일러는 어휘분석기 모듈과 파서 모듈로 구성되어 있는데, 파서 모듈은 파서 생성기를 사용하여 구현하였다. 이는 향후 응용 수준에서 보안 기능을 제공하기 위하여 태그를 확장하거나 무선 마크업 언어의 버전이 업그레이드 될 때에서 변경된 부분에 해당하는 문법만 다시 설계함을써 유연하게 대처할 수 있는 장점을 가지고 있다. 사용된 문법은 LALR(1) context-free 문법으로서, 확장 마크업 언어 1.0과 무선 마크업 언어 1.2의 문서 형태 정의(Document Type Definition)를 기반으로 무선 응용 프로토콜 바이너리 확장 마크업 언어(Wireless Application Protocol Binary XML) 문법을 고려하여 설계되었다. 구현된 컴파일러의 기능을 실험하여 데모하기 위하여 세 가지 방법(수작업, WML 디컴파일러, 노키아 WAP 툴킷)을 사용하였으며, 다양한 태그 조합을 갖는 임의의 130여 개 문서에 대해 실험한 결과, 최대 85%의 압축효과를 얻을 수 있었다. 그러나, 태그나 속성에 비해 일반 문자열 데이타가 많아지면 상대적으로 압축효과가 감소되므로, Hyper Text Markup Language 문서로부터 무선 마크업 언어 문서로 자동 변환된 텍스트를 인코딩하는 경우와 같이 특정한 응용 분야에서는 일반 문자열에 대한 확장 인코딩 기법을 적용할 필요가 있을 수 있다.

  • PDF

한글 단어 재인에 영향을 미치는 변인: 음절 형태를 중심으로 (Variables affecting Korean word recognition: focusing on syllable shape)

  • 민수영;이창환
    • 인지과학
    • /
    • 제29권4호
    • /
    • pp.193-220
    • /
    • 2018
  • 시각 단어 재인에 영향을 미치는 변인으로는 단어 빈도, 단어 길이, 이웃단어, 단어 형태 등이 밝혀진 바 있다. 단어 형태 변인은 한글이 영어와는 글자 체계가 다르기 때문에 형태 정보가 단어 처리에 다른 방식으로 영향을 미칠 수 있다. 본 연구는 게스탈트의 연속성 원리를 한글에 적용하여 한글 단어의 처리 단위를 알아보고, 음절 형태가 한글 단어 재인에 영향을 미치는지 검증하고자 하였다. 실험 1에서는 3음절 단어를 사용하여 음절 유형(평소 읽기방향이 연속성 원리에 부합하는 '가로집자'형(예: "가"), 부합하지 않는 '세로집자'형(예: "고")과 글자 제시 방향(가로, 세로)을 조작하였다. 어휘 판단 시간의 분석 결과, 제시 방향에 상관없이 '가로집자'형의 처리 속도가 '세로집자'형보다 빨랐다. 실험 2에서는 차폐 점화를 사용하여 음절유형('가로집자'와 '세로집자'형) 및 점화 자극과 목표 자극의 시각적 관계(동일, 유사, 상이)를 조작하였다. 점화자극과 목표자극의 음절집자 형태에 따라서 수행에 차이가 있었으며 이는 음절 형태가 단어 재인에 미친다는 것을 시사한다.

부분 단어 토큰화 기법을 이용한 뉴스 기사 정치적 편향성 자동 분류 및 어휘 분석 (Automatic Classification and Vocabulary Analysis of Political Bias in News Articles by Using Subword Tokenization)

  • 조단비;이현영;정원섭;강승식
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권1호
    • /
    • pp.1-8
    • /
    • 2021
  • 뉴스 기사의 정치 분야는 보수, 진보와 같이 양극화된 편향적 특성이 존재하며 이를 정치적 편향성이라고 한다. 뉴스 기사로부터 편향성 문제를 분류하기 위해 키워드 기반의 학습 데이터를 구축하였다. 대부분의 임베딩 연구에서는 미등록어로 인한 문제를 완화시키기 위해 형태소 단위로 문장을 구성한다. 본 논문에서는 문장을 언어 모델에 의해 세부적으로 분할하는 부분 단어로 문장을 구성할 경우 미등록어 수가 감소할 것이라 예상하였다. 부분 단어 토큰화 기법을 이용한 문서 임베딩 모델을 제안하며 이를 SVM과 전방향 뉴럴 네트워크 구조에 적용하여 정치적 편향성 분류 실험을 진행하였다. 형태소 토큰화 기법을 이용한 문서 임베딩 모델과 비교 실험한 결과, 부분 단어 토큰화 기법을 이용한 문서 임베딩 모델이 78.22%로 가장 높은 정확도를 보였으며 부분 단어 토큰화를 통해 미등록어 수가 감소되는 것을 확인하였다. 분류 실험에서 가장 성능이 좋은 임베딩 모델을 이용하여 정치적 인물을 기반한 어휘를 추출하였으며 각 성향의 정치적 인물 벡터와의 평균 유사도를 통해 어휘의 편향성을 검증하였다.

Out-of-Vocabulary 단어에 강건한 병렬 Tri-LSTM 문장 임베딩을 이용한 감정분석 (Sentiment Analysis using Robust Parallel Tri-LSTM Sentence Embedding in Out-of-Vocabulary Word)

  • 이현영;강승식
    • 스마트미디어저널
    • /
    • 제10권1호
    • /
    • pp.16-24
    • /
    • 2021
  • word2vec 등 기존의 단어 임베딩 기법은 원시 말뭉치에 출현한 단어들만을 대상으로 각 단어를 다차원 실수 벡터 공간에 고정된 길이의 벡터로 표현하기 때문에 형태론적으로 풍부한 표현체계를 가진 언어에 대한 단어 임베딩 기법에서는 말뭉치에 출현하지 않은 단어들에 대한 단어 벡터를 표현할 때 OOV(out-of-vocabulary) 문제가 빈번하게 발생한다. 문장을 구성하는 단어 벡터들로부터 문장 벡터를 구성하는 문장 임베딩의 경우에도 OOV 단어가 포함되었을 때 문장 벡터를 정교하게 구성하지 못하는 문제점이 있다. 특히, 교착어인 한국어는 어휘형태소와 문법형태소가 결합되는 형태론적 특성 때문에 미등록어의 임베딩 기법은 성능 향상의 중요한 요인이다. 본 연구에서는 단어의 형태학적인 정보를 이용하는 방식을 문장 수준으로 확장하고 OOV 단어 문제에 강건한 병렬 Tri-LSTM 문장 임베딩을 제안한다. 한국어 감정 분석 말뭉치에 대해 성능 평가를 수행한 결과 한국어 문장 임베딩을 위한 임베딩 단위는 형태소 단위보다 문자 단위가 우수한 성능을 보였으며, 병렬 양방향 Tri-LSTM 문장 인코더는 86.17%의 감정 분석 정확도를 달성하였다.