• Title/Summary/Keyword: 어휘 가중치

Search Result 59, Processing Time 0.024 seconds

A Sentiment Classification System Using Feature Extraction from Seed Words and Support Vector Machine (종자 어휘를 이용한 자질 추출과 지지 벡터 기계(SVM)을 이용한 문서 감정 분류 시스템의 개발)

  • Hwang, Jae-Won;Jeon, Tae-Gyun;Ko, Young-Joong
    • 한국HCI학회:학술대회논문집
    • /
    • 2007.02a
    • /
    • pp.938-942
    • /
    • 2007
  • 신문 기사 및 상품 평은 특정 주제나 상품을 대상으로 하여 글쓴이의 감정과 의견이 잘 나타나 있는 대표적인 문서이다. 최근 여론 조사 및 상품 의견 조사 등 다양한 측면에서 대용량의 문서의 의미적 분류 및 분석이 요구되고 있다. 본 논문에서는 문서에 나타난 내용을 기준으로 문서가 나타내고 있는 감정을 긍정과 부정의 두 가지 범주로 분류하는 시스템을 구현한다. 문서 분류의 시작은 감정을 지닌 대표적인 종자 어휘(seed word)로부터 시작하며, 자질의 선정은 한국어 특징상 감정 및 감각을 표현하는 명사, 형용사, 부사, 동사를 대상으로 한다. 가중치 부여 방법은 한글 유의어 사전을 통해 종자 어휘의 의미를 확장하여 각각의 가중치를 책정한다. 단어 벡터로 표현된 입력 문서를 이진 분류기인 지지벡터 기계를 이용하여 문서에 나타난 감정을 판단하는 시스템을 구현하고 그 성능을 평가한다.

  • PDF

Homonym Disambiguation based on Average Mutual Information (평균 상호정보량에 기반한 동음이의어 중의성 해소)

  • Hur, Jeong;Jang, Myung-Gil
    • Annual Conference on Human and Language Technology
    • /
    • 2005.10a
    • /
    • pp.159-166
    • /
    • 2005
  • 자연언어처리의 목적은 컴퓨터가 자연어를 이해할 수 있도록 하여, 인간에게 다양한 정보를 정확하고 빠르게 전달할 수 있도록 하고자 하는 것이다. 이를 위해서는 언어의 의미를 정확히 파악하여야 하는데, 어휘 의미 중의성 해소가 필수적인 기술이다. 본 연구에서는 평균 상호정보량에 기반한 동음이의어 의미 중의성 해소 기술을 소개한다. 사전 뜻풀이를 이용하는 기존 연구들은 어휘들간의 정확한 매칭에 의존하기 때문에 자료부족 현상이 심각하였다. 그러나, 본 연구에서는 어휘들간의 연관계수인 상호정보량을 이용함으로써 이 문제를 완화시켰다. 또한, 상호정보량을 가지는 어휘 쌍의 비율, 의미 별 빈도 정보와 뜻풀이의 길이를 가중치로 반영하였다. 본 시스템의 평가를 위해 질의응답 평가셋의 500여 개의 질의와 정답단락을 대상으로 동음이의어 의미 중의성 해소 평가셋을 구축하였다. 평가셋에 기반하여 두 가지 유형의 실험을 수행하였다. 실험 결과는 평균 상호정보량만을 이용하였을 때 62.04%의 정확률을 보였고, 가중치를 활용하였을 때 83.42%의 정확률을 보였다.

  • PDF

Vocabulary Retrieve System using Improve Levenshtein Distance algorithm (개선된 Levenshtein Distance 알고리즘을 사용한 어휘 탐색 시스템)

  • Lee, Jong-Sub;Oh, Sang-Yeob
    • Journal of Digital Convergence
    • /
    • v.11 no.11
    • /
    • pp.367-372
    • /
    • 2013
  • In general, Levenshtein distance algorithm have a problem with not distinguish the consideration of vacabulary retrieve, because Levenshtein methode is used to vocabulary order are not defined. In this paper, we propose a improved Levenshtein methode, it effectively manage the vocabulary retrieve by frequency use of a vocabulary, and it gives the weight number which have a order between vocabularies. Therefore proposed methode have a advantage of solve the defect of perception rate in the case of increase the vocabulary, improve the recognition time become higher and it can be effectively retrieval space management.. System performance as a result of represent vocabulary dependence recognition rate of 97.81%, vocabulary independence recognition rate of 96.91% in indoor environment. Also, vocabulary dependence recognition rate of 91.11%, vocabulary independence recognition rate of 90.01% in outdoor environment.

Improving Performance of Web Search using The User Preference in Query Word Senses (질의어 의미별 사용자 선호도를 이용한 웹 검색의 성능 향상)

  • 김형일;김준태
    • Journal of KIISE:Software and Applications
    • /
    • v.31 no.8
    • /
    • pp.1101-1112
    • /
    • 2004
  • In this paper, we propose a Web page weighting scheme using the user preference in each sense of query word to improve the performance of Web search. Generally search engines assign weights to a web page by using relevancy only, which is obtained by comparing the query word and the words in a web page. In the information retrieval from huge data such as the Web, simple word comparison cannot distinguish important documents because there exist too many documents with similar relevancy In this paper we implement a WordNet-based user interface that helps to distinguish different senses of query word, and constructed a search engine in which the implicit evaluations by multiple users are reflected in ranking by accumulating the number of clicks. In accumulating click counts, they are stored separately according to senses, so that more accurate search is possible. The experimental results with several keywords show that the precision of proposed system is improved compared to conventional search engines.

Query Expansion based on Word Graph using Term Proximity (질의 어휘와의 근접도를 반영한 단어 그래프 기반 질의 확장)

  • Jang, Kye-Hun;Lee, Kyung-Soon
    • The KIPS Transactions:PartB
    • /
    • v.19B no.1
    • /
    • pp.37-42
    • /
    • 2012
  • The pseudo relevance feedback suggests that frequent words at the top documents are related to initial query. However, the main drawback associated with the term frequency method is the fact that it relies on feature independence, and disregards any dependencies that may exist between words in the text. In this paper, we propose query expansion based on word graph using term proximity. It supplements term frequency method. On TREC WT10g test collection, experimental results in MAP(Mean Average Precision) show that the proposed method achieved 6.4% improvement over language model.

A study on the improvement of speech recognition for similar place names (유사지명 인식시의 성능 개선 연구)

  • 백승권;양희식;한민수
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2000.11b
    • /
    • pp.49-53
    • /
    • 2000
  • 본 연구에서는 DAB(Digital Audio Broadcasting) 시스템의 교통정보 검색 서비스를 위하여 경부선 및 호남선의 톨게이트가 위치한 49 개의 지명을 대상으로 이를 인식하고자 할 때 인식 율을 개선하였다. 지명 어휘의 특성을 분석한 결과 전체 지명의 81.6%가 2 음절이었으며 동일한 음절을 포함하는 지명이 전체의 구성된 어휘가 61%로 조사되었다. 시스템에서 인식율을 개선하기 위하여 인식 대상어휘를 3개의 set로 재분류하고 인식 대상 어휘로 판정된 후보 어휘에 대하여 인식 성공여부에 핵심이 되는 음절의 위치에 따라 가중치 윈도우를 적용하였다. 그 결과 화자 독립의 인식율 테스트에서 남성의 경우 7.2%, 여성의 경우 5.1%의 인식율 향상을 보였다.

  • PDF

Performance Improvement of Variable Vocabulary Speech Recognizer (가변어휘 음성인식기의 성능개선)

  • Kim Seunghi;Kim Hoi-Rin
    • Proceedings of the Acoustical Society of Korea Conference
    • /
    • autumn
    • /
    • pp.21-24
    • /
    • 1999
  • 본 논문에서는 가변어휘 음성인식기의 성능개선 작업에 관한 내용을 기술하고 있다. 묵음을 포함한 총 40개의 문맥독립 음소모델을 사용한다. LDA 기법을 이용하여 동일차수의 특징벡터내에 보다 유용한 정보를 포함시키고, likelihood 계산시 가우시안 분포와 mixture weight에 대한 가중치를 달리 함으로써 성능향상을 볼 수 있었다. ETRI POW 3848 DB만을 사용하여 실험한 경우, $21.7\%$의 오류율 감소를 확인할 수 있었다. 잡음환경 및 어휘독립환경을 고려하여 POW 3848 DB와 PC 168 DB 및 PBW445 DB를 사용한 실험도 행하였으며, PBW 445 DB를 사용한 어휘독립 인식실험의 경우 $56.8\%$의 오류율 감소를 얻을 수 있었다.

  • PDF

Implementation of Word Sense Disambiguation System based on Korean WordNet (한국어 어휘의미망에 기반을 둔 어의 중의성 해소 시스템의 구현)

  • Kim, Minho;Hwang, Myeong-Jin;Shin, Jong-Hun;Kwon, Hyuk-Chul
    • Annual Conference on Human and Language Technology
    • /
    • 2008.10a
    • /
    • pp.96-102
    • /
    • 2008
  • 자연언어처리에서 어휘의 의미를 구분하는 것은 기계번역이나 정보검색과 같은 여러 응용 분야에서 매우 중요한 역할을 한다. 국내에서도 여러 어의 중의성 해소 시스템이 소개되었으나 대부분 시스템이 의미 부착 말뭉치를 이용한 감독 학습 방식을 기반으로 두고 있다. 본 논문은 한국어 어휘의미망을 이용한 비감독 어의 중의성 해소 시스템을 소개한다. 일반적으로 감독어의 중의성 해소 시스템은 비감독 어의 중의성 해소 시스템보다 성능은 좋으나 대규모의 의미 부착 말뭉치가 있어야 한다. 그러나 본 시스템은 한국어 어휘의미망과 의미 미부착 말뭉치에서 추출한 어휘 통계정보를 이용해, 의미 부착 말뭉치에서 추출한 의미별 통계 정보를 이용하는 감독 중의성 해소 방법과 같은 효과를 낸다. 본 시스템과 타 시스템의 성능 비교를 위해 'SENSEVAL-2' 평가 대회의 한국어 평가 데이터를 이용하였다. 실험 결과는 추출된 통계 정보를 바탕으로 우도비를 이용하였을 때 정확도 72.09%, 관계어 가중치를 추가로 이용하였을 때 정확도 77.02%로 감독 중의성 해소 시스템보다 높은 성능을 보였다.

  • PDF

Movie Retrieval System by Analyzing Sentimental Keyword from User's Movie Reviews (사용자 영화평의 감정어휘 분석을 통한 영화검색시스템)

  • Oh, Sung-Ho;Kang, Shin-Jae
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.14 no.3
    • /
    • pp.1422-1427
    • /
    • 2013
  • This paper proposed a movie retrieval system based on sentimental keywords extracted from user's movie reviews. At first, sentimental keyword dictionary is manually constructed by applying morphological analysis to user's movie reviews, and then keyword weights in the dictionary are calculated for each movie with TF-IDF. By using these results, the proposed system classify sentimental categories of movies and rank classified movies. Without reading any movie reviews, users can retrieve movies through queries composed by sentimental keywords.

Homonym Disambiguation based on Mutual Information and Sense-Tagged Compound Noun Dictionary (상호정보량과 복합명사 의미사전에 기반한 동음이의어 중의성 해소)

  • Heo, Jeong;Seo, Hee-Cheol;Jang, Myung-Gil
    • Journal of KIISE:Software and Applications
    • /
    • v.33 no.12
    • /
    • pp.1073-1089
    • /
    • 2006
  • The goal of Natural Language Processing(NLP) is to make a computer understand a natural language and to deliver the meanings of natural language to humans. Word sense Disambiguation(WSD is a very important technology to achieve the goal of NLP. In this paper, we describe a technology for automatic homonyms disambiguation using both Mutual Information(MI) and a Sense-Tagged Compound Noun Dictionary. Previous research work using word definitions in dictionary suffered from the problem of data sparseness because of the use of exact word matching. Our work overcomes this problem by using MI which is an association measure between words. To reflect language features, the rate of word-pairs with MI values, sense frequency and site of word definitions are used as weights in our system. We constructed a Sense-Tagged Compound Noun Dictionary for high frequency compound nouns and used it to resolve homonym sense disambiguation. Experimental data for testing and evaluating our system is constructed from QA(Question Answering) test data which consisted of about 200 query sentences and answer paragraphs. We performed 4 types of experiments. In case of being used only MI, the result of experiment showed a precision of 65.06%. When we used the weighted values, we achieved a precision of 85.35% and when we used the Sense-Tagged Compound Noun Dictionary, we achieved a precision of 88.82%, respectively.