• Title/Summary/Keyword: 어휘정보

Search Result 1,062, Processing Time 0.021 seconds

Homonym Disambiguation based on Mutual Information and Sense-Tagged Compound Noun Dictionary (상호정보량과 복합명사 의미사전에 기반한 동음이의어 중의성 해소)

  • Heo, Jeong;Seo, Hee-Cheol;Jang, Myung-Gil
    • Journal of KIISE:Software and Applications
    • /
    • v.33 no.12
    • /
    • pp.1073-1089
    • /
    • 2006
  • The goal of Natural Language Processing(NLP) is to make a computer understand a natural language and to deliver the meanings of natural language to humans. Word sense Disambiguation(WSD is a very important technology to achieve the goal of NLP. In this paper, we describe a technology for automatic homonyms disambiguation using both Mutual Information(MI) and a Sense-Tagged Compound Noun Dictionary. Previous research work using word definitions in dictionary suffered from the problem of data sparseness because of the use of exact word matching. Our work overcomes this problem by using MI which is an association measure between words. To reflect language features, the rate of word-pairs with MI values, sense frequency and site of word definitions are used as weights in our system. We constructed a Sense-Tagged Compound Noun Dictionary for high frequency compound nouns and used it to resolve homonym sense disambiguation. Experimental data for testing and evaluating our system is constructed from QA(Question Answering) test data which consisted of about 200 query sentences and answer paragraphs. We performed 4 types of experiments. In case of being used only MI, the result of experiment showed a precision of 65.06%. When we used the weighted values, we achieved a precision of 85.35% and when we used the Sense-Tagged Compound Noun Dictionary, we achieved a precision of 88.82%, respectively.

Collecting and Analyzing Color Information for Constructing Semantic Information Model (의미정보모델 구축을 위한 색채정보의 수집과 정량적 분석)

  • Lyu, Ki-Gon;Sun, Dong-Eon;Kim, Hyeon-Cheol
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06c
    • /
    • pp.232-235
    • /
    • 2011
  • 지식표현은 일반적으로 논리, 규칙, 프레임 또는 의미망 형태로 표현되며, 최근에는 의미망을 이용한 온톨로지 형태로 표현되고 있다. 이러한 지식표현 방법은 개념을 설명하는 문맥적인 정보나 개념들 간의 구조적인 정보를 이용하여 개념에 대한 지식을 논리적으로 표현하는데 중점을 두었다. 하지만, 지식표현에 사용되는 의미정보는 사람에 의해 수집되고 정제되기 때문에 많은 시간, 비용 및 인력이 필요하다는 한계가 있고, 새로운 의미를 추가하거나 기존의 의미를 수정하는 것이 매우 어렵다는 한계가 있다. 색채는 특정 대상이나 개념에 대한 의미, 연상, 상징 등 객관적인 특징 뿐 아니라 시대, 나라, 문화와 같은 사회적 배경을 반영하기 때문에, 정보를 제공하고 감성을 전달하는 효과적인 수단으로 사용되고 있다. 이에 본 논문은, 색채를 이용한 의미정보모델 구축을 위해, 색채정보를 수집하고 정량적으로 분석하는 방법을 제안한다. 긍정/부정/불안/중립으로 구성된 감성어휘 273개를 이용하여 이미지를 수집한 결과 총 130,944개의 이미지를 수집하였다. 이미지에는 여러 가지 사물, 행동, 배경, 색채 등 다양한 정보가 혼재되어 있어 감성어휘와 연관된 색채를 구별하기 어렵기 때문에 이미지를 직관적으로 설명할 수 있는 사용자 태그를 별도로 수집하였다. 태그는 총 2,836,395개를 수집하였고 각 이미지와 그룹에서의 가중치를 구하였다. 태그의 가중치를 통해 이미지가 그룹 내에서 갖는 중요도를 판별하였고, 각 그룹 별로 상위 30%의 이미지를 추출하여 대표 색채를 분석하였다.

A Study of Image Attributes for Image Database (이미지 데이터베이스 구축을 위한 데이터항목 속성 연구)

  • Kwak Chul-Wan;Lee Eun-Chul
    • Journal of the Korean Society for Library and Information Science
    • /
    • v.32 no.2
    • /
    • pp.169-187
    • /
    • 1998
  • The purpose of the study is to identify what terms are used, how they are categorized, and what they are related each others to search image files. Data collection was conducted through 5 photographies using 22 participants. The study shows that used terms were affected by image contents and size, and pre-iconography, iconology, time, geographical location, and relationship were important for image attributes.

  • PDF

Development of Continuous Spoken Digit Recognition System using Statistical Model (통계적 모델에 의한 연속 숫자음의 인식 기술개발)

  • Lee, G.S.;Ann, T.O.;Kim, S.H.
    • Annual Conference on Human and Language Technology
    • /
    • 1989.10a
    • /
    • pp.154-158
    • /
    • 1989
  • 본 연구는 통제적 모델에 의한 연속 숫자음의 인식에 관한 것으로 4 연속 숫자음을 인식 대상으로하여 실험한다. 시스템은 크게 음향 음성 처리부 및 어휘 해석부 두 부분으로 나뉜다. 음향 음성 처리부에서는 입력 음성으로부터 특정 벡터인 12차의 LPC cepstrum 계수를 구하여, 프레임 레이블링과 소음소 레이블링 (phone labelling)을 한다. 프레임 레이블링인 베이스 분류법을 이용하였으며, 소음소 레이블링은 프레임 레이블과 사후확률 (posteriori probability)로 부터 이루어 졌다. 어휘 해석부분에서는 소음소 단위를 입력으로 받아 음운규칙을 통해 작성된 소음소 망을 거쳐 연속 숫자음 출력을 얻도록 했다. 본실험은 화자 3 명이 발음한 35 개의 4 연속 숫자음을 인식 대상으로 하였으며, 4 연속 숫자음을 평가단위로 80%의 인식율을 얻었고, 각 숫자음의 음절을 단위로 95%의 인식율을 얻어 제시한 알고리즘의 유효성을 입증하였다.

  • PDF

Korean Morphological Analysis Algorithms for Automatic Indexing (자동색인을 위한 한국어 형태소 분석 알고리즘)

  • Lee, Young-Joo
    • Annual Conference on Human and Language Technology
    • /
    • 1989.10a
    • /
    • pp.240-246
    • /
    • 1989
  • 자동색인이라 함은 기존의 수작업에 의한 색인어 선정 대신 컴퓨터에 의해서 자동화하는 것을 말한다. 한국어는 색인어가 될 수 있는 어근에 조사 및 어미가 붙어서 한 어절을 이루는 언어학 적인 특성을 갖고 있다. 지금까지는 어근을 분리하기 위해 어근에 대한 사전을 구축하고 이를 Top-down 방법에 의해 처리하는 것이 통례였다. 그러나 이러한 방법은 외래어나 고유명사 등 새로 발생하는 어휘가 많은, 뉴스 원고와 같은 보도자료에는 쉽게 적용할 수가 없으며, 자연어를 다루는 타 분야에서도 미등록어에 대한 처리 방안이 시급한 실정이다. 본 논문은 어휘사전 없이 조사 및 어미의 생성 규칙을 이용한 Bottom-up 방식으로 처리하여 후보 색인어를 추론하고, 어절 상호간의 관계를 밝히는 구문분석을 통하여 이를 확정하는 알고리즘을 제안하였다.

  • PDF

Selection of Korean General Vocabulary for Machine Readable Dictionaries (자연언어처리용 전자사전을 위한 한국어 기본어휘 선정)

  • 배희숙;이주호;시정곤;최기선
    • Language and Information
    • /
    • v.7 no.1
    • /
    • pp.41-54
    • /
    • 2003
  • According to Jeong Ho-seong (1999), Koreans use an average of only 20% of the 508,771 entries of the Korean standard unabridged dictionary. To establish MRD for natural language processing, it is necessary to select Korean lexical units that are used frequently and are considered as basic words. In this study, this selection process is done semi-automatically using the KAIST large corpus. Among about 220,000 morphemes extracted from the corpus of 40,000,000 eojeols, 50,637 morphemes (54,797 senses) are selected. In addition, the coverage of these morphemes in various texts is examined with two sub-corpora of different styles. The total coverage is 91.21 % in formal style and 93.24% in informal style. The coverage of 6,130 first degree morphemes is 73.64% and 81.45%, respectively.

  • PDF

Cause' and the Acquisition and Processing of Object Ellipsis by Young Korean-speaking Children (원인'(cause)과 아동의 공목적어 정보처리)

  • Ryu, Jung;Cho, Sook-Whan
    • Proceedings of the Korean Society for Cognitive Science Conference
    • /
    • 2002.05a
    • /
    • pp.72-75
    • /
    • 2002
  • 본 연구는 '원인'의 개념과 타동사성에 대한 아동의 민감성이 공대명사 처리에 어떻게 반영되는지에 대해 검토하였다. 한국어뿐만 아니라 여러 언어에서 관찰되었듯이, '원인'은 서술부 중심의 어휘정보 이론에서 이용되는 핵심적인 개념으로서, 타동사와 목적어 사이에 잠재적으로 함유된 '원인'의 정도에 따라 목적어의 생략이 허용된다. 본 연구는 세명의 한국 아동 (0;10-3;7)의 발화자료를 토대로 한국어의 공대명사화 구조를 검토하여 다음과 같은 관찰을 하였다. 한국아동은 습득 초기에는 주로 옛정보, 새정보 등의 담화화용적 제약에 따른 발화를 하지만, 3세경부터는 동사의 습득양상이 점차적으로 다양해지는데, 이때부터는 논항의 생략과 동사의 타동사성과 상호관계를 보인다.

  • PDF

Assessment of English Essay Topic Suitability using Keyword of Instruction (문제 핵심 어휘를 이용한 영어 논술 주제 적합성 평가)

  • Goh, Dae-Ohk;Kim, Minjeong;Rim, Hae-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 2012.10a
    • /
    • pp.148-153
    • /
    • 2012
  • 본 논문에서는 그동안 영어 자동 평가에서 다루지 않은 문제와 답안의 적합성에 대한 평가를 시도한다. 답안이 주어진 문제에 적합한지를 평가하기 위해 문제에서 내용어를 중심으로 핵심어를 추출하며, 이렇게 추출한 핵심어와 각 답안의 적합성을 코사인 상관계수를 이용하여 구해본다. 한 문제에서 추출 가능한 핵심어가 매우 한정되어 있으므로 추가적으로 워드넷의 관련어나 예시 답안을 활용하여 확장한 핵심어 목록으로 실험을 하였으며, 실험 결과를 통해 핵심어를 이용한 답안과 문제의 적합성 평가가 가능함을 보였다.

  • PDF

Sentiment Analysis for Korean Product Review Using Stacked Bi-LSTM-CRF Model (Stacked Bi-LSTM-CRF 모델을 이용한 한국어 상품평 감성 분석)

  • Youn, Jun Young;Park, Jung Ju;Kim, Do Won;Min, Tae Hong;Lee, Jae Sung
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.633-635
    • /
    • 2018
  • 최근 소셜 커머스 데이터를 이용하여 상품에 대한 소비자들의 수요와 선호도 등을 조사하는 등의 감성분석 연구가 활발히 진행되고 있다. 본 연구에서는 Stacked Bi-LSTM-CRF 모델을 이용하여 한국어의 복합적인 형태로 이루어지는 감성표현에 대하여 어휘단위로 감성분석을 진행하고, 상품의 세부주제(특징, 관심키워드 등)를 추출하여 세부주제별 감성 분석을 할 수 있는 방법을 제안한다.

  • PDF

Application of Gaussian Mixture Model for Text-based Biomarker Detection (텍스트 기반의 바이오마커 검출을 위한 가우시안 혼합 모델의 응용)

  • Oh, Byoung-Doo;Kim, Ki-Hyun;Kim, Yu-Seop
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.550-551
    • /
    • 2018
  • 바이오마커는 체내의 상태 및 변화를 파악할 수 있는 지표이다. 이는 암을 비롯한 다양한 질병에 대하여 진단하는데 활용도가 높은 것으로 알려져 있으나, 새로운 바이오마커를 찾아내기 위한 임상 실험은 많은 시간과 비용을 소비되며, 모든 바이오마커가 실제 질병을 진단하는데 유용하게 사용되는 것은 아니다. 따라서 본 연구에서는 자연어처리 기술을 활용해 바이오마커를 발굴할 때 요구되는 많은 시간과 비용을 줄이고자 한다. 이 때 다양한 의미를 가진 어휘들이 해당 질병과 연관성이 높은 것으로 나타나며, 이들을 분류하는 것은 매우 어렵다. 따라서 우리는 Word2Vec과 가우시안 혼합 모델을 사용하여 바이오마커를 분류하고자 한다. 실험 결과, 대다수의 바이오마커 어휘들이 하나의 군집에 나타나는 것을 확인할 수 있었다.

  • PDF