• Title/Summary/Keyword: 단어 유사도

검색결과 546건 처리시간 0.025초

유사 문서 병합 시스템의 설계 및 구현 (Design and Implementation of Similar Document Merging System)

  • 박우리;권인택;김종익
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(C)
    • /
    • pp.164-167
    • /
    • 2011
  • 인터넷의 지속적인 발전에 따라 다양한 출처와 경로를 통해 많은 정보가 빠른 속도로 생산, 확산되고 있다. 이로 인해 중복되거나 유사한 정보들이 빈번하게 발생되고 있으며, 이러한 문제를 해결하기 위한 내용이 유사한 문서를 찾는 연구들이 많이 진행되고 있다. 유사 문서 병합에서 유사 문서를 판별하기 위해 문서 간 공통된 단어의 비율을 이용한다. 하지만 동일한 단어가 다양한 형태로 표현될 수 있어 공통된 단어의 비율만을 가지고 유사 문서를 판단하기 어렵다. 본 논문에서는 유사한 의미를 갖는 단어들을 동일한 단어로 변환하여 유사 문서들을 병합하는 시스템을 제안하고 구현 사항에 대해 설명한다.

단어/단어쌍 특징과 신경망을 이용한 두 문서간 유사도 측정 (Measurement of Document Similarity using Term/Term-pair Features and Neural Network)

  • 김혜숙;박상철;김수형
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권12호
    • /
    • pp.1660-1671
    • /
    • 2004
  • 본 논문은 두 문서간 유사도 측정 방법을 제안한다. 제안한 유사도 측정 모델의 주안점은 문서간 관련성의 정도를 두 문서간 일치하는 단어(term)및 단어쌍(tenn-phrase)에 기반하여 이들이 해당 문서에서 차지하는 가중치를 통해 측정하는 것이다. 유사도 측정 과정에 영향을 미치는 특징을 설계함에 있어 기존의 연구들이 하나의 특징만을 고려하였던 것에 비하여 본 논문은 여러 가지 특징들을 고려한다 즉, 단어뿐만 아니라 단어쌍과 관련된 특징을 결합하여 신경망을 통해 유사도를 측정한다. 제안된 방법의 우수성을 입증하기 위해 두 가지 측면에서 실험하였다. 첫 번째는 두 문서의 동일성 여부를 검증하는 문제이며, 두 번째는 다수의 문서를 대상으로 유사한 문서를 찾는 검색 문제이다. 이 두 가지 실험 모두에서 제안 방법이 기존의 Cosine 유사도 계산 방법 및 구색인 방법에 비해 우수한 성능을 보였다.

워드임베딩을 이용한 온라인 비디오 강의의 고빈도 단어와 키워드 간의 유사도 비교 연구 (A Study on Comparative Analysis with High-Frequency Word and Keyword using Word Embedding)

  • 조재춘;임희석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.385-386
    • /
    • 2017
  • 무료 온라인 교육환경은 교육의 기회를 제공함으로써, 지속적으로 관심이 높아지고 있으며 배움에 대한 노력에 중시하고 있다. 따라서 본 연구는 배움에 대한 노력을 온라인에서 자동으로 판단할 수 있는 최소학습 판단 시스템을 제안해 왔다. 최소학습을 판단하기 위해 온라인 비디오 강의에서 고빈도 단어를 추출하여 단어게임을 통해 판단하는데, 이때 고빈도 단어가 최소학습을 판단하기 위한 키워드로 사용할 수 있는지에 대한 검증 실험이 요구되었다. 따라서 본 논문은 워드임베딩을 이용하여 고빈도 단어와 키워드간의 유사도를 비교하여 고빈도 단어에 대한 검증 실험을 실시하였다. 실험 결과, 고빈도 단어가 온라인 비디오 강의를 대표할 수 있는 키워드로 사용될 수 있는 긍정적인 결과를 보였고 최소 학습을 판단하기 위한 요소(Feature)로 충분히 사용가능함을 보였다.

가중치 정보를 이용한 한국어 동사의 의미 중의성 해소 (Word Sense Disambiguation of Korean Verbs Using Weight Information from Context)

  • 임수종;박영자;송만석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1998년도 제10회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.425-429
    • /
    • 1998
  • 본 논문은 문맥에서 추출한 가중치 정보를 이용한 한국어 동사의 의미 중의성 해소 모델을 제안한다. 중의성이 있는 단어가 쓰인 문장에서 그 단어의 의미 결정에 영향을 주는 단어들로 의미 결정자 벡터를 구성하고, 사전에서 그 단어의 의미 항목에 쓰인 단어들로 의미 항목 벡터를 구성한다. 목적 단어의 의미는 두 벡터간의 유사도 계산에 의해 결정된다. 벡터간의 유사도 계산은 사전에서 추출된 공기 관계와 목적 단어가 속한 문장에서 추출한 거리와 품사정보에 기반한 가중치 정보를 이용하여 이루어진다. 4개의 한국어 동사에 대해 내부실험과 외부실험을 하였다. 내부 실험은 84%의 정확률과 baseline을 기준으로 50%의 성능향상, 외부 실험은 75%의 정확률과 baseline을 기준으로 40 %의 성능향상을 보인다.

  • PDF

음성에 의한 Man-Machine Communication 기술의 현황

  • 은종관
    • 전자공학회지
    • /
    • 제15권2호
    • /
    • pp.75-87
    • /
    • 1988
  • 본 논문에서는 음성에 의한 man-machine communication의 핵심기술인 음성인식 및 합성의 전반적인 기술에 관하여 그 현황을 알아본다. 먼저 음성인식에서 해결되어야 할 문제점들을 고찰하고 격리단어 인식, 연결단어 인식, 그리고 연속언어 인식의 기술현황을 기술한다. 격리단어 인식에서는 pattern matching 방법에서 사용되는 입력어휘의 특징 추출, reference와의 유사도 측정, 유사도 측정 결과에 의한 인식결정에 관해서 논한다. 연결단어 및 연속언어 인식에서는 현재 연구가 되고 있는 "bottom-up approach"와 "top-down approach"에 관해서 설명하고 이들 방법의 어려운 점들을 고찰한다. 다음 음성 합성에서는 기존의 여러 가지 합성 방식을 검토하고 이들의 장단점을 기술한다. 마지막으로 한 예로서 한국어 text-to-speech 변환 시스템에 관하여 기술한다.

  • PDF

유사어를 이용한 단어 의미 중의성 해결 (Word Sense Disambiguation using Semantically Similar Words)

  • 서희철;이호;백대호;임해창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.304-309
    • /
    • 1999
  • 본 논문에서는 의미계층구조에 나타난 유사어 정보를 이용해서 단어 의미 중의성을 해결하고자 한다. 의미계층구조를 이용한 기존의 방법에서는 의미 벡터를 이용해서 단어 의미 중의성을 해결했다. 의미 벡터는 의미별 학습 자료에서 획득되는 것으로 유사어들의 공통적인 특징만을 이용하고, 유사어 개별 특징은 이용하지 않는다. 본 논문에서는 유사어 개별 특징을 이용하기 위해서 유사어 벡터를 이용해서 단어 의미 중의성을 해결한다. 유사어 벡터는 유사어별 학습 자료에서 획득되는 것으로, 유사어의 개별 정보를 가지고 있는 벡터이다. 세 개의 한국어 명사에 대한 실험 결과, 의미 벡터를 이용하는 것보다 유사어 벡터를 이용하는 경우에 평균 9.5%정도의 성능향상이 있었다.

  • PDF

위키피디아에 기반한 단어 사이의 의미적 연결 관계 탐색 (Discovering Semantic Relationships between Words by using Wikipedia)

  • 김주황;홍민성;이오준;정재은
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2015년도 제52차 하계학술대회논문집 23권2호
    • /
    • pp.17-18
    • /
    • 2015
  • 본 논문에서는 위키피디아를 이용하여 단어 사이의 유사도와 내포된 연결 단어들에 대한 탐색 기법을 제안 한다. 위키피디아에서 제공하는 API를 이용하여 두 단어 사이를 탐색함으로써, 기존 단어 사이의 유사도를 계산하는 방식보다 더 간단하고 폭 넓은 의미 집단을 포괄할 수 있다. 이는 그래프적 특성에 기반하며 그래프를 구성하는 방식으로써 동적 방식과 정적 방식으로 구성된다.

  • PDF

협력적 필터링을 위해 연관 단어 빈도를 이용한 웹 문서 분류 (Classification of Web Documents Using Associative Word Frequency for Collaborative Filtering)

  • 하원식;정경용;정헌만;류중경;이정현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
    • /
    • pp.160-162
    • /
    • 2004
  • 기존의 웹 문서 분류 시스템서는 많은 시간과 노력을 요구하며, 연관 단어가 아닌 단일 단어만으로 웹 문서들을 분류하여 단어의 중의성을 반영하지 못해 많은 오분류가 있었다. 이러한 문제점을 해결하기 위해 본 논문에서는 협력적 필터링을 위한 연관 단어 빈도를 사용한 웹 문서 분류 방법을 제안한다. 제안된 방법에서는 웹 문서 내에서 단어들을 추출하고 빈도 가중치를 계산한다. 추출된 단어를 Apriori 알고리즘에 의해 연관 규칙을 생성하고 신뢰도에 단어 빈도 가중치를 반영한다. 수정된 신뢰도를 ARHP 알고리즘에 적용하여 연관 단어들 사이의 유사정도를 계산하고 유사 클래스를 구성한다 생성된 유사 클래스들을 기반으로 웹 문서를 $\alpha$-cut을 이용하여 분류한다 성능평가를 위해 기존의 문서 분류 방법들과 비교 평가를 하였다.

  • PDF

주관식 문제 채점에서의 구문의미트리 비교 시스템에 대한 연구 (Research on Comparing System with Syntactic-Semantic Tree in Subjective-type Grading)

  • 강원석
    • 컴퓨터교육학회논문지
    • /
    • 제20권5호
    • /
    • pp.79-88
    • /
    • 2017
  • 질높은 주관식 문제 채점을 위해서는 답변 속에 들어있는 단어간의 구문의미적 관계를 분석하는 구문 의미 분석이 필요하다. 그러나 구문의미 분석의 결과인 구문의미트리는 단어간의 구조적 의미 관계를 내포하고 있어 단어의 나열인 일차원적인 벡터의 유사도 계산을 적용할 수가 없다. 본 연구는 단어의 지식과 함께 단어와 단어간의 구조적 의미 관계를 내포하는 구문의미트리를 비교하는 비교 시스템에 대한 연구를 한다. 본 연구에서는 구문의미트리 비교를 위해 유사성 계산 원칙을 제안하고 실험을 통해 검증하였다. 본 구문의미트리 비교 시스템은 구문의미분석의 결과를 비교할 수 있게 하여 주관식 문제 채점에 도움을 줄 것이고 문서 유사도 영역에도 활용할 수 있을 것이다.

문장 및 어절 유사도를 이용한 표절 탐지 시스템 구현 (Implementation of A Plagiarism Detecting System with Sentence and Syntactic Word Similarities)

  • 맹주수;박지수;손진곤
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권3호
    • /
    • pp.109-114
    • /
    • 2019
  • 기존 표절 탐지 시스템은 형태소 분석을 기반으로 공통 단어의 빈도수를 이용해 문서의 유사도를 측정한다. 그러나 주제가 같아 유사 단어가 많이 쓰인 경우, 문장 단위로 일부만 발췌 표절한 경우, 그리고 조사와 어미의 유사성이 있는 경우는 공통 단어의 빈도수만으로는 정확한 유사도를 측정하는데 한계가 있다. 따라서 본 논문에서는 공통 단어 빈도수 기반의 유사도 측정 외에 문장 유사도와 어절 유사도를 추가적으로 측정해 유사도의 정확성을 높일 수 있는 표절 탐지 시스템을 설계하고 구현하였다. 실험 결과, 문장 유사도를 측정함으로써 문장 단위로 표절이 이루어진 경우를 발견할 수 있었고, 어절 유사도를 추가로 측정함으로써 부분표절이 일어난 경우라도 조사나 어미까지 그대로 사용한 표절의 경우 등을 발견할 수 있었다.