• Title/Summary/Keyword: 유사도분석

Search Result 2,664, Processing Time 0.032 seconds

Document Reranking Model Using Clusters (문서 클러스터를 이용한 재순위화 모델)

  • Lee, Kyung-Soon;Park, Young-Chan;Choi, Key-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 1998.10c
    • /
    • pp.81-87
    • /
    • 1998
  • 본 연구에서는 정보검색시스템의 모델로 문서 클러스터를 이용한 재순위화 모델을 제시한다. 이 방법은 검색단계와 분석단계로 이루어지는데, 검색단계에서는 역화일기법을 이용해서 질의어를 포함하는 문서들을 검색하여 질의어-문서 유사도에 따라 순위를 결정한다. 분석단계에서는 이미 구축된 문서 클러스터를 이용해서 검색되어진 문서들의 분석을 통해 질의어-클러스터 유사도를 계산한다. 질의어-문서 유사도와 질의어-클러스터 유사도를 결합하고, 이 유사도에 기반해서 문서들을 재순위화한다. 이때 이용하는 클러스터는 정적 클러스터이고, 질의어에 따라 서로 다른 클러스터를 생성하는 동적인 뷰를 제공한다. 재순위화 모델은 역화일 기법과 클러스터 분석기법이 가지는 장점을 결합하여 질의어 뿐만 아니라 문서에 포함된 모든 단어들을 분석함으로써 문서의 문맥을 고려할 수 있다. 제안하는 모델은 역화일 기법을 이용한 검색 결과에 비해서 우수한 성능 향상을 나타내고 있다.

  • PDF

k-means clustering analysis of a movie poster colors using OpenCV, and recommendation system (OpenCV를 활용한 k-means clustering 기반의 포스터 색감 분석 기법 및 추천 시스템)

  • Kim, Tae Hong;OH, Sujin;Kim, Ung-Mo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.10a
    • /
    • pp.569-572
    • /
    • 2018
  • 본 연구는 영화 포스터를 대상으로 OpenCV를 활용하여 k-means clustering 기반의 색감을 분석하는 기법을 제안한다. 또한 이를 활용하여 영화 포스터 간의 유사도를 구하고 특정 영화와 대표색을 가지는 영화를 추천하는 시스템을 제안한다. 이를 위해 본 연구에서 다음과 같은 가정을 기반으로 한다. 첫 번째, 포스터는 해당 영화를 가장 잘 나타내는 이미지로, 포스터의 색감은 영화의 전반적인 분위기를 가진다. 두 번째, 영화 사이에 유사한 색감을 가진다면, 해당 영화들은 유사한 분위기를 가진다. 본 연구에서는 2단계로 나누어 연구를 진행한다. 우선 k-means clustering 기법을 통하여 데이터를 전처리 하여 영화별 대표색을 선정한다. 이 때, 선정된 대표색을 이용하여 각 영화간 색감 유사도를 분석한 결과를 통해, 같은 장르의 영화도는 유사도가 높음을 확인할 수 있었다. 다음으로 앞의 색감 유사도 분석을 통하여 특정 영화와 높은 유사도를 가지는 영화를 추천한다. 본 연구에서 추천된 영화는 기존의 영화 선택 기준에 비하여 사용자 본인의 취향을 반영한다. 본 연구 내용이 영화를 추천하는 과정에서 반영된다면 추천 시스템의 정확도와 사용자 만족도 향상에 기여할 것으로 기대된다.

Relation Analysis of Disease and Biomarker based on Google Scholar (구글 학술 검색 기반의 질병과 바이오마커 관계 분석)

  • Oh, Byoung-Doo;Kim, Yu-Seop
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.238-241
    • /
    • 2017
  • 본 논문에서는 구글 학술 검색 기반의 데이터를 이용하여 질병과 폐질환과 관련된 바이오마커 단어의 유사도를 계산하는 방법을 제안한다. 질병과 바이오마커의 유사도를 계산할 때, 각 단어의 구글 학술 검색의 검색 결과를 이용하였다. 이를 통해 폐질환 관련 바이오마커와 다른 질병간의 관계를 파악하고자 하며, 의료 전문가에게 폐질환 관련 바이오마커와 다른 질병간의 새로운 관계를 제시하고자 한다. 이러한 데이터를 이용하여 계산한 결과, Wor2Vec의 결과를 이용한 코사인 유사도의 결과와 상관 계수가 약 0.64로 상당히 높은 상관 관계를 확인할 수 있었다. 따라서 이 방법을 통해 질병과 바이오마커의 관계를 파악하고자 하였다. 또한 Word2Vec을 이용한 질병과 바이오마커 단어의 벡터 값과 단어 유사도 계산 방법의 결과를 이용한 Deep Neural Networks (DNNs) 모델을 구축하고자 하며, 이를 통해 자동적으로 유사도를 분석하고자 하였다.

  • PDF

Relation Analysis of Disease and Biomarker based on Google Scholar (구글 학술 검색 기반의 질병과 바이오마커 관계 분석)

  • Oh, Byoung-Doo;Kim, Yu-Seop
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.238-241
    • /
    • 2017
  • 본 논문에서는 구글 학술 검색 기반의 데이터를 이용하여 질병과 폐질환과 관련된 바이오마커 단어의 유사도를 계산하는 방법을 제안한다. 질병과 바이오마커의 유사도를 계산할 때, 각 단어의 구글 학술 검색의 검색 결과를 이용하였다. 이를 통해 폐질환 관련 바이오마커와 다른 질병간의 관계를 파악하고자 히며, 의료 전문가에게 폐질환 관련 바이오마커와 다른 질병간의 새로운 관계를 제시하고자 한다. 이러한 데이터를 이용하여 계산한 결과, Wor2Vec의 결과를 이용한 코사인 유사도의 결과와 상관 계수가 약 0.64로 상당히 높은 상관 관계를 확인할 수 있었다. 따라서 이 방법을 통해 질병과 바이오마커의 관계를 파악하고자 하였다. 또한 Word2Vec을 이용한 질병과 바이오마커 단어의 벡터 값과 단어 유사도 계산 방법의 결과를 이용한 Deep Neural Networks (DNNs) 모델을 구축하고자 하며, 이를 통해 자동적으로 유사도를 분석하고자 하였다.

  • PDF

Implementation of A Plagiarism Detecting System with Sentence and Syntactic Word Similarities (문장 및 어절 유사도를 이용한 표절 탐지 시스템 구현)

  • Maeng, Joosoo;Park, Ji Su;Shon, Jin Gon
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.8 no.3
    • /
    • pp.109-114
    • /
    • 2019
  • The similarity detecting method that is basically used in most plagiarism detecting systems is to use the frequency of shared words based on morphological analysis. However, this method has limitations on detecting accurate degree of similarity, especially when similar words concerning the same topics are used, sentences are partially separately excerpted, or postpositions and endings of words are similar. In order to overcome this problem, we have designed and implemented a plagiarism detecting system that provides more reliable similarity information by measuring sentence similarity and syntactic word similarity in addition to the conventional word similarity. We have carried out a comparison of on our system with a conventional system using only word similarity. The comparative experiment has shown that our system can detect plagiarized document that the conventional system can detect or cannot.

Sentence Similarity Analysis using Ontology Based on Cosine Similarity (코사인 유사도를 기반의 온톨로지를 이용한 문장유사도 분석)

  • Hwang, Chi-gon;Yoon, Chang-Pyo;Yun, Dai Yeol
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2021.05a
    • /
    • pp.441-443
    • /
    • 2021
  • Sentence or text similarity is a measure of the degree of similarity between two sentences. Techniques for measuring text similarity include Jacquard similarity, cosine similarity, Euclidean similarity, and Manhattan similarity. Currently, the cosine similarity technique is most often used, but since this is an analysis according to the occurrence or frequency of a word in a sentence, the analysis on the semantic relationship is insufficient. Therefore, we try to improve the efficiency of analysis on the similarity of sentences by giving relations between words using ontology and including semantic similarity when extracting words that are commonly included in two sentences.

  • PDF

A Program Reproduction Test System (프로그램 복제 검사 시스템)

  • 정재은;김영철;유재우
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04a
    • /
    • pp.59-61
    • /
    • 2000
  • 본 논문에서는 프로그램의 복제를 검사하기 위하여 서로다른 두 프로그래의 유사도를 측정하는 시스템을 제시한다. 지금까지 유사도 평가 방법은 일반 텍스트에 국한되어 있고 프로그램에 대한 유사도 검사는 극히 드물다. 본 시스템은 서로 다른 프로그램을 입력받아 분석 과정을 거쳐 구문 트리를 구성하고, 생성괸 구문트리와 유사도 평가 시스템을 이용하여 프로그램의 유사도를 측정한다. 구문트리를 이용한 유사도 측정은 경제적이고 효율적으로 유사도를 검출해 낼 수 있다는 것을 평가에서 보여준다.

  • PDF

Methodology of Developing Train Set for BERT's Sentence Similarity Classification with Lexical Mismatch (어휘 유사 문장 판별을 위한 BERT모델의 학습자료 구축)

  • Jeong, Jaehwan;Kim, Dongjun;Lee, Woochul;Lee, Yeonsoo
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.265-271
    • /
    • 2019
  • 본 논문은 어휘가 비슷한 문장들을 효과적으로 분류하는 BERT 기반 유사 문장 분류기의 학습 자료 구성 방법을 제안한다. 기존의 유사 문장 분류기는 문장의 의미와 상관 없이 각 문장에서 출현한 어휘의 유사도를 기준으로 분류하였다. 이는 학습 자료 내의 유사 문장 쌍들이 유사하지 않은 문장 쌍들보다 어휘 유사도가 높기 때문이다. 따라서, 본 논문은 어휘 유사도가 높은 유사 의미 문장 쌍들과 어휘 유사도가 높지 않은 의미 문장 쌍들을 학습 자료에 추가하여 BERT 유사 문장 분류기를 학습하여 전체 분류 성능을 크게 향상시켰다. 이는 문장의 의미를 결정짓는 단어들과 그렇지 않은 단어들을 유사 문장 분류기가 학습하였기 때문이다. 제안하는 학습 데이터 구축 방법을 기반으로 학습된 BERT 유사 문장 분류기들의 학습된 self-attention weight들을 비교 분석하여 BERT 내부에서 어떤 변화가 발생하였는지 확인하였다.

  • PDF

Representation of spatial variation and particle mean size for suspended sediment using acoustic backscatter in controlled channel experiments (수리실험을 통한 통제된 유사 조건에서의 횡방향 초음파도플러유속계 초음파산란도 활용 부유사농도 분포 및 평균 입경 분석)

  • Son, Geunsoo;Kim, Jongmin;Kang, Woochul
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2022.05a
    • /
    • pp.252-252
    • /
    • 2022
  • 최근 기존의 전통적인 부유사채집기를 활용한 유사량 측정방법의 대안으로 지속적인 유량측정을 목적으로 활용되고 있는 횡방향 초음파도플러유속계의 초음파산란도를 활용하여 부유사농도를 측정에 대한 연구가 수행되고 있다. 하지만, 하천에서 횡방향 초음파도플러유속계를 활용한 유사량 측정 연구는 현장에서 측정된 자료를 기반으로 분석이 수행되기 때문에 통제된 유사 조건에서의 유사의 농도 및 입도분포에 대한 사전 정보를 바탕으로 정밀한 분석의 어려움이 있다. 이에 본 연구에서는 안동하천실험센터 순환수로에서 균일한 입도를 가지고 있는 황토를 활용하여 주입량에 따른 초음파산란도의 변화와 동시에 측정된 LISST(laser in-situ scattering and transmissometry)의 부유사 농도와 입도 자료를 활용하여 유사공급에 따른 3Mhz의 단일 주파수를 사용하는 횡방향 초음파도플러유속계의 초음파산란도를 활용한 부유사농도 및 평균입경의 측정에 대한 연구를 수행하였다. 측정결과, 유사공급에 따라서 초음파산란도를 활용하여 부유사농도가 증가하는 경향을 나타내고 있었으며, 횡방향 초음파도플러유속계로부터 측정된 셀별 초음파산란도를 활용하여 부유사농도의 공간적인 분포의 분석이 가능함을 확인할 수 있었다. 그리고 유사감쇄계수를 활용하여 LISST로부터 측정된 평균입경과의 관계식을 개발하여 유사공급에 따른 평균입경의 변화를 측정할 수 있을 것으로 나타났다. 추후, 통제된 조건에서의 다양한 입도분포에 따른 실험을 통해 횡방향 초음파도플러유속계의 초음파산란도를 활용한 부유사농도 측정 정확도를 개선과 유사감쇄계수를 통해 평균입경을 측정하는데 활용이 될 것으로 판단된다.

  • PDF

Sensitive Analysis of GRM Parameter (GRM의 매개변수 민감도 분석)

  • Choi, Yun-Seok;Kim, Kyung-Tak
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2010.05a
    • /
    • pp.1114-1118
    • /
    • 2010
  • 본 연구에서는 HyGIS(Hydro Geographic Information System) 환경에서 구동되는 물리적 분포형 모형인 GRM(Grid based Rainfall-runoff Model) 모형(HyGIS-GRM)에서 사용자에 의해 추정되는 주요 매개변수인 초기포화도, 하도 최소경사, 하도 조도계수에 대한 민감도를 분석하고, 모형의 보정을 위한 각 매개변수의 추정 과정을 고찰하였다. 매개변수 민감도 평가는 초기포화도, 하도 최소경사, 하도 조도계수를 대상으로 각각을 기준 값에서 ${\pm}2%$ 간격으로 ${\pm}10%$까지 변화시킨 후 이를 유출모의에 적용하고, 첨두유량, 첨두시간 및 총유출량의 변화를 검토하였다. 민감도 분석 결과 초기포화도는 첨두유량, 첨두시간 및 총유출량에 대해서 모두 가장 민감한 것으로 평가되었다. 하도 조도계수는 첨두시간에 대해서는 초기포화도와 유사한 민감도를 나타내었으며, 첨두유량과 총유출량에 대해서는 상대적으로 작은 민감도를 나타내었다. 하도 최소경사는 첨두시간에 대해서는 초기포화도 및 하도 조도계수와 유사한 민감도를 나타내었으며, 첨두유량에 대해서는 하도 조도계수와 유사한 민감도를 나타내었다. 그러나 총유출량에 대해서는 민감도가 매우 작은 것으로 평가되었다.

  • PDF