• 제목/요약/키워드: 유사도 탐색

검색결과 935건 처리시간 0.036초

WWW 탐색도구의 색인 및 탐색 기능 평가에 관한 연구 (A Comparative Study of WWW Search Engine Performance)

  • 정영미;김성은
    • 한국문헌정보학회지
    • /
    • 제31권1호
    • /
    • pp.153-184
    • /
    • 1997
  • WWW 탐색도구들은 인터넷 정보자원의 탐색에 있어서 매우 중요한 역할을 하고 있다. 본 연구에서는 주요한 WWW 탐색도구들의 성능을 평가할 목적으로 먼저 각 탐색도구의 색인 데이터베이스 특성, 탐색 기능, 적합성 순위 부여 방법 등을 비교한 후, 탐색실험을 통하여 검색효율, 중복탐색의 정도, 탐색결과의 유사도 등을 측정하였다. 탐색실험 결과 탐색질문의 유형에 관계없이 Alta Vista, HotBot, Open Text Index가 비교적 좋은 검색효율을 보였으며, 대부분의 탐색도구가 질문의 유형에 따라 검색효율에 있어서 차이를 보였다. 동일한 사이트를 중복하여 탐색하는 탐색의 중복도는 Magellan, WebCrawler, Yahoo!를 제외한 나머지 탐색도구들에서 모두 높게 나타났다. 탐색결과의 유사도를 측정한 견과 대부분의 탐색도구들이 매우 낮은 유사도를 보였다.

  • PDF

성분 정렬을 이용한 한글 유사 문서 탐색 방법 (A Similar Text Detection of Korean Document using Composition Alignment)

  • 박선영;조환규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(C)
    • /
    • pp.228-231
    • /
    • 2011
  • 최근 표절에 대한 사회적 관심이 꾸준히 높아지고 있는 가운데, 기계적으로 유사한 문서를 탐색하는 방법에 대한 많은 연구가 이루어지고 있다. 이 중 생물정보학에서 유전자 서열을 분석하기 위해 사용되는 '지역 정렬(local alignment)' 기법은 문서 간 유사 영역을 탐색하는 데에 유용하다. 한편 한글에는 조사가 존재하는데, 이 때문에 한글 문장은 각 품사의 순서에 큰 영향을 받지 않는다. 이러한 한글의 특성을 이용해 기존 문서의 어순만 바꾼 문장을 생성할 경우, 지역 정렬을 이용한 탐색 방법으로는 이를 찾아내기 힘들다. 본 논문에서는 한글의 특성을 고려하여 어순과 관계없이 해당 영역의 유사성을 찾아내는 새로운 한글 유사 문서 탐색 방법을 제시한다. 이를 위하여, 성분 정렬(composition alignment) 기법을 적용한다. 성분 정렬 기법은 생물학에서 생물의 진화 과정이나 돌연변이 DNA 등 서열의 순서가 일부 뒤바뀌는 것을 허용하면서 유사한 시퀀스를 찾는 기법으로 기존의 방법보다 더욱 유연하고 민감한 방법이라 할 수 있다. 이를 적용하여 한글 문서를 탐색한 결과, 일반적인 문장 및 거의 동일한 문장 간의 유사도 점수는 큰 변화가 없었으나, 어순을 바꾼 문장의 경우 기존의 방법보다 평균 35.34% 가량 민감하게 탐색할 수 있었다. 추후 한글에 대한 초성 추출 및 성분 정렬 방법을 응용하여 다단계 구조의 유사 문서 탐색 방법에 대해 연구할 계획이다.

비트맵 인덱싱 기반 유사한 XML 문서 검색 기법 (A Search Method of Similar XML Documents based on Bitmap Indexing)

  • 이재민;황병연
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 춘계학술발표대회
    • /
    • pp.15-18
    • /
    • 2004
  • XML 검색을 위한 기존의 비트맵 인덱싱은 XML을 문서, 경로, 단어로 구성된 3차원 비트맵 인덱스에 매핑하고 이를 이용해 정보를 추출함으로써 뛰어난 성능을 입증하였다. 그러나 이것은 유사 문서를 수집하고 검색하기 위해 경로 전체를 인덱스 구성의 단위로 사용함으로써 유사 경로를 인식하지 못하는 문제를 초래하였으며 유사 경로를 인식하지 못함으로 인해 유사 문서 검색의 치명적인 성능 저하가 발생하게 되었다. 이에 따라 본 논문에서는 기존의 XML 검색을 위한 비트맵 인덱싱이 유사 경로를 인식하지 못하는 문제점을 해결하기 위해 유사 경로 탐색을 위한 새로운 비트맵 인덱스를 설계하고 이를 통해 효과적으로 유사 문서를 검색할 수 있는 기법을 제안한다. 제안된 기법은 노드들을 단위로 하는 새로운 비트맵 인덱스를 구성하고 구성된 인덱스의 중심을 통해 유사 경로 탐색을 위한 클러스터들을 선별적으로 검색한다. 그리고 유사 경로 탐색을 통해 추출된 경로들을 유사 문서 검색에 활용함으로써 비트맵 인덱싱의 빠른 성능을 그대로 유지하면서 기존의 XML 검색을 위한 비트맵 인덱싱이 유사 경로를 인식하지 못함으로써 발생하는 유사 문서 탐색의 성능 저하를 효과적으로 해결한다.

  • PDF

제한된 프로그램 소스 집합에서 표절 탐색을 위한 적응적 알고리즘 (An Adaptive Algorithm for Plagiarism Detection in a Controlled Program Source Set)

  • 지정훈;우균;조환규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (B)
    • /
    • pp.580-585
    • /
    • 2006
  • 본 논문에서는 대학생들의 프로그래밍 과제물이나 프로그래밍 경진대회에 제출된 프로그램과 같이 동일한 기능을 요구받는 프로그램 소스 집합들에서 표절 행위가 있었는지를 탐색하는 새로운 알고리즘을 제시한다. 본 논문에서는 프로그램의 소스 집합에서 추출된 키워드들의 빈도수에 기반한 로그 확률값을 가중치로 하는 적응적(adaptive) 유사도 행렬을 만들어 이를 기반으로 주어진 프로그램의 유사구간을 탐색하는 지역정렬(local alignment) 방법을 소개한다. 우리는 10여개 이상의 프로그래밍 대회에 제출된 실제 프로그램으로 본 방법론을 실험하였다. 실험결과 이 방법은 이전의 고정적 유사도 행렬(일치 +1, 불일치 -1, 갭(gap)을 이용한 일치 -2)에 의한 유사구간 탐색에 비하여 여러 장점이 있음을 알 수 있었으며, 보다 다양한 표절탐색 목적으로 제시한 적응적 유사도 행렬이 응용될 수 있음을 알 수 있었다.

  • PDF

질의확장 검색에서의 추가용어 가중치 최적화 (Optimizing the Weight of Added Terms in Query Expansion)

  • 정영미;이재윤
    • 한국정보관리학회:학술대회논문집
    • /
    • 한국정보관리학회 2002년도 제9회학술대회 논문집
    • /
    • pp.241-246
    • /
    • 2002
  • 전역적 질의확장 검색에서 단어간 공기기반 유사도를 사용할 경우에는 질의에 추가되는 용어에 부여하는 탐색가중치로 질의와의 유사도를 사용하는 것이 일반적이다. 그러나 과연 유사도가 탐색가중치로 최적인가는 의문의 여지가 있다. 추가용어와 질의 사이의 유사도가 가지는 특성을 살펴보고 고정가중치를 부여한 경우와 비교해보았다. 또한 실험집단이나 확장범위의 영향을 덜 받는 최적화된 추가용어 가중치를 찾기 위해 여러 가지 탐색가중치 공식을 실험하였다.

  • PDF

확산 거리 기반의 스테레오 비디오의 변이 탐색 범위 추정 방법 (Diffusion Distance Based Disparity Search Range Estimation for Stereo Video)

  • 이예홍;함범섭;김봉조;강민성;손광훈
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2012년도 하계학술대회
    • /
    • pp.87-90
    • /
    • 2012
  • 본 논문에서는 깊이 변화에 강인한 스테레오 비디오의 변이 탐색 범위 추정 방법을 제안한다. 정확한 스테레오 비디오의 변이 탐색 범위는 3D 영상 분야에서 다양한 응용으로 사용되는 변이 지도를 보다 정확하게 추정하는데 도움이 된다. 기존의 변이 탐색 범위 추정 방법은 인접한 프레임 간의 변이 히스토그램의 유사도를 이용함으로써 보다 안정적인 변이 탐색 범위를 추정할 수 있었지만, 시간의 흐름에 따라 깊이가 변하는 부분에서는 상당히 취약한 문제점을 가지고 있다. 이에 본 논문에서는 기존 방법의 이러한 문제점을 개선한 새로운 방법을 제안한다. 제안하는 방법은 변이 히스토그램의 유사도뿐만 아니라 프레임 간의 시간적 유사도를 고려하며, 비디오의 장면 전환에 의한 급격한 깊이 변화 또한 고려한다. 이에 추가적으로 변이 히스토그램의 유사도를 계산하기 위해 기존의 방법과는 달리 히스토그램 확산 거리를 이용하였으며, 서로 다른 개수의 대응점을 가지고 있는 프레임간의 변이 히스토그램이 대응점의 개수에 영향을 받지 않고 균일한 중요도를 갖도록 하였다. 실험 결과로 기존 방법과 제안한 방법의 변이 탐색 범위 추정 결과를 비교하였으며, 비교한 결과는 제안한 방법이 기존 방법에 비해 스테레오 비디오의 깊이 변화에 강인함을 보여준다.

  • PDF

효율적인 유사문자열 검색을 위한 역리스트 탐색 기법 (Efficient Approximate String Searches with Inverted Lists through Search Range Reduction)

  • 이은석;김종익
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 춘계학술발표대회
    • /
    • pp.1310-1313
    • /
    • 2011
  • 유사문자열 검색이란 문자열 집합에서 주어진 문자열과 유사한 문자열들을 검색하는 것으로 정보검색, 데이터 클리닝 등의 분야에서 활용되고 있다. 효율적인 유사문자열 검색을 위해 사전에 문자열 집합에 대한 역리스트를 구성하고 문자열이 주어졌을 때, 주어진 문자열에 관련된 역리스트를 병합하여 유사도 기준을 만족하는 문자열을 찾는다. 이때 비용을 줄이기 위해 일부의 역리스트만 병합하고 나머지 역리스트에 대해서는 이진탐색을 하는 방법이 있다. 본 논문에서는 역리스트를 이진탐색할 때, 불필요한 탐색구간을 제거하여 역리스트 탐색 비용을 줄이는 방법을 제안한다.

제한된 프로그램 소스 집합에서 표절 탐색을 위한 적응적 알고리즘 (An Adaptive Algorithm for Plagiarism Detection in a Controlled Program Source Set)

  • 지정훈;우균;조환규
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제33권12호
    • /
    • pp.1090-1102
    • /
    • 2006
  • 본 논문에서는 대학생들의 프로그래밍 과제물이나 프로그래밍 경진대회에 제출된 프로그램과 같이 동일한 기능을 요구받는 프로그램 소스 집합들에서 표절행위가 있었는지를 탐색하는 새로운 알고리즘을 제시하고 있다. 지금까지 보편적으로 사용되어 온 대표적인 알고리즘은 부분 스트링간의 완전 일치를 통한 Greedy-String-Tiling이나 두 스트링간의 지역정렬(local alignment)을 이용한 유사도 분석이 주된 방법론이었다. 본 논문에서는 해당 프로그램 소스의 집합에서 추출된 키워드들의 빈도수에 기반한 로그 확률값을 가중치로 하는 적응적(adaptive) 유사도 행렬을 만들어 이를 기반으로 주어진 프로그램의 유사구간을 탐색하는 새로운 방법을 소개한다. 우리는 10여개 이상의 프로그래밍 대회에서 제출된 실제 프로그램으로 본 방법론을 실험해 보았다. 실험결과 이 방법은 이전의 고정적 유사도 행렬(match이면 +1, mismatch이면 -1, gap이면 -2)에 의한 유사구간 탐색에 비하여 여러 장점이 있음을 알 수 있었으며, 제시한 적응적 유사도 행렬을 보다 다양한 표절탐색 목적으로 사용할 수 있음을 알 수 있었다.

LSI 유사도를 이용한 효율적인 빈발항목 탐색 알고리즘 (Frequent Itemset Search Using LSI Similarity)

  • 고윤희;김현철;이원규
    • 컴퓨터교육학회논문지
    • /
    • 제6권1호
    • /
    • pp.1-8
    • /
    • 2003
  • 본 논문에서는 frequent itemset을 빠르게 발견해내기 위한 효율적인 vertical 마이닝 알고리즘을 제안한다. 본 알고리즘은 frequent itemset을 구하기 위해 아이템들을 Least Support Itemset(LSI) 과의 유사도에 의해 올림차순으로 정렬하여 탐색 트리를 구축하여 보다 빠르고 효율적으로 frequent itemset을 찾아낸다. 또한, 트리를 탐색 시, 2가지의 휴리스틱 방법을 사용하여 탐색의 초기에 많은 후보 아이템들을 탐색 트리로부터 제거함으로써 탐색 공간을 크게 줄인다. 본 논문에서 제안하는 알고리즘은 이전의 알고리즘들과 비교해, long pattern을 가지는 데이터 베이스에서 보다 빠르게 frequent itemset을 발견해 냄을 실험을 통해 발견하였다.

  • PDF

유전자 탐색에 의한 웹문서 검색 (Web-Document Retrieval Using Genetic Search)

  • 서영우;장영탁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
    • /
    • pp.69-71
    • /
    • 1998
  • 본 논문에서는 웹을 기반으로 한 인터넷에서 유전자 알고리즘을 이용한 정보검색 방법을 제시한다. 특정 문제에 대한 가설 공간을 탐색하여 최적의 해를 찾을 때 지역성과 전역성을 함께 고려하는 유전자 알고리즘의 특성을 웹에서의 정보검색에 이용한다. 여기에서 고려할 점은 탐색속도와 탐색방향인데 본 논문에서는 탐색속도를 고려하지 않았다. 탐색방향은 사용자의 정보 요구와 검색된 문서와 유사도 평가함수로 조절하였다. 본 논문에서 제안한 유사도 평가함수로 실험을 한 결과, 사용자의 초기 정보요구에 대한 검색결과의 적합성 여부에 대한 사용자의평가가 기존의 검색엔진을 사용했을 때보다 개선된 결과를 얻을 수 있었다. 그리고 HTML 문서의 특성을 고려해서 검색하는 경우에는 검색어에 대해 보다 특정적인 결과를 제시했으며, 문서 내에서 검색어의 지역 중요도만을 고려하는 경우는 보다 일반적인 결과를 제시하는 것을 확인할 수 있었다.

  • PDF