• 제목/요약/키워드: 군집색인

검색결과 36건 처리시간 0.02초

계층적 군집화를 이용한 근사 단어 필터링 기법 (Proximate Word Filtering by Hierarchical Clustering)

  • 김성환;조환규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.1101-1104
    • /
    • 2012
  • 단어 필터링은 유해정보를 차단위한 기본적인 기능이다. 그러나 악의적인 사용자는 필터링 시스템을 우회하기 위하여 금지 단어에 의도적인 변형을 가한다. 이에 대응하기 위해 일정 오류를 허용하여 필터링을 수행하는 근사 단어 필터링이 있다. 근사 단어를 검색하기 위한 문자열 색인 방법으로는 주로 기준 단어(Pivot)을 이용한 유클리드 공간에의 사상을 이용하는데, 이는 단어 필터링에 응용하기에는 근본적인 구조상의 한계점이 있다. 본 논문에서는 필터링 대상이 되는 단어 집합 내에서 군집화를 수행하여 계층적인 자료구조를 구성하고, 단어 필터링을 위한 필터링 질의(Filtering query)를 정의한 뒤 그에 적합한 탐색 상의 적용에 관하여 설명한다. 실험 결과 기존의 기준 단어(Pivot)을 이용한 색인 기법에 비하여 16.9%~26.6%의 탐색 속도 향상을 확인할 수 있었다.

저자동시인용(著者同時引用) 분석과 인용한 문헌(文獻)의 색인어(索引語) 분석(分析)에 의한 지적구조(知的構造)의 규명 - 경제학(經濟學) 분야를 대상으로 - (A Study on Intellectual Structure Using Author Co-citation Analysis and Indexing Term Analysis of Citing Documents - Application to Economics -)

  • 김도미
    • 정보관리연구
    • /
    • 제24권1호
    • /
    • pp.32-57
    • /
    • 1993
  • 저자동시인용(著者同時引用) 분석기법(分析技法)에서, 인용 데이터를 이용하여 형성된 저자군집(著者群集)은 현재의 시점에서 과거의 지적(知的) 구조(構造)를 관찰하는 방법으로써 현재 진행되는 연구경향을 나타낼 수 없다는 제한점을 갖는다는 주장이 있다. 그러므로 본 연구에서는 저자동시인용(著者同時引用) 분석기법(分析技法)에 의해 우러나라 경제학 분야의 지적 구조 및 학문성향을 분석해 보는 한편, 인용한 문헌(文獻)의 색인어(索引語) 분석이라는 새로운 기법을 저자동시인용 분석기법과 함께 사용하여 저자동시인용(著者同時引用) 분석기법(分析技法)의 제한점이 사실인지를 알아 보고자 하였다. 또한, 인용한 문헌의 색인어(索引語) 분석(分析)에 의하여 저자동시인용 분석결과와 해석의 타당성(妥當性)을 검증해 보았다.

  • PDF

GC-트리 : 이미지 데이타베이스를 위한 계층 색인 구조 (GC-Tree: A Hierarchical Index Structure for Image Databases)

  • 차광호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권1호
    • /
    • pp.13-22
    • /
    • 2004
  • 멀티미디어 데이타의 사용이 증가함에 따라 고차원 이미지 데이타에 대한 효율적인 색인과 검색 기법이 크게 요구되고 있다. 그러나 많은 노력에도 불구하고 현재의 다차원 색인 기법들은 고차원 데이타 공간에서 만족할 만한 성능을 보여주지 못하고 있다. 이러한 소위 차원의 저주를 해결하기 위해 최근에 차원을 줄이거나 근사 해를 구하는 둥의 접근법이 시도되고 있지만 이러한 방법들은 근본적으로 정확도의 상실이라는 문제를 갖고 있다. 정확도의 보존을 위해 VA-file, LPC-file둥과 같이 벡터 근사에 기반 한 기법들이 최근에 개발되었다. 그러나 이 기법은 검색 성능이 색인 파일의 크기에 큰 영향을 받으며, 한번에 큰 검색 공간을 줄이는 계층 색인 구조의 장점을 상실한다. 본 논문에서는 이미지 데이터베이스에서 유사성 질의를 위한 새로운 계층 색인 구조인 GC-트리를 제안한다. GC-트리는 밀도 함수에 기초하여 데이타 공간을 적응적으로 분할하고, 색인 구조를 동적으로 생성한다. 이러한 특성을 갖는 GC-트리는 군집화 된 고차원 이미지 데이타 검색에 훌륭한 성능을 나타낸다.

다차원 데이타를 위한 공간 분할 및 적응적 비트 할당 기반 색인 구조 (An Index Structure based on Space Partitions and Adaptive Bit Allocations for Multi-Dimensional Data)

  • 복경수;김은재;유재수
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권5호
    • /
    • pp.509-525
    • /
    • 2005
  • 본 논문에서는 다차원 데이타의 유사도 검색을 효율적으로 지원하기 위한 벡터 근사 기반의 색인 구조를 제안한다. 제안하는 색인 구조는 공간 분할 방식으로 영역을 분할하고 실제 데이타들이 존재하는 영역에 대해 동적 비트를 할당하여 영역을 표현한다. 따라서, 분할된 영역들 사이에 겹침이 발생하지 않으며 하나의 중간 노드에 많은 영역 정보를 저장할 수 있어 트리의 깊이를 감소시킨다. 또한, 특정 영역에 군집화되어 있는 데이타에 대해서 효과적인 표현 기법을 제공하며 자식 노드의 영역 정보는 부모 노드의 영역 정보를 이용하여 상대적으로 표현함으로써 영역 표현에 대한 정확성을 보장한다. 이를 통해 검색성능 향상을 제공한다. 제안하는 색인 구조의 우수성을 보이기 위해 기존에 제안된 다차원 색인 구조와의 다양한 실험을 통하여 성능의 우수성을 입증한다. 성능 평가 결과를 통해 제안하는 색인 구조가 기존 색인 구조보다 $40\%$정도 검색 성능이 향상됨을 증명한다.

동적 비트 할당을 통한 다차원 벡터 근사 트리 (Multi-Dimensional Vector Approximation Tree with Dynamic Bit Allocation)

  • 복경수;허정필;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제4권3호
    • /
    • pp.81-90
    • /
    • 2004
  • 최근 컴퓨팅 환경의 급속한 발전으로 다양한 응용에서 다차원 데이터에 대한 활용이 증가되고 있다. 본 논문에서는 내용 기반 다차원 데이터 검색을 위한 벡터 관사 트리를 제안한다 제안하는 색인 구조는 공간 분할 방식과 벡터 근사화 기법을 이용하여 영역 정보를 표현하기 때문에 하나의 노드 안에 많은 영역 정보를 저장하여 트리의 높이를 감소시킨다 또한 다차원의 데이터 공간에 동적인 비트로 할당하여 다차원색인 구조의 문제점인 '차원의 저주 현상'을 해결한다. 또한 군집화된 데이터에 대해서 효과적인 표현 기법을 제공한다. 자식 노드의 영역 정보는 부모 노드를 기준으로 상대적으로 표현함으로서 좀더 정확한 영역을 표현할 수 있다. 제안하는 색인 구조의 우수성을 보이기 위해 실험을 통해 기존에 제안된 색인구조와의 비교 분석을 수행한다.

  • PDF

색인어 가중치 부여 방법에 따른 K-Means 문서 클러스터링의 LSI 분석 (Latent Semantic Indexing Analysis of K-Means Document Clustering for Changing Index Terms Weighting)

  • 오형진;고지현;안동언;박순철
    • 정보처리학회논문지B
    • /
    • 제10B권7호
    • /
    • pp.735-742
    • /
    • 2003
  • 정보검색 시스템에서 문서 클러스터링 기술은 사용자 질의에 대해 검색된 문서들을 문서간의 유사도를 기반으로 특정 주제에 따라 재배치하여 놓는 기술로써 사용자에게 검색의 편의성을 제공하고, 그 결과들을 시각적으로 보여줄 수 있다. 본 논문에서는 K-Means 알고리즘을 사용하여 문서를 클러스터링하며 문서를 대표하는 색인어에 가중치를 부여하는 기법에 대하여 논한다. 클러스터링 결과를 시각적으로 보여주기 위하여 문서와 클러스터 중심들을 2차원 공간으로 사상하기 위한 Latent Semantic Indexing 접근 방법을 적용하였다. 실험 결과 문서의 색인어에 대한 가중치 부여 방법을 동일하게 하거나 또는 유사한 수식을 적용한 사례보다는 로컬가중치, 글로벌가중치, 정규화 요소를 모두 부여한 사례에서 문서들이 2차원 벡터 공간에서 군집하여 분포하는 클러스터링 효과가 우수하였다. 특히 로컬 가중치와 글로벌 가중치에 logarithm을 적용하였을 때 문서 분포의 군집도는 현저하게 나타남을 알 수 있었다.

인문전산학 활용을 위한 데이터마이닝기법 (Data Mining Technology for Application in Humanistic Computing)

  • 곽호형;방혜자
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.593-596
    • /
    • 2005
  • 데이터마이닝은 대량의 실제 데이터로부터 이전에 잘 알려지지는 않았지만 묵시적이고 잠재적으로 유용한 정보를 추출하는 작업으로, 본 논문은 최근 인문학 정보 자료가 전산화되고 있는 가운데 대량의 정보와 특정 체계를 갖춘 ‘조선왕조실록’ 전산자료를 분석하고 기존의 단순한 정보 검색이 아닌 데이터마이닝 기법을 적용한 상세하고 예측가능 한 정보자료 추출법을 제시한다. 먼저 텍스트화 되어 있는 컨텐츠를 형태소분석기법을 사용하여 색인어를 추출하고 집계를 낸다. 질의어와 유관한 색인어의 군집정도와 출현시점을 분석하는데, 사용된 마이닝 기법은 연관규칙분석과 클러스터링 분석기법이다. 최종 결과치는 기존의 인문학연구 결과물과 비교하여 그 정확도를 분석해 보인다.

  • PDF

k-Modes 분할 알고리즘에 의한 군집의 상관정보 기반 빅데이터 분석 (A Big Data Analysis by Between-Cluster Information using k-Modes Clustering Algorithm)

  • 박인규
    • 디지털융복합연구
    • /
    • 제13권11호
    • /
    • pp.157-164
    • /
    • 2015
  • 본 논문은 융복합을 위한 범주형 데이터의 부공간에 의한 군집화에 대해서 다룬다. 범주형 데이터는 수치형 데이터에만 국한되지 않기 때문에 기존의 범주형 데이터들의 평가척도들은 순서화(ordering)의 부재와 데이터의 고차원성과 희소성으로 인하여 한계를 가지기 마련이다. 따라서 각각의 군집에 존재하는 범주형 속성들의 상호 유사도을 보다 근접하게 측정할 수 있는 조건부 엔트로피 척도를 제안한다. 또한 군집의 최적화를 위하여 군집내의 발산을 최소화하고, 군집간의 독립성을 향상시킬 수 있는 새로운 목적함수를 제안한다. 제안된 알고리즘의 성능을 4개의 알고리즘과 비교검증하기 위하여 5가지의 데이터에 대하여 실험을 수행하였다. 비교검증을 위한 평가척도는 정확도, f-척도와 적응된 Rand 색인이다. 실험을 통하여 제안된 방법이 평가척도에 의한 결과에서 기존의 방법들보다 좋은 성능을 보였다.

외국 개혁신학 학술지에 대한 계량서지학적 연구 (A Bibliometric Study on Foreign Reformed Theological Journals)

  • 유영준;이재윤
    • 한국비블리아학회지
    • /
    • 제30권3호
    • /
    • pp.149-170
    • /
    • 2019
  • 이 연구에서는 외국의 개혁신학 학술지 6종의 색인어를 수집하여, 지적구조와 학술지의 특성, 저자들의 주요 연구 분야를 밝히기 위해서 크게 세 가지 내용을 분석하였다. 첫째, 키워드 분석에서는 주요 키워드와 키워드의 시기별 추세, 둘째, 학술지 분석에서는 학술지의 주요 주제와 학술지별 차별 주제, 저자 분석에서는 저자 프로파일링을 분석하였다. 키워드 분석 결과에서는 4개의 대군집과 23개의 소군집이 생성되었으며, 학술지 분석 결과에서는 두 개의 군집이 생성되었으며, 특정 학술지를 다른 학술지와 차별화하는 구별어도 분석하였다. 저자 프로파일링 분석에서는 6개의 군집을 생성했는데, 저자 군집들이 공유하는 주제 색인어가 앞의 두 가지 결과와 유사한 것으로 나타났다. 이 세 가지 분석의 결과에서 신구약성경의 가르침과 개혁신학의 두 가지 핵심 주제가 일관적인 것으로 보였다. 외국의 개혁신학 학술지를 분석하는 것이 주요한 연구 목적이었으며, 부수적으로 이 연구의 결과의 일부가 이전의 국내 개혁신학 학술지 분석 결과와 유사하다는 것을 발견하였다. 따라서 이 연구의 결과가 한국의 개혁신학에 의미하는 바를 파악하기 위해서 추가 연구가 필요해 보인다.

LSI를 이용한 차원 축소 클러스터 기반 키워드 연관망 자동 구축 기법 (Automatic Construction of Reduced Dimensional Cluster-based Keyword Association Networks using LSI)

  • 유한묵;김한준;장재영
    • 정보과학회 논문지
    • /
    • 제44권11호
    • /
    • pp.1236-1243
    • /
    • 2017
  • 본 논문은 기존의 TextRank 알고리즘에 상호정보량 척도를 결합하여 군집 기반에서 키워드 추출하는 LSI-based ClusterTextRank 기법과 추출된 키워드를 Latent Semantic Indexing(LSI)을 이용한 연관망 구축 기법을 제안한다. 제안 기법은 문서집합을 단어-문서 행렬로 표현하고, 이를 LSI를 이용하여 저차원의 개념 공간으로 차원을 축소한다. 그 다음 k-means 군집화 알고리즘을 이용하여 여러 군집으로 나누고, 각 군집에 포함된 단어들을 최대신장트리 그래프로 표현한 후 이에 근거한 군집 정보량을 고려하여 키워드를 추출한다. 그리고나서 추출된 키워드들 간에 유사도를 LSI 기법을 통해 구한 단어-개념 행렬을 이용하여 계산한 후, 이를 키워드 연관망으로 활용한다. 제안 기법의 성능을 평가하기 위해 여행 관련 블로그 데이터를 이용하였으며, 제안 기법이 기존 TextRank 알고리즘보다 키워드 추출의 정확도가 약 14% 가량 개선됨을 보인다.