• Title/Summary/Keyword: 색인 클러스터링

Search Result 106, Processing Time 0.023 seconds

An Analysis of the Hierarchical Agglomerative Clustering based on various Compound Noun Indexing Method (복합명사 분리 색인 방법이 문서 클러스터링에 미치는 영향 분석)

  • 양명석;최성필
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10d
    • /
    • pp.697-699
    • /
    • 2002
  • 본 논문에서는 복합명사에 대한 색인 방법을 다각적으로 적용하여 계층적 결함 문서 클러스터링 시스템의 결과를 분석하고자 한다. 우선 한글 색인 엔진과 HAC(Hierarchical Agglumerative Clustering) 엔진에 대해서 설명하고 한글 색인엔진에서 제공되는 세가지 복합명사 분석 모드에 대해서 설명한다. 또한 구현된 클러스터링 엔진의 특징과 속도 향상을 위한 기법 등을 설명한다. 실험에서는 다양한 요소를 가지고 클러스터링된 문서 집합에 대한 분석 결과를 보인다. 실험 결과에 대한 분석에서 복합명사에 대한 색인 방법이 문서 클러스터링의 결과에 직접적인 영향을 준다는 것을 보여준다.

  • PDF

The Experimental Study on the Relationship between Hierarchical Agglomerative Clustering and Compound Nouns Indexing (계층적 결합형 문서 클러스터링 시스템과 복합명사 색인방법과의 연관관계 연구)

  • Cho Hyun-Yang;Choi Sung-Pil
    • Journal of the Korean Society for Library and Information Science
    • /
    • v.38 no.4
    • /
    • pp.179-192
    • /
    • 2004
  • In this paper, we present that the result of document clustering can change dramatically with respect to the different ways of indexing compound nouns. First of all, the automatic indexing engine specialized for Korean words analysis, which also serves as the backbone engine for automatic document clustering system, is introduced. Then, the details of hierarchical agglomerative clustering(HAC) method, one of the widely used clustering methodologies in these days, was illustrated. As the result of observing the experiments, carried out in the final part of this paper, it comes to the conclusion that the various modes of indexing compound nouns have an effect on the outcome of HAC.

A New Index Key Duplication method for Efficient Spatial Retrieval (효율적 공간 검색을 위한 새로운 색이 키 중복 기법)

  • 이경모;이충호;김성희;배해영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10a
    • /
    • pp.261-263
    • /
    • 1999
  • 공간 DBMS는 공간 데이터와 비공간 데이터를 서로 다른 물리적인 페이지에 저장한다. 공간 질의의 효율적인 처리를 위해 공간 데이터에 대한 공간 색인을 생성하며, 성능 향상을 위하여 이를 클러스터링 색인으로 사용한다. 그러나, 공간 데이터에 대한 클러스터링 성질이 비공간 데이터 페이지에는 반영되지 않아 공간 데이터와 비공간 데이터는 서로 다른 물리적 순서를 갖는다. 이로 인해 공간 조건(Spatial Predicate)에 의해 선택된 공간 데이터는 물리적 인접성을 가지는 반면, 비공간 데이터는 물리적 인접성을 갖지 않는다. 즉, 공간 질의 처리 과정에서 비공간 데이터 페이지의 잦은 디스크 I/O를 유발한다. 본 논문에서는 효율적 공간 검색을 위한 색인 키 중복 기법을 제안한다. 제안한 기법은 공간 데이터의 색인 기값을 비공간 데이터 내에 중복시키고 공간, 비공간 데이터에 대해 각각의 공간 클러스터링 색인을 생성한다. 두 클러스터링 색인에 의해 공간 데이터와 마찬가지로 비공간 데이터도 공간 조건에 대한 클러스터링 성질을 유지할 수 있다. 질의 처리 과정에서 공간 조건에 의해 선택된 공간 객체들은 공간, 비공간 데이터들 모두 물리적 인접성을 가지게 되며, 비공간 데이터 페이지에 대한 디스크 액세스 횟수를 줄여 공간 검색의 성능을 향상시킬수 있다.

  • PDF

Effective Clustering Method for High-Dimensional Indexes (고차원 색인을 위한 효과적 클러스터링 기법)

  • 신봉근;곽태영;최승락;이윤준;김명호
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10b
    • /
    • pp.247-249
    • /
    • 1998
  • 최근 들어 내용기반의 이미지 검색을 지원하기 위한 방법으로, 특징 벡터를 이용한 유사 질의 연구가 활발히 진행되고 있다. 이러한 유사 질의를 효율적으로 지원하기 위해서는 고차원 공간상에 존재하는 점 데이터나 공간 데이터를 효과적으로 색인할 수 있는 색인 기법이 필요하다. 하지만 R*-트리를 바탕으로 하는 기존의 방법들은 고차원 데이터에 대해서 차원의 증가함에 따라 검색 시간이 급격하게 증가하는 문제점을 안고 있다. 이러한 문제는 데이터의 클러스터링에 기반을 둔 기존의 방법들이 차원이 증가함에 따라 데이터를 제대로 클러스터링하지 못하기 때문에 발생하며, 따라서 이를 해결하기 위해서는 효과적인 클러스터링 기법이 필요하다. 본 논문에서는 하나의 최소 한계 영역(minimum bounding region)에 속하는 개체들의 응집 정도와 최소 한계 영역들간의 결합 정도를 고려하여 효과적으로 클러스터링하는 방안을 제안한다. 또한 이러한 클러스터링 기법을 수용하기 위한 색인 기법을 간략히 제시한다

Sibling Node Clustering in Tree-based Spatial Indexes for Efficient Processing of Spatial Queries (효율적 공간 질의 처리를 위한 트리 구조 공간 색인의 형제 노드 클러스터링)

  • Kim, Gi-Hong;Cha, Sang-Gyun
    • Journal of KIISE:Software and Applications
    • /
    • v.26 no.4
    • /
    • pp.487-499
    • /
    • 1999
  • 공간 또는 다차원 데이터베이스에서는 노드영역의 중첩 및 다차원성 때문에 다수의 색인 노드를 읽어야 하는 질의가 빈번히 나타난다. 이와 관련하여 기존 연구에서는 질의를 처리하기 위해 읽어야하는 노드의 수를 줄일수 있는 새로운 색인방법을 다수 제안하였으며 본 논문에서는 같은 수의 노드를 디스크에서 빨리 읽을 수 있도록 클러스터링하는 간단한 방법을 제안한다. 제안된 방법은 노드를 형제 노드 군으로 분할하여 한 형제 노드군을 연속된 디스크 블록 군에 저장하고 노드 분할 또는 병합이 일어날때도 이런 클러스터링을 동적으로 유지한다. 약 130,000개의 TIGER 데이터와 Hilbert R-트리를 이용할 실험 결과 , 제안된 형제 노드 클러스터링을 통해 공간 영역 질의, 공간 근접질의, 공간조인 질의 등을 처리할 때 필요한 디스크 접근 시간을 최대 86%까지 줄일 수 있었다. 반면 색인 갱신과정에서 형제노드 클러스터링을 동적으로 유지하는 데 필요한 디스크 읽기 쓰기 회수의 증가량은 1% 미만밖에 되지 않았다.

Declustering of Moving object database based on Inertia (관성을 이용한 이동체 데이터베이스의 디클러스터링)

  • 서영덕;김진덕;홍봉희
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.734-736
    • /
    • 2003
  • 이동체의 궤적을 저장하는 대용량 이동체 DB는 대규모의 이동 객체 궤적의 효과적인 검색을 위하여 디클러스터링 기법을 통한 객체 궤적의 분산 배치가 필수적으로 요구된다. 그러나 기존 공간 객체의 디클러스터링 기법은 이동체의 특성과 시간 영역에 대한 고려 없이 디클러스터링을 수행한다. 또한, 단순히 현재 시점에서 색인 노드의 공간 관련성안을 판단의 근거로 삼고 있어서 효과적인 디클러스터링이 되지 않는 단점이 있다. 이러한 이유로 이동체 데이터베이스에서 빠른 질의 수행을 위한 디클러스터링 기법이 필요하다. 이 논문에서는 이동체 궤적에 대한 질의 시 빠른 응답 시간을 얻고 전제 시스템의 처리율 향상을 위한 디클러스터링 방법을 제시한다. 제시되는 방법은 이동체의 진행 방향에 대하여 이동 시간에 의한 이동 궤적의 관성을 정의하고, 이를 색인의 노드 단위로 확장한 노드의 관성을 정의한다. 정의된 관성을 이용하여 이동체 궤적의 노드가 저장될 디스크를 정의함으로써 궤적 데이터의 디클러스터링을 효과적으로 수행할 수 있다.

  • PDF

A Sequential Indexing Method for Multidimensional Range Queries (다차원 범위 질의를 위한 순차 색인 기법)

  • Cha Guang-Ho
    • Journal of KIISE:Databases
    • /
    • v.32 no.3
    • /
    • pp.254-262
    • /
    • 2005
  • This paper presents a new sequential indexing method called segment-page indexing (SP-indexing) for multidimensional range queries. The design objectives of SP-indexing are twofold:(1) improving the range query performance of multidimensional indexing methods (MIMs) and (2) providing a compromise between optimal index clustering and the full index reorganization overhead. Although more than ten years of database research has resulted in a great variety of MIMs, most efforts have focused on data-level clustering and there has been less attempt to cluster indexes. As a result, most relevant index nodes are widely scattered on a disk and many random disk accesses are required during the search. SP-indexing avoids such scattering by storing the relevant nodes contiguously in a segment that contains a sequence of contiguous disk pages and improves performance by offering sequential access within a segment. Experimental results demonstrate that SP-indexing improves query performance up to several times compared with traditional MIMs using small disk pages with respect to total elapsed time and it reduces waste of disk bandwidth due to the use of simple large pages.

Hierarchic Document Clustering in OPAC (OPAC에서 자동분류 열람을 위한 계층 클러스터링 연구)

  • 노정순
    • Journal of the Korean Society for information Management
    • /
    • v.21 no.1
    • /
    • pp.93-117
    • /
    • 2004
  • This study is to develop a hierarchic clustering model fur document classification and browsing in OPAC systems. Two automatic indexing techniques (with and without controlled terms), two term weighting methods (based on term frequency and binary weight), five similarity coefficients (Dice, Jaccard, Pearson, Cosine, and Squared Euclidean). and three hierarchic clustering algorithms (Between Average Linkage, Within Average Linkage, and Complete Linkage method) were tested on the document collection of 175 books and theses on library and information science. The best document clusters resulted from the Between Average Linkage or Complete Linkage method with Jaccard or Dice coefficient on the automatic indexing with controlled terms in binary vector. The clusters from Between Average Linkage with Jaccard has more likely decimal classification structure.

Object and Cell Clustering Algorithms of the Fixed Grid File (고정 그리드 파일의 객체 및 셀 클러스터링 알고리즘)

  • Jo, Dae-Su;Yu, Jin-Yeong;Hong, Bong-Hui
    • Journal of KIISE:Databases
    • /
    • v.28 no.1
    • /
    • pp.69-85
    • /
    • 2001
  • 공간 데이터베이스에서 효율적으로 공간 질의를 처리하기 위해서는 클러스터링을 통해서 이스크 접근 비용을 줄이는 것이 필요하다. 이 논문은 공간 지역성에 기반을 둔 여러 가지 클러스터링 알고리즘을 제안하고 실험을 통해 제안한 클러스터링 알고리즘의 성능을 평가하였다. 이 논문에서 제안하는 클러스터링 알고리즘은 객체 클러스터링 알고리즘과 셀 클러스터링 알고리즘으로 나뉜다. 객체 클러스터링 알고리즘은 정규 준할 공간 색인 구조에서 영역 분할 선과 겹치는 객체들의 저장 위치를 결정하는데 사용된다. 셀 클러스터링 알고리즘은 클러스터를 만들기 위해 정규 분할된 영역들을 그룹화하는데 사용된다. 실험결과 객체 클러스터링 알고리즘에서는 객체간의 거리를 이용한 경우에 대체로 좋은 성능을 보였지만, 버퍼 크기가 커지거나 데이터가 희박한 영역의 질의에 있어서는 알고리즘 별로 성능의 차이는 거의 없었다. 셀 클러스터링 알고리즘에 대한 실험에서는 이 논문에서 제안한 클러스터링 알고리즘은 N-순서화 기법에 의한 클러스터링 알고리즘에 비해 우수한 성능을 보였다. 특히 중복 참조도를 이용한 경우와 셀의 무게 중심간 거리를 이용한 방법이 가장 우수하였다.

  • PDF

Top-down Hierarchical Clustering using Multidimensional Indexes (다차원 색인을 이용한 하향식 계층 클러스터링)

  • Hwang, Jae-Jun;Mun, Yang-Se;Hwang, Gyu-Yeong
    • Journal of KIISE:Databases
    • /
    • v.29 no.5
    • /
    • pp.367-380
    • /
    • 2002
  • Due to recent increase in applications requiring huge amount of data such as spatial data analysis and image analysis, clustering on large databases has been actively studied. In a hierarchical clustering method, a tree representing hierarchical decomposition of the database is first created, and then, used for efficient clustering. Existing hierarchical clustering methods mainly adopted the bottom-up approach, which creates a tree from the bottom to the topmost level of the hierarchy. These bottom-up methods require at least one scan over the entire database in order to build the tree and need to search most nodes of the tree since the clustering algorithm starts from the leaf level. In this paper, we propose a novel top-down hierarchical clustering method that uses multidimensional indexes that are already maintained in most database applications. Generally, multidimensional indexes have the clustering property storing similar objects in the same (or adjacent) data pares. Using this property we can find adjacent objects without calculating distances among them. We first formally define the cluster based on the density of objects. For the definition, we propose the concept of the region contrast partition based on the density of the region. To speed up the clustering algorithm, we use the branch-and-bound algorithm. We propose the bounds and formally prove their correctness. Experimental results show that the proposed method is at least as effective in quality of clustering as BIRCH, a bottom-up hierarchical clustering method, while reducing the number of page accesses by up to 26~187 times depending on the size of the database. As a result, we believe that the proposed method significantly improves the clustering performance in large databases and is practically usable in various database applications.