• Title/Summary/Keyword: 분산 데이터 색인

Search Result 48, Processing Time 0.036 seconds

A Distributed High Dimensional Indexing Structure for Content-based Retrieval of Large Scale Data (대용량 데이터의 내용 기반 검색을 위한 분산 고차원 색인 구조)

  • Cho, Hyun-Hwa;Lee, Mi-Young;Kim, Young-Chang;Chang, Jae-Woo;Lee, Kyu-Chul
    • Journal of KIISE:Databases
    • /
    • v.37 no.5
    • /
    • pp.228-237
    • /
    • 2010
  • Although conventional index structures provide various nearest-neighbor search algorithms for high-dimensional data, there are additional requirements to increase search performances as well as to support index scalability for large scale data. To support these requirements, we propose a distributed high-dimensional indexing structure based on cluster systems, called a Distributed Vector Approximation-tree (DVA-tree), which is a two-level structure consisting of a hybrid spill-tree and VA-files. We also describe the algorithms used for constructing the DVA-tree over multiple machines and performing distributed k-nearest neighbors (NN) searches. To evaluate the performance of the DVA-tree, we conduct an experimental study using both real and synthetic datasets. The results show that our proposed method contributes to significant performance advantages over existing index structures on difference kinds of datasets.

An Efficient Index Transfer Method for Reducing Index Organization Cost In Distributed Database Systems (분산 데이터베이스 시스템에서의 색인 구성비용 절감을 위한 효율적인 색인 전송기법)

  • 박상근;김호석;이재동;배해영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10b
    • /
    • pp.223-225
    • /
    • 2003
  • 분산 데이터베이스 시스템 환경에서는 특정 노드로 집중되는 부하의 분산이나 가용성 및 안정성 제공을 위해 데이터 분할기법 (fragmentation)과 복제기법(replication)을 사용한다. 이때 전송된 데이터에 대한 기존의 색인 재활용 기법과 벌크 로딩(bulk loading) 기법은 효율적인 색인 구성을 위해 논리적인 페이지 포인터를 물리적 주소로 변환하는 물리적 사상구조를 필요로 하거나, 색인 구성시간과 검색성능 모두를 향상시키지 못하는 문제점을 지닌다. 본 논문에서는 이와 같은 문제점을 해결하기 위해 색인 전송기법을 제안한다. 본 기법은 색인 재활용을 위해 물리적 사상구조를 추가로 유지하거나, 검색 성능을 향상시키기 위해 전체 데이터 집합을 정렬하는 것이 아니라, 데이터가 전송될 사이트에 색인구조물 저장하기 위한 물리적 공간은 예약하고 예약된 공간에 색인구조를 전송, 기록함으로써 색인 구성비용을 줄이게 된다. 또한 예약된 공간을 연속적인 페이지구조로 구성함으로써 색인 구성 시 자식노드에 대한 위치정보를 예상하여 부모노드가 지니는 자식노드에 대한 위치정보 기록 비용을 줄일 수 있다.

  • PDF

Mapping System based on Indexing for Integrating Distributed Data (분산 데이터 통합을 위한 색인기반의 매핑 시스템)

  • 설진안;김운용;정계동;최영근
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10c
    • /
    • pp.436-438
    • /
    • 2003
  • 분산된 데이터는 이질적인 시스템 환경으로 인하여 공유하기 어렵고. 데이터의 형식 및 데이터 모델이 서로 다르게 정의되어 사용함으로서 통합하기 또한 어렵다. 본 논문에서는 이러한 문제를 해결하기 위해 분산된 데이터를 XML문서로 변환한다. 또한 색인기법으로 문서의 구조 및 컨텐츠 정보를 추출하여 서로 다르게 정의된 의미정보를 데이터 사전과 비교하여 표준문서로 통할할 수 있는 색인 기반의 매핑 시스템에 대해 기술한다. 제안된 매핑 시스템은 DOM이나 SAX와 같은 표준 인터페이스를 사용하여 XML문서를 통합하는 것보다 효율적으로 통합할 수 있다.

  • PDF

The grid-based distributed indexing on scalable spatial data (대용량 공간 데이터에 대한 그리드 기반 분산 색인 기법)

  • Jang, Hong-Jun;Chung, Jea-Hwa;Diana, Gromyko;Jung, Soon-Young
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06a
    • /
    • pp.29-32
    • /
    • 2011
  • 최근 GPS를 탑재한 스마트 기기의 보급으로 인해 사용자의 위치 정보를 이용한 위치기반서비스(LBS)가 많은 관심 속에 급속도로 성장하고 있다. 대부분의 위치기반서비스는 사용자의 위치를 바탕으로 주변의 유용한 정보를 제공하고 있으며 이러한 사용자 주변의 유용한 정보를 효율적으로 검색하기 위해서는 공간 데이터에 대한 색인 기법이 필요하다. 그러나 기존 공간 색인은 대부분 중앙 집중식 환경에서 연구가 진행되었고 분산 스토리지 환경에 대한 연구는 미흡하다. 따라서 본 연구는 서비스 성장과 더불어 서비스 영역이 확대됨에 따른 대용량 공간 데이터 환경에서 효율적인 공간 데이터 검색을 지원하는 그리드 기반 분산 색인 기법을 제안한다.

Performance Enhancement of a DVA-tree by the Independent Vector Approximation (독립적인 벡터 근사에 의한 분산 벡터 근사 트리의 성능 강화)

  • Choi, Hyun-Hwa;Lee, Kyu-Chul
    • The KIPS Transactions:PartD
    • /
    • v.19D no.2
    • /
    • pp.151-160
    • /
    • 2012
  • Most of the distributed high-dimensional indexing structures provide a reasonable search performance especially when the dataset is uniformly distributed. However, in case when the dataset is clustered or skewed, the search performances gradually degrade as compared with the uniformly distributed dataset. We propose a method of improving the k-nearest neighbor search performance for the distributed vector approximation-tree based on the strongly clustered or skewed dataset. The basic idea is to compute volumes of the leaf nodes on the top-tree of a distributed vector approximation-tree and to assign different number of bits to them in order to assure an identification performance of vector approximation. In other words, it can be done by assigning more bits to the high-density clusters. We conducted experiments to compare the search performance with the distributed hybrid spill-tree and distributed vector approximation-tree by using the synthetic and real data sets. The experimental results show that our proposed scheme provides consistent results with significant performance improvements of the distributed vector approximation-tree for strongly clustered or skewed datasets.

An Efficient Distributed High-Dimensional Index Structure for Contents-Based Image Retrieval (내용 기반 이미지 검색을 위한 효율적인 분산 고차원 색인 기법)

  • Kim, Minsoo;Kim, Gihoon;Song, Heesub;Han, Jinsu;Yoo, Seunghun;Ahn, Jihwan;Park, Juyoung;Bok, Kyoungsoo;Yoo, Jaesoo
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2017.05a
    • /
    • pp.43-44
    • /
    • 2017
  • 다양한 디지털 기기 활용의 증가로 인해 멀티미디어 데이터가 증가됨에 따라 내용 기반으로 검색하는 기술이 연구되고 있다. 내용 기반 검색을 위해 멀티미디어에서 추출된 고차원 특징 벡터가 대용량이 되면서 고차원 데이터를 분산해서 관리하는 색인 기법이 필요하다. 본 논문에서는 대용량 멀티미디어 데이터에서 유사한 이미지를 검출하기 위한 분산 고차원 색인 기법을 제안한다. 제안하는 기법은 마스터/슬레이브 구조로 되어 있다. 마스터 서버의 색인 구조는 그리드 방식을 사용하여 검색 요청 시 탐색하는 노드를 감소시킨다. 슬레이브 서버의 색인 구조는 구 형태로 색인하여 범위 질의와 최근접 질의를 효율적으로 검색한다.

  • PDF

High Dimensional Index Information Management for Data Availability (데이터의 가용성을 보장하는 고차원 색인 정보 관리)

  • Choi, Hyun-Hwa;Lee, Mi-Young;Lee, Kyu-Chul
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2010.04a
    • /
    • pp.874-877
    • /
    • 2010
  • 웹 서비스 혹은 클라우드 컴퓨팅 서비스로써 대용량의 멀티미디어 데이터에 대한 내용 기반 검색을 지원하기 위하여, 분산 고차원 색인 구조에 대한 연구가 활발하게 이뤄지고 있다. 이러한 고차원 데이터의 색인 구조에 대한 연구와 달리, 고차원 색인 데이터의 저장 및 관리에 대한 연구는 거의 전무한 것이 현실이다. 지금껏 대부분의 색인 데이터는 빠른 접근을 위하여 트랜잭션 관리 및 데이터의 복구를 제공하지 않은 파일 시스템에서 관리되어 왔다. 그러나, 파일 시스템에 저장된 색인 데이터는 이를 서비스하는 노드의 장애 발생 시에 일부 혹은 전체 데이터에 대한 검색이 이뤄지지 않는 문제점이 있다. 서비스의 가용성 여부가 중요한 요소인 웹 서비스와 클라우드 컴퓨팅 서비스를 위하여, 본 논문에서는 고차원 색인 데이터를 데이터베이스를 통해 관리하여, 안정성 및 가용성을 보장하면서, 고차원 데이터의 색인 및 검색의 성능을 보장하는 방법을 제안하고자 한다.

Distributed Index Management Mechanism for Region Query in Sensor Network (센서네트워크 상에서 영역질의 처리를 위한 분산 색인 관리 메카니즘)

  • Kim, Kyu-Chul;Chang, Ki-Young;Jin, Bong;Kim, Chang-Wha;Park, Chan-Jung;Kim, Sang-Kyeong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.10c
    • /
    • pp.72-76
    • /
    • 2006
  • 센서 네트워크에서는 싱크에서 센서로 자료요청을 위한 쿼리를 발송하고 감지된 데이터를 싱크로 수집하는 방법은 여러 가지가 있을 수 있다. 그러나 어떠한 쿼리 최적화 방법을 사용하느냐에 따라 센서 네트워크의 성능이 달라질 수 있다. 본 논문에서 센서 네트워크 상에서 영역질의를 처리하는 분산 색인 방법을 제안하였다. 본 연구에서 제안한 DIMTree(Distributed Index Management Tree)는 센터에서 데이터를 수집하기 위하여 모든 영역에 쿼리를 배포할 필요가 없이 질의에 적합한 지역에서만 쿼리를 배포하여, 자료 전송 및 수집으로 인한 데이터 전송량을 줄임으로써 통신으로 인한 노드의 에너지를 절감시킬 수 있는 장점을 가진다.

  • PDF

Parallel Distributed Spatial Join Method using R+ -tree In Distributed Spatial Database Systems (분산 공간 데이터베이스 시스템에서 R+-tree를 이용한 병렬 분산 공간 죠인 기법)

  • 김종현;김재홍;배해영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.04b
    • /
    • pp.67-69
    • /
    • 2002
  • 여러 사이트에서 구축된 공간 데이터를 효율적으로 관리 및 공유하기 위해서는 대용량의 정보를 처리할 수 있는 분산 공간 데이터베이스 시스템의 사용이 필수적이다. 이러한 분산 공간 데이터베이스 시스템상에서의 분산 공간 죠인 질의는 공간 데이터의 대용량성과 그 복잡성으로 인하여 공간 연산의 지펴져 부하와 네트워크상의 전송 부하를 발생시킨다. 이러한 문제를 해결하기 위해 세미죠인 기반의 공간 죠인 기법들이 제안되었으나 공간 죠인 연산을 특정 서버에서만 수행하여 병목현상을 발생시키기 때문에 결국 질의 처리시간이 증가된다. 본 논문은 이러한 분산 공간 데이터베이스 시스템에서 수행 비용이 많이 드는 원격 사이트간의 공간 죠인 연산에 대해 R+-tree 공간 색인을 사용하여 병렬적으로 수행하는 기법을 제안한다. 본 기법은 R+-tree 공간 색인을 이용하여 공간 죠인 연산의 대상이 되는 릴레이션들을 중첩이 없는 두개의 릴레이션들로 분할한 후 질의 수행에 참여하는 두 서버에 죠인 연산을 분배하고 병렬적으로 처리하여 결과들을 병합한 다음 클라이언트에게 전송만다. 본 기법은 릴레이션을 분할하여 각 서버에서 공간 죠인 연산을 병렬적으로 처리하므로 처리 비용을 절반으로 감소시키며. R+-tree의 영역에 해당하는 객체들만 죠인 연산에 참여하게 함으로써 네트워크 전송 비용을 감소시킨다

  • PDF

The T-tree index recovery for distributed main-memory database systems in ATM switching systems (ATM 교환기용 분산 주기억장치 상주 데이터베이스 시스템에서의 T-tree 색인 구조의 회복 기법)

  • 이승선;조완섭;윤용익
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.22 no.9
    • /
    • pp.1867-1879
    • /
    • 1997
  • DREAM-S is a distributed main-memory database system for the real-time processing of shared operational datra in ATM switching systems. DREAM-S has a client-server architecture in which only the server has the diskstorage, and provides the T-Tree index structure for efficient accesses to the data. We propose a recovery technique for the T-Tree index structre in DREAM-S. Although main-memory database system offer efficient access performance, the database int he main-memory may be broken when system failure such as database transaction failure or power failure occurs. Therfore, a recovery technique that recovers the database (including index structures) is essential for fault tolerant ATM switching systems. Proposed recovery technique relieves the bottleneck of the server processors disk operations by maintaining the T-Tree index structure only in the main-memory. In addition, fast recovery is guaranteed even in large number of client systems since the T-Tree index structure(s) in each system can be recovered cncurrently.

  • PDF