• Title/Summary/Keyword: 분산 색인 구조

Search Result 59, Processing Time 0.027 seconds

A Distributed High Dimensional Indexing Structure for Content-based Retrieval of Large Scale Data (대용량 데이터의 내용 기반 검색을 위한 분산 고차원 색인 구조)

  • Cho, Hyun-Hwa;Lee, Mi-Young;Kim, Young-Chang;Chang, Jae-Woo;Lee, Kyu-Chul
    • Journal of KIISE:Databases
    • /
    • v.37 no.5
    • /
    • pp.228-237
    • /
    • 2010
  • Although conventional index structures provide various nearest-neighbor search algorithms for high-dimensional data, there are additional requirements to increase search performances as well as to support index scalability for large scale data. To support these requirements, we propose a distributed high-dimensional indexing structure based on cluster systems, called a Distributed Vector Approximation-tree (DVA-tree), which is a two-level structure consisting of a hybrid spill-tree and VA-files. We also describe the algorithms used for constructing the DVA-tree over multiple machines and performing distributed k-nearest neighbors (NN) searches. To evaluate the performance of the DVA-tree, we conduct an experimental study using both real and synthetic datasets. The results show that our proposed method contributes to significant performance advantages over existing index structures on difference kinds of datasets.

An Efficient Index Transfer Method for Reducing Index Organization Cost In Distributed Database Systems (분산 데이터베이스 시스템에서의 색인 구성비용 절감을 위한 효율적인 색인 전송기법)

  • 박상근;김호석;이재동;배해영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10b
    • /
    • pp.223-225
    • /
    • 2003
  • 분산 데이터베이스 시스템 환경에서는 특정 노드로 집중되는 부하의 분산이나 가용성 및 안정성 제공을 위해 데이터 분할기법 (fragmentation)과 복제기법(replication)을 사용한다. 이때 전송된 데이터에 대한 기존의 색인 재활용 기법과 벌크 로딩(bulk loading) 기법은 효율적인 색인 구성을 위해 논리적인 페이지 포인터를 물리적 주소로 변환하는 물리적 사상구조를 필요로 하거나, 색인 구성시간과 검색성능 모두를 향상시키지 못하는 문제점을 지닌다. 본 논문에서는 이와 같은 문제점을 해결하기 위해 색인 전송기법을 제안한다. 본 기법은 색인 재활용을 위해 물리적 사상구조를 추가로 유지하거나, 검색 성능을 향상시키기 위해 전체 데이터 집합을 정렬하는 것이 아니라, 데이터가 전송될 사이트에 색인구조물 저장하기 위한 물리적 공간은 예약하고 예약된 공간에 색인구조를 전송, 기록함으로써 색인 구성비용을 줄이게 된다. 또한 예약된 공간을 연속적인 페이지구조로 구성함으로써 색인 구성 시 자식노드에 대한 위치정보를 예상하여 부모노드가 지니는 자식노드에 대한 위치정보 기록 비용을 줄일 수 있다.

  • PDF

An Efficient Distributed High-Dimensional Index Structure for Contents-Based Image Retrieval (내용 기반 이미지 검색을 위한 효율적인 분산 고차원 색인 기법)

  • Kim, Minsoo;Kim, Gihoon;Song, Heesub;Han, Jinsu;Yoo, Seunghun;Ahn, Jihwan;Park, Juyoung;Bok, Kyoungsoo;Yoo, Jaesoo
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2017.05a
    • /
    • pp.43-44
    • /
    • 2017
  • 다양한 디지털 기기 활용의 증가로 인해 멀티미디어 데이터가 증가됨에 따라 내용 기반으로 검색하는 기술이 연구되고 있다. 내용 기반 검색을 위해 멀티미디어에서 추출된 고차원 특징 벡터가 대용량이 되면서 고차원 데이터를 분산해서 관리하는 색인 기법이 필요하다. 본 논문에서는 대용량 멀티미디어 데이터에서 유사한 이미지를 검출하기 위한 분산 고차원 색인 기법을 제안한다. 제안하는 기법은 마스터/슬레이브 구조로 되어 있다. 마스터 서버의 색인 구조는 그리드 방식을 사용하여 검색 요청 시 탐색하는 노드를 감소시킨다. 슬레이브 서버의 색인 구조는 구 형태로 색인하여 범위 질의와 최근접 질의를 효율적으로 검색한다.

  • PDF

Mapping System based on Indexing for Integrating Distributed Data (분산 데이터 통합을 위한 색인기반의 매핑 시스템)

  • 설진안;김운용;정계동;최영근
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10c
    • /
    • pp.436-438
    • /
    • 2003
  • 분산된 데이터는 이질적인 시스템 환경으로 인하여 공유하기 어렵고. 데이터의 형식 및 데이터 모델이 서로 다르게 정의되어 사용함으로서 통합하기 또한 어렵다. 본 논문에서는 이러한 문제를 해결하기 위해 분산된 데이터를 XML문서로 변환한다. 또한 색인기법으로 문서의 구조 및 컨텐츠 정보를 추출하여 서로 다르게 정의된 의미정보를 데이터 사전과 비교하여 표준문서로 통할할 수 있는 색인 기반의 매핑 시스템에 대해 기술한다. 제안된 매핑 시스템은 DOM이나 SAX와 같은 표준 인터페이스를 사용하여 XML문서를 통합하는 것보다 효율적으로 통합할 수 있다.

  • PDF

Effective Streaming of XML Data for Wireless Broadcasting (무선 방송을 위한 효과적인 XML 스트리밍)

  • Park, Jun-Pyo;Park, Chang-Sup;Chung, Yon-Dohn
    • Journal of KIISE:Databases
    • /
    • v.36 no.1
    • /
    • pp.50-62
    • /
    • 2009
  • In wireless and mobile environments, data broadcasting is recognized as an effective way for data dissemination due to its benefits to bandwidth efficiency, energy-efficiency, and scalability. In this paper, we address the problem of delayed query processing raised by tree-based index structures in wireless broadcast environments, which increases the access time of the mobile clients. We propose a novel distributed index structure and a clustering strategy for streaming XML data which enable energy and latency-efficient broadcast of XML data. We first define the DIX node structure to implement a fully distributed index structure which contains tag name, attributes, and text content of an element as well as its corresponding indices. By exploiting the index information in the DIX node stream, a mobile client can access the wireless stream in a shorter latency. We also suggest a method of clustering DIX nodes in the stream, which can further enhance the performance of query processing over the stream in the mobile clients. Through extensive performance experiments, we demonstrate that our approach is effective for wireless broadcasting of XML data and outperforms the previous methods.

The T-tree index recovery for distributed main-memory database systems in ATM switching systems (ATM 교환기용 분산 주기억장치 상주 데이터베이스 시스템에서의 T-tree 색인 구조의 회복 기법)

  • 이승선;조완섭;윤용익
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.22 no.9
    • /
    • pp.1867-1879
    • /
    • 1997
  • DREAM-S is a distributed main-memory database system for the real-time processing of shared operational datra in ATM switching systems. DREAM-S has a client-server architecture in which only the server has the diskstorage, and provides the T-Tree index structure for efficient accesses to the data. We propose a recovery technique for the T-Tree index structre in DREAM-S. Although main-memory database system offer efficient access performance, the database int he main-memory may be broken when system failure such as database transaction failure or power failure occurs. Therfore, a recovery technique that recovers the database (including index structures) is essential for fault tolerant ATM switching systems. Proposed recovery technique relieves the bottleneck of the server processors disk operations by maintaining the T-Tree index structure only in the main-memory. In addition, fast recovery is guaranteed even in large number of client systems since the T-Tree index structure(s) in each system can be recovered cncurrently.

  • PDF

High Dimensional Index Information Management for Data Availability (데이터의 가용성을 보장하는 고차원 색인 정보 관리)

  • Choi, Hyun-Hwa;Lee, Mi-Young;Lee, Kyu-Chul
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2010.04a
    • /
    • pp.874-877
    • /
    • 2010
  • 웹 서비스 혹은 클라우드 컴퓨팅 서비스로써 대용량의 멀티미디어 데이터에 대한 내용 기반 검색을 지원하기 위하여, 분산 고차원 색인 구조에 대한 연구가 활발하게 이뤄지고 있다. 이러한 고차원 데이터의 색인 구조에 대한 연구와 달리, 고차원 색인 데이터의 저장 및 관리에 대한 연구는 거의 전무한 것이 현실이다. 지금껏 대부분의 색인 데이터는 빠른 접근을 위하여 트랜잭션 관리 및 데이터의 복구를 제공하지 않은 파일 시스템에서 관리되어 왔다. 그러나, 파일 시스템에 저장된 색인 데이터는 이를 서비스하는 노드의 장애 발생 시에 일부 혹은 전체 데이터에 대한 검색이 이뤄지지 않는 문제점이 있다. 서비스의 가용성 여부가 중요한 요소인 웹 서비스와 클라우드 컴퓨팅 서비스를 위하여, 본 논문에서는 고차원 색인 데이터를 데이터베이스를 통해 관리하여, 안정성 및 가용성을 보장하면서, 고차원 데이터의 색인 및 검색의 성능을 보장하는 방법을 제안하고자 한다.

Design of High-dimensional Index Structures for SAN Environment (SAN 환경에 적합한 고차원 색인 구조 설계)

  • 박춘서;신재룡;송석일;복경수;유재수;신범주
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10a
    • /
    • pp.86-88
    • /
    • 2000
  • SAN(Storage Area Network)이 최근 대용량 데이터를 효율적으로 관리하기 위한 차세대 저장 장치로 각광받고 있다. 이 SAN에는 이미지, 동영상, 지도, 캐드 데이터와 같은 대용량의 고차원 특징을 갖는 데이터들이 저장되어 관리 될 것이다. 따라서 SAN 환경에서 이들을 보다 빠르고 정확하게 검색할 수 있는 효율적인 고차원 색인구조가 필요하다. SAN 환경은 저장 장치를 공유하는 형태의 병렬 환경이라 볼 수 있다. 이 논문에서는 SAN의 병렬성을 충분히 이용해서 고차원 데이터를 색인할 수 있는 방법을 제안한다. 제안하는 고차원 색인 구조는 하나의 노드를 여러 디스크에 분산시켜 팬-아웃을 증가시키고 트리의 높이를 줄임으로서 검색성능을 향상시킨다. 또한 범위 질의와 K-최근접 질의 수행시 병렬성을 최대화하는 방법을 제안한다.

  • PDF

Optical Transmission Link with Dispersion Map of Antipodal Symmetry and OPC (원점 대칭 분산 맵과 OPC를 가진 광전송 링크)

  • Lee, Seong-Real
    • Journal of Advanced Navigation Technology
    • /
    • v.25 no.4
    • /
    • pp.286-292
    • /
    • 2021
  • Dispersion maps of antipodal symmetric type for improvement of compensation effect in dispersion managed link combined with optical phase conjugation, which can compensate for the distorted wavelength division multiplexed (WDM) signals due to chromatic dispersion and nonlinear Kerr effects of single-mode fiber, were proposed. It was confirmed that the proposed all of antipodal symmetric dispersion maps was more effective to compensate for the distorted WDM channels than the conventional link of uniform type dispersion map. Especially, dispersion maps formed like the inversion of alphabet S were more advantageous as the distorted WDM channels were compensated than dispersion maps formed like alphabet S. It was expected that the variety of optical network topology was more expanded by applying the proposed antipodal symmetric dispersion maps into transmission link.

Design of an searching system using Coord, the open-source distributed computing platform (오픈소스 분산처리 플랫폼 Coord를 활용한 검색 시스템의 설계)

  • Han, Jae-Hwa;Choi, Jong-Sic;Hwang, Won-Geun;Lee, Chang-Gun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2010.06a
    • /
    • pp.311-316
    • /
    • 2010
  • 본 논문에서는 NHN에서 제작한 오픈소스 분산처리 플랫폼 Coord 및 색인정보를 생성하는 Lucene을 이용하여 문서 검색 시스템의 설계를 제안한다. 주로 Coord 플랫폼을 사용하여 분산 검색 시스템의 구축 프로세스 및 구축 과정에서 고려할 점들에 대해 소개하고 있다. 구축 결과물에 대한 정량적 분석 및 특성을 다른 경쟁 플랫폼들과 비교 분석한다면 Coord의 사용을 활성화시킬 수 있는 자료로 사용될 수 있을 것이다. Coord 플랫폼을 개괄한 후에는 실제적인 시스템의 전체 구조를 제안한다. 이후에는 색인정보를 담고 있는 분산시스템을 설계할 때 생길 수 있는 여러 가지 문제점을 언급하고 그에 대한 Coord를 사용한 알고리즘을 해결책으로 제시한다. 이러한 설계를 바탕으로 실제 ACM논문 검색 시스템을 제작하여 운용한 예를 보인다. 또한, 본 논문이 제안한 시스템이 오픈소스 라이브러리 활용의 실례로써 Coord 및 여타 오픈소스 커뮤니티에 일조함을 기대할 수 있을 것이다.

  • PDF