• Title/Summary/Keyword: 다차원의 저주

Search Result 13, Processing Time 0.024 seconds

Multi-Dimensional Vector Approximation Tree with Dynamic Bit Allocation (동적 비트 할당을 통한 다차원 벡터 근사 트리)

  • 복경수;허정필;유재수
    • The Journal of the Korea Contents Association
    • /
    • v.4 no.3
    • /
    • pp.81-90
    • /
    • 2004
  • Recently, It has been increased to use a multi-dimensional data in various applications with a rapid growth of the computing environment. In this paper, we propose the vector approximate tree for content-based retrieval of multi-dimensional data. The proposed index structure reduces the depth of tree by storing the many region information in a node because of representing region information using space partition based method and vector approximation method. Also it efficiently handles 'dimensionality curse' that causes a problem of multi-dimensional index structure by assigning the multi-dimensional data space to dynamic bit. And it provides the more correct regions by representing the child region information as the parent region information relatively. We show that our index structure outperforms the existing index structure by various experimental evaluations.

  • PDF

Index Structure for Efficient Similarity Search of Multi-Dimensional Data (다차원 데이터의 효과적인 유사도 검색을 위한 색인구조)

  • 복경수;허정필;유재수
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04b
    • /
    • pp.97-99
    • /
    • 2004
  • 본 논문에서는 다차원 데이터의 유사도 검색을 효과적으로 수행하기 위한 색인 구조를 제안한다. 제안하는 색인 구조는 차원의 저주 현상을 극복하기 위한 벡터 근사 기반의 색인 구조이다. 제안하는 색인 구조는 부모 노드를 기준으로 KDB-트리와 유사한 영역 분할 방식으로 분할하고 분할된 각 영역은 데이터의 분포 특성에 따라 동적 비트를 할당하여 벡터 근사화된 영역을 표현한다. 따라서, 하나의 노드 안에 않은 영역 정보를 저장하여 트리의 깊이를 줄일 수 있다. 또한 다차원의 특징 벡터 공간에 상대적인 비트를 할당하기 때문에 군집화되어 있는 데이터에 대해서 효과적이다 제안하는 색인 구조의 우수성을 보이기 위해 다양한 실험을 통하여 성능의 우수성을 입증한다.

  • PDF

Multi dimensional index technique for continuous Query of logistics data (물류 데이터의 연속 질의 처리를 위한 다차원 색인 기법)

  • Chu, Byung-Jo;Hong, Bong-Hee;Kim, Gi-Hong
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2008.06a
    • /
    • pp.82-88
    • /
    • 2008
  • EPCglobal은 기업 간의 물류 활동 촉진과 글로벌 유통물류 시스템 구축을 위하여 EPCglobal Architecture Framework을 제시 하였다. EPCglobal Architecture Framework의 한 구성요소인 EPCIS(Electronic Product Code Information Services)는 EPC 기반 물류 관련 정보에 대한 저장 및 검색 서비스를 제공한다. EPCIS는 단발성 질의(poll)와 연속 질의(subscribe) 검색 서비스를 제공한다. EPCIS의 연속 질의는 시스템 자동화 및 재고 관리, 공급망 관리를 위해 다양한 응용에서 활용이 가능하다. 일반적으로 연속 질의의 성능을 향상시키기 위해서는 질의 색인을 사용한다. 그러나 EPCIS는 13차원의 도메인과 모든 데이터 필드가 필수 조건이 아니라는 것으로 인해, 차원의 저주 및 무한 영역 질의 문제를 발생 시킨다. 본 논문에서는 EPCIS의 물류 데이터의 연속 질의 처리를 위한 다차원 색인 기법을 제안한다. 13차원의 도메인을 여러 개의 질의 색인으로 구성하고, 등록된 질의 및 입력되는 데이터에 의해 변경되는 동적 질의 실행 계획을 제안함으로써, 차원의 저주와 무한 영역 질의의 문제를 해결하고, EPCIS에서 다수의 연속 질의 등록 시 효율적으로 처리가 가능하도록 한다.

  • PDF

Physical Database Design for DFT-Based Multidimensional Indexes in Time-Series Databases (시계열 데이터베이스에서 DFT-기반 다차원 인덱스를 위한 물리적 데이터베이스 설계)

  • Kim, Sang-Wook;Kim, Jin-Ho;Han, Byung-ll
    • Journal of Korea Multimedia Society
    • /
    • v.7 no.11
    • /
    • pp.1505-1514
    • /
    • 2004
  • Sequence matching in time-series databases is an operation that finds the data sequences whose changing patterns are similar to that of a query sequence. Typically, sequence matching hires a multi-dimensional index for its efficient processing. In order to alleviate the dimensionality curse problem of the multi-dimensional index in high-dimensional cases, the previous methods for sequence matching apply the Discrete Fourier Transform(DFT) to data sequences, and take only the first two or three DFT coefficients as organizing attributes of the multi-dimensional index. This paper first points out the problems in such simple methods taking the firs two or three coefficients, and proposes a novel solution to construct the optimal multi -dimensional index. The proposed method analyzes the characteristics of a target database, and identifies the organizing attributes having the best discrimination power based on the analysis. It also determines the optimal number of organizing attributes for efficient sequence matching by using a cost model. To show the effectiveness of the proposed method, we perform a series of experiments. The results show that the Proposed method outperforms the previous ones significantly.

  • PDF

Spectral matching using Range Queries based on Pyramid-Technique in Hyperspectral Image Library (초분광 영상 라이브러리에서 피라미드 색인 기법의 영역 질의를 이용한 스펙트럴 매칭)

  • Yu, Jae-Hwan;Kim, Deok-Hwan
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2011.05a
    • /
    • pp.83-84
    • /
    • 2011
  • 초분광 영상은 기존의 다중분광 영상보다 많은 밴드를 통해 넓은 범위의 파장 영역에 대한 반사율을 담고 있는 고차원 데이터이다. 이와 같은 고차원 데이터를 기존의 R-Tree, X-Tree와 같은 다차원 색인 방법을 사용하게 되면 차원의 저주(Course of Dimensionality)라는 문제가 발생한다. 본 논문에서는 차원의 저주 문제를 해결하기 위해 피라미드 기법을 사용하여 초분광 영상 라이브러리의 색인을 구축하였다. 파라미드 기법은 D차원의 데이터를 2D차원의 피라미드에 사상하고, B+-트리를 이용하여 1차원적으로 색인하는 방법이다. 실험 결과 스펙트럼 매칭을 위한 영역질의 방법이 후보자 추출 시간, 데이터 접근 빈도 측면에서 순차적 접근 방법보다 좋은 성능을 나타냈다.

  • PDF

Contents-based Image Retrieval Using Regression of Shape Features (모양 정보의 회귀추정에 의한 내용 기반 이미지 검색 기법)

  • Song Jun-Kyu;Choi Hwang-Kyu
    • Journal of Digital Contents Society
    • /
    • v.2 no.2
    • /
    • pp.157-166
    • /
    • 2001
  • In this paper we propose a feature vector extraction technique using regression of shape features for the content-based image retrieval system. The proposed technique can reduce the number of dimensions of a feature vector by converting the extracted high-dimensional feature vector into a specific n-dimensional feature vector. This paper shows how to resolve the 'dimensionality curse' problem by reducing the number of dimensions of a feature vector, and shows that the technique is more efficient than the conventional techniques for the practical image retrievals.

  • PDF

An Index Structure based on Space Partitions and Adaptive Bit Allocations for Multi-Dimensional Data (다차원 데이타를 위한 공간 분할 및 적응적 비트 할당 기반 색인 구조)

  • Bok, Kyoung-Soo;Kim, Eun-Jae;Yoo, Jae-Soo
    • Journal of KIISE:Databases
    • /
    • v.32 no.5
    • /
    • pp.509-525
    • /
    • 2005
  • In this paper, we propose the index structure based on a vector approximation for efficiently supporting the similarity search of multi-dimensional data. The proposed index structure splits a region with the space partition method and allocates to the split region dynamic bits according to the distribution of data. Therefore, the index structure splits a region to the unoverlapped regions and can reduce the depth of the tree by storing the much region information of child nodes in a internal node. Our index structure represents the child node more exactly and provide the efficient search by representing the region information of the child node relatively using the region information of the parent node. We show that our proposed index structure is better than the existing index structure in various experiments. Experimental results show that our proposed index structure achieves about $40\%$ performance improvements on search performance over the existing method.

A Performance Analysis on the M-tree with the Earth Mover's Distance (Earth Mover's Distance 기반 M-트리의 성능 분석)

  • Lee, Won-Jo;Ha, Sung-Dae;Jung, Kyo-Sung;Jang, Min-Hee;Kim, Sang-Wook
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.11a
    • /
    • pp.1232-1233
    • /
    • 2011
  • Earth mover's distance(EMD)는 내용 기반 데이터 검색을 위한 거리 함수로서 정확도가 매우 높은 검색 결과를 가져오지만, 계산 복잡도가 높아 대용량 데이터베이스에서 사용하기 어렵다. 이러한 문제를 해결하기 위한 방법으로 다차원 인덱스인 M-트리를 사용하여 데이터 비교 횟수를 크게 줄일 수 있다. 그러나 고차원의 데이터에 인덱스를 사용하면 차원의 저주 문제로 인해 검색 성능이 크게 저하될 수 있다. 본 논문에서는 이러한 문제를 정량적으로 검증하기 위하여 고차원 데이터를 대상으로 EMD 기반 M-트리를 구축한 후 다양한 실험을 수행한다. 실험 결과, 고차원 데이터에서도 차원의 저주는 일어나지 않는 것으로 나타났다. 이러한 공헌은 EMD의 검색 성능 개선을 위한 정책을 고안하는데, 중요한 실마리를 제공할 수 있을 것이다.

Polyclass in Data Mining (데이터 마이닝에서의 폴리클라스)

  • 구자용;박헌진;최대우
    • The Korean Journal of Applied Statistics
    • /
    • v.13 no.2
    • /
    • pp.489-503
    • /
    • 2000
  • Data mining means data analysis and model selection using various types of data in order to explore useful information and knowledge for making decisions. Examples of data mining include scoring for credit analysis of a new customer and scoring for churn management, where the customers with high scores are given special attention. In this paper, scoring is interpreted as a modeling process of the conditional probability and polyclass scoring method is described. German credit data, a PC communication company data and a mobile communication company data are used to compare the performance of polyclass scoring method with that of the scoring method based on a tree model.

  • PDF

A Hybrid System of Wavelet Transformations and Neural Networks Using Genetic Algorithms: Applying to Chaotic Financial Markets (유전자알고리즘을 이용한 웨이블릿분석 및 인공신경망기법의 통합모형구축)

  • Shin, Taeksoo;Han, Ingoo
    • Proceedings of the Korea Database Society Conference
    • /
    • 1999.06a
    • /
    • pp.271-280
    • /
    • 1999
  • 인공신경망을 시계열예측에 적용하는 경우에 고려되어야 할 문제중, 특히 모형에 적합한 입력변수의 생성이 중요시되고 있는데, 이러한 분야는 인공신경망의 모형생성과정에서 입력변수에 대한 전처리기법으로써 다양하게 제시되어 왔다. 가장 최근의 입력변수 전처리기법으로써 제시되고 있는 신호처리기법은 전통적 주기분할처리방법인 푸리에변환기법(Fourier transforms)을 비롯하여 이를 확장시킨 개념인 웨이블릿변환기법(wavelet transforms) 등으로 대별될 수 있다. 이는 기본적으로 시계열이 다수의 주기(cycle)들로 구성된 상이한 시계열들의 집합이라는 가정에서 출발하고 있다. 전통적으로 이러한 시계열은 전기 또는 전자공학에서 주파수영역분할, 즉 고주파 및 저주파수를 분할하기 위한 기법에 적용되어 왔다. 그러나, 최근에는 이러한 연구가 다양한 분야에 활발하게 응용되기 시작하였으며, 그 중의 대표적인 예가 바로 경영분야의 재무시계열에 대한 분석이다 전통적으로 재무시계열은 장, 단기의사결정을 가진 시장참여자들간의 거래특성이 시계열에 각기 달리 가격으로 반영되기 때문에 이러한 상이한 집단들의 고유한 거래움직임으로 말미암아 예를 들어, 주식시장이 프랙탈구조를 가지고 있다고 보기도 한다. 이처럼 재무시계열은 다양한 사회현상의 집합체라고 볼 수 있으며, 그만큼 예측모형을 구축하는데 어려움이 따른다. 본 연구는 이러한 시계열의 주기적 특성에 기반을 둔 신호처리분석으로서 기존의 시계열로부터 노이즈를 줄여 주면서 보다 의미 있는 정보로 변환시켜 줄 수 있는 웨이블릿분석 방법론을 새로운 필터링기법으로 사용하여 현재 많은 연구가 진행되고 있는 인공신경망과의 모형결합을 통해 기존연구와는 다른 새로운 통합예측방법론을 제시하고자 한다. 본 연구에서 제시하는 통합방법론은 크게 2단계 과정을 거쳐 예측모형으로 완성이 된다. 즉, 1차 모형단계에서 원시 재무시계열은 먼저 웨이블릿분석을 통해서 노이즈가 필터링 되는 동시에, 과거 재무시계열의 프랙탈 구조, 즉 비선형적인 움직임을 보다 잘 반영시켜 주는 다차원 주기요소를 가지는 시계열로 분해, 생성되며, 이렇게 주기에 따라 장단기로 분할된 시계열들은 2차 모형단계에서 신경망의 새로운 입력변수로서 사용되어 최종적인 인공 신경망모델을 구축하는 데 반영된다.

  • PDF