• Title/Summary/Keyword: 큐브 관리

Search Result 33, Processing Time 0.031 seconds

An Efficient Incremental Maintenance Method for Data Cubes in Data Warehouses (데이타 웨어하우스에서 데이타 큐브를 위한 효율적인 점진적 관리 기법)

  • Lee, Ki-Yong;Park, Chang-Sup;Kim, Myoung-Ho
    • Journal of KIISE:Databases
    • /
    • v.33 no.2
    • /
    • pp.175-187
    • /
    • 2006
  • The data cube is an aggregation operator that computes group-bys for all possible combination of dimension attributes. %on the number of the dimension attributes is n, a data cube computes $2^n$ group-bys. Each group-by in a data cube is called a cuboid. Data cubes are often precomputed and stored as materialized views in data warehouses. These data cubes need to be updated when source relation change. The incremental maintenance of a data cube is to compute and propagate only its changes. To compute the change of a data cube of $2^n$ cuboids, previous works compute a delta cube that has the same number of cuboids as the original data cube. Thus, as the number of dimension attributes increases, the cost of computing a delta cube increases significantly. Each cuboid in a delta cube is called a delta cuboid. In this paper. we propose an incremental cube maintenance method that can maintain a data cube by using only $_nC_{{\lceil}n/2{\rceil}}$ delta cuboids. As a result, the cost of computing a delta cube is substantially reduced. Through various experiments, we show the performance advantages of our method over previous methods.

Efficient Creation of Data Cube Using Hash Table in Data Warehouse (데이터 웨어하우스에서 해쉬 테이블을 이용한 효율적인 데이터 큐브 생성 기법)

  • Kim Hyungsun;You Byeongseob;Lee JaeDong;Bae Haeyoung
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.211-213
    • /
    • 2005
  • 데이터 웨어하우스는 축적된 대량의 데이터를 분석하여 의사결정을 지원하는 시스템이다. 의사결정을 위한 대량의 데이터 분석은 많은 비용을 요구하므로, 질의 처리 성능을 높이고 의사 결정자에게 빠른 응답을 제공하는 효율적인 데이터 큐브 생성 기법이 연구되었다. 기존 기법으로는 Multiway Array 기법과 H-Cubing 기법이 있다. Multiway Array 기법은 다차원 집계 연산에 필요한 모든 데이터를 배열로 저장하는 것으로 데이터의 양이 많아질수록 메모리 사용이 증가한다. H-Cubing 기법은 Hyper-Tree를 기반으로 튜플을 트리로 구축하므로 모든 튜플을 트리로 구축해야 하는 비용이 증가한다. 본 논문에서는 데이터 웨어하우스에서 해쉬 테이블을 이용한 효율적인 데이터 큐브 생성 기법을 제안한다. 제안 기법은 데이터 큐브 생성 시 필드 해쉬 테이블과 레코드 해쉬 테이블을 사용한다. 필드 해쉬 테이블은 저장될 레코드 순서 계산을 위하여 각 필드에 대해 레벨 값을 해쉬 테이블로 관리한다. 레코드 해쉬 테이블은 데이터 큐브 테이블에 저장될 레코드의 순서와 데이터 큐브 테이블에 저장하기 위한 임시 레코드의 위치를 관리한다. 필드 해쉬 테이블을 이용하여 다차원 데이터의 저장될 레코드 순서를 빠르게 찾아 저장함으로서 데이터 큐브의 생성속도가 향상된다. 또한 해쉬 테이블 만을 유지하면 되므로 메모리 사용량이 감소한다. 따라서 해쉬 테이블의 사용으로 데이터의 빠른 검색과 데이터 큐브 생성 요청에 빠른 응답이 가능하다.

  • PDF

Incremental Batch Update of Spatial Data Cube with Multi-dimensional Concept Hierarchies (다차원 개념 계층을 지원하는 공간 데이터 큐브의 점진적 일괄 갱신 기법)

  • Ok, Geun-Hyoung;Lee, Dong-Wook;You, Byeong-Seob;Lee, Jae-Dong;Bae, Hae-Young
    • Journal of Korea Multimedia Society
    • /
    • v.9 no.11
    • /
    • pp.1395-1409
    • /
    • 2006
  • A spatial data warehouse has spatial data cube composed of multi-dimensional data for efficient OLAP(On-Line Analytical Processing) operations. A spatial data cube supporting concept hierarchies holds huge amount of data so that many researches have studied a incremental update method for minimum modification of a spatial data cube. The Cube, however, compressed by eliminating prefix and suffix redundancy has coalescing paths that cause update inconsistencies for some updates can affect the aggregate value of coalesced cell that has no relationship with the update. In this paper, we propose incremental batch update method of a spatial data cube. The proposed method uses duplicated nodes and extended node structure to avoid update inconsistencies. If any collision is detected during update procedure, the shared node is duplicated and the duplicate is updated. As a result, compressed spatial data cube that includes concept hierarchies can be updated incrementally with no inconsistency. In performance evaluation, we show the proposed method is more efficient than other naive update methods.

  • PDF

A Spatial Data Cubes with Concept Hierarchy on Spatial Data Warehouse (공간 데이터 웨어하우스에서 개념 계층을 지원하는 공간 데이터 큐브)

  • Ok Geun-Hyoung;Lee Dong-Wook;You Byeong-Seob;Bae Hae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.05a
    • /
    • pp.35-38
    • /
    • 2006
  • 데이터 웨어하우스에서는 OLAP(On-Line Analytical Processing) 연산을 제공하기 위해 다차원 데이터를 큐브의 형태로 관리한다. 특히, 공간 차원과 같이 데이터 큐브의 차원에 개념 계층이 존재하는 경우 사용자는 특정 계층에 대한 집계 결과를 요구한다. 기조의 데이터 큐브의 구조들은 차원의 개념 계층을 지원하지 못하거나 지원하더라도 시간이나 공간적 비용에 대해 비효율적이다. 본 논문에서는 공간 데이터 웨어하우스에서 공간 개념 계층을 이용하여 효율적인 계층별 영역 집계연산을 지원하는 공간 데이터 큐브를 제안한다. 이는 개념 계층을 DAG(Directed Acyclic Graph) 형태로 표현하여 구성된 여러 개의 차원들을 공간차원의 지역성을 기준으로 연결한 구조이다. 이러한 구조를 갖는 큐브를 이용하면, 데이터 검색 시 상위 계층부터 아래 방향으로 탐색하기 때문에 각 차원에 대한 효율적인 검색이 가능하다. 특히, 공간 개념 계층에 대한 DAG를 이용하면, 공간적 지역성에 따른 영역 검색을 지원할 수 있다. 성능평가에서 개념 계층이 적용된 질의에 대한 실험을 통해 제안 기법이 기존 기법들에 비해 저장 공간 효율성 및 질의 응답 성능이 우수함을 증명한다.

  • PDF

Dynamic Data Cubes Over Data Streams (데이타 스트림에서 동적 데이타 큐브)

  • Seo, Dae-Hong;Yang, Woo-Sock;Lee, Won-Suk
    • Journal of KIISE:Databases
    • /
    • v.35 no.4
    • /
    • pp.319-332
    • /
    • 2008
  • Data cube, which is multi-dimensional data model, have been successfully applied in many cases of multi-dimensional data analysis, and is still being researched to be applied in data stream analysis. Data stream is being generated in real-time, incessant, immense, and volatile manner. The distribution characteristics of data arc changing rapidly due to those characteristics, so the primary rule of handling data stream is to check once and dispose it. For those characteristics, users are more interested in high support attribute values observed rather than the entire attribute values over data streams. This paper propose dynamic data cube for applying data cube to data stream environment. Dynamic data cube specify user's interested area by the support ratio of attribute value, and dynamically manage the attribute values by grouping each other. By doing this it reduce the memory usage and process time. And it can efficiently shows or emphasize user's interested area by increasing the granularity for attributes that have higher support. We perform experiments to verify how efficiently dynamic data cube works in limited memory usage.

The Extended Cube Tree for Distribution Area Query Processing in Spatial Data Warehouses (공간 데이터 웨어하우스에서 분포 지역 질의 처리를 위한 확장된 큐브 트리 기법)

  • 최준호;유병섭;박순영;배해영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10b
    • /
    • pp.76-78
    • /
    • 2004
  • 최근 원격 탐사 시스템 등이 발전함에 따라 축적된 공간 데이터의 양이 증가했고 이를 공간 데이터 웨어하우스 분야에서 의사 결정에 활용하는 방안이 중요한 이슈가 되고 있다. 기존의 활용 방법은 주어진 영역을 기준으로 공간 범위-집계를 검색하는 형태였지만, 최근 특정 성향 분석을 위해 분포 질의를 요청하고 그 결과 지역에 대한 공간 분석을 통한 의사결정의 필요성이 대두되었다. 하지만 기존의 처리 방법으로 비공간 질의를 처리하기 위해서는 모든 데이터를 검색해야 하므로 분포 질의를 처리하기 위한 비용이 증가하게 된다. 본 논문에서는 분포 지역 질의 처리를 위한 확장된 큐브 트리 기법을 제안한다. 제안하는 기법은 분석하고자 하는 사실 테이블의 비공간 속성을 큐브 트리의 키로 사용하고, 이 속성과 관련된 공간 데이터의 포인터 집합을 관리한다. 본 논문의 제안 기법을 공간 데이터 웨어하우스에 적용함으로써 비공간 속성 질의를 통해 공간 객체를 결과로 요청하는 형태의 질의를 지원할 수 있게 되며 사실 컬럼을 계층화시킴으로서 사용자에게 좀 더 다각적인 분석을 지원할 수 있다.

  • PDF

A Summarization Method for Data Streams (데이터 스트림 정보 요약 기법)

  • Han, Sang-Gil;Lee, Won-Suk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.657-660
    • /
    • 2006
  • 최근까지 데이터웨어하우스와 OLAP 에 관한 연구와 더불어 데이터 큐브(data cube)는 많은 다차원 데이터웨어하우스에서 데이터 분석과 의사 결정 지원을 위해 빠르게 OLAP 연산을 처리하기 위한 중요한 역할을 수행해 왔다. 최근에는 빠른 속도로 생성됨과 동시에 지속적으로 발생되는 연속적인 데이터로 구성된 데이터 스트림이 네트워크 트래픽 모니터링, 증권, 날씨, 콜 센터 등과 같은 많은 분야에서 생성된다. 데이터 스트림은 무한의 집합이기 때문에 기존의 데이터 큐브 방법은 처리시간과 저장공간의 문제 때문에 데이터 스트림에 적용하기 어렵다. 이에 본 논문에서는 기존의 데이터 큐브와 같은 데이터의 요약 정보를 데이터 스트림 환경에서 제한된 메모리를 이용하여 관리 할 수 있는 전원트리를 이용한 데이터 스트림 요약 기법을 제안하고, 실험을 통해 본 논문에서 제안한 방법이 데이터 스트림 환경에서 적응적으로 동작함을 증명한다.

  • PDF

An Approach to Navigating Data Cubes with a Hierarchical Visualization Technique (계층적 시각화 기법을 활용한 데이터 큐브의 탐색 방안)

  • Oh, Mi-Hwa;Hwang, Man-Mo;Choi, Jung-Woo;Choi, In-Soo
    • Journal of the Korea Society of Computer and Information
    • /
    • v.16 no.2
    • /
    • pp.289-305
    • /
    • 2011
  • To efficiently analyze complex and voluminous data, OLAP systems increasingly provide functionalities for visual exploration of the data allowing end-users to navigate the desired view of the data cube. This paper only deals with data cubes whose schemas represented like the exclusive symmetric hierarchy which is not addressed by current OLAP implementations. This paper presents a conceptual classification of abstraction hierarchies, and an approach to navigating data cubes with a hierarchical visualization technique. The hierarchical visualization technique is developed by using the transitive closure of a binary relation. The approach is exemplified using a real-world study from the domain of national license administration.

Efficient Maintenance of Data Cubes for Large-scale, Timeseries Data Analysis Systems (대용량 시계열 데이터 분석 시스템에서 효과적인 데이터 큐브의 관리)

  • Yang, Hae-Mi;Son, Ji-Hoon;Chung, Yon-Dohn
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06c
    • /
    • pp.13-15
    • /
    • 2012
  • 최근 다양한 서비스가 등장하면서 폭발적으로 증가하는 데이터로 인해 이를 처리하고 분석하기 위한 대용량 처리 및 분석 시스템이 제안되고 있다. 본 논문에서는 이러한 시스템에서 효율적인 데이터 큐브관리 방법을 제안한다. 실험을 통해 제안한 방법이 대용량 시계열 데이터 처리 및 분석 시스템에서 중요한 질의 처리 시간을 단축시키는 것을 보였다.

Data Cude Index to Support Integrated Multi-dimensional Concept Hierarchies in Spatial Data Warehouse (공간 데이터웨어하우스에서 통합된 다차원 개념 계층 지원을 위한 데이터 큐브 색인)

  • Lee, Dong-Wook;Baek, Sung-Ha;Kim, Gyoung-Bae;Bae, Hae-Young
    • Journal of Korea Multimedia Society
    • /
    • v.12 no.10
    • /
    • pp.1386-1396
    • /
    • 2009
  • Most decision support functions of spatial data warehouse rely on the OLAP operations upon a spatial cube. Meanwhile, higher performance is always guaranteed by indexing the cube, which stores huge amount of pre-aggregated information. Hierarchical Dwarf was proposed as a solution, which can be taken as an extension of the Dwarf, a compressed index for cube structures. However, it does not consider the spatial dimension and even aggregates incorrectly if there are redundant values at the lower levels. OLAP-favored Searching was proposed as a spatial hierarchy based OLAP operation, which employs the advantages of R-tree. Although it supports aggregating functions well against specified areas, it ignores the operations on the spatial dimensions. In this paper, an indexing approach, which aims at utilizing the concept hierarchy of the spatial cube for decision support, is proposed. The index consists of concept hierarchy trees of all dimensions, which are linked according to the tuples stored in the fact table. It saves storage cost by preventing identical trees from being created redundantly. Also, it reduces the OLAP operation cost by integrating the spatial and aspatial dimensions in the virtual concept hierarchy.

  • PDF