• Journal of Information Technology and Architecture
• /
• v.9 no.4
• /
• pp.455-464
• /
• 2012

Due to the recent data explosion, methods which can meet the requirement of large data analysis has been studying. This paper proposes MRIterativeBUC algorithm which enables efficient computation of large data cube by distributed parallel processing with MapReduce framework. MRIterativeBUC algorithm is developed for efficient iterative operation of the BUC method with MapReduce, and overcomes the limitations about the storage size and processing ability caused by large data cube computation. It employs the idea from the iceberg cube which computes only the interesting aspect of analysts and the distributed parallel process of cube computation by partitioning and sorting. Thus, it reduces data emission so that it can reduce network overload, processing amount on each node, and eventually the cube computation cost. The bottom-up cube computation and iterative algorithm using MapReduce, proposed in this paper, can be expanded in various way, and will make full use of many applications.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.127-129
• /
• 2001

데이터 웨어하우스의 데이터를 다차원적으로 분석하여 그 결과를 온라인으로 사용자에게 제공하는 것을 OLAP 이라고 하고, 이 때 데이터를 큐브라고 불리는 배열에 저장해 두고 데이터를 위치정보를 통해 엑세스하는 시스템을 MOLAP 시스템이라고 한다. OLAP 연산 도중에 디스크로부터 읽어야 하는 데이터의 양을 감소시키기 위해 큐브를 압축된 청크 단위로 저장하는 방안이 이미 제안되고 있으나, 큐브의 데이터 분포, 청크와 디스크 블록의 크기 관계 등을 고려하여 디스크 엑세스를 줄이는 방안에 관한 연구는 아직 소개된 바가 없다. 본 연구에서는 청크들을 밀도를 기준으로하여 군집화 하고, 큐브내의 인접 청크들을 가능한 한 동일한 디스크 블록에 속하게 함으로써, OLAP의 주요 연산인 슬라이스, 다이스와 같은 연산의 속도를 향상시키는 방안을 제시한다. 제안한 저장구조는 실험을 통해 그 효율성을 증명하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06a
• /
• pp.25-26
• /
• 2010

대용량 데이터의 효율적 분석을 위해 데이터 뷰브가 연구되었으며, 데이터 큐브 계산의 고비용 문제점을 해결하기 위하여 큐브의 일부 영역만을 계산하는 빙산 큐브가 등장하였다. 빙산 큐브는 저장 공간의 감소, 집중적인 분석 등의 장점이 있으나, 여전히 많은 계산과 저장 공간을 필요로 하는 단점이 있다. 본 논문에서는 이러한 문제점을 해결하는 실용적인 방법으로 대용량 문제를 분산하여 처리하는 분산 병렬 컴퓨팅 기술인 맵리듀스(MapReduce) 프레임워크를 사용하여 분산 병렬 빙산 큐브인 MR-Naive와 MR-BUC 알고리즘을 제안한다. 실험을 통해 맵리듀스 프레임워크를 통한 빙사 큐브 계산이 효율적으로 분산 병렬 처리 됨을 확인하였다.

• Journal of the Korea Society of Computer and Information
• /
• v.14 no.5
• /
• pp.183-193
• /
• 2009

Both On-Line Analytical Processing (OLAF) data cubes and Statistical Databases (SDBs) deal with multidimensional data sets. and both are concerned with statistical summarizations over the dimensions of the data sets. However, there is a distinction between the two that can be made. While SDBs are usually derived from other base data, OLAF data cubes often represent directly the base data. In other word, the base data of SDBs are the macro-data, whereas the core cubiod data in OLAF data cubes are the micro-data. The base table in OLAF is used to populate the data cube with values of the measure attribute, and each record in the base tables is used to populate a cell of the core cuboid. The fact that OLAF data cubes mostly represent the micro-data may make some records be absent in the base table. Some cells of the core cuboid remain empty, if corresponding records are absent in the base table. Wang and others proposed a method for securing OLAF data cubes against privacy breaches. They assert that the proposed method does not depend on specific types of aggregation functions. In this paper, however, it is found that their assertion on aggregate functions is wrong whenever any cell of the core cuboid remains empty. The objective of this study is to design an inference control process in OLAF data cubes which rectifying Wang's error.

• KIPS Transactions on Software and Data Engineering
• /
• v.3 no.11
• /
• pp.479-486
• /
• 2014

MapReduce is a programing model used for parallelly processing a large amount of data. To analyze a large amount data, the data cube is widely used, which is an operator that computes group-bys for all possible combinations of given dimension attributes. When the number of dimension attributes is n, the data cube computes $2^n$ group-bys. In this paper, we propose an efficient method for computing data cubes using MapReduce. The proposed method partitions $2^n$ group-bys into $_nC_{{\lceil}n/2{\rceil}}$ batches, and computes those batches in stages using ${\lceil}n/2{\rceil}$ MapReduce jobs. Compared to the existing methods, the proposed method significantly reduces the amount of intermediate data generated by mappers, so that the cost of sorting and transferring those intermediate data is reduced significantly. Consequently, the total processing time for computing a data cube is reduced. Through experiments, we show the efficiency of the proposed method over the existing methods.

• Journal of the Korea Society of Computer and Information
• /
• v.14 no.11
• /
• pp.199-211
• /
• 2009

Official statistics which are collected for governments and the community can be used to assess the effectiveness of governments' policies and programs. Thus, official statistics should be collected and presented based on correct findings. Erroneous official statistics will lead to lower quality results in assessing those policies and programs. Many statistical agencies, today, use on-line analytical processing (OLAP) data cubes which support OLAP tasks like aggregation and subtotals as a key part of their dissemination strategy of official statistics. Confidentiality protection in data cubes also should be made. However, sensitive parts of data cubes including micro data may be disclosed by malicious inferences. The authors have suggested an inference control process in OLAP data cubes which preventing erroneous cube creating and securing cubes against privacy breaches. The objective of this study is to establish a strategy for inference control of official statistics using the inference control process by taking the case of the Patent Application Expense Support Project.

• The KIPS Transactions:PartD
• /
• v.14D no.6
• /
• pp.597-604
• /
• 2007

Stream data is a continuous flow of information that mostly arrives as the form of an infinite rapid stream. Recently researchers show a great deal of interests in analyzing such data to obtain value added information. Here, we propose an efficient cube computation algorithm for multidimensional analysis of stream data. The fact that stream data arrives in an unsorted fashion and aggregation results can only be obtained after the last data item has been read. cube computation requires a tremendous amount of memory. In order to resolve such difficulties, we compute user selected aggregation fables only, and use a combination of an way and AVL trees as a temporary storage for aggregation tables. The proposed cube computation algorithm works even when main memory is not large enough to store all the aggregation tables during the computation. We showed that the proposed algorithm is practically fast enough by theoretical analysis and performance evaluation.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2003.10a
• /
• pp.188-191
• /
• 2003

In this paper, we proposed data generalization and data cube mechanism for efficient data mining in distribute environment. We also proposed active Self Organization Map applying traditional Self Organization Map of Neural network for searching the most Informative data created from data cube after the generalization procedure and designed the system architecture for that.

• Journal of KIISE:Software and Applications
• /
• v.26 no.5
• /
• pp.604-612
• /
• 1999

데이터웨어하우스는 데이터분석을 위한 특수 목적의 데이터베이스로, 주로 데이터분석을 위한 질의(이하 OLAP 질의)가 던져진다. 그런데 OLAP질의는 수백만개의 레코드를 가지 테이블에 대해 하나 이상의 aggregation 함수와 group-by 연산자가 포함되므로, 질의 처리 시간은 수 분에서 수 시간이 걸린다. 이를 개선하기위하여 데이터 큐브를 구현함에 있어서의 문제는 디스크 공간이 한정되어 있기 때문에 평균 질의 처리 시간이 훨씬 짧아진다하더라도 모든 셀들을 실체화할수 없다. 따라서 한정된 디스크 공간을 최대한 활용하면서 가능한 빠른 평균 질의 처리 시간을 얻을 수 있도록 데이터 큐브의 일부만을 실체화 시켜야한다. 본 논문의 주제와 관련된 연구로는 Harinarayan[4] 이 제안한 greedy 알고리즘이 있다. 이 알고리즘은 1) 데이터 큐브를 격자구조로 표현한후, 2) 격자의 위에서부터 아래로 차례로 뷰들을 방문하면서 방문한 뷰가 실체화되 경우 데이터 큐브에 주는 이익을 계산한다. 3) 그 중 가장 이익이 큰 것을 선택한다. 3) 그중 가장 이익이 큰 것을 선택한다. 2)와 3)의 과정은 k개의 뷰를 선택할 경우, k번 반복된다. 이 알고리즘의 운영 시간은 데이터 큐브를 구성하는 뷰의 개수가 n개이고 그 중에서 k개를 실체화할 경우에 O(kn2)이다. 본 논문에서는 운영 시간을 향상시킨 수정된 greedy 알고리즘을 제안한다. 알고리즘 내부에서 실체화할 뷰를 선택할 때 격자를 단순화시킨 트리를 사용함으로써, 알고리즘 운영시간을 O(kn2)에서 O(kn)으로 향상시켰다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10b
• /
• pp.115-117
• /
• 2004

롤업과 드릴다운은 다차원 데이터 분석을 위한 주요 연산으로, 각 차원에 정의된 계층구조를 통해 상세 데이터로부터 점차적으로 되는 정보를 분석가에게 제공한다. 이러한 연산 속도를 고속화하기 위해 OLAP 시스템은 사전에 집계 테이블들을 생성해 놓는다. 각 차원은 다중 계층구조를 가질 수도 있으며, 이런 경우 집계 테이블들을 모두 생성하게 되면 데이터 폭발 현상이 발생하게 된다. 본 연구에서는 다중계층 구조를 분류하고, 집계 테이블과 데이터 큐브의 크기를 계산하는 모델을 정립하였다. 이를 통해 분석가는 다중 계층구조에 따른 큐브 크기를 미리 예측할 수 있으며 계층 구조의 모양과 개수를 변경하여 데이터의 양을 조절할 수 있다.