• KIISE Transactions on Computing Practices
• /
• v.21 no.8
• /
• pp.537-542
• /
• 2015

Database Shard is a technique that can be queried and stored by dividing one logical table into multiple databases horizontally. In order to analyze the shard data with aggregate or analysis functions, a process is required that integrates partial results on each shard database. In this paper, we introduce the design and implementation of a distributed processing system for aggregation and analysis on the CUBRID Shard distributed database, which is an open source database management system. The implemented system can accelerate the analysis onto multiple shards of partitioned tables; it shows efficient aggregation on shard distributed databases compared to stand-alone databases.

• Journal of KIISE
• /
• v.44 no.7
• /
• pp.703-709
• /
• 2017

Outsourcing databases is to offload storage and computationally intensive tasks to the third party server. Therefore, data owners can manage big data, and handle queries from clients, without building a costly infrastructure. However, because of the insecurity of network systems, the third-party server may be untrusted, thus the query results from the server may be tampered with. This problem has motivated significant research efforts on authenticating various queries such as range query, kNN query, function query, etc. Although aggregation queries play a key role in analyzing big data, authenticating aggregation queries has not been extensively studied, and the previous works are not efficient for data with high dimension or a large number of distinct values. In this paper, we propose the AMR-tree that is a data structure, applied to authenticate aggregation queries. We also propose an efficient proof construction method and a verification method with the AMR-tree. Furthermore, we validate the performance of the proposed algorithm by conducting various experiments through changing parameters such as the number of distinct values, the number of records, and the dimension of data.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2006.05a
• /
• pp.7-10
• /
• 2006

센서 네트워크는 네트워크와 센서 노드의 에너지 효율성을 크게 고려해야 하므로 데이터 처리에 있어서 네트워크상 쿼리를 주고받는 구조로 설계될 수 있다. 이때, 집계 연산이 중요한 서비스로 제공되어져야 할 필요가 있으며 기존에 지원되지 못한 쿼리를 제안하고 에너지 효율적으로 질의를 처리하기 위한 방법으로 데이터웨어하우징에서 연구되고 있는 점진적 뷰 관리 기법을 적용하였다. 센서 네트워크에서 각 센서 노드들의 집계값에 대해 새로운 값이 추가 되었을 때 실체뷰와 점진적 뷰 관리기법을 이용하여 모든 센서값을 저장하지 않고서 센서 노드의 메모리와 에너지 효율적으로 집계값을 구하는 기법을 제안하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.11a
• /
• pp.1207-1210
• /
• 2013

최근 들어 맵리듀스는 빅데이터 처리의 표준 기술로 자리잡고 있다. 빅데이터 분석에 널리 쓰이는 질의 중 하나는 집계(aggregate) 질의이다. 본 논문에서는 서로 다른 집계 질의가 계속적으로 요청되는 환경에서, 맵리듀스를 사용하여 이들 질의를 효율적으로 처리하는 방법을 제안한다. 제안 방법은 여러 집계 질의를 하나의 효율적인 맵리듀스 잡(job)으로 묶어 일괄 처리함으로써, 단순 방법에 비해 시간당 처리되는 질의 수를 크게 증가시킨다. 성능 평가를 통해, 제안 방법은 단순 방법에 비해 처리 성능을 크게 향상시킴을 확인하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06c
• /
• pp.21-25
• /
• 2008

온라인 분석 처리(On-Line Analytical Processing: OLAP)은 데이터 웨어하우스로부터 다차원 데이터를 분석하거나 의사 결정을 위한 유용한 정보를 제공하고 있다. 데이터 분석을 위해, OLAP에서는 다차원 데이터를 표현한 스프레드시트(spreadsheet) 또는 피벗 테이블(PIVOT table)을 널리 사용하고 있다. 스프레드시트와 피벗 테이블은 서로 유사한 형태로써 분석의 기준이 되는 애트리뷰트들이 많은 구조이다. 사용자들은 흔히 사용되고 있는 SQL 구문을 이용하여 스프레드시트 또는 피벗 테이블에서 손쉬운 데이터 분석을 요구한다. 그러나, RDBMS에서 제공하는 SQL 구문의 사용으로, 이는 다차원 데이터를 효과적으로 분석할 수 없다. 그 이유는 SQL 구문이 다양한 데이터 분석의 목적으로 사용되거나, 요약된 집계 정보를 도출하는 데 한계가 있기 때문이다. 따라서, 본 연구에서는 SQL 구문을 확장하여 다차원 데이터를 표현한 스프레드시트를 손쉽게 조작하고, 요약된 집계를 계산하는 셀(cell) 구문을 제안한다. 이 방법은 스프레드시트와 피벗 테이블에서 행과 열이 교차하는 좌표(coordinate)를 이용하여, 특정 셀의 조작 및 선택한 부분/전체 영역에 대한 집계 정보를 계산하는 방법이다. 결과적으로, RDBMS에서 사용되는 SQL 구문이 친숙한 사용자들이 제안한 셀 구문을 이용하면, 다양한 관점에 따라 손쉽게 스프레드시트와 피벗 테이블을 다룰 수 있을 것으로 사료된다.

• The Journal of Information Technology and Database
• /
• v.4 no.1
• /
• pp.19-30
• /
• 1997

시간지원 데이터 모델은 시간 의미를 데이터 모델에 추가하여 시간에 따라 변화된 정보를 처리할 수 있는 데이터 모델이다. 시간지원 데이터 모델은 실세계에서 사건이 발생한 시간인 유효시간을 지원하는 데이터 모델과 데이터가 수록된 시간을 지원하는 거래시간 데이터 모델 그리고 거래시간과 유효시간을 모두 지원하는 이원시간 데이터 모델이 있다. 대부분이 시간지원 데이터 모델은 관계형 모델을 확장하여 시간지원 데이터를 처리할 수 있도록 설계된다. 시간지원 데이터 모델의 두 부류는 시간을 결합하는 단위에 따라 튜플 타임스탬프와 속성 타임스탬프의 두 가지 형식이 있다. 본 논문은 데이터 모델에서 시간 추가를 위한 기본적인 시간 개념과 시간지원 데이터 모델을 위한 고려사항을 나타낸다. 그리고 시간지원 데이터 모델을 지원시간에 따라 비교하였으며, 유효시간이 지원되는 시간지원 집계에 적합한 데이터 모델을 제안하였다.

• Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography
• /
• v.24 no.1
• /
• pp.131-138
• /
• 2006

Recently, data gathering and algorithm developing are in progress for the GIS application using point feature. Several researches prove that verification of the spatial clustering and evaluation of inter-dependencies between event and control are possible. On the other hand, most of the point features as GIS data are gathered by indirect method, such as address geo-coding, rather than by direct method, such as field surveying. Futhermore, lots of statistics by administrative district based on the point features have no coordinates information of the points. In this study, calculating the K-index in GIS environment, to evaluate the effect of aggregation of raw data on K-index, K-indices estimated from raw data (parcel unit), topographically aggregated data (block unit), administratively aggregated data (administrative district unit) are compared and evaluated. As a result, point feature, highly clustered in local area, is largely distorted when aggregated administratively. But, the K-indices of topographically aggregated data is very similar to the K-indices of raw data.

• Journal of the Korea Society of Computer and Information
• /
• v.14 no.1
• /
• pp.217-228
• /
• 2009

Data analysis applications typically aggregate data across many dimensions looking for unusual patterns in data. Even though such applications are usually possible with standard structured query language (SQL) queries, the queries may become very complex. A complex query may result in many scans of the base table, leading to poor performance. Because online analytical processing (OLAP) queries are usually complex, it is desired to define a new operator for aggregation, called the data cube or simply cube. Data cube supports OLAP tasks like aggregation and sub-totals. Many aggregate functions can be used to construct a data cube. Those functions can be classified into three categories, the distributive, the algebraic, and the holistic. It has been thought that the distributive functions such as SUM, COUNT, MAX, and MIN can be used to construct a data cube, and also the algebraic function such as AVG can be used if the function is replaced to an intermediate function. It is believed that even though AVG is not distributive, but the intermediate function (SUM, COUNT) is distributive, and AVG can certainly be computed from (SUM, COUNT). In this paper, however, it is found that the intermediate function (SUM COUNT) cannot be applied to OLAP cubes, and consequently the function leads to erroneous conclusions and decisions. The objective of this study is to identify some problems in applying aggregate function AVG to OLAP cubes, and to design a process for solving these problems.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10b
• /
• pp.178-180
• /
• 2004

OLAP(On-Line Analytical Processing)은 데이터 웨어하우스 내의 방대한 양의 데이터에 대해 사용자와의 상호 작용이 가능하도록 질의에 대하여 빠른 응답성능을 보장해야 한다. 이를 위해 OLAP 시스템은 데이터에 대한 다량의 다차원 집계 연산을 수행해야 하기 때문에, 일반적으로 사전 연산 결과를 저장하여 직접적인 집계 연산을 줄임으로써 응답 성능을 놓이는 방법을 사용하고 있다 OLAP 다차원 데이터의 희박성은 이러한 사전 연산 시 데이터 폭발 현상을 일으켜 도리어 성능을 저하시키는 요인으로 작용할 수 있다. 본 논문에서는 데이터의 희박성과 성능 문제에 대해 고찰하고 OLAP 응용에서 발생할 수 있는 다차원 데이터의 희박성 패턴에 대해 정의하였다. 또한 정의된 패턴에 따라 희박 데이터를 생성하는 데이터 생성기를 구현하고 이를 이용하여 생성된 데이터를 기반으로 MS SQL Server Analysis Services와 Pilot DSS의 두 OLAP 제품의 성능을 평가하고 결과를 비교하였다.

• Journal of Korea Multimedia Society
• /
• v.9 no.11
• /
• pp.1421-1434
• /
• 2006

Spatial data warehouses provide analytical information for decision supports using SOLAP (Spatial On-Line Analytical Processing) operations. Many researches have been studied to reduce analysis cost of SOLAP operations using pre-aggregation methods. These methods use the index composed of fixed size nodes for supporting the concept hierarchy. Therefore, these methods have many unused entries in sparse data area. Also, it is impossible to support the concept hierarchy in dense data area. In this paper, we propose a dynamic pre-aggregation index method based on the spatial hierarchy. The proposed method uses the level of the index for supporting the concept hierarchy. In sparse data area, if sibling nodes have a few used entries, those entries are integrated in a node and the parent entries share the node. In dense data area, if a node has many objects, the node is connected with linked list of several nodes and data is stored in linked nodes. Therefore, the proposed method saves the space of unused entries by integrating nodes. Moreover it can support the concept hierarchy because a node is not divided by linked nodes. Experimental result shows that the proposed method saves both space and aggregation search cost with the similar building cost of other methods.