• Title/Summary/Keyword: 공간데이터웨어하우스

Search Result 46, Processing Time 0.025 seconds

A Summarization Method for Data Streams (데이터 스트림 정보 요약 기법)

  • Han, Sang-Gil;Lee, Won-Suk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.657-660
    • /
    • 2006
  • 최근까지 데이터웨어하우스와 OLAP 에 관한 연구와 더불어 데이터 큐브(data cube)는 많은 다차원 데이터웨어하우스에서 데이터 분석과 의사 결정 지원을 위해 빠르게 OLAP 연산을 처리하기 위한 중요한 역할을 수행해 왔다. 최근에는 빠른 속도로 생성됨과 동시에 지속적으로 발생되는 연속적인 데이터로 구성된 데이터 스트림이 네트워크 트래픽 모니터링, 증권, 날씨, 콜 센터 등과 같은 많은 분야에서 생성된다. 데이터 스트림은 무한의 집합이기 때문에 기존의 데이터 큐브 방법은 처리시간과 저장공간의 문제 때문에 데이터 스트림에 적용하기 어렵다. 이에 본 논문에서는 기존의 데이터 큐브와 같은 데이터의 요약 정보를 데이터 스트림 환경에서 제한된 메모리를 이용하여 관리 할 수 있는 전원트리를 이용한 데이터 스트림 요약 기법을 제안하고, 실험을 통해 본 논문에서 제안한 방법이 데이터 스트림 환경에서 적응적으로 동작함을 증명한다.

  • PDF

Data Cude Index to Support Integrated Multi-dimensional Concept Hierarchies in Spatial Data Warehouse (공간 데이터웨어하우스에서 통합된 다차원 개념 계층 지원을 위한 데이터 큐브 색인)

  • Lee, Dong-Wook;Baek, Sung-Ha;Kim, Gyoung-Bae;Bae, Hae-Young
    • Journal of Korea Multimedia Society
    • /
    • v.12 no.10
    • /
    • pp.1386-1396
    • /
    • 2009
  • Most decision support functions of spatial data warehouse rely on the OLAP operations upon a spatial cube. Meanwhile, higher performance is always guaranteed by indexing the cube, which stores huge amount of pre-aggregated information. Hierarchical Dwarf was proposed as a solution, which can be taken as an extension of the Dwarf, a compressed index for cube structures. However, it does not consider the spatial dimension and even aggregates incorrectly if there are redundant values at the lower levels. OLAP-favored Searching was proposed as a spatial hierarchy based OLAP operation, which employs the advantages of R-tree. Although it supports aggregating functions well against specified areas, it ignores the operations on the spatial dimensions. In this paper, an indexing approach, which aims at utilizing the concept hierarchy of the spatial cube for decision support, is proposed. The index consists of concept hierarchy trees of all dimensions, which are linked according to the tuples stored in the fact table. It saves storage cost by preventing identical trees from being created redundantly. Also, it reduces the OLAP operation cost by integrating the spatial and aspatial dimensions in the virtual concept hierarchy.

  • PDF

Constructing Spatial Data Warehouse for Forest Information Standardization Service of Municipal Governments (지자체 산림정보 표준화 서비스를 위한 공간 데이터웨어하우스 구축)

  • Jo, Yun-Won
    • Journal of the Korean Association of Geographic Information Studies
    • /
    • v.12 no.2
    • /
    • pp.11-22
    • /
    • 2009
  • Recently the integration and development of ST(Spatial Technology) and forest geographic information have been used very efficiently for the forest administration. However, even though many application system related to forest information have been developed and improved, there are still paper based inventories management and hand work for data construction and upgrade. In this study the forest information warehouse, which is mapped and managed at work-site operations, was constructed based GIS technology so that the standardization and consistency of current data could be acquired in real time. In addition, these thematic maps were conducted on high resolution satellite images and managed in web based forest information data warehouse form and finally shared through Internet for the very first-line administration officials. This study shows that the forest information standardization service of municipal governments very first time in the Korea and provides the unified decision making support and enterprise formed forest database so that is expected to be the very successful sample to suggest the prototype of national forest spatial data infrastructure.

  • PDF

Incremental Batch Update of Spatial Data Cube with Multi-dimensional Concept Hierarchies (다차원 개념 계층을 지원하는 공간 데이터 큐브의 점진적 일괄 갱신 기법)

  • Ok, Geun-Hyoung;Lee, Dong-Wook;You, Byeong-Seob;Lee, Jae-Dong;Bae, Hae-Young
    • Journal of Korea Multimedia Society
    • /
    • v.9 no.11
    • /
    • pp.1395-1409
    • /
    • 2006
  • A spatial data warehouse has spatial data cube composed of multi-dimensional data for efficient OLAP(On-Line Analytical Processing) operations. A spatial data cube supporting concept hierarchies holds huge amount of data so that many researches have studied a incremental update method for minimum modification of a spatial data cube. The Cube, however, compressed by eliminating prefix and suffix redundancy has coalescing paths that cause update inconsistencies for some updates can affect the aggregate value of coalesced cell that has no relationship with the update. In this paper, we propose incremental batch update method of a spatial data cube. The proposed method uses duplicated nodes and extended node structure to avoid update inconsistencies. If any collision is detected during update procedure, the shared node is duplicated and the duplicate is updated. As a result, compressed spatial data cube that includes concept hierarchies can be updated incrementally with no inconsistency. In performance evaluation, we show the proposed method is more efficient than other naive update methods.

  • PDF

Pre-aggregation Index Method Based on the Spatial Hierarchy in the Spatial Data Warehouse (공간 데이터 웨어하우스에서 공간 데이터의 개념계층기반 사전집계 색인 기법)

  • Jeon, Byung-Yun;Lee, Dong-Wook;You, Byeong-Seob;Kim, Gyoung-Bae;Bae, Hae-Young
    • Journal of Korea Multimedia Society
    • /
    • v.9 no.11
    • /
    • pp.1421-1434
    • /
    • 2006
  • Spatial data warehouses provide analytical information for decision supports using SOLAP (Spatial On-Line Analytical Processing) operations. Many researches have been studied to reduce analysis cost of SOLAP operations using pre-aggregation methods. These methods use the index composed of fixed size nodes for supporting the concept hierarchy. Therefore, these methods have many unused entries in sparse data area. Also, it is impossible to support the concept hierarchy in dense data area. In this paper, we propose a dynamic pre-aggregation index method based on the spatial hierarchy. The proposed method uses the level of the index for supporting the concept hierarchy. In sparse data area, if sibling nodes have a few used entries, those entries are integrated in a node and the parent entries share the node. In dense data area, if a node has many objects, the node is connected with linked list of several nodes and data is stored in linked nodes. Therefore, the proposed method saves the space of unused entries by integrating nodes. Moreover it can support the concept hierarchy because a node is not divided by linked nodes. Experimental result shows that the proposed method saves both space and aggregation search cost with the similar building cost of other methods.

  • PDF

Materialized View Selection for Datacube using Simplified Lattice in Datawarehouse (데이터웨어하우스에서 단순화된 격자를 이용한 데이터큐크의 실체뷰 선택)

  • Jang, Ji-Suk;Seo, Eun-Ju;Lee, Jeon-Yeong
    • Journal of KIISE:Software and Applications
    • /
    • v.26 no.5
    • /
    • pp.604-612
    • /
    • 1999
  • 데이터웨어하우스는 데이터분석을 위한 특수 목적의 데이터베이스로, 주로 데이터분석을 위한 질의(이하 OLAP 질의)가 던져진다. 그런데 OLAP질의는 수백만개의 레코드를 가지 테이블에 대해 하나 이상의 aggregation 함수와 group-by 연산자가 포함되므로, 질의 처리 시간은 수 분에서 수 시간이 걸린다. 이를 개선하기위하여 데이터 큐브를 구현함에 있어서의 문제는 디스크 공간이 한정되어 있기 때문에 평균 질의 처리 시간이 훨씬 짧아진다하더라도 모든 셀들을 실체화할수 없다. 따라서 한정된 디스크 공간을 최대한 활용하면서 가능한 빠른 평균 질의 처리 시간을 얻을 수 있도록 데이터 큐브의 일부만을 실체화 시켜야한다. 본 논문의 주제와 관련된 연구로는 Harinarayan[4] 이 제안한 greedy 알고리즘이 있다. 이 알고리즘은 1) 데이터 큐브를 격자구조로 표현한후, 2) 격자의 위에서부터 아래로 차례로 뷰들을 방문하면서 방문한 뷰가 실체화되 경우 데이터 큐브에 주는 이익을 계산한다. 3) 그 중 가장 이익이 큰 것을 선택한다. 3) 그중 가장 이익이 큰 것을 선택한다. 2)와 3)의 과정은 k개의 뷰를 선택할 경우, k번 반복된다. 이 알고리즘의 운영 시간은 데이터 큐브를 구성하는 뷰의 개수가 n개이고 그 중에서 k개를 실체화할 경우에 O(kn2)이다. 본 논문에서는 운영 시간을 향상시킨 수정된 greedy 알고리즘을 제안한다. 알고리즘 내부에서 실체화할 뷰를 선택할 때 격자를 단순화시킨 트리를 사용함으로써, 알고리즘 운영시간을 O(kn2)에서 O(kn)으로 향상시켰다.

The Materialized View Storage Method in a Data Warehouse using Database Cluster (데이터베이스 클러스터 기반의 데이터 웨어하우스에서 실체화 뷰 저장 기법)

  • 최준호;장용일;박순영;배해영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04b
    • /
    • pp.106-108
    • /
    • 2004
  • 데이터 웨어하우스는 OLAP의 질의 처리 성능을 놓이고 사용자에게 빠른 응답을 제공하기 위긴 데이터 큐브의 결과를 실체화된 뷰로 저장한다. 최적의 사용자 응답 시간을 제공하기 위해서는 데이터 큐브의 전체를 저장하는 것이 졸지만 실체화 뷰는 일반적으로 물리적 저장소에 저장되기 때문에 데이터 큐브 전체를 저장하는 것은 저장 공간의 오버헤드를 초래하는 문제점을 가진다. 본 논문에서는 데이터베이스 클러스터에 대용량의 실제화 부를 저장하는 기법을 제안한다. 제안하는 기법은 실체화 뷰의 선택 기준으로 부의 실체화 이익과 뷰들 간의 의존성을 데이터베이스 클러스터 환경에 맞게 제시하고 선택 기준에 따라 실체화 뷰를 서로 다른 노드에 저장함으로서 각 노드들의 실체화 이익을 균등하게 유지한다. 이는 질의가 하나의 노드에 집중되는 현상을 방지함으로서 각 노드의 효율성을 최대로 높일 수 있는 기법이다.

  • PDF

An Efficient Search Space Generation Technique for Optimal Materialized Views Selection in Data Warehouse Environment (데이타 웨어하우스 환경에서 최적 실체뷰 구성을 위한 효율적인 탐색공간 생성 기법)

  • Lee Tae-Hee;Chang Jae-young;Lee Sang-goo
    • Journal of KIISE:Databases
    • /
    • v.31 no.6
    • /
    • pp.585-595
    • /
    • 2004
  • A query processing is a critical issue in data warehouse environment since queries on data warehouses often involve hundreds of complex operations over large volumes of data. Data warehouses therefore build a large number of materialized views to increase the system performance. Which views to materialized is an important factor on the view maintenance cost as well as the query performance. The goal of materialized view selection problem is to select an optimal set of views that minimizes total query response time in addition to the view maintenance cost. In this paper, we present an efficient solution for the materialized view selection problem. Although the optimal selection of materialized views is NP-hard problem, we developed a feasible solution by utilizing the characteristics of relational operators such as join, selection, and grouping.

Materialized View Selection Algorithm using Clustering Technique in Data Warehouse (데이터 웨어하우스에서 클러스터링 기법을 이용한 실체화 뷰 선택 알고리즘)

  • Yang, Jin-Hyuk;Chung, In-Jeong
    • The Transactions of the Korea Information Processing Society
    • /
    • v.7 no.8
    • /
    • pp.2273-2286
    • /
    • 2000
  • In order to acquire the precise and fast response for an analytical query, proper selection of the views to materialize in data warehouse is very crucial. In traditional view selection algorithms, the whole relations are considered to be selected as materialized views. However, materializing the whole relations rather than a part of relations results in much worse performance in terms of time and space cost. Therefore, we present an improved algorithm for selection of views to materialize using clustering method to overcome the problem resulted from conventional view selection algorithms. In the presented algorithm, ASVMRT(Algorithm for Selection of Views to daterialize using Iteduced Table). we first generate reduced tables in clata warehouse using automatic clustering based on attrihute-values density, then we consider the combination of reduced tables as materialized views instead of the combination of the original hase relations. For the justification of the proposecl algorithm. we show the experimental results in which both time and space cost are approximately 1.8 times better than the conventional algorithms.

  • PDF

A New Data Warehousing System Architecture Supporting High Performance View Maintenance (고성능 뷰 관리르 지원하는 새로운 데이터 웨어하우징 시스템 구조)

  • Kim, Jeom-Su;Lee, Do-Heon;Lee, Dong-Ik
    • Journal of KIISE:Software and Applications
    • /
    • v.26 no.10
    • /
    • pp.1156-1166
    • /
    • 1999
  • 의사결정 시스템은 전사적인 의사결정과 전략적 정보수집을 위해 거대한 량의 정보를 빠른 시간내에 제공할 것을 요구한다. 데이타 웨어하우스는 이러한 정보를 신속히 제공하기 위해 여러 지역 데이타베이스로부터 필요한 정보를 사전에 추출하고 가공 및 통합하여 별도의 저장공간에 저장한다. 일반적으로, 웨어하우스 내의 정보는 지역 데이타베이스에 저장된 정보에 대한 실체화된 뷰로서 간주하며 지역 데이타의 변경에 따라 일관성을 유지하도록 반영해야 한다. 본 논문에서는 일관성을 유지하기 위해 정보 공유가 가능한 데이타 웨어하우스 시스템의 구조와 비-보상 실체 뷰 관리 기법을 제안한다. 본 논문에서 제안한 데이타 웨어하우스 시스템의 구조는 지역 데이타베이스에서 추출된 정보를 관리하는 별도의 지역 정보 관리자를 두어 뷰 관리자들 간의 정보 공유가 가능하게 한다. 비-보상 실체 뷰 관리 기법은 지역 데이타 변경 사건에 따른 뷰 관리 시 다른 사건에 의해 영향을 받지 않도록 하기 때문에 기본의 사전 보상이나 나중 보상 기법과는 달리 추가적인 질의 처리를 요구하지 않는 기법이다.Abstract A decision support system(DSS) commonly requires fast access to tremendous volume of information. A data warehouse is a database storing the information that is extracted, filtered and integrated from several relevant local databases to reply upon aggregated queries. The information stored in the data warehouse can be regarded as materialized views. The materialized view has to be modified according to the change of the corresponding local databases to preserve the data consistency. In this paper, we propose a data warehousing system architecture allowing information sharing (DAWINS), and a non-compensating materialized view maintenance algorithm(NCA). DAWINS architecture allows relevant information to be shared by individual view managers with local data manager for each local database. Unlikely to the pre- or post-compensating algorithms, which are required to remove the effects of some events to other view in the process of view maintenance, NCA does not require any additional query processing, since a local data manager in DAWINS already maintains the effects of update events occurring in local systems.