• 제목/요약/키워드: data warehousing

검색결과 91건 처리시간 0.031초

데이터웨어하우징에서 자립유지를 지향하는 실체뷰 관리 정책 (Policy of Managing Materialized Views by Orienting toward Self-Maintenance in Data Warehousing)

  • 김근형
    • Asia pacific journal of information systems
    • /
    • 제13권4호
    • /
    • pp.191-206
    • /
    • 2003
  • More views in data warehouse, can respond to the users more rapidly because the user's requests might be processed by accessing only the materialized views with higher probabilities rather than accessing base relations. But, the update duration for maintaining materialized views limits the number of materialized views in data warehouse. In this paper, we propose the algorithm for reducing update duration of materialized views, of which aggregation functions are maintained by self-maintenance. We also implement the proposed algorithm and evaluate the performance of the algorithm.

일개지역의 보건의료서비스 이용 평가;Y지역의 대학병원과 보건소 데이터베이스를 통하여 (Evaluation on Utilization of the Health Care Service in One Urban Area in Korea)

  • 이병화;안성희
    • 간호행정학회지
    • /
    • 제11권4호
    • /
    • pp.401-414
    • /
    • 2005
  • Purpose: This study was to evaluate the utilization of health care service and to provide supportive data for health care policy making in one urban area in Korea. Method: This study tested the significance of public health service using the database of an university hospital and public health center from Feb. 2000 to Dec. 2004. Data were analyzed by multidimensional analysis and data mining technique and produced the information on the classification of utilization characteristics by main disease and the total cost of use and disease association with the users of the public health center. Results: The Results were as follows: 1) Top 10 diseases in the area accounted for 22.4% of total frequency for the most recent 5 years in university hospital, while 59.0% in public health center. 2) There were significant correlations between university hospital and public health center user's insurance type and place of residence: It showed higher use of public health center for free service beneficiaries residing in Seoul than residents in nearby or local area. The medical insurance types for hospital users were more various than those for public health center users. 3) The use of hospital for patients of hypertension, diabetes mellitus and hyperlipidemia was tended to concentrate in mostly autumn and winter since August 2000, while the cost of using public health center for those patients has been steadily reduced since July 2000. 4) As a result of cluster analysis, there were classified into three homogeneous groups according to the total cost of using public health service, age, and the frequency of use. 5) The association analysis on patients with chronic disease in public health center produced a detailed information on accompanying diseases related to the incidence rate of disease of high frequency due to aging, information on drug abuse and immune disease. Conclusion: The health care policy for local community should be evaluated continuously. And the policy to build an integrated data warehousing by public health indicator system and to enhance the faithfulness of data is required.

  • PDF

고성능 뷰 관리르 지원하는 새로운 데이터 웨어하우징 시스템 구조 (A New Data Warehousing System Architecture Supporting High Performance View Maintenance)

  • 김점수;이도헌;이동익
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권10호
    • /
    • pp.1156-1166
    • /
    • 1999
  • 의사결정 시스템은 전사적인 의사결정과 전략적 정보수집을 위해 거대한 량의 정보를 빠른 시간내에 제공할 것을 요구한다. 데이타 웨어하우스는 이러한 정보를 신속히 제공하기 위해 여러 지역 데이타베이스로부터 필요한 정보를 사전에 추출하고 가공 및 통합하여 별도의 저장공간에 저장한다. 일반적으로, 웨어하우스 내의 정보는 지역 데이타베이스에 저장된 정보에 대한 실체화된 뷰로서 간주하며 지역 데이타의 변경에 따라 일관성을 유지하도록 반영해야 한다. 본 논문에서는 일관성을 유지하기 위해 정보 공유가 가능한 데이타 웨어하우스 시스템의 구조와 비-보상 실체 뷰 관리 기법을 제안한다. 본 논문에서 제안한 데이타 웨어하우스 시스템의 구조는 지역 데이타베이스에서 추출된 정보를 관리하는 별도의 지역 정보 관리자를 두어 뷰 관리자들 간의 정보 공유가 가능하게 한다. 비-보상 실체 뷰 관리 기법은 지역 데이타 변경 사건에 따른 뷰 관리 시 다른 사건에 의해 영향을 받지 않도록 하기 때문에 기본의 사전 보상이나 나중 보상 기법과는 달리 추가적인 질의 처리를 요구하지 않는 기법이다.Abstract A decision support system(DSS) commonly requires fast access to tremendous volume of information. A data warehouse is a database storing the information that is extracted, filtered and integrated from several relevant local databases to reply upon aggregated queries. The information stored in the data warehouse can be regarded as materialized views. The materialized view has to be modified according to the change of the corresponding local databases to preserve the data consistency. In this paper, we propose a data warehousing system architecture allowing information sharing (DAWINS), and a non-compensating materialized view maintenance algorithm(NCA). DAWINS architecture allows relevant information to be shared by individual view managers with local data manager for each local database. Unlikely to the pre- or post-compensating algorithms, which are required to remove the effects of some events to other view in the process of view maintenance, NCA does not require any additional query processing, since a local data manager in DAWINS already maintains the effects of update events occurring in local systems.

Development of the Design Methodology for Large-scale Data Warehouse based on MongoDB

  • Lee, Junho;Joo, Kyungsoo
    • 한국컴퓨터정보학회논문지
    • /
    • 제23권3호
    • /
    • pp.49-54
    • /
    • 2018
  • A data warehouse is a system that collectively manages and integrates data of a company. And provides the basis for decision making for management strategy. Nowadays, analysis data volumes are reaching critical size challenging traditional data ware housing approaches. Current implemented solutions are mainly based on relational database that are no longer adapted to these data volume. NoSQL solutions allow us to consider new approaches for data warehousing, especially from the multidimensional data management point of view. In this paper, we extend the data warehouse design methodology based on relational database using star schema, and have developed a consistent design methodology from information requirement analysis to data warehouse construction for large scale data warehouse construction based on MongoDB, one of NoSQL.

관계형 OLAP 데이터 웨어하우징 환경에서 조인과 집계함수를 포함하는 질의의 효율적인 처리 (Efficient Processin of Queries with Joints and Aggregate Functions in ROLAP Data Warehousing Environment)

  • 김진호;김윤호;김상욱
    • 전자공학회논문지CI
    • /
    • 제39권5호
    • /
    • pp.1-10
    • /
    • 2002
  • 대용량의 데이터가 저장되는 데이터 웨어하우징 환경에서 조인이나 집계 함수와 같은 고비용의 연산의 효율적인 처리는 매우 중요하다. 본 논문에서는 집계 함수(aggregate function)와 조인(join)이 모두 포함된 질의를 처리하는 새로운 기법을 제안한다. 제안하는 기법은 먼저 차원 테이블(dimension table)을 미리 그루핑한 후, 비트맵 조인 인덱스(bitmap join index)를 이용하여 조인을 처리하는 방식을 사용한다. 이 결과, 사실 테이블(fact table)만을 접근하여 집계 함수를 처리함으로써 기존 기법이 가지는 성능 저하의 문제점을 해결할 수 있다. 기존 기법과 제안하는 기법에 대한 비용 모델(cost model)을 정립하고, TPC-H 벤치마크를 기반으로 하는 다양한 시뮬레이션을 수행함으로써 제안된 기법의 우수성을 규명한다.

Development of the Unified Database Design Methodology for Big Data Applications - based on MongoDB -

  • Lee, Junho;Joo, Kyungsoo
    • 한국컴퓨터정보학회논문지
    • /
    • 제23권3호
    • /
    • pp.41-48
    • /
    • 2018
  • The recent sudden increase of big data has characteristics such as continuous generation of data, large amount, and unstructured format. The existing relational database technologies are inadequate to handle such big data due to the limited processing speed and the significant storage expansion cost. Current implemented solutions are mainly based on relational database that are no longer adapted to these data volume. NoSQL solutions allow us to consider new approaches for data warehousing, especially from the multidimensional data management point of view. In this paper, we develop and propose the integrated design methodology based on MongoDB for big data applications. The proposed methodology is more scalable than the existing methodology, so it is easy to handle big data.

데이터 웨어하우징에서의 보안성 연구방향 (Security Direction on The Data Warehousing)

  • 심갑식
    • 정보보호학회지
    • /
    • 제7권3호
    • /
    • pp.123-130
    • /
    • 1997
  • 데이터 웨어하우스 이면의 있는 아이디어는 다양한 이질형 데이터베이스에 있는 데이터를 접근하는 것이 거추장 스럽다는 것이다. 이질적인 환경에서 질의를 처리하기 위해 몇 몇 처리 모듈들이 서로 협력할 필요가 있다. 그러므로 다양한 데이터 원천(source)들에서 본질적인 데이터를 함께 가져다 놓는 곳이 데이터 웨어하우스이다. 이런 방법에서 사용자들은 웨어하우스만을 질의한다. 데이터 웨어하우스 개발에서는 부가적인 보안 사항을 초래한다. 예를 들면, 다양한 데이터 탐사도구를 이용함으로써 정보를 연역할 수 있는가\ulcorner 데이터 웨어하우스를 위한 적당한 감사 프로시듀어는 무엇인가\ulcorner 본 연구에서는 데이터 웨어하우스에서의 보안 문제들을 알아본다.

  • PDF

A Semiotics Framework for Analyzing Data Provenance Research

  • Ram, Sudha;Liu, Jun
    • Journal of Computing Science and Engineering
    • /
    • 제2권3호
    • /
    • pp.221-248
    • /
    • 2008
  • Data provenance is the background knowledge that enables a piece of data to be interpreted and used correctly within context. The importance of tracking provenance is widely recognized, as witnessed by significant research in various areas including e-science, homeland security, and data warehousing and business intelligence. In order to further advance the research on data provenance, however, one must first understand the research that has been conducted to date and identify specific topics that merit further investigation. In this work, we develop a framework based on semiotics theory to assist in analyzing and comparing existing provenance research at the conceptual level. We provide a detailed review of data provenance research and compare and contrast the research based on d semiotics framework. We conclude with an identification of challenges that will drive future research in this field.

Optimized Entity Attribute Value Model: A Search Efficient Re-presentation of High Dimensional and Sparse Data

  • Paul, Razan;Latiful Hoque, Abu Sayed Md.
    • Interdisciplinary Bio Central
    • /
    • 제3권3호
    • /
    • pp.9.1-9.5
    • /
    • 2011
  • Entity Attribute Value (EAV) is the widely used solution to represent high dimensional and sparse data, but EAV is not search efficient for knowledge extraction. In this paper, we have proposed a search efficient data model: Optimized Entity Attribute Value (OEAV) for physical representation of high dimensional and sparse data as an alternative of widely used EAV. We have implemented both EAV and OEAV models in a data warehousing en-vironment and performed different relational and warehouse queries on both the models. The experimental results show that OEAV is dramatically search efficient and occupy less storage space compared to EAV.

Data Warehousing, Contextual Data Quality, and Problem Solving Performance

  • 정원진;박용태
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제14권2호
    • /
    • pp.237-256
    • /
    • 2005
  • 데이터 웨어하우스는 기업의 통합된 데이터의 저장하는 곳이며, 대게는 상당한 규모를 가지고 있다. 또한, 데이터 웨어하우스는 일반적으로 다양한 종류의 데이터를 저장함으로 데이터 웨어하우스에 저장된 데이터는 의사결정 임무에 따라서는 그 질적, 적합성에 차이를 나타내고는 한다. 이러한 데이터 웨어하우스의 특성으로 인해서 때로는 데이터 웨어하우스의 데이터의 효용성이 기업의 의사결정을 지원하는데 있어 제한적일 수 있다. 정보 시스템의 문헌에는 데이터의 질이 의사결정 성과에 미치는 영향에 대해서 많이 알려져 있지 않다. 그래서, 본 연구는 contextual data(상황적 데이터)의 질과 업무의 복잡성이 의사결정 성과에 미치는 영향에 대해서 탐구해보고자 한다. Contextual data의 질과 업무의 복잡성이 의사결정의 성과에 미치는 영향을 조사하기 위하여 웹을 기반으로 하는 데이터 웨어하우스를 이용하는 실험을 실행했다. 연구의 결과는 contextual data의 질이 의사결정의 성과에 영향을 미친다는 것을 통계적으로 보여주었다. 이러한 연구결과는 의사결정자의 의사결정 성과를 향상시키기 위해서는 데이터 웨어하우스의 contextual data의 질을 향상시켜야한다는 것을 제시하고 있다.

  • PDF