An Efficient Incremental View Maintenance in Data Warehouses

데이타 웨어하우스에서 효과적인 점진적 뷰 관리

  • 이기용 (한국과학기술원 전산학과) ;
  • 김명호 (한국과학기술원 전산학과)
  • Published : 2000.06.30

Abstract

A data warehouse is an integrated and summarized collection of data that can efficiently support decision making process. The summarized data at the data warehouse is often stored in materialized views. These materialized views need to be updated when source data change. Since the propagation of updates to the views may impose a significant overhead, it is very important to update the warehouse views efficiently. Though various strategies have been proposed to maintain views in the past, they typically require too much accesses to the data sources when the changes of multiple data sources have to be reflected in the view. In this paper we propose an efficient view update strategy that uses relatively small number of accesses to the data sources. We also show the performance advantage of our method over other existing methods through experiments using TPC-D data and queries.

데이타 웨어하우스는 외부 데이타를 통합 요약하여 저장하는 시스템으로, 의사 결정에 필요한 정보를 효과적으로 제공할 수 있다. 대부분의 데이타 웨어하우스에서는 데이타를 정랴한 결과를 형성(materialized) 뷰의 형태로 저장한다. 이 때 뷰가 정의된 데이타 소스가 변화하면 뷰는 이를 반영하기 위 해 갱신되어야 한다. 뷰에 대한 갱신 작업은 상당한 부하를 야기시킬 수 있으므로, 이러한 갱신 작업을 효율적으로 수행하는 것은 매우 중요한 문제가 된다. 이미 뷰의 효율적인 갱신 방법에 대해서는 많은 연구 가 이루어져 왔다. 그러나 뷰가 여러 개의 데이타 소스에 의해 정의되고 이들 중 둘 이상의 데이타 소스가 변화된 경우, 이를 뷰에 반영하기 위해서 기존의 방법들은 데이타 소스에 대해 많은 수의 접근이 이루어져야 한다. 본 논문에서는 여러 개의 데이타 소스에 변화가 일어난 경우, 기존 연구에 비해 데이타 소스에 대한 접근을 줄일 수 있는 효율적인 뷰 갱신 방법을 제안한다 . 그리고 TPC-D 데이타를 사용한 실험을 통하여 본 논문에서 제안한 방법이 기존의 방법들보다 성능이 우수하다는 것을 보인다.

Keywords

References

  1. W. H. Inmon, 'Building the Data Warehouse,' WILEY COMPUTER PUBLISHING, 1996
  2. J. Widom. 'Research Problems in Data Warehousing,' In Proceedings of 4th International Conference on Information and Knowledge Management, November 1995 https://doi.org/10.1145/221270.221319
  3. A. Gupta, I. S. Mumick, 'Maintenance of Materialized Views: Problems, Techniques, and Applications,' IEEE Data Eng. Bulletin, Special Issue on Materialized Views and Data Warehousing, Vol 18, No. 2, 1995
  4. Y. Zhuge, H. Garcia-Molina, J. Hammer, and J. Widom, 'View Maintenance in a Warehousing Environment,' In Proceedings of ACM SIGMOD Confernece, 1995 https://doi.org/10.1145/223784.223848
  5. Y. Zhuge, H. Garcia-Molina, and J. L. Wiener, 'The Strobe Algorithms for Multi-Source Warehouse Consistency,' In Proceedings of the International Conference on Parallel and Distributed Information Systems, December 1996 https://doi.org/10.1109/PDIS.1996.568676
  6. D. Agrawal, A. E. Abbadi, A. Singh, and T. Yurek, 'Efficient View Maintenance at Data Warehouses,' In Proceedings of ACM SIGMOD Conference, 1997 https://doi.org/10.1145/253262.253355
  7. I. S. Mumick, D. Quass, and B. S. Mumick, 'Maintenance of Data Cubes and Summary Tables in a Warehouse,' In Proceedings of ACM SIGMOD Conference, 1999
  8. J. A. Blakeley, P. Larson, F. W. Tompa, 'Efficiently Updating Materialized Views,' In Proceedings of ACM SIGMOD Conference, p61-71, 1986 https://doi.org/10.1145/16894.16861
  9. A. Gupta, I. S. Mumick, and V. S. Subrahmanian, 'Maintaining views incrementally,' In Proceedings of ACM SIGMOD Conference, p157-166, 1993 https://doi.org/10.1145/170035.170066
  10. T. Griffin and L. Libkin, 'Incremental maintenance of views with duplicates,' In Proceedings of ACM SIGMOD Conference, p328-339, 1995 https://doi.org/10.1145/568271.223849
  11. D. Quass, 'Maintenance expressions for views with aggregation,' In Workshop on Materialized Views: Techniques and Applications, June 1996
  12. W. J. Labio, R. Yerneni, and H. Garcia-Molina, 'Shrinking the Warehouse Update Window,' In Proceedings of ACM SIGMOD Conference, 1999 https://doi.org/10.1145/304182.304216
  13. L. S. Colby, T. Griffin, L. Libkin, I. S. Mumick, and H. Trickey, 'Algorithms for deferred view maintenance', In Proceedings of ACM SIGMOD Conference, p469-492, 1996 https://doi.org/10.1145/235968.233364
  14. V. Harinarayan, A. Rajaraman, and J. Ullman, 'Implementing data cubes efficiently,' In Proceedings of ACM SIGMOD Conference, p205-216, 1996 https://doi.org/10.1145/235968.233333
  15. TPC Committee, Transaction Processing Council, http://www.tpc.org/