DOI QR코드

DOI QR Code

데이터 스트림 처리를 위한 윈도우 메모리 재배치의 비용 분석

Cost Analysis of Window Memory Relocation for Data Stream Processing

  • 이상돈 (국립목포대학교 공과대학 정보공학부)
  • 발행 : 2008.04.28

초록

본 논문에서는 데이터 스트림 환경에서 윈도우 기반 연산자를 대상으로 메모리와 연산 비용의 상대적인 이해득실 관계를 분석한다. 이를 위하여 기본적인 연산자 네트워크 구성 요소를 식별하고, 윈도우 메모리의 재배치를 통한 메모리 소요량의 감소 효과와, 이로 인한 추가적인 연산 비용의 규모를 산정하는 비용 모델을 수립한다. 이러한 비용 모델을 통해 윈도우 메모리의 재배치의 효용성을 확인하고, 이러한 접근 방법을 데이터 스트림 질의의 실행 계획 개선을 위해 효과적으로 활용할 수 있는 방법을 모색한다. 이를 통해 데이터 스트림 환경에서 질의 처리 및 최적화의 적용 영역을 확장시키고, 윈도우 메모리 재배치를 통한 질의최적화를 위한 비용 산정 모델의 토대를 제공한다.

This paper analyzes cost tradeoffs between memory usage and computation for window-based operators in data stream environments. It identifies generic operator network constructs, and sets up a cost model for the estimation of the expected memory reduction and the computation overheads when window memory relocations are applied to each operator network construct. This cost model helps to identify the utility of window memory relocations. It also helps to apply window memory relocation to improve a query execution plan to save memory usage. The proposed approach contributes to expand the scope of query processing and optimization in data stream environments. It also provides a basis to develop a cost estimation model for the query optimization using window memory relocations.

키워드

참고문헌

  1. C. Aggarwal, Data Streams: Models and Algorithms (Advances in Database Systems), 2006.
  2. N. Chaudhry, K. Shaw, and M. Abdelguerfi, Stream Data Management (Advances in Database Systems), 2005.
  3. J. Kang, J. F. Naughton, and S. D. Viglas: "Evaluating Window Joins over Unbounded Streams," In Proc. of the International Conference on Data Engineering (ICDE), Bangalore, India, 2003(3). https://doi.org/10.1109/ICDE.2003.1260804
  4. B. Babcock, S. Badu, M. Datar, R. V. Motwani, and J. Widom, "Models and Issues in Data Stream Systems," In Proc. of the 2002 ACM Symp. on Principles of Database Systems (PODS), 2002(6). https://doi.org/10.1145/543613.543615
  5. R. Motwani, J. Widom, A. Arasu, B. Babcock, S. Babu, M. Datar, G. Manku, C. Olston, J. Rosenstein, and R. Varma., "Query Processing, Resource Management, and Approximation in a Data Stream Management System," In Proc. of the 2003 Conference on Innovative Data Systems Research (CIDR), 2003(1).
  6. A. Arasu, B. Babcock. S. Babu, M. Datar, K. Ito, I. Nishizawa, J. Rosenstein, and J. Widom. "STREAM: The Stanford Stream Data Manager," In Proc. of the ACM Intl Conf. on Management of Data (SIGMOD 2003), 2003(6).
  7. D. Abadi, D. Carney, U. Cetintemel, M. Cherniack, C. Convey, S. Lee, M. Stonebraker, N. Tatbul, and S. Zdonik. "Aurora: A New Model and Architecture for Data Stream Management," the VLDB Journal, Vol.12, No.2, 2003(8). https://doi.org/10.1007/s00778-003-0095-z
  8. D. Carney, U. Cetintemel, M. Cherniack, C. Convey, S. Lee, G. Seidman, M. Stonebraker, N. Tatbul and S. Zdonik. "Monitoring Streams: A New Class of Data Management Applications," In Proc. of the 28th International Conference on Very Large Data Bases (VLDB'02), August 20-23, Hong Kong, China.
  9. S. Chandrasekaran, O. Cooper, A. Deshpande, M.Franklin, J.Hellerstein, W. Hong, S. Krishnamurthy, S. Madden, V. Raman, F. Reiss, and M. Shah, "TelegraphCQ: Continuous Dataflow Processing for an Uncertain World," In Proc. of the 2003 Conference on Innovative Data Systems Research (CIDR), 2003(1).