대용량 데이터스트림 실시간 압축 저장을 위한 저장관리자 설계 및 구현

Design and Implementation of Storage Manager for Real-Time Compressed Storing of Large Volume Datastream

  • 발행 : 2009.09.30

초록

유비쿼터스 환경에서 발생하는 실시간 데이터스트림의 처리 및 관리에 대한 요구사항이 증가되고 있다. 특히 인터넷 보안, 공장 자동화 기기설비 관리 등에서 발생하는 데이터스트림은 대용량 데이터가 실시간으로 발생하는 특징을 가지고 있어 이를 처리하기 위한 특화된 DSMS의 저장관리자의 개발이 요구된다. Coral8과 같은 기존의 DSMS의 경우 일반적인 데이터스트림의 처리가 가능 하지만 초당 10만 건 이상의 대용량의 실시간 데이터스트림이 발생하는 특수한 상황의 경우 이에 대한 처리 성능이 부족하며, 이에 대한 저장이 불가능하다. 관련 분야에서 일반적으로 사용되는 오라클10g의 경우 저장, 관리 성능은 우수하지만 실시간 데이터스트림 처리에 대한 고려가 되어 있지 않다. 본 논문에서는 삼성전자, 하이닉스, HP 등에 반도체, LCD 제조공장의 생산 기계에서 발생하는 대용량 데이터스트림을 실시간 압축 저장이 가능한 DSMS 저장관리자를 설계 및 구현하였다. 본 문에서는 시스템의 구조 및 주요 컴포넌트에 대해 설명하며, 관련시스템과 비교 평가를 통해 제안 시스템의 우수성을 보인다.

Requirement level regarding processing and managing real-time datastream in an ubiquitous environment is increased. Especially, due to the unbounded, high frequency and real-time characteristics of datastream, development of specialized stroge manager for DSMS is necessary to process such datastream. Existing DSMS, e.g. Coral8, can support datastream processing but it is not scalable and cannot perform well when handling large-volume real-time datastream, e.g. 100 thousand over per second. In the case of Oracle10g, which is generally used in related field, it supports storing and management processing. However, it does not support real-time datastream processing. In this paper, we propose specialized storage manager of DSMS for real-time compressed storing on semiconductor or LCD production facility of Samsung electronics, Hynix and HP. Hynix and HP. This paper describes the proposed system architecture and major components and show better performance of the proposed system compared with similar systems in the experiment section.

키워드

참고문헌

  1. An e-Manufacturing Strategy Need Developed from the Manufacturing Strategy, AMR Research, Inc, August, 2000.
  2. B. Babcock, S. Babu, M. Datar, R. Motwani, and J. Widom, "Models and Issues in Data Stream Systems", PODS, 2002.
  3. Coral8CclReference.pdf, www.coral8.com.
  4. Coral8TechnologyOverview.pdf, www.coral8.com
  5. D. Carney, U. Cetinternel, M. Cherniack, C. Convey, S. Lee, G. Seidman, M. Stonebraker, N. Tatbul, and S. Zdonik, "Monitoring Streams - A New Cless of Data Management Applications," VLDB 2002.
  6. D. J.Abadi, D. Carney, U. Centintemel, M. Cherniack, C. Convey, S. Lee, M. Stonebraker, N. Tatbul, S. Zdonik, "Aurora : A New Model and Architecture for Data StreamManagement." VLDB Journal, 2003. https://doi.org/10.1007/s00778-003-0095-z
  7. EES Framework.pdf, www.bistel-inc.com.
  8. Equipment Engineering Capabilities (EEC) guidelines, v2.5, International SEMATECH, ismi. sematech.org.
  9. L. Golab, M. TamerOzsu, "Issues in Data Stream Management", SIGMOD Vol. 32, 2003.
  10. M. Koc, J. Ni, and J. Lee, "Introduction of e-Manufacturing", NAMRC 2003 e-Manufacturing Panel, McMaster University, May, 2003.
  11. S. Chandrasekharan, O. Cooper, A. Deshpande, M. Franklin, J. Hellerstein, W. Hong, S. Krishnamurthy, S. Madden, V. Raman, F. Reiss, and M. Shah, "TelegraphCQ: Coninuous Dataflow Processing for an UncertainWorld", In Processdings of CDIR, 2003.
  12. Solution Peak Perfromance Overview.pdf, www.bistel-inc.com.
  13. Streambase_RealTimeFederal.pdf,www.streambase.com.
  14. StreamBaseRealTimeWhitepaperJan2006.pdf, www.streambase.com.
  15. Y. C. Su, F. T. Cheng, M. H. Hung, and H. C. Huang, "Intelligent Prognostics System Design and Implementation", IEEE Transactions on Semiconductor Manufacturing, vol. May 2006.