DOI QR코드

DOI QR Code

An Efficient Management and Sliding Window Query for Real-Time Stream Data to Require frequent Update

빈번한 변경을 요구하는 실시간 스트림 데이터의 효율적 관리 및 슬라이딩 윈도우 질의

  • Published : 2008.03.31

Abstract

Recently, the operator modules to control external devices are concerned about automatic management system to process continuously changed signals. These signals are the stream data of which characteristics are several numbers. a short report interval and asynchronous report time. It is necessary that the system brings about high accuracy and real time process for stream data. The typical queries of these systems consist of the current query to search the latest signal value, the snapshot query at a past time, the sliding window query from a past time to current. In this paper, we propose the efficient method to manage the above signals by using a file structured database in small-size operating systems. We also propose a query model to accommodate various queries including the sliding window query. The file database in the QNX adopts a delta version and a shared memory buffering method for the resource limit of a small storage and a low computing power.

최근 다수의 외부 장치를 제어하는 시스템에서는 빈번하게 변하는 신호의 이력을 자동적으로 관리하는 기법이 요구된다. 그 신호들은 스트림 데이터로서 다양한 종류, 짧은 보고 주기, 비동기적인 보고시간을 가진다. 또한 처리시스템은 스트림 데이터에 대해 높은 신뢰성과 실시간 처리를 필요로 한다. 그리고 스트림 데이터에 대한 질의는 최신의 값을 검색하는 현재 질의, 과거 특정시점의 값을 검색하는 스냅샷 질의, 과거부터 현재까지의 값들을 검색하는 슬라이딩 윈도우 질의 등이 있다. 이 논문에서는 소규모 운영체제에서 파일 구조화된 데이터베이스를 이용하여 스트림 데이터들을 효율적으로 저장하고 관리하는 기법을 제안하고자한다. 그리고 스트림 데이터에 대한 슬라이딩 윈도우 질의를 포함한 다양한 질의를 수용하는 질의 모델을 제안한다. 파일 기반 데이터 베이스는 QNX의 적은 저장장치, 낮은 계산 능력을 감안하여 델타버전과 공유메모리 버퍼링 등의 방법을 도입한다.

Keywords

References

  1. QNX Software Systems, http://www.qnx.com/
  2. PROFIBUS International Open Solutions for the World of Automation, http://www.profibus.com/
  3. "PROFIBUS Specification," Normative Parts of PROFIBUS -FMS, -DP, -PA according to the European Standard EN 50 170 Volume 2, Edition 1.0, March, 1998
  4. S. Chandrasekaran, O. Cooper, A. Deshpande, M. J. Franklin, J.M. Hellerstein, W. Hong, S. Krishnamurthy, S. Madden, V Raman, F Reiss, M Shah, "TelegraphCQ:Continuous Dataflow Processing for an Uncertain World", Proc. of CIDR Conf. 2003
  5. J Chen, D. J. Dewitt, F Tian, Y Wang, "NiagaraCQ : A Sxalable Continuous Query system for Internet Databases", ACM SIGMOD. pp.379-390, 2000
  6. 김진덕, 진교홍, 이성진, 정해원, "빈번한 변경이 요구되는 데이터의 효율적인 실시간 처리 기법", 한국해양정보통신학회 춘계종합학술대회, 10권 1호, 2006
  7. 박재관, 홍봉희, 반재훈, "RFID 스트리밍 데이터 처리를 위한 연속 질의의 변환 기법", 정보처리학회논문지 D, 14-D권, pp. 273-284, 2007 https://doi.org/10.3745/KIPSTD.2007.14-D.3.273
  8. D. Carney, U. Çetintemel, M. Cherniack, C. Convey, S. Lee, G. Seidman, M. Stonebraker, N. Tatbul, S. B. Zdonik, "Monitoring Streams - A New Class of Data Management Applications", VLDB pp. 215-226, 2002