• Title/Summary/Keyword: 스트림데이터

Search Result 915, Processing Time 0.036 seconds

An Effective Stream Data Management System for the Incomplete Stream Data on Sensor Network (센서 네트워크에서의 불완전 스트림데이터를 위한 효율적인 스트림 데이터 관리 시스템)

  • Park, Eun-Ji;Byeon, Jeong-Woo;Choi, Da-Som;Kim, Jin-Han;Oh, Ryum-Duck
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.01a
    • /
    • pp.125-126
    • /
    • 2014
  • 센서 스트림 데이터는 센서 네트워크를 통해 수집되는 데이터로 실시간 처리를 요구하며, 연속적으로 끊임없이 발생하는 스트림 데이터이다. 이러한 스트림 데이터는 양이 방대하여 이를 저장하기가 매우 어려우며, 동시에 데이터를 검색하는 데에는 많은 시간이 소요된다. 본 논문에서는 센서 네트워크에서의 효율적인 스트림 데이터 처리 시스템을 제안한다. 이 시스템은 캐시테이블을 사용함으로써 데이터베이스에 최소화된 접근으로 데이터 스트림 관리 시스템의 성능을 개선하였다. 그리고 센서 네트워크에서 읽어 들여온 불완전 데이터를 효율적으로 정제하고 상위 단계로 전송한다.

  • PDF

Strategies and Cost Model for Spatial Data Stream Join (공간 데이터스트림을 위한 조인 전략 및 비용 모델)

  • Yoo, Ki-Hyun;Nam, Kwang-Woo
    • Journal of Korea Spatial Information System Society
    • /
    • v.10 no.4
    • /
    • pp.59-66
    • /
    • 2008
  • GeoSensor network means sensor network infra and related software of specific form monitoring a variety of circumstances over geospatial. And these GeoSensor network is implemented by mixing data stream with spatial attribute, spatial relation. But, until a recent date sensor network system has been concentrated on a store and search method of sensor data stream except for a spatial information. In this paper, we propose a definition of spatial data stream and its join strategy model at GeoSensor network, which combine data stream with spatial data. Spatial data stream s defining in this paper are dynamic spatial data stream of a moving object type and static spatial data stream of a fixed type. Dynamic spatial data stream is data stream transmitted by moving sensor as GPS, while static spatial data stream is generated by joining a data stream of general sensor and a relation with location values of these sensors. This paper propose joins of dynamic spatial data stream and static spatial data stream, and cost models estimating join cost. Finally, we show verification of proposed cost models and performance by join strategy.

  • PDF

Circular Buffer Technique for Storing Data Stream (데이터 스트림 저장을 위한 순환버퍼 기법)

  • Shin, Jae-Jyn;You, Byeong-Seob;Eo, Sang-Hun;Lee, Dong-Wook;Bae, Hea-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2007.05a
    • /
    • pp.20-23
    • /
    • 2007
  • 본 논문은 데이터 스트림의 저장을 위한 순환버퍼 기법을 제안한다. 빠르고 많은 입력을 가지는 데이터 스트림의 처리를 위해 DSMS(Data Stream Management System)란 새로운 시스템에 대한 연구가 활발히 진행되고 있다. 현재 입력되고 있는 데이터 스트림과 과거에 발생했던 데이터 스트림을 동시에 검색하는 하이브리드 질의를 위해서는 데이터 스트림이 디스크에 저장되어야 한다. 그러나 데이터 스트림의 빠른 입력 속도와 메모리와 디스크 공간의 한계 때문에 저장된 데이터 스트림에 대한 질의보다는, 현재 입력되고 있는 데이터 스트림에 대한 질의에 대한 연구들이 주로 이루어졌다. 본 논문에서는 제안하는 순환버퍼는 데이터 스트림의 입력과 출력을 비동기적으로 빠르게 실행할 수 있다. 또한 입력되는 네트워크 패킷의 감소와 출력 시 디스크 I/O의 감소를 위하여 순환버퍼에서는 데이터 스트림의 묶음 단위로 입출력이 진행된다. 실험을 통하여 기술이 대량으로 입력되는 데이터 스트림을 빠르게 저장시킬 수 있다는 것을 보인다.

  • PDF

Adaptive Processing of Queries over XML Streaming Data (적응력 있는 XML 스트림 데이터 질의처리 기법)

  • Kim, Young-Hyun;Kang, Hyun-Chul
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07b
    • /
    • pp.4-6
    • /
    • 2005
  • 스트림 데이터를 생성하는 응용의 증가로 스트림 데이터 처리에 대한 연구가 활발히 진행되고 있다. 이러한 응용의 예로 센서네트워크, 모니터링, Selective dissemination of information(SDI)등이 있다. 특히 SDI와 같은 웹 환경의 응용은 XML을 기반으로 스트림 데이터 처리에 대한 연구를 진행하고 있다. XML은 웹상의 데이터 교환의 표준으로 웹 응용의 증가로 인해 스트림 데이터 처리 분야에서도 XML을 사용하는 스트림 데이터 처리 시스템에 대한 연구가 많이 진행되고 있는 실정이다. 하지만 XML을 기반으로 하는 기존의 시스템들은 정적인 질의계획을 사용하여 스트림 데이터를 처리하기 때문에 동적으로 변하는 스트림 데이터에 적응력있게 대처할 수 있다. 이와 달리 관계 데이터 모델을 사용하는 스트림 데이터 처리 시스템은 동적인 질의 계획과 질의 처리 연산자의 라우팅(스케쥴링) 기법을 사용하여 적응력있는 질의처리를 지원한다. 본 논문에서는 관계 데이터 모델을 사용하는 시스템의 적응력있는 질의처리 모델을 XML을 기반으로 하는 시스템에 적용하는 기법들에 대하여 설명한다. 그리고 XML을 기반으로 하는 기존의 대표적인 시스템인 YFilter[7]와 본 논문의 제안하는 시스템과의 질의처리 성능을 비교 평가한다.

  • PDF

The Parallel Processing Method of the Continuous Data Stream Processing Tasks (데이터 스트림 연속 처리 태스크의 병렬 처리 방법)

  • Yang, Kyungah;Lee, Daewoo;Kim, Kiheon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.214-215
    • /
    • 2015
  • 데이터 스트림 환경에서 연속 질의를 처리하기 위한 데이터 스트림 처리 시스템이 개발되었다. 데이터 스트림 처리 시스템에서 질의를 처리하는 태스크에 과도한 데이터가 발생할 경우 일반적으로 데이터 스트림을 선별적으로 버리는 load shedding 방법을 이용하지만 이러한 방법은 처리 결과의 정확도가 저하될 수 있다. 따라서, 본 논문은 이를 해결하는 방법으로 분산 데이터 스트림 처리 시스템에서 데이터 스트림 분할을 통한 데이터 스트림 연속 처리 태스크의 병렬 처리 방법을 제시한다. 이를 위해 분산 데이터 스트림을 처리하기 위한 기준을 제시 및 데이터 분할 방법에 대해서 언급한다.

Data Stream Storing Techniques for Supporting Hybrid Query (하이브리드 질의를 위한 데이터 스트림 저장 기술)

  • Shin, Jae-Jyn;You, Byeong-Seob;Eo, Sang-Hun;Lee, Dong-Wook;Bae, Hae-Young
    • Journal of Korea Multimedia Society
    • /
    • v.10 no.11
    • /
    • pp.1384-1397
    • /
    • 2007
  • This paper proposes fast storage techniques for hybrid query of data streams. DSMS(Data Stream Management System) have been researched for processing data streams that have busting income. To process hybrid query that retrieve both current incoming data streams and past data streams data streams have to be stored into disk. But due to fast input speed of data stream and memory and disk space limitation, the main research is not about querying to stored data streams but about querying to current incoming data streams. Proposed techniques of this paper use circular buffer for maximizing memory utility and for make non blocking insertion possible. Data in a disk is compressed to maximize the number of data in the disk. Through experiences, proposed technique show that bursting insertion is stored fast.

  • PDF

A Summarization Method for Data Streams (데이터 스트림 정보 요약 기법)

  • Han, Sang-Gil;Lee, Won-Suk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.657-660
    • /
    • 2006
  • 최근까지 데이터웨어하우스와 OLAP 에 관한 연구와 더불어 데이터 큐브(data cube)는 많은 다차원 데이터웨어하우스에서 데이터 분석과 의사 결정 지원을 위해 빠르게 OLAP 연산을 처리하기 위한 중요한 역할을 수행해 왔다. 최근에는 빠른 속도로 생성됨과 동시에 지속적으로 발생되는 연속적인 데이터로 구성된 데이터 스트림이 네트워크 트래픽 모니터링, 증권, 날씨, 콜 센터 등과 같은 많은 분야에서 생성된다. 데이터 스트림은 무한의 집합이기 때문에 기존의 데이터 큐브 방법은 처리시간과 저장공간의 문제 때문에 데이터 스트림에 적용하기 어렵다. 이에 본 논문에서는 기존의 데이터 큐브와 같은 데이터의 요약 정보를 데이터 스트림 환경에서 제한된 메모리를 이용하여 관리 할 수 있는 전원트리를 이용한 데이터 스트림 요약 기법을 제안하고, 실험을 통해 본 논문에서 제안한 방법이 데이터 스트림 환경에서 적응적으로 동작함을 증명한다.

  • PDF

Efficient Sensor Middleware Architecture on Multi Level Spatial DBMS with Snapshot (스냅샷을 사용하는 다중 레벨 공간 DBMS를 가지는 효율적인 센서 미들웨어 구조 설계)

  • Oh Eun-Seog;Kim Ho-Seog;Bae Hae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.05a
    • /
    • pp.19-22
    • /
    • 2006
  • 최근 들어, 모든 장소에 컴퓨터가 있고 그것을 누구나 자유롭게 사용할 수 있는 인간 중심 유비쿼터스 환경에 대한 연구가 활발하게 진행되고 있다. 그러나 이러한 컴퓨팅 환경에서의 센서 미들웨어들은 연속적인 스트림 데이터 처리에 대한 막대한 비용을 줄이기 위해서 분석이 끝난 스트림 데이터를 삭제한다. 따라서 사용자의 서비스에 삭제된 스트림 데이터가 요구될 경우, 또는 과거 데이터들에 대한 확률 통계 정보가 요구될 경우, 이에 대한 서비스를 사용자에게 제공할 수 없다. 본 논문에서는 이러한 미들웨어에서의 스트림 데이터 재사용 문제를 해결하기 위해서 스냅샷을 가지는 다중 레벨 공간 DBMS를 기반으로 하는 효율적인 센서 데이터 미들웨어 구조를 설계하였다. 본 시스템은 사용자에게 재사용될 가치가 높은 스트림 데이터들을 다중 레벨 공간 DBMS 의 디스크 데이터베이스에서 관리한다. 또한 빈번한 서비스를 가지는 스트림 데이터의 경우 해당 스트림 데이터를 메모리 데이터베이스에 관리함으로서 사용자에게 신속한 서비스를 제공한다. 본 시스템은 기존의 미들웨어에서 지원할 수 없었던 동일한 스트림 데이터에 대한 빈번한 요청, 또는 확률이나 통계 자료와 같은 데이터 서비스 요청 문제들을 해결하였다. 그리고 메인 메모리 데이터베이스에 스냅샷 형태로 저장되는 스트림 데이터의 높은 데이터 재사용성을 유지함으로서, 사용자에게 지속적으로 정확하고 신속한 데이터 서비스를 제공한다.

  • PDF

A Method of Realtime Mining for Summarization and Discovery of a Casual Relationship based on Multidimensional Stream Data (다차원 스트림 데이터 요약 및 인과 관계 탐사를 위한 실시간 데이터 마이닝 기법)

  • Song, Myung-Jin;Kim, Dae-In;Hwang, Bu-Hyun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2010.06c
    • /
    • pp.152-155
    • /
    • 2010
  • 실시간 데이터 마이닝 기법은 다양한 종류의 센서에서 수집된 다차원 스트림 데이터들 사이에 존재하는 의미있는 정보를 탐사할 수 있다. 전통적인 데이터베이스 시스템에서의 마이닝 기법은 정적인 데이터베이스에 기초하므로 실시간으로 수집되는 스트림 데이터는 시간 속성을 갖는 인터벌 이벤트로 요약되어야 한다. 이 논문은 다차원 스트림 데이터 환경에서 스트림 데이터를 요약하고 이들 사이에 존재하는 인과 관계를 탐사하는 실시간 데이터 마이닝 기법을 제안한다. 제안 기법은 센서에서 수집되는 데이터의 대부분이 객체의 정상적인 상태 데이터임을 고려하여 의미있는 이상 이벤트를 선별하여 전송한다. 그리고 스트림 데이터의 연속성을 고려하며 스트림 데이터를 세 가지 상태의 이벤트로 요약하고 인과 관계 규칙을 탐사한다. 인과 관계 규칙은 시간에 따라 이벤트 발생에 영향력을 미치는 원인 이벤트를 발견함으로써 이벤트의 발생을 미리 예측할 수 있다.

  • PDF

Design of High-speed Sensor Stream Data Processing System to use Cache Table base on Sensor Monitoring Environment (센서 모니터링 환경에서 캐쉬 테이블을 사용한 센서 스트림 데이터 고속 처리 시스템 설계)

  • Park, Jun-Yong;Lee, Kwang-Won;Hwang, Yun-Chul;Oh, Ryum-Duck
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2010.07a
    • /
    • pp.315-318
    • /
    • 2010
  • USN(Ubiquitous Sensor Network)기술이 다양한 분야에 적용하고 응용함으로서 센서 네트워크에서 발생하는 스트림 데이터를 효율적으로 처리하는 기술이 활발하게 연구되고 있다. 그리고 센서들에서 발생한 이기종 센서 스트림 데이터는 미들웨어의 메타데이터를 이용하여 센서 모니터링 환경의 상위 응용시스템에서 사용하기 적합한 센서 데이터로의 변환이 필요하다. 기존에 개발된 센서 데이터 처리 시스템에서는 동일한 노드나 지역에서 발생하는 센서 스트림 데이터에 대해서도 미들웨어에서의 불필요한 검색과 연산을 수행하기 때문에 본 논문에서는 캐쉬 테이블방식을 이용하여 중복적인 센서 스트림 데이터 처리의 수행을 줄일 수 있는 센서 스트림 데이터 처리 시스템의 설계를 제안한다.

  • PDF