• 제목/요약/키워드: Stream Data

검색결과 2,519건 처리시간 0.034초

능동적 슬라이딩 윈도우 기반 빈발구조 탐색 기법 (A Method of Frequent Structure Detection Based on Active Sliding Window)

  • 황정희
    • 디지털콘텐츠학회 논문지
    • /
    • 제13권1호
    • /
    • pp.21-29
    • /
    • 2012
  • 최근 인터넷의 급격한 발전과 유비쿼터스 컴퓨팅 환경 그리고 센서 네트워크와 같은 많은 정보들의 교환이 이루어지는 환경에서 연속적으로 전송되는 데이터에 대한 처리가 요구되고 있다. 이와 관련하여 XML 스트림 데이터에 대한 빈발구조 추출 및 효율적인 질의처리를 위한 마이닝 방법들이 연구되고 있다. 본 논문에서는 연속적으로 빠르게 발생하는 스트림 데이터로부터 유용한 정보를 발견하기 위한 기반 연구로써 트리거를 이용한 슬라이딩 윈도우 기반의 XML 빈발구조 탐색 방법을 제안한다. 제안된 방법은 스트림 데이터에 대한 마이닝과 연속질의 처리등을 위해 트리거를 이용하여 데이터의 흐름을 자동으로 제어할 수 있는 기반이 된다.

Stream Processing에서 I/O데이터 일관성을 고려한 성능 최적화 (Performance Optimization Considering I/O Data Coherency in Stream Processing)

  • 나하나;이준환
    • 전자공학회논문지
    • /
    • 제53권8호
    • /
    • pp.59-65
    • /
    • 2016
  • 본 논문은 대량의 stream data를 처리하는 어플리케이션에서 하드웨어 가속기들이 접근하는 메모리가 non-cacheable에서 cacheable으로 변경됨에 따라 발생할 수 있는 데이터 일관성 문제를 고려하여 시스템 최적화를 진행하였다. 이를 위해 상위 수준 시뮬레이션을 통한 프로파일링 결과를 토대로 분석식을 만들어 활용하였다. 실험한 결과 여러 이미지 크기에서 메모리가 cacheable로 변경됨에 따라 평균 1.40배의 성능 향상을 보였다. 분석식의 주요 파라미터 최적화를 통해 최종적으로 3.88배의 성능 이득이 발생했으며, 항상 메모리가 cacheable인 경우의 성능이 항상 우월한 것은 아님을 확인할 수 있었다.

연속발생 데이터를 위한 실시간 데이터 마이닝 기법 (A Real-Time Data Mining for Stream Data Sets)

  • 김진화;민진영
    • 한국경영과학회지
    • /
    • 제29권4호
    • /
    • pp.41-60
    • /
    • 2004
  • A stream data is a data set that is accumulated to the data storage from a data source over time continuously. The size of this data set, in many cases. becomes increasingly large over time. To mine information from this massive data. it takes much resource such as storage, memory and time. These unique characteristics of the stream data make it difficult and expensive to use this large size data accumulated over time. Otherwise. if we use only recent or part of a whole data to mine information or pattern. there can be loss of information. which may be useful. To avoid this problem. we suggest a method that efficiently accumulates information. in the form of rule sets. over time. It takes much smaller storage compared to traditional mining methods. These accumulated rule sets are used as prediction models in the future. Based on theories of ensemble approaches. combination of many prediction models. in the form of systematically merged rule sets in this study. is better than one prediction model in performance. This study uses a customer data set that predicts buying power of customers based on their information. This study tests the performance of the suggested method with the data set alone with general prediction methods and compares performances of them.

CONTINUOUS QUERY PROCESSING IN A DATA STREAM ENVIRONMENT

  • Lee, Dong-Gyu;Lee, Bong-Jae;Ryu, Keun-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
    • /
    • pp.3-5
    • /
    • 2007
  • Many continuous queries are important to be process efficiently in a data stream environment. It is applied a query index technique that takes linear performance irrespective of the number and width of intervals for processing many continuous queries. Previous researches are not able to support the dynamic insertion and deletion to arrange intervals for constructing an index previously. It shows that the insertion and search performance is slowed by the number and width of interval inserted. Many intervals have to be inserted and searched linearly in a data stream environment. Therefore, we propose Hashed Multiple Lists in order to process continuous queries linearly. Proposed technique shows fast linear search performance. It can be utilized the systems applying a sensor network, and preprocessing technique of spatiotemporal data mining.

  • PDF

비디오와 동기화된 물체의 위치정보 표현 data stream 생성 및 해석기 구현 (Generation and Interpretation of data stream for position data of objects synchronized with video)

  • 나희주;김정환;정문열
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2005년도 학술대회
    • /
    • pp.249-254
    • /
    • 2005
  • 본 논문은 디지털 방송 프로그램 진행 중 비디오의 특정 시점에 동기화된 특정 객체의 위치정보를 표현하는 data stream을 생성하고, 그 시점에 해당 위치 정보를 해석하는 해석기에 관한 것이다. 현재의 상용 스트림 생성기는 디지털 방송 표준에서 권고하는 스트림 이벤트의 발생 시각과 셋톱박스에서 디코딩 시에 사용할 참조값을 적절하게 생성하지 못하고 있다. 또한, 셋톱박스에서 동작하는 애플리케이션(Xlet) 역시 STC(System Time Clock), PCR(Program Clock Reference), NPT(Normal Play Time) 등의 시간값을 적절하게 읽어내지 못하고 있다. 더욱이, 현재의 디지털 방송 표준에서는 영상 내 특정 객체를 위해 정보를 제공하는 데에는 한계가 있다. 따라서, 본 논문에서는 다양한 연동형 디지털 방송 프로그램 제작을 위해 비디오의 특정 시점에 동기화된 객체의 위치정보를 표현하는 data stream을 생성하는 방법과, 동기화된 데이터를 처리하는 애플리케이션에 대해서 설명한다.

  • PDF

센서 네트워크에서의 불완전 스트림데이터를 위한 효율적인 스트림 데이터 관리 시스템 (An Effective Stream Data Management System for the Incomplete Stream Data on Sensor Network)

  • 박은지;변정우;최다솜;김진한;오염덕
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제49차 동계학술대회논문집 22권1호
    • /
    • pp.125-126
    • /
    • 2014
  • 센서 스트림 데이터는 센서 네트워크를 통해 수집되는 데이터로 실시간 처리를 요구하며, 연속적으로 끊임없이 발생하는 스트림 데이터이다. 이러한 스트림 데이터는 양이 방대하여 이를 저장하기가 매우 어려우며, 동시에 데이터를 검색하는 데에는 많은 시간이 소요된다. 본 논문에서는 센서 네트워크에서의 효율적인 스트림 데이터 처리 시스템을 제안한다. 이 시스템은 캐시테이블을 사용함으로써 데이터베이스에 최소화된 접근으로 데이터 스트림 관리 시스템의 성능을 개선하였다. 그리고 센서 네트워크에서 읽어 들여온 불완전 데이터를 효율적으로 정제하고 상위 단계로 전송한다.

  • PDF

분포형 강우-유출모형의 하도자료 구축을 위한 하폭 및 하상경사 산정공식 개발 (Development of Stream Width and Bed-slope Estimation Equations for Preparing Data for Distributed Storm Runoff Model)

  • 정인균;박종윤;조형경;이지완;김성준
    • 한국농공학회논문집
    • /
    • 제52권4호
    • /
    • pp.1-10
    • /
    • 2010
  • In this study, two estimation equations for preparing stream data for distributed storm runoff model were developed by analyzing the nonlinear relation between upstream flow-length and stream width, and between upstream flow-length and stream bed-slope. The equations for stream cell were tested in Chungjudam watershed (6,661 $km^2$) using KIMSTORM. Six storm events occurring between 2003 and 2008 were selected for the model calibration and verification before the test of equations. The average values of the Nash-Sutcliffe model efficiency (ME), the volume conservation index (VCI), the relative error of peak runoff rate (EQp), and the difference of time to peak runoff (DTp) were 0.929, 1.035, 0.037, and -0.406 hr for the calibrated four storm events and 0.956, 0.939, 0.055, and 0.729 hr for the two verified storm events respectively. The estimation equations were tested to the storm events, and compared the flood hydrograph. The test result showed that the estimation equation of stream width reduced the peak runoff and delaying the time to peak runoff, and the estimation equation of stream bed-slope showed the opposite results.

디지털 방송 서비스에서 트랜스포트 스트림 분석 및 파싱 능력 향상에 관한 연구 (A Study on Transport Stream Analysis and Parsing Ability Enhancement in Digital Broadcasting and Service)

  • 김장원
    • 한국정보전자통신기술학회논문지
    • /
    • 제10권6호
    • /
    • pp.552-557
    • /
    • 2017
  • 유 무선 디지털 방송이 고화질 TV의 탄생과 함께 2010년 이후로 급격하게 확산되었으며, 단방향 콘텐츠 이용뿐만 아니라 양방향 콘텐츠 이용이 급격하게 증가되고 있다. 현재 우리나라 위성 통신망에서는 유럽 디지털 방송 표준화기구의 DVB를 국내 데이터 방송의 표준으로 채택하고 있으며, IPTV의 발전에 의해 선택적 콘텐츠의 이용방법도 또한 다양하게 연구되었다. 디지털 방송에서는 MPEG-2 system의 비디오, 오디오, 그리고 데이터 등의 멀티미디어 정보를 전송하기 위해 정보를 다중화 하는 방식으로 Transport Stream Packet(TSP)을 이용한 방식을 사용하는데, 이 Stream에는 비디오, 오디오 정보는 물론, TV 편성표와 프로그램에 대한 상세한 정보까지도 포함되어 있다. 본 연구에서는 이러한 데이터 방송 시스템을 이해하기 위하여 Linux 환경에서 Transport Stream(TS)을 Packet별로 구분하고 각각의 기능별로 분석, 출력해주는 TS Analyzer를 구현하였으며, TS의 이해를 돕고 Stream Parsing 능력향상을 이룰 수 있었다.

이동체 데이타 스트림을 위한 시공간 DSMS의 설계 및 구현 (Design and Implementation of the Spatio-Temporal DSMS for Moving Object Data Streams)

  • 이기영;김정준
    • 한국인터넷방송통신학회논문지
    • /
    • 제8권5호
    • /
    • pp.159-166
    • /
    • 2008
  • 최근 위치 측위 기술, 무선 통신 기술 등이 급속도로 발달하고 이동체 데이타가 널리 활용됨에 따라 이동체 데이타 스트림을 실시간으로 서비스하기 위한 실시간 위치 추적 시스템의 연구 개발이 활발히 진행되고 있다. 그러나 이러한 시스템에서 기반 시스템으로 사용되는 MO(Moving Object) DBMS는 이동체 데이타 스트림 관리에 비효율적이고, 기존의 DSMS(Data Stream Management System)는 시공간 데이타를 효율적으로 처리하지 못하는 문제점이 있다. 따라서, 본 논문에서는 이동체 데이타 스트림의 효율적인 실시간 관리를 위한 시공간 DSMS를 설계 및 구현하였다. 본 논문에서 구현한 시공간 DSMS는 스탠포드 대학의 STREAM(STanford stREam dAta Manager)을 기반으로 이동체 데이타 스트림의 실시간 관리와 시공간 질의 처리 기능 그리고 입력 부하를 줄이기 위한 필터링 기능을 지원하는 시스템이다. 특히, 시공간 DSMS에서 사용하는 시공간 연산자는 호환성을 위해서 OGC에서 제시한 "Simple Feature Specification for SQL" 표준 명세를 확장하여 SQL 형태의 표준 인터페이스를 지원한다. 마지막으로 본 논문에서 구현한 시공간 DSMS를 이동체 데이타 스트림의 실시간 위치 추적 관리가 필요한 실시간 모니터링 분야에 적용해 봄으로써 시스템의 효용성을 입증하였다.

  • PDF

스냅샷을 가지는 다중 레벨 공간 DBMS를 기반으로 하는 센서 미들웨어 구조 설계 (Design of Sensor Middleware Architecture on Multi Level Spatial DBMS with Snapshot)

  • 오은석;김호석;김재홍;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제8권1호
    • /
    • pp.1-16
    • /
    • 2006
  • 최근 들어, 사용자가 주변 환경 및 요구 정보의 변화를 의식하지 않고 작업 환경과 수행하는 일에 집중하도록 배려하는 인간 중심 컴퓨팅 환경에 대한 연구 개발이 활발히 진행되고 있다. 그러나 이러한 컴퓨팅 환경에서 미들웨어는 사용자에게 RFID센서로부터 들어오는 대량의 정보에 대한 처리 부하를 줄이기 위하여 분석이 끝난 스트림 데이터를 삭제한다. 따라서 사용자의 데이터 웨어하우징이나 데이터마이닝에 필요한 확률, 통계 정보에 대한 요청, 또는 반복적이면서 동일한 데이터에 대한 요청을 처리할 수 없다는 문제점을 가진다. 본 논문에서는 기존의 미들웨어에서 문제가 되었던 과거 스트림 데이터 재사용 문제를 해결하기 위해, 사용자가 빈번하게 요구하는 데이터들을 스냅샷을 가지는 다중 레벨 공간 DBMS에서 관리하는 센서미들웨어 구조를 설계하였다. 본 시스템은 사용자가 요구하는 데이터 마이닝이나 데이터 웨어하우징과 같은 과거 스트림 정보를 사용한 서비스 요청을 위해, 미들웨어에서 필터링된 과거 스트림 데이터를 디스크 데이터베이스에서 관리한다. 그리고 디스크 데이터베이스에 저장된 스트림 데이터 중에서 사용자에 대한 높은 재사용 빈도를 가지는 데이터들을 스냅샷의 형태로 메모리 데이터베이스에 저장하고 이를 관리한다. 또한, 본 시스템은 메모리 데이터베이스에 저장된 스냅샷 데이터의 높은 데이터 재사용성과 신속한 서비스를 유지하기 위해서 주기적인 메모리 데이터베이스 관리 정책을 수행한다. 본 논문은 기존의 미들웨어에서의 스트림 데이터에 대한 반복적인 요청, 또는 과거 스트림 데이터를 이용한 정책 결정 서비스 요청에 대한 서비스를 제공할 수 없는 문제들을 해결하였다. 그리고 메모리에 저장된 데이터에 대한 높은 데이터 재사용성을 유지함으로서 사용자에게 지속적으로 다양하고 신속한 데이터 서비스를 제공한다.

  • PDF