• 제목/요약/키워드: Stream Data

검색결과 2,513건 처리시간 0.032초

범위 질의 인덱싱을 이용한 스트림 데이터의 다중 질의처리 기법 (A Multi-dimensional Query Processing Scheme for Stream Data using Range Query Indexing)

  • 이동언;이윤석
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권2호
    • /
    • pp.69-77
    • /
    • 2009
  • 스트림 서비스 환경에서는 지속적으로 입력되는 막대한 양의 데이터에 대해 원하는 조건을 탐색하는 실시간 질의처리가 요구된다. 기존의 R-tee기반 질의처리 기술은 각 이벤트에 대해 트리 전체에 대해 동일한 탐색과정을 반복해야 하므로 이를 효율적으로 감당할 수 없었다. 한편 센서 측정값을 비롯한 대부분의 스트림 데이터는 매우 높은 지역성을 가지며 이를 활용하여 탐색 공간을 크게 줄일 수 있다. 따라서 본 연구에서는 스트림 데이터의 지역성을 활용하여 스트림 환경에 적합한 질의처리 기법을 제안하였다. 또한 이 프레임웍을 활용하여 스트림 환경에서 어플리케이션이 요구하는 다양한 질의처리 서비스를 개발할 수 있을 것으로 기대된다. 본 연구에서 구현한 프로토타입 시스템을 스트림 환경에 적용해 얻은 실험 결과를 통해, 스트림 환경에서 기존질의처리 기법보다 더 적합하고 효율이 크게 개선됨을 확인할 수 있었다.

실시간 스트림 데이터 분석을 위한 시각화 가속 기술 및 시각적 분석 시스템 (Fast Visualization Technique and Visual Analytics System for Real-time Analyzing Stream Data)

  • 정성민;연한별;정대교;유상봉;김석연;장윤
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제22권4호
    • /
    • pp.21-30
    • /
    • 2016
  • 위험관리 시스템은 단 시간에 의사결정하기 위해 스트림 데이터를 실시간으로 분석 할 수 있어야 한다. 많은 데이터 분석 시스템은 CPU와 디스크 데이터베이스로 구성되어 있다. 하지만, cpu 기반 시스템은 스트림 데이터를 실시간으로 분석하는데 어려움이 있다. 스트림 데이터는 1ms부터 1시간, 1일까지 생성주기가 다양하다. 한 개의 센서가 생성하는 데이터는 작다. 하지만 수 만개의 센서가 생성하는 데이터는 매우 크다. 예를 들어 10만개 센서가 1초에 1GB 데이터를 생성한다면, CPU 기반 시스템은 이를 분석 할 수 없다. 이러한 이유로 실시간 스트림 데이터 분석 시스템은 빠른 처리 속도와 확장성이 필요하다. 본 논문에서는 GPU와 하이브리드 데이터베이스를 이용한 시각화 가속 기술을 제안한다. 제안한 기술을 평가하기 위해 우리는 지하 파이프라인에 설치된 센서와 트윗 데이터를 활용하여 실시간 릭 탐지 시각적 분석 시스템에 적용했다.

A GEOSENSOR FILTER FOR PROCESSING GEOSENSOR QUERIES ON DATA STREAMS

  • Lee, Dong-Gyu;Ryu, Keun-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2008년도 International Symposium on Remote Sensing
    • /
    • pp.119-121
    • /
    • 2008
  • Pattern matching is increasingly being employed in various researches as health care service, RFID-based system, facility management, and surveillance. Geosensor filter correlates a data stream to match specific patterns in distribution environments. In this paper, we present a geosensor query language to represent efficiently declarative geosensor query. Geosensor operators are proposed to use for fast query processing in terms of spatial and temporal area in distribution environments. We also propose a geosensor filter to match new query predicates into incoming stream predicates. Our filter can reduce the volume of transmission data and save power consumption of sensors. It can be utilized the stream data mining system to process in real-time various data as location, time, and geosensor information in distribution environments.

  • PDF

스트림 데이터를 위한 데이터 구동형 질의처리 기법 (A Data-Driven Query Processing Method for Stream Data)

  • 민미경
    • 디지털콘텐츠학회 논문지
    • /
    • 제8권4호
    • /
    • pp.541-546
    • /
    • 2007
  • 많은 양의 연속적인 스트림 데이터를 대상으로 하는 연속적인 질의처리의 경우는 전통적 방식의 요구구동형 질의처리 방식이 적합하지 않다. 본 논문에서는 자료구동형 방식을 도입하여 질의를 처리함으로써 스트림 데이터에 알맞은 질의처리 기법을 제안하고 질의계획의 구조와 질의실행 방식을 설명하였다. 제안된 질의처리 기법은 다중질의 처리가 가능하며, 질의 간에 공유가 가능하게 한다. 또한 부분질의의 실행결과가 저장됨으로써 실행시간을 단축할 수 있다. 본 질의처리 모델에 XML 데이터와 XQuery 질의를 적용하였다.

  • PDF

연동형 데이터 방송 애플리케이션의 구조 (The Structure of Synchronized Data Broadcasting Applications)

  • 정문열;백두원
    • 방송공학회논문지
    • /
    • 제9권1호
    • /
    • pp.74-82
    • /
    • 2004
  • 디지털 방송에서 애플리케이션은 셋톱박스(TV 수신기)에서 수행되는 응용프로그램을 말하며, 연동형 애플리케이션은 비디오내의 특정 시각에 정해진 일을 수행하는 애플리케이션이다. 본 논문에서는 연동형 애플리케이션을 구현하는데 필요한 개념, 표준 및 기술을 분석하고, 이들을 통합하여 연동형 애플리케이션을 구현하는 방법을 제안한다. 본 논문은 특히 유럽식 데이터 방송 표준인 DVB-MHP를 염두에 두고 기술한다. DVB-MHP 규약에서는 비디오와 애플리케이션을 동기화 시키는 방법으로 스케줄드 스트림 이벤트 방법을 권장하고 있다. 이 방법은 방송중간에 스케줄드 스트림 이벤트를 전송하고 애플리케이션이 스트림 이벤트를 수신, 스트림 이벤트에 명시된 시각에 스트림 이벤트를 처리하는 방법이다. 현재 상용으로 사용되고 있는 전송 스트림 생성기, 즉, 다중화기는 스트림 이벤트를 사용할 수 있도록 전송 스트림을 생성해 주지 않기 때문에 본 논문에서는 본 연구팀이 개발한 실험실용 스트림 생성기를 이용하여 필요한 전송 스트림을 생성하였다. 그리고 실제로 하나의 연동형 애플리케이션을 구현하여 테스트했다. 그 결과 연동형 애플리케이션이 스트림 이벤트를 성공적으로 처리함을 확인하였다. 구현된 애플리케이션에서 스트림 이벤트들은 의도한 시점으로부터 240ms 이내에서 비디오와 동기화 되었는데, 이 시간은 비디오와 그래픽 이미지간의 동기화 오차에 대한 허용치이다.

Dual-stream Co-enhanced Network for Unsupervised Video Object Segmentation

  • Hongliang Zhu;Hui Yin;Yanting Liu;Ning Chen
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권4호
    • /
    • pp.938-958
    • /
    • 2024
  • Unsupervised Video Object Segmentation (UVOS) is a highly challenging problem in computer vision as the annotation of the target object in the testing video is unknown at all. The main difficulty is to effectively handle the complicated and changeable motion state of the target object and the confusion of similar background objects in video sequence. In this paper, we propose a novel deep Dual-stream Co-enhanced Network (DC-Net) for UVOS via bidirectional motion cues refinement and multi-level feature aggregation, which can fully take advantage of motion cues and effectively integrate different level features to produce high-quality segmentation mask. DC-Net is a dual-stream architecture where the two streams are co-enhanced by each other. One is a motion stream with a Motion-cues Refine Module (MRM), which learns from bidirectional optical flow images and produces fine-grained and complete distinctive motion saliency map, and the other is an appearance stream with a Multi-level Feature Aggregation Module (MFAM) and a Context Attention Module (CAM) which are designed to integrate the different level features effectively. Specifically, the motion saliency map obtained by the motion stream is fused with each stage of the decoder in the appearance stream to improve the segmentation, and in turn the segmentation loss in the appearance stream feeds back into the motion stream to enhance the motion refinement. Experimental results on three datasets (Davis2016, VideoSD, SegTrack-v2) demonstrate that DC-Net has achieved comparable results with some state-of-the-art methods.

XML 스트림 데이타에 대한 적응력 있는 질의 처리 시스템 (An Adaptive Query Processing System for XML Stream Data)

  • 김영현;강현철
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권3호
    • /
    • pp.327-341
    • /
    • 2006
  • 센서 네트워크, 모니터링, SDI (selective dissemination of information) 등과 같이 스트림 데이타를 생성하는 응용의 증가로 스트림 데이타에 대한 질의 처리를 효율적으로 지원하기 위한 연구가 활발히 수행되고 있다. 특히 SDI와 같은 웹 환경의 응용은 XML 스트림에 대한 질의 처리를 필요로 하는데, XML은 웹 환경에서 데이타 교환의 표준이므로 이에 대한 연구는 아주 중요하다. 그러나 현재까지 제시된 XML 스트림 질의 처리 시스템들은 정적인 질의 계획을 사용하기 때문에 동적으로 변하는 스트림 데이타에 대해 적응력 있게 대처하지 못하는 문제가 있다. 반면 관계 데이타 스트림에 대한 질의 처리 시스템들은 질의 연산자 라우팅 기법을 통해 동적인 질의 계획을 사용함으로써 적응력 있는 질의 처리를 지원한다. 본 논문에서는 관계 데이타 모델을 사용하는 시스템의 적응력 있는 질의 처리 모델을 적용하여XML 스트림에 대한 적응력 있는 질의 처리를 수행할 수 있는 시스템을 제안한다. 그리고 기존의 XML을 기반으로 하는 대표적인 시스템인 YFilter와 본 논문이 제안하는 시스템의 성능을 비교, 평가하여 본 논문이 제안하는 시스템의 효율성을 보인다.

큐보이드 전위트리를 이용한 빙산질의 처리 (Iceberg Query Evaluation Technical Using a Cuboid Prefix Tree)

  • 한상길;양우석;이원석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제36권3호
    • /
    • pp.226-234
    • /
    • 2009
  • 무한한 데이터 스트림을 저장하는 것은 거의 불가능하기 때문에 데이터 스트림 환경에서 빙산질의를 수행하기 위해서는 새로운 데이터 구조와 알고리즘이 요구된다. 본 논문에서는 데이터 스트림 환경에서 빙산질의를 처리하기 위해 전위트리 구조에 기반한 규보이드 전위트리(Euboid prefix tree)를 제안한다. 큐보이드 전위트리는 빙산질의에 사용된 그룹항목으로 이루어진 항목집합만을 트리에서 관리하므로 전위트리보다 적은 메모리를 사용한다. 1-항목 관리를 통해서 빈발하지 않은 항목을 트랜잭션에서 제거함으로써 갱신 시 불필요하게 소요되는 시간을 줄일 수 있다. 또한 다중 빙산질의에서 공통적으로 사용된 그룹속성에 따라 노드를 공유함으로써 적은 메모리를 사용하여 효율적으로 다중 빙산질의를 처리할 수 있는 방법을 제안한다. 큐보이드 전위트리는 무한히 연속적으로 생성되는 데이터에 대하여 빙산질의를 처리하는데 있어서 메모리 사용량과 처리시간을 효과적으로 줄이며, 이를 여러 실험을 통해 확인하였다.

도시 내부 하천 복원에 의한 열 환경의 시공간적 변화 (Spatiotemporal Changes of the Thermal Environment by the Restoration of an Inner-city Stream)

  • 권태헌;김규랑;변재영;최영진
    • 환경영향평가
    • /
    • 제18권6호
    • /
    • pp.321-330
    • /
    • 2009
  • Spatiotemporal changes in the thermal environment in a large city, Seoul, Korea were analyzed using a thermal index, perceived temperature (PT), to standardize the weather conditions. PT is a standard index for the thermal balance of human beings in thermophysiological environment. For the analysis of PT, the data from long-term monitoring and intensive observations in and around the inner-city stream called 'Cheonggye' in Seoul, were compared with a reference data from the Seoul weather station. Long-term data were monitored by installing two automatic weather stations at 66m (S1) and 173m (S2) away from the center of the stream. Through the analysis of the data during the summer of 2006 and intensive observation periods, it was revealed that the stream's effects on the PT extended up to the distance of the S1 site. In winter, the increase of the PT between pre- and post-restoration was stronger at S1, which was nearer than S2 from the stream. These results suggest that PT can be used as an effective model in analyzing the changes of the thermal environment in relation with the changes of water surface areas.

질의 전처리기를 사용한 스트림 DBMS의 효율적 질의처리 (An Efficient Query Processing in Stream DBMS using Query Preprocessor)

  • 양영휴
    • 한국컴퓨터정보학회논문지
    • /
    • 제13권1호
    • /
    • pp.65-73
    • /
    • 2008
  • 유비쿼터스 시대의 텔레매틱스 데이터 관리는 자동차의 위치나 속도, 엔진의 속도, 타이어의 상태, 운전자의 관심사항 등의 실시간으로 유입되는 스트림 데이터에 대한 질의를 처리하는데 있다. 본 논문에서는 기존의 스트림 DBMS의 질의처리 연구현황을 비교 분석하고, 스트림 DBMS에서 다뤄야 하는 모든 유형의 질의를 질의 전처리기를 사용하여 하나의 통합된 시스템에서 처리할 수 있는 통합 하이브리드 모델을 제안한다. 최근 각종 장치의 가격은 하락하는 반면, 성능은 수직 상승함에 따라 DB와 큐등을 위한 공간을 추가함으로써 최대의 병렬성을 보장받을 수 있다. 그 결과 제안된 하이브리드 모델에서는 다양한 유형의 스트림 DBMS 질의들을 단일 시스템 내에서 일괄적이며 효율적으로 처리하여 시스템 성능 향상을 기대 할 수 있다.

  • PDF