• Title/Summary/Keyword: 질의 스트림

Search Result 218, Processing Time 0.047 seconds

Aggregation Method using R-tree for Spatial Continuous Query in DSMS (DSMS에서 영역을 포함하는 공간 연속질의 처리를 위한 R-tree기반의 집계기법)

  • Kim, Sang-Ki;Li, Yan;Lee, Dong-Wook;Oh, Young-Hwan;Bae, Hae-Young
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06c
    • /
    • pp.80-84
    • /
    • 2008
  • DSMS는 USN과 같은 환경으로부터 스트림데이터를 실시간으로 입력 받아 등록된 연속질의를 처리하는 시스템이다. DSMS는 등록된 연속질의 처리를 위해 필요한 데이터를 버퍼에 관리하며, 스트림데이터의 저장기법에 따라 연속질의 처리 성능 및 버퍼 저장비용이 개선될 수 있으며, DSMS에서 연속질의는 특정 스트림데이터에 대해 일정한 기간 동안의 평균 값, 최대 소 값, 누적 값 등의 집계 연산을 요구하는 경우가 많다. 기존의 DSMS에서는 이러한 집계 연산이 필요한 연속질의의 효율적인 처리를 위해 LINT, BINT등의 자원 공유 집계 처리기법이 제안 되었다. 하지만 기존의 자원공유 집계 기법들은 위치 값을 포함하는 GeoSensing 데이터에 대한 고려를 하지 않았다. 본 논문에서는 공간 DSMS에서 공간영역질의 기반의 연속질의를 효율적으로 처리하기 위한 R-tree기반의 집계기법을 제안한다. 이는 각각의 연속질의에 포함된 공간 영역을 R-tree 인덱스로 구성하고, 연속질의에 필요한 공간 스트림데이터에 대한 집계값을 저장하여 연속질의를 처리하는 것이다. 제안기법은 공간 DSMS에서 공간영역 기반의 연속질의 처리 성능을 개선할 수 있으며, R-tree 기반으로 해당 영역에 대한 데이터 만을 버퍼에 관리하여 저장비용을 줄일 수 있다.

  • PDF

A Dual Processing Load Shedding to Improve The Accuracy of Aggregate Queries on Clustering Environment of GeoSensor Data Stream (클러스터 환경에서 GeoSensor 스트림 데이터의 집계질의의 정확도 향상을 위한 이중처리 부하제한 기법)

  • Ji, Min-Sub;Lee, Yeon;Kim, Gyeong-Bae;Bae, Hae-Young
    • Journal of the Korea Society of Computer and Information
    • /
    • v.17 no.1
    • /
    • pp.31-40
    • /
    • 2012
  • u-GIS DSMSs have been researched to deal with various sensor data from GeoSensors in ubiquitous environment. Also, they has been more important for high availability. The data from GeoSensors have some characteristics that increase explosively. This characteristic could lead memory overflow and data loss. To solve the problem, various load shedding methods have been researched. Traditional methods drop the overloaded tuples according to a particular criteria in a single server. Tuple deletion sensitive queries such as aggregation is hard to satisfy accuracy. In this paper a dual processing load shedding method is suggested to improve the accuracy of aggregation in clustering environment. In this method two nodes use replicated stream data for high availability. They process a stream in two nodes by using a characteristic they share stream data. Stream data are synchronized between them with a window as a unit. Then, processed results are merged. We gain improved query accuracy without data loss.

Query Processing System for Incomplete Sensor Stream Data of in Real-time Sensor Network (실시간 센서 네트워크에서 불완전 센서 스트림 데이터를 위한 질의 처리 시스템)

  • Jang, You-Ho;Lee, Sang-Ho;Kim, Yong-Seung;Oh, Ryum-Duck
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.01a
    • /
    • pp.123-124
    • /
    • 2014
  • 무선 센서 네트워크는 센서들을 근거리 네트워크로 연결하여 사용자와 현장의 정보를 실시간으로 연결해 주는 매개체 역할을 한다. 이러한 무선 센서 네트워크는 기존의 컴퓨팅 시스템과는 달리 제한된 자원과 환경 속에서 동작을 해야 하고, 접근이 힘든 곳이나 지속적인 관리가 필요한 지역에서 효율적으로 사용된다. 본 논문에서는 무선 센서네트워크의 제한된 자원 속에서 불완전 스트림 데이터를 효율적으로 정제하고 처리하여 빠르고 정확한 질의어 처리가 가능한 질의 시스템을 제안하였다.

  • PDF

Research on Real-time Stream Data Monitoring for BodyNet (BodyNet 에서의 스트림 데이터 실시간 모니터링 기법의 연구)

  • Lee, Seul-A;Choi, Ok-ju;Lee, Minsoo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2010.11a
    • /
    • pp.126-129
    • /
    • 2010
  • WBAN(Wireless Body Area Network)기반의 의료 응용으로 실시간 모니터링 시스템을 구현하였다. 특히 산소포화도 생체 센서들로부터 연속적으로 전송되는 스트림 데이터에 대해 다양한 조건을 포함하는 질의들이 실행 되는데 이러한 실시간 모니터링 질의들을 효율적으로 식별하기 위한 질의 인덱스를 설계하였다. 매번 모든 질의들을 실행하기에는 시간이 많이 걸리기 때문에 Interval Skip List 를 이용하여 빠르고 효율적으로 식별하도록 설계하였다. 이로써 위급한 상황의 환자의 건강에 문제가 생겼을 때 신속하게 대처할 수 있는 환경을 제공한다. 본 논문에서는 방대한 양의 스트림 데이터와 이 데이터를 실시간으로 감시할 수 있도록 Interval Skip List 를 스마트 메디컬 스페이스(m-MediNet)에 적용한 방법을 기술하고 있다.

H*-tree/H*-cubing-cubing: Improved Data Cube Structure and Cubing Method for OLAP on Data Stream (H*-tree/H*-cubing: 데이터 스트림의 OLAP를 위한 향상된 데이터 큐브 구조 및 큐빙 기법)

  • Chen, Xiangrui;Li, Yan;Lee, Dong-Wook;Kim, Gyoung-Bae;Bae, Hae-Young
    • The KIPS Transactions:PartD
    • /
    • v.16D no.4
    • /
    • pp.475-486
    • /
    • 2009
  • Data cube plays an important role in multi-dimensional, multi-level data analysis. Meeting on-line analysis requirements of data stream, several cube structures have been proposed for OLAP on data stream, such as stream cube, flowcube, S-cube. Since it is costly to construct data cube and execute ad-hoc OLAP queries, more research works should be done considering efficient data structure, query method and algorithms. Stream cube uses H-cubing to compute selected cuboids and store the computed cells in an H-tree, which form the cuboids along popular-path. However, the H-tree layoutis disorderly and H-cubing method relies too much on popular path.In this paper, first, we propose $H^*$-tree, an improved data structure, which makes the retrieval operation in tree structure more efficient. Second, we propose an improved cubing method, $H^*$-cubing, with respect to computing the cuboids that cannot be retrieved along popular-path when an ad-hoc OLAP query is executed. $H^*$-tree construction and $H^*$-cubing algorithms are given. Performance study turns out that during the construction step, $H^*$-tree outperforms H-tree with a more desirable trade-off between time and memory usage, and $H^*$-cubing is better adapted to ad-hoc OLAP querieswith respect to the factors such as time and memory space.

A PCA-based Data Stream Reduction Scheme for Sensor Networks (센서 네트워크를 위한 PCA 기반의 데이터 스트림 감소 기법)

  • Fedoseev, Alexander;Choi, Young-Hwan;Hwang, Een-Jun
    • Journal of Internet Computing and Services
    • /
    • v.10 no.4
    • /
    • pp.35-44
    • /
    • 2009
  • The emerging notion of data stream has brought many new challenges to the research communities as a consequence of its conceptual difference with conventional concepts of just data. One typical example is data stream processing in sensor networks. The range of data processing considerations in a sensor network is very wide, from physical resource restrictions such as bandwidth, energy, and memory to the peculiarities of query processing including continuous and specific types of queries. In this paper, as one of the physical constraints in data stream processing, we consider the problem of limited memory and propose a new scheme for data stream reduction based on the Principal Component Analysis (PCA) technique. PCA can transform a number of (possibly) correlated variables into a (smaller) number of uncorrelated variables. We adapt PCA for the data stream of a sensor network assuming the cooperation of a query engine (or application) with a network base station. Our method exploits the spatio-temporal correlation among multiple measurements from different sensors. Finally, we present a new framework for data processing and describe a number of experiments under this framework. We compare our scheme with the wavelet transform and observe the effect of time stamps on the compression ratio. We report on some of the results.

  • PDF

Adaptive Memory Management Method based on Utilization Ratio to Process Continuous Query (연속질의의 처리를 위한 이용률 기반의 적응적 메모리 관리 기법)

  • Baek, Sung-Ha;Lee, Dong-Wook;Eo, Sang-Hun;Chung, Weon-Il;Bae, Hae-Young
    • Journal of Korea Spatial Information System Society
    • /
    • v.11 no.2
    • /
    • pp.79-88
    • /
    • 2009
  • The volume of memory to store real-time data stream is varied dynamically. Continuous queries processing the data stream must manage the storage volume dynamically. In previous research, according to current volume of data a general memory manager which allocates and releases memory by a page unit is researched.However, the method frequently executes page allocation and release to store data stream. Moreover, particularly delayed queries can monopolize many of pages because the method directly allocates pages when a query has not enough memory. Focusing on the problems in memory management systems, this research proposes a memory management method which reduces the frequency of allocation and release and uniformly distributes pages for queries. The method can reduce the frequency of allocation and release through allocation based on utilization ratio of pages in each query and prevent memory monopoly through memory allocation which considers query delay.

  • PDF

Design of Multimedia Stream Service on a Standard Open Distributed Environments (표준 개방 분산환경에서의 멀티미디어 스트림 서비스의 설계)

  • 김종현;김재일
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 1998.05a
    • /
    • pp.204-209
    • /
    • 1998
  • OMG에서 제안된 CORBA는 표준 개방 분산환경의 플래트폼을 제공하며 객체지향적인 방법으로 최근 주목을 받고 있다. 일반적으로 CORBA는 원격 데이터베이스 질의 등과 같은 요구/응답형의 응용에 잘 적용이 된다. 그러나 과도한 처리부담, 실시간 처리 기능과 QOS 지원 등의 결여로 멀티미디어 스트림과 같은 연속미디어의 처리에는 부적합하다. 본 논문에서는 실시간 제약을 갖는 멀티미디어 스트림의 효율적인 전송을 위하여 기존의 CORBA를 확장하여 멀티미디어 서비스를 설계한다.

  • PDF

Esper-based Real-time Filtering System (Esper 기반 실시간 필터링 시스템)

  • Park, Sebin;Lee, Sanghun;Moon, Yang-Sae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.552-555
    • /
    • 2016
  • 본 논문에서는 데이터 스트림 대상의 필터링 문제를 다룬다. 데이터 스트림은 지속적으로 생성되며, 크기 또한 거대해서 이를 실시간 처리하기 위해서는 분석에 불필요한 데이터를 충분히 필터링해야 한다. 하지만, 기존 필터링 알고리즘은 하나의 데이터 형식에만 사용이 가능하여 다양하고 복잡한 스트림 환경에서는 사용하기가 어렵다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 스트림 형식에 따라 필터링 알고리즘을 다양하게 선택할 수 있는 필터링 시스템을 제안한다. 그리고 실시간 필터링을 위해 대표적인 오픈소스 DSMS(data stream management system)인 에스퍼 기반으로 구현한다. 또한 웹 기반 클라이언트-서버 모델로 확장 구현하여 사용자가 언제 어디에서든 필터링 시스템을 사용할 수 있게 한다. 제안하는 에스퍼 기반 실시간 필터링 시스템은 데이터 스트림으로 실시간 데이터 스트림과 벌크 데이터 스트림을 지원한다. 그리고 필터링 알고리즘으로 질의 필터링, 블룸 필터링, 베이지안 필터링을 제공한다. 제안하는 필터링 시스템 구현 결과, 데이터 스트림 특성에 적합한 필터링 알고리즘을 선택적으로 제공함으로써, 사용자가 보다 정확하고 효율적으로 의미있는 데이터를 추출 가능하게 하였다.

Selection of Key VOP by Clustering of Approximated Shape in MPEG-4 Compressed Domain (형상 근사화와 클러스터링 기법을 이용한 MPEG-4 영역에서의 키 VOP 선정)

  • 한상진;김용철
    • Proceedings of the IEEK Conference
    • /
    • 2001.09a
    • /
    • pp.337-340
    • /
    • 2001
  • 본 논문에서는 MPEG가 비디오 스트림의 형상 정보를 클러스터링 하여 VO(Visual Object)의 동작을 요약하는 새로운 방법을 제안한다. 제안하는 방법은 MPEG-4 비트 스트림의 디코딩 없이 형상 정보를 근사화 한다. 그리고 사용자가 입력한 질의 VOP(Video Object Plane)와 VO의 각 VOP와의 NMHD(Normalized Mean Hausdorff Distance)를 구한 후 클러스터링을 수행하여 키 영역을 분리해낸다. 클러스터링에 의해 시간적으로 분리된 영역의 지속성을 고려하여 Rank를 매김으로써 사용자가 원하는 수의 키 VOP를 선택할 수 있게 한다. 제안하는 방법은 클러스터링을 사용함으로써 키 VOP를 선정하였으며, Rank와 질의 VOP를 사용하여 사용자와의 상호작용이 가능하다.

  • PDF