• Title/Summary/Keyword: 스트림 질의 처리

Search Result 166, Processing Time 0.036 seconds

Query Processing System for Incomplete Sensor Stream Data of in Real-time Sensor Network (실시간 센서 네트워크에서 불완전 센서 스트림 데이터를 위한 질의 처리 시스템)

  • Jang, You-Ho;Lee, Sang-Ho;Kim, Yong-Seung;Oh, Ryum-Duck
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.01a
    • /
    • pp.123-124
    • /
    • 2014
  • 무선 센서 네트워크는 센서들을 근거리 네트워크로 연결하여 사용자와 현장의 정보를 실시간으로 연결해 주는 매개체 역할을 한다. 이러한 무선 센서 네트워크는 기존의 컴퓨팅 시스템과는 달리 제한된 자원과 환경 속에서 동작을 해야 하고, 접근이 힘든 곳이나 지속적인 관리가 필요한 지역에서 효율적으로 사용된다. 본 논문에서는 무선 센서네트워크의 제한된 자원 속에서 불완전 스트림 데이터를 효율적으로 정제하고 처리하여 빠르고 정확한 질의어 처리가 가능한 질의 시스템을 제안하였다.

  • PDF

Efficient Processing of an Aggregate Query Stream in MapReduce (맵리듀스에서 집계 질의 스트림의 효율적인 처리 기법)

  • Choi, Hyunjean;Lee, Ki Yong
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.3 no.2
    • /
    • pp.73-80
    • /
    • 2014
  • MapReduce is a widely used programming model for analyzing and processing Big data. Aggregate queries are one of the most common types of queries used for analyzing Big data. In this paper, we propose an efficient method for processing an aggregate query stream, where many concurrent users continuously issue different aggregate queries on the same data. Instead of processing each aggregate query separately, the proposed method processes multiple aggregate queries together in a batch by a single, optimized MapReduce job. As a result, the number of queries processed per unit time increases significantly. Through various experiments, we show that the proposed method improves the performance significantly compared to a naive method.

Memory Efficient Query Processing over Dynamic XML Fragment Stream (동적 XML 조각 스트림에 대한 메모리 효율적 질의 처리)

  • Lee, Sang-Wook;Kim, Jin;Kang, Hyun-Chul
    • The KIPS Transactions:PartD
    • /
    • v.15D no.1
    • /
    • pp.1-14
    • /
    • 2008
  • This paper is on query processing in the mobile devices where memory capacity is limited. In case that a query against a large volume of XML data is processed in such a mobile device, techniques of fragmenting the XML data into chunks and of streaming and processing them are required. Such techniques make it possible to process queries without materializing the XML data in its entirety. The previous schemes such as XFrag[4], XFPro[5], XFLab[6] are not scalable with respect to the increase of the size of the XML data because they lack proper memory management capability. After some information on XML fragments necessary for query processing is stored, it is not deleted even after it becomes of no use. As such, when the XML fragments are dynamically generated and infinitely streamed, there could be no guarantee of normal completion of query processing. In this paper, we address scalability of query processing over dynamic XML fragment stream, proposing techniques of deleting information on XML fragments accumulated during query processing in order to extend the previous schemes. The performance experiments through implementation showed that our extended schemes considerably outperformed the previous ones in memory efficiency and scalability with respect to the size of the XML data.

Efficient Approximate Top-k Subgraph Matching Scheme in Graph Stream (그래프 스트림에서 효율적인 근사 Top-k 서브 그래프 매칭 기법)

  • Choi, do-jin;Bok, kyoung-soo;Yoo, jae-soo
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2019.05a
    • /
    • pp.11-12
    • /
    • 2019
  • IoT 및 SNS의 발달로 인해 관계를 표현하는 그래프 모델링 기법이 활용되고 있다. 실시간 스트림 그래프에서 유사한 모형의 그래프를 탐색하기 위한 근사 Top-k 서브 그래프 매칭에 대한 요구가 증가하고 있다. 본 논문에서는 그래프 스트림에서 간선의 유형 및 구조적 차이를 고려한 효율적인 근사 Top-k 서브 그래프 매칭 기법을 제안한다. 임계값 기반의 필터링과 스트림 환경에 맞는 연속 서브 그래프 매칭 구조를 제안함으로써 그래프 스트림에 적합한 질의 처리를 수행한다.

  • PDF

Different Load Shedding using utilization of Spatial over Data Stream (데이터 스트림에서 공간의 이용도를 이용한 차등적 부하제한 기법)

  • Kim, Ho;Baek, Sung-Ha;Lee, Dong-Wook;Shin, Soong-Sun;Bae, Hae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.04a
    • /
    • pp.340-343
    • /
    • 2009
  • u-GIS 환경에서 GeoSensor로부터 수집되는 시공간 데이터는 데이터 스트림의 특징을 포함한다. 데이터 스트림은 다양한 입력 속도로 끊임없이 입력되고, 데이터의 크기 또한 가변적이다. 이런 이유로 한정적인 메모리와 처리능력의 시스템은 과부하 현상이 발생한다. 이를 해결하기 위해 초과되는 데이터를 버려 메모리 초과를 방지하는 기법들이 연구되고 있다. 공간질의는 공간과 위치 값을 기반으로 이루어지는 연산으로 공간질의 정확도는 공간과 위치 정보를 통해 보장된다. 그러나 기존 기법인 랜덤부하제한 기법과 의미적부하제한 기법은 공간질의가 요구하는 공간과 위치 값에 대해 고려하지 않고 삭제하기 때문에 공간질의에 대한 정확도가 감소하는 문제를 갖는다. 본 논문에서는 공간의 이용도를 이용하여 차등적 비율을 적용한 부하제한 기법은 연구하였다. 이 기법은 등록된 공간질의의 영역 겹침 정도에 따라 중요 레벨을 증가시키고, 이를 토대로 시공간 데이터의 중요도를 파악하여 중요도마다 주어진 비율에 의하여 차등적으로 삭제한다. 결과적으로 기존 기법보다 다소 높은 Drop rate를 통해 질의 처리 속도를 빠르게 회복시켰으며, 중요 데이터를 최대한 유지하여 Error rate를 감소시켰다.

Data Stream Storing Techniques for Supporting Hybrid Query (하이브리드 질의를 위한 데이터 스트림 저장 기술)

  • Shin, Jae-Jyn;You, Byeong-Seob;Eo, Sang-Hun;Lee, Dong-Wook;Bae, Hae-Young
    • Journal of Korea Multimedia Society
    • /
    • v.10 no.11
    • /
    • pp.1384-1397
    • /
    • 2007
  • This paper proposes fast storage techniques for hybrid query of data streams. DSMS(Data Stream Management System) have been researched for processing data streams that have busting income. To process hybrid query that retrieve both current incoming data streams and past data streams data streams have to be stored into disk. But due to fast input speed of data stream and memory and disk space limitation, the main research is not about querying to stored data streams but about querying to current incoming data streams. Proposed techniques of this paper use circular buffer for maximizing memory utility and for make non blocking insertion possible. Data in a disk is compressed to maximize the number of data in the disk. Through experiences, proposed technique show that bursting insertion is stored fast.

  • PDF

Iceberg Query Evaluation Technical Using a Cuboid Prefix Tree (큐보이드 전위트리를 이용한 빙산질의 처리)

  • Han, Sang-Gil;Yang, Woo-Sock;Lee, Won-Suk
    • Journal of KIISE:Databases
    • /
    • v.36 no.3
    • /
    • pp.226-234
    • /
    • 2009
  • A data stream is a massive unbounded sequence of data elements continuously generated at a rapid rate. Due to the characteristics of a data stream, it is impossible to save all the data elements of a data stream. Therefore it is necessary to define a new synopsis structure to store the summary information of a data stream. For this purpose, this paper proposes a cuboid prefix tree that can be effectively employed in evaluating an iceberg query over data streams. A cuboid prefix tree only stores those itemsets that consist of grouping attributes used in GROUP BY query. In addition, a cuboid prefix tree can compute multiple iceberg queries simultaneously by sharing their common sub-expressions. A cuboid prefix tree evaluates an iceberg query over an infinitely generated data stream while efficiently reducing memory usage and processing time, which is verified by a series of experiments.

Stream Data Processing based on Sliding Window at u-Health System (u-Health 시스템에서 슬라이딩 윈도우 기반 스트림 데이터 처리)

  • Kim, Tae-Yeun;Song, Byoung-Ho;Bae, Sang-Hyun
    • The Journal of Korea Institute of Information, Electronics, and Communication Technology
    • /
    • v.4 no.2
    • /
    • pp.103-110
    • /
    • 2011
  • It is necessary to accurate and efficient management for measured digital data from sensors in u-health system. It is not efficient that sensor network process input stream data of mass storage stored in database the same time. We propose to improve the processing performance of multidimensional stream data continuous incoming from multiple sensor. We propose process query based on sliding window for efficient input stream and found multiple query plan to Mjoin method and we reduce stored data using backpropagation algorithm. As a result, we obtained to efficient result about 18.3% reduction rate of database using 14,324 data sets.

Esper-based Real-time Filtering System (Esper 기반 실시간 필터링 시스템)

  • Park, Sebin;Lee, Sanghun;Moon, Yang-Sae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.552-555
    • /
    • 2016
  • 본 논문에서는 데이터 스트림 대상의 필터링 문제를 다룬다. 데이터 스트림은 지속적으로 생성되며, 크기 또한 거대해서 이를 실시간 처리하기 위해서는 분석에 불필요한 데이터를 충분히 필터링해야 한다. 하지만, 기존 필터링 알고리즘은 하나의 데이터 형식에만 사용이 가능하여 다양하고 복잡한 스트림 환경에서는 사용하기가 어렵다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 스트림 형식에 따라 필터링 알고리즘을 다양하게 선택할 수 있는 필터링 시스템을 제안한다. 그리고 실시간 필터링을 위해 대표적인 오픈소스 DSMS(data stream management system)인 에스퍼 기반으로 구현한다. 또한 웹 기반 클라이언트-서버 모델로 확장 구현하여 사용자가 언제 어디에서든 필터링 시스템을 사용할 수 있게 한다. 제안하는 에스퍼 기반 실시간 필터링 시스템은 데이터 스트림으로 실시간 데이터 스트림과 벌크 데이터 스트림을 지원한다. 그리고 필터링 알고리즘으로 질의 필터링, 블룸 필터링, 베이지안 필터링을 제공한다. 제안하는 필터링 시스템 구현 결과, 데이터 스트림 특성에 적합한 필터링 알고리즘을 선택적으로 제공함으로써, 사용자가 보다 정확하고 효율적으로 의미있는 데이터를 추출 가능하게 하였다.

Research on Real-time Stream Data Monitoring for BodyNet (BodyNet 에서의 스트림 데이터 실시간 모니터링 기법의 연구)

  • Lee, Seul-A;Choi, Ok-ju;Lee, Minsoo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2010.11a
    • /
    • pp.126-129
    • /
    • 2010
  • WBAN(Wireless Body Area Network)기반의 의료 응용으로 실시간 모니터링 시스템을 구현하였다. 특히 산소포화도 생체 센서들로부터 연속적으로 전송되는 스트림 데이터에 대해 다양한 조건을 포함하는 질의들이 실행 되는데 이러한 실시간 모니터링 질의들을 효율적으로 식별하기 위한 질의 인덱스를 설계하였다. 매번 모든 질의들을 실행하기에는 시간이 많이 걸리기 때문에 Interval Skip List 를 이용하여 빠르고 효율적으로 식별하도록 설계하였다. 이로써 위급한 상황의 환자의 건강에 문제가 생겼을 때 신속하게 대처할 수 있는 환경을 제공한다. 본 논문에서는 방대한 양의 스트림 데이터와 이 데이터를 실시간으로 감시할 수 있도록 Interval Skip List 를 스마트 메디컬 스페이스(m-MediNet)에 적용한 방법을 기술하고 있다.