• Title/Summary/Keyword: 데이터스트림

Search Result 917, Processing Time 0.027 seconds

An Efficient Query Processing in Stream DBMS using Query Preprocessor (질의 전처리기를 사용한 스트림 DBMS의 효율적 질의처리)

  • Yang, Young-Hyoo
    • Journal of the Korea Society of Computer and Information
    • /
    • v.13 no.1
    • /
    • pp.65-73
    • /
    • 2008
  • The telematics data management deals with queries on stream data coming from moving cars. So the stream DBMS should process the large amount of data stream in real-time. In this article, previous research projects are analyzed in the aspects of query processing. And a hybrid model is introduced where query preprocessor is used to process all types of queries in one singe system. Decreasing cost and rapidly increasing Performance of devices may guarantee the utmost parallelism of the hybrid system. As a result, various types of stream DBMS queries could be processed in a uniform and efficient way in a single system.

  • PDF

Queue Memory Management Method for Continuous Query Processing in Data Stream (데이터 스트림에서 연속질의 처리를 위한 큐 메모리 관리 기법)

  • Shin, Jae-Wan;Shin, Soong-Sun;Lee, Dong-Wook;Kim, Kyung-Bae;Bae, Hae-Young
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06c
    • /
    • pp.179-183
    • /
    • 2008
  • 연속적이고 무한히 발생되는 데이터 스트림을 관리하는 데이터 스트림 관리시스템(DSMS)은 연속질의를 이용하여 스트림을 처리한다. 연속질의는 질의 별로 독립적인 큐를 유지하기 때문에 질의 개수가 증가함에 따라서 메모리 비용이 증가되며, 잦은 메모리 할당으로 인한 시스템의 성능 저하를 갖는다. 이러한 문제점을 해결하기 위한 기존의 연구로 메모리 풀을 이용한 메모리 관리 기법이 있다. 하지만 페이지의 크기가 고정되어 있기 때문에 각 질의마다 필요로 하는 데이터 스트림의 최적의 크기에 적합하게 할당되지 못하여 메모리를 낭비하는 문제점이 있다. 본 논문에서는 이러한 문제를 해결하기 위해 연속질의 처리를 위한 큐 메모리 관리 기법을 제안한다. 제안기법은 큐 관리 테이블에서 관리하는 각각의 큐 메모리들을 타임스탬프를 가지고 일정한 기간을 주기로 큐 메모리의 사용량을 분석한다. 분석된 큐 메모리들은 이전의 큐 메모리의 사용량과 현재 사용된 큐 메모리의 사용량을 비교함으로써 상한 값과 하한 값을 구함으로써 현재 큐 메모리에서 가지고 있는 사용량을 추가할 것인지, 줄일 것인지를 판단하여, 메모리의 사용량을 최적화 함으로써 시스템의 메모리 가용성을 향상한다. 제안 기법은 성능평가를 통해 메모리의 가용성이 기존의 방식에 비하여 향상된 성능을 보인다.

  • PDF

Design of Table Shape Comparison Algorithm for Improvement of Transformation Managing Process in Meta Data Management System (메타데이터 관리시스템의 이관 관리 프로세스 개선을 위한 테이블 형상 비교 알고리즘 설계)

  • Yang, Seungyeon;Park, Seok-Cheon;Moon, Seung-Sic;Lee, Jinhee;In, Teahwan
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.1222-1225
    • /
    • 2013
  • 오늘날 기업의 시스템은 훨씬 복잡해지고 다루는 데이터의 규모는 점점 대형화됨에 따라 환경 변화에 기업이 대응하기가 어려워지고 있다. IT 환경의 변화에 기업이 대응하기 위해서는 메타데이터 관리시스템의 기능을 개선할 필요가 있다. 본 논문에서는 데이터 모델링에 대한 새로운 요구사항을 신속히 반영하기 위해서 모델의 변경 이력을 참조하지 않고 이관해야 할 목표 데이터베이스의 테이블의 형상을 비교하여 이관 관리 프로세스를 향상시킨 알고리즘을 설계하였다. 본 논문서 설계한 알고리즘을 통해 모델의 변경 이력을 참조할 경우 발생하는 데이터베이스 변경의 처리 횟수를 줄임으로써 프로세스 개선의 효과를 기대할 수 있는 알고리즘을 제시하였다.

Probability-based Iceberg Query Processing Over Data Streams (데이터 스트림에서의 확률기반 빙산 질의 처리)

  • Seo, Dae-Hong;Lee, Won-Suk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2007.05a
    • /
    • pp.34-37
    • /
    • 2007
  • 간 및 낮은 메모리 사용량을 요구한다. 이러한 데이터 스트림에서의 데이터 마이닝은 전체 데이터에 대한 분석 보다는 사용자가 관심을 갖는 영역에 대한 마이닝에 초점이 맞추어져 있어, 사용자 관심영역에 대한 분석 데이터 탐색을 필요로 한다. 이에 본 논문에서는 기존의 분석 데이터 탐색 기법인 빙산 질의 및 상위-k 질의에 대하여 알아보고, 이를 보완하기 위한 확률에 기반한 데이터 탐색법인 확률기반 빙산 질의를 제안한다.

  • PDF

Multimedia Traffic Analysis using Markov Chain Model in CDMA Mobile Communication Systems (CDMA 이동통신 시스템에서 멀티미디어 트래픽에 대한 마르코프 체인 해석)

  • 김백현;김철순;곽경섭
    • Journal of Korea Multimedia Society
    • /
    • v.6 no.7
    • /
    • pp.1219-1230
    • /
    • 2003
  • We analyze an integrated voice/data CDMA system, where the whole channels are divided into voice prioritized channels and voice non-prioritized channels. For real-time voice service, a preemptivc priority is granted in the voice prioritized channels. And, for delay-tolerant data service, the employment of buffer is considered. On the other hand, the transmission permission probability in best-effort packet-data service is controlled by estimating the residual capacity available for users. We build a 2-dimensional markov chain about prioritized-voice and stream-data services and accomplish numerical analysis in combination with packet-data traffic based on residual capacity equation.

  • PDF

Query Processing over XML Fragment Stream Using an XML Labelling Scheme (XML 레이블링 기법을 이용한 XML 조각 스트림에 대한 질의 처리)

  • Lee, Sang-Wook;Kim, Jin;Kang, Hyun-Chul
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.10c
    • /
    • pp.113-117
    • /
    • 2006
  • 유비쿼터스 컴퓨팅의 실현을 위해서는 이동 단말기의 자원 및 컴퓨팅 파워의 효율적 사용이 필수적이다. 특히, 이동 단말기에 내장된 소프트웨어의 수행에 있어 메모리 효율성, 에너지 효율성, 그리고 처리 효율성이 요구된다. 본 논문은 자원이 제약되어 있는 이동 단말기에서의 XML 데이터에 대한 질의 처리 기술에 관한 것이다. 메모리 용량이 크지 않은 단말기의 경우 대량의 XML 데이터에 대한 질의 처리를 수행하기 위해서는 XML 스트림 질의 처리 기술이 활용되어야 한다. 최근에 제시된 XFrag 기법은 홀-필러(hole-filler) 모델을 이용하여 XML 데이터를 XML 조각(fragment)으로 분할(fragmentation)하여 스트림으로 전송하고 처리할 수 있는 기법이다. 이는 메모리 효율성이 요구되는 이동 단말기에서 전체 XML 문서를 재구성하지 않고 XML 데이터에 대한 질의 처리를 가능하게 한다. 그러나 홀-필러 모델을 사용할 경우 홀과 필러에 대한 부가적인 정보를 저장해야 하므로 메모리 효율성이 높지 못하다. 본 논문에서는 XML 데이터의 구조 정보를 표현하는 XML 레이블링(labelling) 기법을 이용하여 XML 데이터를 조각으로 분할하여 조각 스트림에 대한 질의 처리를 수행하는 기법을 제시한다. 구현 및 성능 실험 결과 본 논문에서 제시한 기법이 기존의 XFrag 기법보다 메모리 사용량과 처리 시간 양면 모두에서 우수한 것으로 나타났다.

  • PDF

In-memory Compression Scheme Based on Incremental Frequent Patterns for Graph Streams (그래프 스트림 처리를 위한 점진적 빈발 패턴 기반 인-메모리 압축 기법)

  • Lee, Hyeon-Byeong;Shin, Bo-Kyoung;Bok, Kyoung-Soo;Yoo, Jae-Soo
    • The Journal of the Korea Contents Association
    • /
    • v.22 no.1
    • /
    • pp.35-46
    • /
    • 2022
  • Recently, with the development of network technologies, as IoT and social network service applications have been actively used, a lot of graph stream data is being generated. In this paper, we propose a graph compression scheme that considers the stream graph environment by applying graph mining to the existing compression technique, which has been focused on compression rate and runtime. In this paper, we proposed Incremental frequent pattern based compression technique for graph streams. Since the proposed scheme keeps only the latest reference patterns, it increases the storage utilization and improves the query processing time. In order to show the superiority of the proposed scheme, various performance evaluations are performed in terms of compression rate and processing time compared to the existing method. The proposed scheme is faster than existing similar scheme when the number of duplicated data is large.

Dynamic Load Management Method for Spatial Data Stream Processing on MapReduce Online Frameworks (맵리듀스 온라인 프레임워크에서 공간 데이터 스트림 처리를 위한 동적 부하 관리 기법)

  • Jeong, Weonil
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.19 no.8
    • /
    • pp.535-544
    • /
    • 2018
  • As the spread of mobile devices equipped with various sensors and high-quality wireless network communications functionsexpands, the amount of spatio-temporal data generated from mobile devices in various service fields is rapidly increasing. In conventional research into processing a large amount of real-time spatio-temporal streams, it is very difficult to apply a Hadoop-based spatial big data system, designed to be a batch processing platform, to a real-time service for spatio-temporal data streams. This paper extends the MapReduce online framework to support real-time query processing for continuous-input, spatio-temporal data streams, and proposes a load management method to distribute overloads for efficient query processing. The proposed scheme shows a dynamic load balancing method for the nodes based on the inflow rate and the load factor of the input data based on the space partition. Experiments show that it is possible to support efficient query processing by distributing the spatial data stream in the corresponding area to the shared resources when load management in a specific area is required.

Development of a Spatio-Temporal DSMS for the Real-time Management of Moving Objects Data Stream (이동체 데이터 스트림의 실시간 관리를 위한 시공간 DSMS의 개발)

  • Shin, In-Su;Kim, Jang-Woo;Kim, Joung-Joon;Han, Ki-Joon
    • Journal of Korean Society for Geospatial Information Science
    • /
    • v.20 no.1
    • /
    • pp.21-31
    • /
    • 2012
  • Recently, according to the development of ubiquitous computing technology, the efficient management of locations of moving objects is increasing rapidly in various fields. However, MODBMS and DSMS can not support the efficient real-time management of spatio-temporal stream data of moving objects. Therefore, this paper designed and implemented a spatio-temporal DSMS which can support the efficient real-time management of spatio-temporal stream data of moving objects. Especially, to develop the spatio-temporal DSMS, we extended STREAM of Stanford University and used GEOS that supports spatial data types and spatial operators of OGC. Finally, this paper proved the efficiency of the spatio-temporal DSMS by applying it to the real-time monitoring field which requires the real-time management of spatio-temporal stream data of moving objects.

A Dual Processing Load Shedding to Improve The Accuracy of Aggregate Queries on Clustering Environment of GeoSensor Data Stream (클러스터 환경에서 GeoSensor 스트림 데이터의 집계질의의 정확도 향상을 위한 이중처리 부하제한 기법)

  • Ji, Min-Sub;Lee, Yeon;Kim, Gyeong-Bae;Bae, Hae-Young
    • Journal of the Korea Society of Computer and Information
    • /
    • v.17 no.1
    • /
    • pp.31-40
    • /
    • 2012
  • u-GIS DSMSs have been researched to deal with various sensor data from GeoSensors in ubiquitous environment. Also, they has been more important for high availability. The data from GeoSensors have some characteristics that increase explosively. This characteristic could lead memory overflow and data loss. To solve the problem, various load shedding methods have been researched. Traditional methods drop the overloaded tuples according to a particular criteria in a single server. Tuple deletion sensitive queries such as aggregation is hard to satisfy accuracy. In this paper a dual processing load shedding method is suggested to improve the accuracy of aggregation in clustering environment. In this method two nodes use replicated stream data for high availability. They process a stream in two nodes by using a characteristic they share stream data. Stream data are synchronized between them with a window as a unit. Then, processed results are merged. We gain improved query accuracy without data loss.