• Title/Summary/Keyword: 데이터스트림

Search Result 917, Processing Time 0.025 seconds

A Continuous Query Processing System for XML Stream Data (XML 스트림 데이터에 대한 연속 질의 처리 시스템)

  • Han Seungchul;Kang Hyunchul
    • The KIPS Transactions:PartD
    • /
    • v.11D no.7 s.96
    • /
    • pp.1375-1384
    • /
    • 2004
  • Streaming data processing is an area of interest with much research under way. There has been increasing attention on the demands for efficient processing of streaming data produced in the application areas such as monitoring and sensor network. We have developed a continuous query processing system for streaming data and evaluated its performance in this paper. XML, the standard for data exchange on the web, is used as the model for the streaming data and the XQuery appended with a time interval is adopted as the query language for expressing con-tinuous queries. In the proposed system, the result is produced through background processing and materialized for reute in subsequent query processing. Through a detailed set of performance experiments, we shoed the effectiveness of the proposed system.

Mining Association Rules in Multidimensional Stream Data (다차원 스트림 데이터의 연관 규칙 탐사 기법)

  • Kim, Dae-In;Park, Joon;Kim, Hong-Ki;Hwang, Bu-Hyun
    • The KIPS Transactions:PartD
    • /
    • v.13D no.6 s.109
    • /
    • pp.765-774
    • /
    • 2006
  • An association rule discovery, a technique to analyze the stored data in databases to discover potential information, has been a popular topic in stream data system. Most of the previous researches are concerned to single stream data. However, this approach may ignore in mining to multidimensional stream data. In this paper, we study the techniques discovering the association rules to multidimensional stream data. And we propose a AR-MS method reflecting the characteristics of stream data since make the summarization information by one data scan and discovering the association rules for significant rare data that appear infrequently in the database but are highly associated with specific event. Also, AR-MS method can discover the maximal frequent item of multidimensional stream data by using the summarization information. Through analysis and experiments, we show that AR-MS method is superior to other previous methods.

A Decoding Program of MPEG TS Packet and A Restoring Program of Data Information (MPEG TS 패킷 분류 프로그램과 데이터 정보의 복원 프로그램)

  • Jung, Myung-Su;Sonh, Seung-Il
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • v.9 no.1
    • /
    • pp.646-650
    • /
    • 2005
  • 요즘 아날로그 방송에서 디지털 방송시대로 변화함에 따라 디지털 방송기술이 많이 발전되었다. 디지털 방송은 방송국으로부터 만들어지는 영상, 음성, 데이터 스트림들이 MPEG을 통해 효율적으로 압축하고 동기식으로 패킷화되어서 MPEG TS 패킷형식으로 서비스 이용자에게 위성 또는 지상파를 통해 전송되어진다. 방송되어지는 데이터 정보는 물론 그 외의 비관련 데이터도 제공되어짐으로써 서비스 이용범위도 많이 늘어나고 특히 기존의 영상과 음성위주의 방송과는 달리 사업자와 이용자간의 쌍방향으로 데이터를 송수신할 수 있는 기술이 고부가가치 사업으로 대두되고 있다. 디지털 방송을 수신해서 보기 위해서는 튜너로부터 수신되어 디지털화된 MPEG TS 패킷들을 분류해주는 과정이 필요하다. 본 연구에서는 실제 디지털 방송되었던 패킷 파일을 가지고 분류하였다. 영상 스트림과 음성 스트림을 분류하고 데이터 스트림을 분리하였다. 그리고 데이터 방송 규격의 데이터 스트림 파일을 별도로 입력하여 데이터를 분류하였다. 프로그램은 Microsoft visual c++6.0을 사용하여 구현하였다.

  • PDF

Research Directions for Data Stream Processing (데이터 스트림 처리에 관한 연구 동향)

  • An Dong-Chan;Park Seog
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07b
    • /
    • pp.34-36
    • /
    • 2005
  • 데이터 스트림 처리에 관한 연구들은 최근 컴퓨터 과학 분야에서 가장 않은 관심을 가지고 있고 흥미있는 이슈 중 하나이다. 이러한 경향은 다양한 어플리케이션의 출현으로 질의 저리에 대한 효율적인 방법과 새로운 데이터 스트림의 모델을 필요로 하기 때문일 것이다. 본 논문은 그 중에서도 데이터 스트림 분야의 가장 중요한 부분으로 생각되는 스케줄링, 적절한 질의 처리, 부하 분산, 근사화, 분산 데이터 모니터링에 대한 연구 분석을 도모하였다.

  • PDF

Data Stream Allocation Algorithm for Maximizing Sum Capacity in Multiuser MIMO Systems (다중 사용자 MIMO 시스템에서 전체 채널 용량을 최대화하기 위한 데이터 스트림 할당 기법)

  • Kim, Bong-Seok;Choi, Kwon-Hue
    • Journal of Satellite, Information and Communications
    • /
    • v.6 no.1
    • /
    • pp.19-27
    • /
    • 2011
  • In this paper, we propose the data stream allocation algorithms for maximizing sum capacity of downlink multiuser MIMO (Multiple-input Multiple-output) systems with BD (Block Diagonalization). The conventional BD precoding algorithms maximize the capacity by controlling power against channel gain of each user. In multiuser MIMO systems, however, the number of data streams for each user can be used to as another control parameter, which determines the capacity. This paper proposes the data stream allocation algorithm of BD for increasing capacity in multiuser MIMO systems. The proposed algorithm allocates unequal bit stream to each user based on channel matrix of each user for maximizing sum capacity. It is proved that proposed algorithm can achieve the significantly improved sum capacity by computer simulation.

A Load Shedding Technique over a Data Stream of Tuples (튜플 데이터 스트림에서 과부하 처리 기법)

  • Chang, Joong-Hyuk;Park, Nam-Hun;Lee, Won-Suk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.05a
    • /
    • pp.109-112
    • /
    • 2005
  • 수행 과정에서의 성능 측면에서 기존의 데이터 스트림 처리 방법들은 주로 수행 과정에서의 저장 공간 사용량 및 데이터 객체당 수행 시간을 줄이는데 초점을 맞추고 있다. 이들 방법들에서 일정 시간 내에 처리될 수 있는 데이터 객체의 수보다 많은 데이터 객체가 발생된다면, 그들 중 일부는 실시간으로 처리되지 못한다. 본 논문에서는 튜플 데이터 스트림에서 발생빈도 기반의 중요 튜플 선별 방법을 제안한다. 이는 해당 데이터 스트림 처리 과정에서 전처리 과정으로 간주할 수 있다. 제안된 방법에서는 데이터 스트림의 변화를 고려하여 중요 튜플 선별을 위한 임계값을 적응적으로 조절한다. 이를 지원하기 위해서 튜플의 발생빈도 예측 방법을 제시한다.

  • PDF

Design and Implementation of CORBA based Multimedia Stream Communication Service (CORBA 기반 멀티미디어 스트림 통신 서비스의 설계 및 구현)

  • Kim, Jong-Hyun;Chung, Ki-Dong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.04a
    • /
    • pp.337-340
    • /
    • 2002
  • 본 논문에서는 CORBA 환경 하에서 멀티미디어 스트림을 효율적으로 처리하고 제어하기 위한 멀티미디어 스트림 통신 서비스의 설계와 구현에 관한 내용을 기술한다. 제안하는 멀티미디어 스트림 통신 서비스에서는 멀티미디어 스트림의 효율적인 처리와 제어 그리고 전송을 위한 소프트웨어 구성 요소들을 분산 객체들로 설계한다. 그리고 제어 데이터와 미디어 데이터의 전송 경로를 분리하여 미디어 데이터의 전송은 RTP(Realtime Transport Protocol)로 직접적으로 전송하므로서 멀티미디어 스트림의 전송 효율을 최적화한다. 우리는 멀티미디어 스트림 통신을 위한 분산 객체들 간의 연결설정과 제어 절차를 보여주며, 테스트 시스템을 구축하여 성능을 평가한다 성능 평가 결과 연결 설정 지연은 TCP 연결에 비해 다소 지연을 가지나, 미디어 데이터의 전송은 CORBA 의 IIOP 프로토콜에 비해 최적화된 성능을 보여준다.

  • PDF

Greedy Query Optimization Performance Analysis for Join Continuous Query over Data Streams (데이터 스트림 환경에서의 조인 연속 질의의 그리디 질의 최적화 성능 분석)

  • Park, Hong-Kyu;Lee, Won-Suk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.361-364
    • /
    • 2006
  • 최근에 제한된 데이터 셋보다 센서 데이터 처리, 웹 서버 로그나 전화 기록과 같은 다양한 트랜잭션 로그 분석 등과 관련된 데이터 스트림 처리에 더 많은 관심이 집중되고 있으며, 특히 데이터 스트림의 질의 처리에 대한 관심이 증가하고 있다. 본 논문에서는 질의 중에서 2 개 이상의 스트림을 조인하는 조인 연속 질의를 처리하는 방법과 성능에 대해서 연구한다. 각 조인의 비용을 스트림의 입력 속도와 조인 선택도를 이용한 조인 비용 모델로 정의하고 그리디 알고리즘을 이용하여 최적화하는 기법을 제안하고 실험을 통해 다양한 스트림 환경에서 최적화 알고리즘이 어떤 성능을 보이는 지를 알아본다.

  • PDF

Implementation of Storage Manager to Maintain Efficiently Stream Data in Ubiquitous Sensor Networks (유비쿼터스 센서 네트워크에서 스트림 데이터를 효율적으로 관리하는 저장 관리자 구현)

  • Lee, Su-An;Kim, Jin-Ho;Shin, Sung-Hyun;Nam, Si-Byung
    • Journal of the Institute of Electronics Engineers of Korea CI
    • /
    • v.46 no.3
    • /
    • pp.24-33
    • /
    • 2009
  • Stream data, gathered from ubiquitous sensor networks, change continuously over time. Because they have quite different characteristics from traditional databases, we need new techniques for storing and querying/analyzing these stream data, which are research issues recently emerging. In this research, we implemented a storage manager gathering stream data and storing them into databases, which are sampled continuously from sensor networks. The storage manager cleans faulty data occurred in mobile sensors and it also reduces the size of stream data by merging repeatedly-sampled values into one and by employing the tilted time frame which stores stream data with several different sampling rates. In this research furthermore, we measured the performance of the storage manager in the context of a sensor network monitoring fires of a building. The experimental results reveal that the storage manager reduces significantly the size of storage spaces and it is effective to manage the data stream for real applications monitoring buildings and their fires.

Load Balancing for Distributed Processing of Real-time Spatial Big Data Stream (실시간 공간 빅데이터 스트림 분산 처리를 위한 부하 균형화 방법)

  • Yoon, Susik;Lee, Jae-Gil
    • Journal of KIISE
    • /
    • v.44 no.11
    • /
    • pp.1209-1218
    • /
    • 2017
  • A variety of sensors is widely used these days, and it has become much easier to acquire spatial big data streams from various sources. Since spatial data streams have inherently skewed and dynamically changing distributions, the system must effectively distribute the load among workers. Previous studies to solve this load imbalance problem are not directly applicable to processing spatial data. In this research, we propose Adaptive Spatial Key Grouping (ASKG). The main idea of ASKG is, by utilizing the previous distribution of the data streams, to adaptively suggest a new grouping scheme that evenly distributes the future load among workers. We evaluate the validity of the proposed algorithm in various environments, by conducting an experiment with real datasets while varying the number of workers, input rate, and processing overhead. Compared to two other alternative algorithms, ASKG improves the system performance in terms of load imbalance, throughput, and latency.