• 제목/요약/키워드: data streams

검색결과 821건 처리시간 0.023초

Load Shedding for Temporal Queries over Data Streams

  • Al-Kateb, Mohammed;Lee, Byung-Suk
    • Journal of Computing Science and Engineering
    • /
    • 제5권4호
    • /
    • pp.294-304
    • /
    • 2011
  • Enhancing continuous queries over data streams with temporal functions and predicates enriches the expressive power of those queries. While traditional continuous queries retrieve only the values of attributes, temporal continuous queries retrieve the valid time intervals of those values as well. Correctly evaluating such queries requires the coalescing of adjacent timestamps for value-equivalent tuples prior to evaluating temporal functions and predicates. For many stream applications, the available computing resources may be too limited to produce exact query results. These limitations are commonly addressed through load shedding and produce approximated query results. There have been many load shedding mechanisms proposed so far, but for temporal continuous queries, the presence of coalescing makes theses existing methods unsuitable. In this paper, we propose a new accuracy metric and load shedding algorithm that are suitable for temporal query processing when memory is insufficient. The accuracy metric uses a combination of the Jaccard coefficient to measure the accuracy of attribute values and $\mathcal{PQI}$ interval orders to measure the accuracy of the valid time intervals in the approximate query result. The algorithm employs a greedy strategy combining two objectives reflecting the two accuracy metrics (i.e., value and interval). In the performance study, the proposed greedy algorithm outperforms a conventional random load shedding algorithm by up to an order of magnitude in its achieved accuracy.

멀티미디어 데이터 스트림을 위한 파일 시스템의 설계 및 구현 (A New File System for Multimedia Data Stream)

  • 이민석;송진석
    • 대한임베디드공학회논문지
    • /
    • 제1권2호
    • /
    • pp.90-103
    • /
    • 2006
  • There are many file systems in various operating systems. Those are usually designed for server environments, where the common cases are usually 'multiple active users', 'great many small files' And they assume a big main memory to be used as buffer cache. So the existing file systems are not suitable for resource hungry embedded systems that process multimedia data streams. In this study, we designed and implemented a new file system which efficiently stores and retrieves multimedia data steams. The proposed file system has a very simple disk layout, which guarantees a quick disk initialization and file system recovery. And we introduced a new indexing-scheme, called the time-based indexing scheme, with the file system. With the indexing scheme, the file system maintains the relation between time and the location for all the multimedia streams. The scheme is useful in searching and playing the compressed multimedia streams by locating exact frame position with given time, resulting in reduction of CPU processing and power consumption. The proposed file system and its APIs utilizing the time-based indexing schemes were implemented firstly on a Linux environment, though it is operating system independent. In the performance evaluation on a real DVR system, which measured the execution time of multi-threaded reading and writing, we found the proposed file system is maximum 38.7% faster than EXT2 file system.

  • PDF

An Experimental Delay Analysis Based on M/G/1-Vacation Queues for Local Audio/Video Streams

  • Kim, Doo-Hyun;Lee, Kyung-Hee;Kung, Sang-Hwan;Kim, Jin-Hyung
    • ETRI Journal
    • /
    • 제19권4호
    • /
    • pp.344-362
    • /
    • 1997
  • The delay which is one of the quality of service parameters is considered to be a crucial factor for the effective usage of real-time audio and video streams in interactive multimedia collaborations. Among the various causes of the delay, we focus in this paper on the local delay concerned with the schemes which handle continuous inflow of encoded data from constant or variable bit-rate audio and video encoders. We introduce two kinds of implementation approaches, pull model and push model. While the pull model periodically pumps out the incoming data from the system buffer, the push model receives events from the device drivers. From our experiments based on Windows NT 3.51, it is shown that the push model outperforms the other for both constant and variable bit-rate streams in terms of the local delay, when the system suffers reasonable loads. We interpret this experimental data with M/G/1 multiple vacation queuing theories, and show that it is consistent with the queuing theoretic interpretations.

  • PDF

공간 데이터 스트림 질의 정확도 향상을 위한 다단계 부하제한 기법 (Multi-level Load Shedding Scheme to Increase Spatial Data Stream Query Accuracy)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제16권12호
    • /
    • pp.8370-8377
    • /
    • 2015
  • 공간 데이터 스트림 관리 시스템에 실시간으로 입력되는 공간 데이터 스트림은 제한된 주기억장치의 용량을 초과할 수 있으므로 부하를 제한할 필요가 있다. 그러나 기존의 연구에서는 부하 제한을 위해 공간 데이터 스트림을 생성하는 데이터 소스의 특성이나 입력 변화, 그리고 공간 데이터 이용 정도를 효율적으로 적용하지 못함으로써 질의 처리의 정확도와 성능을 감소시키는 문제를 갖고 있다. 이에 본 연구에서는 공간 데이터 스트림 질의 관리 시스템에서 발생할 수 있는 부하를 제한하고 공간 질의 처리의 성능과 정확도를 높이기 위한 다단계 부하제한 기법을 제안한다. 제안 기법에서는 먼저 데이터를 수집하는 단계에서 데이터의 수량과 입력 빈도 변화를 이용하여 부하를 제한하고, 과부하 발생시 공간 이용도에 따라 질의 참여 확률이 낮은 데이터를 대상으로 추가적인 부하제한을 수행한다. 실험 결과에서 제안 기법은 기존 부하제한 기법에 비해 11% 이상의 부하 제한 발생 빈도를 감소시키면서 입력 데이터 스트림의 증가와 질의 영역에 증가에 따른 질의 처리 결과의 정확도는 0.04% 이상의 우위를 보였다. 또한, 질의 처리 성능에서도 기존 기법에 비해 3% 이상의 향상을 나타냈다.

온라인 데이터 스트림에서의 동적 부분 공간 클러스터링 기법 (Dynamic Subspace Clustering for Online Data Streams)

  • 박남훈
    • 디지털융복합연구
    • /
    • 제20권2호
    • /
    • pp.217-223
    • /
    • 2022
  • 온라인 데이터 스트림에 대한 부분 공간 클러스터링은 데이터 공간 차원의 모든 부분 집합을 검사해야 하므로 많은 양의 메모리 자원을 필요로 한다. 유한한 메모리 공간에서 데이터 스트림에 대한 클러스터들의 지속적인 변화를 추적하기 위해 본 논문에서는 메모리 자원을 효과적으로 사용하는 격자기반 부분 공간 클러스터링 알고리즘을 제안한다. n차원 데이터 스트림이 주어지면 각 차원 데이터 공간에 있는 데이터 항목의 분포 정보를 격자셀 리스트에 의해 모니터링 된다. 첫번째 레벨의 격자셀 목록에서 데이터 항목의 빈도가 높아 단위 격자셀이 되면 해당 격자셀로부터 모든 가능한 부분 공간의 클러스터를 찾기 위해 다음 레벨의 격자셀 리스트를 자식 노드로 생성한다. 이와 같이 최대 다차원 n레벨의 격자셀 부분 공간 트리가 구성되고, k차원의 부분 공간 클러스터는 부분 공간 격자셀 트리의 k레벨에서 찾을 수 있다. 실험을 통해서 제안하는 방법이 기존 방법만큼 정확도를 유지하면서, 밀집 공간만 확장하여 컴퓨팅 자원을 보다 효율적으로 사용하는 것을 확인하였다.

RSP-DS: 데이터 스트림에서의 실시간 순차 패턴 분석 (RSP-DS: Real Time Sequential Patterns Analysis in Data Streams)

  • 신재진;김호석;김경배;배해영
    • 한국멀티미디어학회논문지
    • /
    • 제9권9호
    • /
    • pp.1118-1130
    • /
    • 2006
  • 데이터 스트림에 대한 기존의 패턴 분석 알고리즘은 대부분 속도 향상과 효율적인 메모리 사용에 대하여 연구되어 왔다. 그러나 기존의 연구들은 새로운 패턴을 가진 데이터 스트림이 입력되었을 경우, 이 전에 분석된 패턴을 버리고 다시 패턴을 분석하여야 한다. 이러한 방법은 데이터의 실시간적인 패턴 분석을 필요로 하는 실제 환경에서는 많은 속도와 계산 비용이 소모된다. 본 논문에서는 끊임없이 입력되는 데이터 스트림의 패턴을 실시간으로 분석하는 방법을 제안한다. 이 것은 먼저 빠르게 패턴을 분석하고 그 다음부터는 이전에 분석된 패턴을 효율적으로 갱신하여 실시간적인 패턴을 얻어내는 방법이다. 데이터 스트림이 입력되면 시간 기반 윈도우로 나누어 여러 개의 순차들을 생성한다. 그리고 생성된 순차들의 정보는 해시 테이블에 입력되어 정해진 개수의 순차가 해시 테이블에 채워질 때마다 해시 테이블에서 패턴을 분석해 낸다. 이렇게 분석된 패턴은 패턴 트리를 형성하게 되고, 이 후에 새로 분석된 패턴들은 이 패턴 트리 안의 패턴 별로 갱신하여 현재 패턴을 유지하게 된다. 새로운 패턴 추가를 위해 패턴을 분석할 때 이전에 이미 발견된 패턴이 Suffix로 나올 수 있다. 그러면 패턴 트리에서 이 전 패턴으로의 포인터를 생성하여 중복되는 패턴 분석으로 인한 계산 시간의 낭비를 방지한다. 그리고 FIFO방법을 사용하여 오랫동안 입력이 안 된 패턴을 손쉽게 제거한다. 패턴이 조금씩 바뀌는 데이터 스트림 환경에서 RSP-DS가 기존의 알고리즘보다 우수하다는 것을 성능 평가를 통하여 증명하였다. 또한 패턴 분석을 수행할 데이터 순차의 개수와 자주 등장하는 데이터를 판별하는 기준을 조절하여 성능의 변화를 살펴보았다.

  • PDF

맵리듀스 온라인 프레임워크에서 공간 데이터 스트림 처리를 위한 동적 부하 관리 기법 (Dynamic Load Management Method for Spatial Data Stream Processing on MapReduce Online Frameworks)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제19권8호
    • /
    • pp.535-544
    • /
    • 2018
  • 다양한 센서를 내장하고 고품질의 무선 네트워크 통신 기능을 탑재한 이동 장치의 보급이 확대됨에 따라 다양한 서비스 환경에서 이동 장치로부터 생성되는 시공간 데이터 량도 빠르게 증가하고 있다. 이와 같이 실시간 특성을 갖는 대량의 공간 데이터 스트림을 처리하기 위한 기존의 연구에서 하둡 기반의 공간 빅 데이터 시스템은 일괄 처리 방식의 플랫폼으로 공간 데이터 스트림에 대한 실시간 서비스에 적용하기에는 매우 어렵다. 이에 본 논문에서는 맵리듀스 온라인 프레임워크를 확장하여 연속적으로 입력되는 공간 데이터 스트림에 대한 실시간 질의 처리를 지원하고, 질의 처리 과정에서 야기될 수 있는 부하 문제를 효과적으로 분산하는 부하 관리 기법을 제안한다. 제안 기법에서는 공간 분할 영역을 기반으로 입력 데이터의 유입율과 부하율을 이용하여 노드들에 대해 동적으로 부하를 분산하는 기법을 제시하였다. 실험에서는 특정 공간 영역에서의 부하 관리가 요구될 때 해당 영역에서의 공간 데이터 스트림을 공유하는 자원들에게 분배함으로써 효과적인 질의 처리를 지원할 수 있음을 보인다.

MPEG-4 Over MPEG-2 TS로부터 MP4 파일로의 포맷 변환기 설계 (Design of a Format Converter from MPEG-4 Over MPEG-2 TS to MP4)

  • 최재영;정제창
    • 방송공학회논문지
    • /
    • 제5권2호
    • /
    • pp.176-187
    • /
    • 2000
  • 본 논문에서는 MPEG-2 시스템 층의 하나인 방송 및 전송을 위한 트랜스포트 스트림(TS)상에 MPEG-4 데이터를 구조화하여 MPEG-4 Over MPEG-2 TS 비트 스트림을 만드는 방법과 이를 저장 매체 포맷중 하나인 MP4 파일로 변환하는 방법에 관한 연구이다. MPEG-4는 객체 단위의 부호화 비트 스트림으로 구성되기 때문에 이들 객체의 속성을 표현하는 객체 기술자, 객체들간의 시공간 관계를 표현하는 장면 기술자가 필요하며 또한 모든 객체들간의 복호화 정보와 객체간의 동기화를 위해 다양한 여러 가지 기술자들이 필요한데 이런 다양한 MPEG-4 비트 스트림을 어떻게 MPEG-2 TS 규격에 맞게 전송하는가에 초점을 두었다. 또한 설계한 MPEG-4 Over MPEG-2 TS 비트 스트림을 저장매체를 대상으로 하는 새로운 파일 규격인 MP4 파일로 변환하는 알고리듬을 제시하고 구현 방법을 소개한다.

  • PDF

실시간 공간 상황 분석을 위한 공간 데이터 스트림 처리 시스템 (A Spatial Data Stream Processing System for Spatial Context Analysis in Real-time)

  • 권오제;김재훈;이기준
    • Spatial Information Research
    • /
    • 제18권1호
    • /
    • pp.69-76
    • /
    • 2010
  • 센서로부터 획득되는 데이터 스트림들 중에 특히 이동 객체에 대한 공간 정보를 담은 데이터 스트림은 상황 인지의 여러 응용 분야에 매우 유용하다. 하지만, 실시간으로 공간 스트림을 처리하는 것과 공간 상황 인지를 위한 복잡한 연산 처리 사이에는 중요한 기능적인 격차가 존재하는데, 이는 공간 스트림 처리와 상황 인지를 통합하는데 매우 큰 어려움을 준다. 본 논문에서는, 공간 스트림 처리와 공간 상황 인지 사이에 존재하는 기능적인 격차를 해결하기 위한 공간 데이터 스트림 처리 시스템인 SCONSTREAM(Spatial CONtext STREAm Management)를 제안한다. 본 논문에서 제안하는 시스템은 불필요한 공간 데이터 스트림을 전처리하고 상황 인지에 용이한 형태로 가공한다. 실험을 통해, 본 시스템이 공간 스트림 처리와 공간 상황 인지 사이에 존재하는 기능적인 격차를 해소할 수 있음을 보인다.

New Interactive TV Service Model based on the MPEG-4 System

  • Kim, Jongho;Jechang Jeong
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2002년도 ITC-CSCC -1
    • /
    • pp.125-128
    • /
    • 2002
  • In this paper, a new interactive TV service model is proposed. The MPEG-4 system is specified for composing and managing various object streams including user interactions. The data broadcasting model supporting user interactions is designed using MPEG-4 system in our proposal. We evaluate possibility of proposed service model using simulation player. This player supports MPEG-2 TS which contains MPEG-2 video and AC-3 audio streams as a main service and MPEC-4 system data as interactive services as well as user specific EPG information, and XML data, etc as supplemetary services. The player also supports a multi-channel environment. The synchronization between audio and visual data is achieved by DTS and PTS in TS.

  • PDF