• 제목/요약/키워드: data streams

검색결과 824건 처리시간 0.033초

비순서화된 스트림 처리를 위한 적응적 버퍼 제어 기법 (Adaptive Buffer Control over Disordered Streams)

  • 김현규;김철기;이충호;김명호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제34권5호
    • /
    • pp.379-388
    • /
    • 2007
  • 비순서화된 스트림은 윈도우 기반의 질의를 처리할 때 부정확하거나 지연된 결과를 유발할 수 있다. 기존의 방식에서는 일반적으로 버퍼를 이용하여 비순서화된 스트림을 정렬하며, 버퍼의 크기를 추정하기 위해 네트워크 지연의 최대값에 기반한 방식을 이용한다. 그러나 이러한 방식은 버퍼의 크기를 불필요하게 큰 값으로 추정할 수 있으며, 지연된 질의 결과를 발생시킬 수 있다. 본 논문에서는 네트워크 지연의 변화에 따라 적응적으로 버퍼의 크기를 추정하기 위한 확률론적인 접근 방법을 제안한다 제안하는 방법에서는 튜플의 생성이 포아송 분포를 따르며 네트워크 지연은 정규 분포를 따른다고 가정한다. 그리고 이러한 가정을 바탕으로 추정식을 유도한다. 추정식은 튜플의 손실율을 입력인자로 요구하며, 이는 실시간에 튜플의 손실에 있어서 허용 가능한 백분율을 나타낸다. 사용자는 손실율을 질의문에서 정의함으로써, 응용의 요구에 따라 질의 결과의 정확성이나 처리속도 중 원하는 특성에 중점을 둘 수 있다. 본 논문의 실험 결과는 제안한 추정식이 기존의 네트워크 지연의 최대값에 기반한 추정식에 비해 적응성이 우수함을 보인다.

비디오 데이터 세트의 하이퍼 사각형 표현에 기초한 비디오 유사성 검색 알고리즘 (Similarity Search Algorithm Based on Hyper-Rectangular Representation of Video Data Sets)

  • 이석룡
    • 정보처리학회논문지D
    • /
    • 제11D권4호
    • /
    • pp.823-834
    • /
    • 2004
  • 이 연구에서는 대용량 비디오 데이터 스트림에 대한 유사성 검색 알고리즘을 제시한다. 수많은 프레임으로 이루어진 비디오 스트림은 각 프레임을 다차원 벡터(multidimensional vector)로 나타냄으로써 다차원 데이터 공간 상에서 시퀸스로 나타낼 수 있다. 이 시퀸스의 특성을 분석 함으로써 각 시퀸스를 비디오 세그먼트(video segment)와 이 세그먼트의 집합인 비디오 클러스터(video cluster)로 표현한다. 본 연구에서는 이러한 비디오 세그먼트와 클러스터를 사용하여 두 비디오 스트림 사이의 유사성 함수(similarity function)를 제시하고, 이 함수에 근거하여 비디오 세그먼트의 하이퍼 사각형과 대표 프레임에 기초한 두 가지의 유사성 검색 알고리즘을 제안한다. 전자는 정해성(correctness)을 보장하는 알고리즘이며, 후자는 정해성을 약간 희생하는 대신 상당한 효율성을 얻을 수 있는 알고리즘이다. 다양한 유형의 비디오 스트림 및 가상으로 생성된 스트림 데이터에 대한 실험을 통하여 제시한 알고리즘의 성능을 분석한다.

An Expanded Patching Technique using Four Types of Streams for True VoD Services

  • Ha, Sook-Jeong;Bae, Ihn-Han;Kim, Jin-Gyu;Park, Young-Ho;Oh, Sun-Jin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제3권5호
    • /
    • pp.444-460
    • /
    • 2009
  • In this paper, we propose an expanded patching technique in order to reduce the server network bandwidth requirements to support true VoD services in VoD Systems. Double Patching, which is a typical multicast technique, ensures that a long patching stream delivers not only essential video data for the current client but also extra video data for future clients. Since the extra data may include useless data, it results in server network bandwidth wastage. In order to prevent a server from transmitting useless data, the proposed patching technique uses a new kind of stream called a linking stream. A linking stream is transmitted to clients that have received short patching streams, and it plays a linking role between a patching stream and a regular stream. The linking stream enables a server to avoid transmitting unnecessary data delivered by a long patching stream in Double Patching, so the server never wastes its network bandwidth. Mathematical analysis shows that the proposed technique requires less server network bandwidth to support true VoD services than Double Patching. Moreover, simulation results show that it has better average service latency and client defection rate compared with Double Patching.

하천유량의 추계학적 모의발생에 관한 연구(I) -하천유량의 Simulation 모델에 대하여- (Studies on the Stochastic Generation of Synthetic Streamflow Sequences(I) -On the Simulation Models of Streamflow-)

  • 이순탁
    • 물과 미래
    • /
    • 제7권1호
    • /
    • pp.71-77
    • /
    • 1974
  • This paper reviews several different single site generation models for further development of a model for generating the Synthetic sequences of streamflow in the continuous streams like main streams in Korea. Initially the historical time series is looked using a time series technique, that is correlograms, to determine whether a lag one Markov model will satisfactorily represent the historical data. The single site models which were examined include an empirical model using the historical probability distribution of the random component, the linear autoregressive model(Markov model, or Thomas-Fiering model) using both logarithms of the data and Matala's log-normal transformation equations, and finally gamma distribution model.

  • PDF

슬라이딩 윈도에서의 데이터 스팀데이터 유사 질의 처리를 위한 다중질의 최적화 기법 (A Multi-Query Optimizing Method for Data Stream Similar Queries on Sliding Window)

  • 이양파;이연;신숭선;이동욱;정원일;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.413-416
    • /
    • 2008
  • In the presence of multiple continuous queries, multi-query optimizing is a new challenge to process multiple stream data in real-time. So, in this paper, we proposed an approach to optimize multi-query of sliding window on network traffic data streams and do some comparisons to traditional queries without optimizing. We also detail some method of scheduling on different data streams, while different scheduling made different results. We test the results on variety of multi-query processing schedule, and proofed the proposed method is effectively optimized the data stream similar multi-queries.

중첩 윈도우를 가진 데이터 스트링을 위한 효율적인 조인 알고리즘 (An Efficient Join Algorithm for Data Streams with Overlapping Window)

  • 김현규;강우람;김명호
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권5호
    • /
    • pp.365-369
    • /
    • 2009
  • 일반적으로 중첩 윈도우는 스트림 질의에서 흔히 이용된다. 그럼에도 불구하고, 기존의 연구에서는 범플링 윈도우나 튜플-드리븐 윈도우 등의 기본적인 윈도우만을 가정하고 조인 알고리즘을 다루었다. 본 논문에서는 보다 일반화된 윈도우의 형태인 중칩 윈도우상에서 조인을 효율적으로 처리하기 위한 알고리즘을 제안한다. 제안하는 알고리즘은 기본적으로 점증 조인 후 합병하는 방법을 이용한다. 그리고, 대량의 입력으로부터 메모리 오버플로우가 빈번하게 발생하는 상황에서 연속적으로 윈도우 조인 결과를 생성하는 방법에 중점을 두었다. 제안하는 방법은 (1) 점증 조인과 중복을 허용한 완전 조인을 선택적으로 이용하는 방법, (2) 조인 결과의 지연을 최소화하기 위한 필체 대상 선정 방법과 (3) 가용 시간 처리 방법 등을 포함한다. 그리고, 실험을 통해 점증 조인과 완전 조인을 선택적으로 이용하는 것이 하나만 이용하는 기존 방식에 비해 성능이 우수함을 보인다.

폐루프 다중입출력 시스템을 위한 효율적인 그룹별 공간 다중화 기법 설계 (A New Efficient Group-wise Spatial Multiplexing Design for Closed-Loop MIMO Systems)

  • 문성현;이흔철;김영태;이인규
    • 한국통신학회논문지
    • /
    • 제35권4A호
    • /
    • pp.322-331
    • /
    • 2010
  • 본 논문에서는 폐루프 다중입출력 무선통신 환경을 위한 새로운 공간 다중화 기법을 소개한다. 기존에 제안되 었던 직교 공간 다중화 (OSM; orthogonalized spatial multiplexing) 방식을 확장하여, 우리는 임의의 수의 데이터 스트림을 동시에 전송하기 위한 새로운 방식을 제안한다. 이를 위하여 우리는 데이터 스트림을 두 개 이상의 그룹으로 나누고 수신기에서 블록 대각화 과정을 수행한다. 제안하는 기법은 적은 피드백 정보량을 가지며 심볼 단위의 ML (maximum likelihood) 검출을 통해 복잡도를 최소화한다. 실험 결과를 통해 제안하는 기법은 기존의 설계 기법들에 비하여 비트에러율 관점에서 큰 성능 이득을 제공함을 확인한다. 또한 추가적인 피드백을 통해 수신 그룹의 선택을 최적화함으로써 성능을 더욱 향상시킬 수 있음을 관찰한다.

GAGPC : 데이타 스트림에 대한 다중 연속 질의의 최적화 알고리즘 (GAGPC : An Algorithm to Optimize Multiple Continuous Queries on Data Streams)

  • 서영균;손진현;김명호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권4호
    • /
    • pp.409-422
    • /
    • 2006
  • 데이타 스트림에 대한 다중 연속 질의들 사이에는 질의들의 윈도우 중첩 및 주기적 실행 간격으로 인해 재사용이 가능한 중간 결과들이 다수 생길 수 있다. 본 논문은 다중 연속 질의들을 위한 전체 실행 계획을 구성하기 위해, 효율적인 탐욕 기반의 경험적 알고리즘인 GAGPC를 제안한다. 제안한 GAGPC 알고리즘은 질의들의 전체 실행 사이클을 결정하고 관련된 실행 시점들의 최대 집합인 SRP를 찾는다. 다음, 각 SRP에서 실행될 질의들이 가장 높은 이익을 갖는 공통의 조인 부분들을 공유하도록 전체 실행 계획을 구성한다. 본 논문은 공통된 질의 부분의 존재뿐만 아니라 그것과 관련된 중첩된 윈도우 크기에 따라 통일한 연속 질의라 하더라도 최상의 질의 계획아 바뀔 수 있다는 점을 제시한다. 또한 기존 연구와는 달리, 윈도우가 부분 또는 전체적으로 중첩될 수 있으므로 중간 결과의 전체뿐만 아니라 일부도 재 사용할 것을 반영한다. 마지막으로, 본 논문은 GAGPC의 유효성을 위한 시뮬레이션 결과를 제시한다.

Clustering based on Dependence Tree in Massive Data Streams

  • Yun, Hong-Won
    • Journal of information and communication convergence engineering
    • /
    • 제6권2호
    • /
    • pp.182-186
    • /
    • 2008
  • RFID systems generate huge amount of data quickly. The data are associated with the locations and the timestamps and the containment relationships. It is requires to assure efficient queries and updates for product tracking and monitoring. We propose a clustering technique for fast query processing. Our study presents the state charts of temporal event flow and proposes the dependence trees with data association and uses them to cluster the linked events. Our experimental evaluation show the power of proposing clustering technique based on dependence tree.

다중 윈도우 조인을 위한 튜플의 도착 순서에 기반한 효과적인 부하 감소 기법 (Effective Load Shedding for Multi-Way windowed Joins Based on the Arrival Order of Tuples on Data Streams)

  • 권태형;이기용;손진현;김명호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제37권1호
    • /
    • pp.1-11
    • /
    • 2010
  • 최근 다중 데이터 스트림에 대한 연속 질의 처리에 관한 연구가 활발하게 진행되고 있다. 데이터 스트림에서 튜플들의 도착 속도가 폭증하여 시스템의 메모리 용량을 초과하는 경우, 일부 튜플을 버림으로써 시스템이 과부하 상태가 되지 않도록 하는 기법을 부하 감소(load shedding)라 한다. 본 논문에서는 다중 데이터 스트림에 대한 다중 윈도우 조인을 위한 효과적인 부하 감소 기법을 제안한다. 기존의 부하 감소 기법들은 버릴 튜플을 선택하기 위해 튜플들의 조인 키 값을 이용하여 각 튜플이 생성할 조인 결자 개수(생산성)를 예측하고, 생산성이 최소가 되는 튜플을 버린다. 그러나 이러한 방법들은 조인 키 값이 다시 나타나지 않거나, 조인 키 값의 분포가 일정하게 유지되지 않는 경우 튜플들의 생산성을 올바르게 예측하기 어렵다. 본 논문은 이러한 경우를 위해 튜플들의 조인 키 값 대신, 튜플의 데이터 스트림에 대한 도착 순서를 사용하여 튜플들의 생산성을 예측하는 방법을 사용한다. 제안하는 방법은 조인 키 값으로 튜플들의 생산성을 예측하가 어려운 상황에서 튜플의 도착 순서를 통해 각 튜플의 생산성을 효과적으로 예측할 수 있도록 해준다. 다양한 실험과 분석을 통해 제안하는 새로운 부하 감소 기법이 기존 기법에 비해 더욱 효과적이고 효율적으로 부하를 감소시킬 수 있음을 보인다.