• 제목/요약/키워드: Data Stream Processing

검색결과 445건 처리시간 0.023초

분산 공간 데이터 스트림 시스템에서 연산 처리율 기반의 적응적 업스트림 백업 기법 (Adaptive Upstream Backup Scheme based on Throughput Rate in Distributed Spatial Data Stream System)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제14권10호
    • /
    • pp.5156-5161
    • /
    • 2013
  • 분산 공간 데이터 스트림 처리에서는 분산 노드의 활용도를 높이고 고장이 발생한 경우 신속하게 시스템을 복구하기 위해 하위 노드에서 처리된 튜플에 대해 상위 노드로 데이터를 백업한다. 그러나 데이터의 유입량이 증가하고 노드의 연산 결과를 다수의 하위 노드들과 공유할 때 튜플 처리가 지연되면 상위 노드의 삭제 지연으로 인해 백업 데이터의 손실을 야기할 수 있다. 본 논문에서는 노드들의 데이터 유입량과 하위 노드의 연산 처리율을 분석하고 적응적 업스트림 백업 방법을 적용하여 노드의 평균 부하율을 감소시키고, 노드 연산 결과의 공유에 따른 데이터 손실을 최소화하는 방법을 제안한다. 그리고 실험에서는 제안 기법을 통해 데이터 손실을 방지하고, 노드 모니터링에 소요되는 CPU 사용률을 평균 20% 감소시키는 결과를 나타낸다.

인테넷상에서 NOD 서비스를 위한 연속미디어 전송 및 푸쉬-캐싱 기법 (A Push-Caching and a Transmission Scheme of Continuous Media for NOD Service on the Internet)

  • 박성호;임은지;최태욱;정기동
    • 한국정보처리학회논문지
    • /
    • 제7권6호
    • /
    • pp.1766-1777
    • /
    • 2000
  • In multimedia new service on the internet, there are problems such as server overload, network congestion and initial latency. To overcome these problems, we propose a proxy push-caching scheme that stores a portion of continuous media stream or entire stream, and a transmission scheme of NOD continuous media, RTP-RR and RTP-nR to exploit push-caching scheme. With the proposed push-caching scheme, NOD server pushes fixed portion of stream to a proxy when new data is generated, and the cached size of each stream changes dynamically according to the caching utility value of each stream. As a result, the initial latency of client side could be reduced and the amount of data transmitted fro ma proxy server to client could be increased. Moreover, we estimate a caching utility value of each stream using correlation between disk space occupied by the stream and the amount of data stream requested by client. And we applied the caching utility value ot replacement policies. The performance of the proxy push-caching and continuous media transmission schemes proposed were compared with other schemes using simulations. In the simulation, these schemes show better results than other schemes in terms of BHR (Byte Hit Rate), initial latency, the number of replacement and packet loss rate.

  • PDF

대화형 연산 후 수렴을 이용한 저장된 비디오의 효율적인 전송 스케줄 작성 방안 (An Efficient Scheme to write a Transmission Schedule using Convergence after Interactive Operations in a Stored Video)

  • 이재홍;김승환
    • 한국정보처리학회논문지
    • /
    • 제7권7호
    • /
    • pp.2050-2059
    • /
    • 2000
  • In a video-on-Demand(VOD) service, a server has to return to he normal playback quickly at a certain new frame position after interactive operations such as jump or last playback. In this paper, we propose an efficient scheme to write a transmission schedule for a playback restart of a video stream at a new frame position after interactive operations. The proposed scheme is based on convergence characteristics, that is transmission schedules with different playback startup frame position in a video stream meet each other at some frame position. The scheme applies a bandwidth smoothing from a new frame position to a convergence position without considering all remaining frames of a video stream. And then the scheme transmits video dta according to the new schedule from the new frame position to the convergence position, and then transmits the remaining video data according to the reference schedule from the convergence position, and then transmits the remaining video data according to the reference schedule from the convergence position to the last frame position. In this paper, we showed that there existed the convergence position corresponding to nay frame position in a video stream through many experiments based on MPEG-1 bit trace data. With the convergence we reduced the computational overhead of a bandwidth smoothing, which was applied to find a new transmission schedule after interactive operations. Also, storage overhead is greatly reduced by storing pre-calculated schedule information up to the convergence position for each I frame position of a video stream with video data off-line. By saving information on a transmission schedule off-line along with the video data and searching the schedule corresponding to the specified restarting frame position, we expect the possibility of normal playback of a video stream with small tolerable playback startup delay.

  • PDF

화상처리에 의한 교통류 해석방법에 관한 연구 (A Study on the Traffic Flow Analysis Method by Image Processing)

  • 이종달;이령욱
    • 대한교통학회지
    • /
    • 제12권1호
    • /
    • pp.97-116
    • /
    • 1994
  • Today advanced traffic management systems are required because of a high increase in traffic demand. Accordingly, the objective of this study is to take advantage of image processing systems and present image processing methods available for collection of the data on traffic characteristics, and then to investigate the possibility of traffic flow analysis by means of comparison and analysis of measured traffic flow. Data were collected at two places of Daegu city and Kyongbu expressway by using VTR. Rear view (down stream) and frontal view (up stream) methods were employed to compare and analyze traffic characteristics including traffic volume, speed, time-headway, time-occupancy, and vehicle-length, by analysis of measured traffic flow and image processing respectively. Judging from the results obtained by this study, image processing techniques are sufficient for the analysis of traffic volume, but a frame grabber equipped with high speed processor is necessary as well, with low level system judged to be sufficient for traffic volume analysis.

  • PDF

TIM: A Trapdoor Hash Function-based Authentication Mechanism for Streaming Applications

  • Seo, Seog Chung;Youn, Taek-Young
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권6호
    • /
    • pp.2922-2945
    • /
    • 2018
  • Achieving efficient authentication is a crucial issue for stream data commonly seen in content delivery, peer-to-peer, and multicast/broadcast networks. Stream authentication mechanisms need to be operated efficiently at both sender-side and receiver-side at the same time because of the properties of stream data such as real-time and delay-sensitivity. Until now, many stream authentication mechanisms have been proposed, but they are not efficient enough to be used in stream applications where the efficiency for sender and receiver sides are required simultaneously since most of them could achieve one of either sender-side and receiver-side efficiency. In this paper, we propose an efficient stream authentication mechanism, so called TIM, by integrating Trapdoor Hash Function and Merkle Hash Tree. Our construction can support efficient streaming data processing at both sender-side and receiver-side at the same time differently from previously proposed other schemes. Through theoretical and experimental analysis, we show that TIM can provide enhanced performance at both sender and receiver sides compared with existing mechanisms. Furthermore, TIM provides an important feature for streaming authentication, the resilience against transmission loss, since each data block can be verified with authentication information contained in itself.

다차원 스트림 데이터의 연관 규칙 탐사 기법 (Mining Association Rules in Multidimensional Stream Data)

  • 김대인;박준;김홍기;황부현
    • 정보처리학회논문지D
    • /
    • 제13D권6호
    • /
    • pp.765-774
    • /
    • 2006
  • 연관 규칙 탐사는 데이터베이스를 분석하여 잠재되어 있는 지식을 발견하기 위한 기법으로 스트림 데이터 시스템에서 연관 규칙 탐사에 대한 연구가 활발하게 진행되고 있다. 그러나 대부분의 연구들은 센서에서 수집되는 단일 스트림 데이터에 관한 것이며 다차원 스트림 데이터간의 연관 정보는 간과하고 있다. 본 논문에서는 다차원 스트림 데이터간의 연관 규칙을 탐사할 수 있는 AR-MS 방법을 제안한다. AR-MS 방법은 한 번의 데이터 스캔으로 연관 규칙 탐사에 필요한 요약 정보를 구축함으로써 스트림 데이터의 특성을 반영하며, 자주 발생하지는 않지만 특정 이벤트와 빈번하게 발생하는 의미 있는 희소 항목 집합에 대한 연관 규칙을 탐사할 수 있다. 또한 AR-MS 방법은 구축된 요약 정보를 사용하여 다차원 스트림 데이터간의 최대 빈발 항목 집합에 대한 연관 규칙도 탐사한다. 그리고 다양한 실험을 통하여 제안하는 방법이 기존의 방법들에 비하여 우수함을 확인하였다.

데이터 스트림 환경에서 효율적인 빈발 항목 집합 탐사 기법 (A Method for Frequent Itemsets Mining from Data Stream)

  • 서복일;김재인;황부현
    • 정보처리학회논문지D
    • /
    • 제19D권2호
    • /
    • pp.139-146
    • /
    • 2012
  • 데이터 마이닝은 다양한 분야에서 축적된 데이터로부터 필요한 지식을 탐사하기 위하여 널리 이용되고 있다. 연관규칙을 탐사하기 위하여 이벤트의 빈발 횟수에 기반을 둔 많은 방법들이 존재하지만, 이들은 이벤트가 연속적으로 발생하는 스트림 환경에는 적합하지 않다. 또한 실시간으로 연관규칙을 탐사해야 하는 스트림 환경에 적용하기에는 많은 비용이 든다. 이 논문에서는 스트림 환경에서 연관규칙을 탐사하기 위한 새로운 방법을 제안한다. 제안하는 방법은 데이터 스트림에서 목적 이벤트의 발생 간격에 따른 가변 윈도우로부터 이벤트의 존재 유무에 근거한 COBJ(Count object) 계산법을 이용하여 데이터 항목을 추출한다. 추출된 데이터는 FPMDSTN(Frequent Pattern Mining over Data Stream using Terminal Node) 알고리즘을 통해 실시간으로 연관규칙을 탐사한다. 실험 결과를 통해 제안하는 방법이 기존의 방법에 비해 스트림 환경에 효율적임을 보인다.

이동 컴퓨팅 환경에서 XML 데이타의 에너지 효율적인 방송 (Energy-efficient Broadcasting of XML Data in Mobile Computing Environments)

  • 김충수;박창섭;정연돈
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권1호
    • /
    • pp.117-128
    • /
    • 2006
  • 본 논문에서는 무선 방송 환경에서 에너지 효율적인 질의 처리를 위한 XML 데이타 스트리밍 방법을 제안한다. 제안하는 방법은 원본 XML 문서의 데이타를 효과적으로 캡슐화하여 클라이언트에서의 스트림 접근 시간을 단축시킨다. 또한 연관된 데이타들 사이의 주소 정보를 이용하여 서로 다른 방식의 스트림 구조를 제안하고 이들에 대한 이벤트 구동 방식의 스트림 생성 방법과 단순 경로 질의에 대한 처리 알고리즘을 제시한다. 또한 실제 XML 데이타에 대한 실험을 통해 질의 처리 시 튜닝 성능을 크게 향상시킴을 보인다.

신재생 에너지 스트림 데이터 분석을 위한 필터링 기법 (Filtering Method for Analyzing Renewable Energy Stream Data)

  • 김성호;이훈;김규익;황미영;김상엽;김광득;류근호
    • 중소기업융합학회논문지
    • /
    • 제1권1호
    • /
    • pp.39-44
    • /
    • 2011
  • 인류가 석탄, 석유, 천연가스 화석 연료 등 연로들에 대한 무절제한 사용으로 하여 전 세계적으로 심각한 환경오염과 화석 연료의 자원 고갈문제에 직면하게 되었다. 따라서 이러한 환경오염 문제를 줄이고 또한 고갈돼가고 있는 화석 연료를 대체할 태양 에너지, 풍력, 수력, 바이오매스, 지열 등과 같은 신재생에너지 자원의 개발이 필요하게 되었다. 최근 센서 네트워크 기술의 발달로 인하여 신재생 에너지 데이터는 각종 센서들로부터 원격으로 수집이 된다. 그러나 이러한 데이터는 센서 네트워크로부터 실시간으로 연속적으로 무한히 수집되는 센서 스트림 데이터이기 때문에 주기적으로 갱신되는 데이터 수집 방법으로는 최신의 데이터를 유지하기 어려우며, 부정확한 분석 결과를 도출할 수 있다. 따라서 본 논문에서는 무선 센서 네트워크 내에서 데이터 스트림을 효율적으로 수집하고 센서의 전송 횟수를 감소하기 위한 칼만 필터링 기법에 기반 한 필터링 기법을 제안하였다.

  • PDF

Exon-Intron이론을 활용한 상황중심 데이터 스트림 분할 방안 (A Novel Way of Context-Oriented Data Stream Segmentation using Exon-Intron Theory)

  • 이승훈;서동혁
    • 한국전자통신학회논문지
    • /
    • 제16권5호
    • /
    • pp.799-806
    • /
    • 2021
  • 사물인터넷 환경에서는 센서로부터의 이벤트 데이터가 시간의 흐름에 따라 지속적으로 보고된다. 이러한 추세로 입수되는 이벤트 데이터는 무한정 쌓이게 되므로 데이터의 효율적인 분석과 관리를 위한 방안이 필요하다. 본 연구에서는 지속적으로 보고되어 유입되는 센서로부터의 이벤트 데이터에 대하여 효과적인 선택과 활용을 뒷받침 할 수 있도록 하는 데이터 스트림 분할 방안을 제안하였다. 분석 처리를 시작할 지점을 식별하기 위한 식별자를 선정하도록 하였다. 이러한 식별자의 역할을 존치시킴으로써 분석할 대상을 명확하게 할 수 있으며 데이터 처리량을 감소시킬 수 있다. 본 연구에서 제안하는 스트림 분할을 위한 식별자는 각 스트림의 이벤트 발생을 기준으로 하기에 의미 중심의 데이터 스트림 분할 방안이라고 할 수 있다. 스트림 처리에서의 식별자의 존재는 대용량의 지속적인 데이터 유입환경에서 효율성을 제공하고 비용을 저감하는 측면에서 유용하다고 할 수 있다.