• Title/Summary/Keyword: 데이터스트림

Search Result 917, Processing Time 0.035 seconds

Spatial Data Stream Processing Platform for Ubiquitous Application Services (유비쿼터스 응용 서비스를 위한 공간 데이터 스트림 처리 플랫폼)

  • Chung, Weon-Il;Kim, Hwan-Koo
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.11 no.3
    • /
    • pp.906-913
    • /
    • 2010
  • Sensors related to the geographic information are gathering strength as core technologies for various ubiquitous services like u-City project for the new town of the future to provide total information services by the high IT infrastructure. These sensors generate the very large real-time streaming data because these are set up and controlled with wide areas of the geographical distribution. On this, we propose an efficient spatial data stream processing system to support various u-GIS services based on geographic sensors.

Join processing using Hash Index based on Ring Queue Buffer in DSMS (DSMS 에서 환형 큐 버퍼 기반의 해시 색인을 이용한 조인 기법)

  • Sang-Ki Kim;Yan Li;Sung-Ha Baek;Dong-Wook Lee;Gyoung-Bae Kim;Hae-Young Bae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.11a
    • /
    • pp.389-392
    • /
    • 2008
  • 유비쿼터스 환경에서 센서 데이터는 빠르고 연속적인 데이터 스트림 형태로 전송된다. 이러한 개별적인 데이터 스트림 정보를 연관되어 처리하기 위해 조인 연산이 필요하다. LWO, SWF 와 같은 기존 기법들은 Nested Loop Join 을 이용해 데이터 스트림 환경에서 조인 알고리즘을 제시하였다. 하지만 Nested Loop Join 을 사용하기 때문에 슬라이딩 윈도우의 크기에 따라 처리 속도가 영향을 많이 받고 XJoin 은 디스크 I/O 추가 비용이 필요하다. 제안 기법은 환형 큐 버퍼 기반의 해시 색인을 이용한 조인 기법은 환형 큐를 이용하여 데이터의 삽입, 삭제를 관리하고 해시 색인을 이용해 조인 연산을 처리 하여 제안 기법은 기존의 기법 보다 조인 연산을 보다 효율적으로 처리 할 수 있다.

Techniques of XML Fragment Stream Organization for Efficient XML Query Processing in Mobile Clients (이동 클라이언트에서 효율적인 XML 질의 처리를 위한 XML 조각 스트림 구성 기법)

  • Ryu, Jeong-Hoon;Kang, Hyun-Chul
    • The Journal of Society for e-Business Studies
    • /
    • v.14 no.4
    • /
    • pp.75-94
    • /
    • 2009
  • Since XML emerged as a standard for data exchange on the web, it has been established as a core component in e-Commerce and efficient query processing over XML data in ubiquitous computing environment has been also receiving much attention. Recently, the techniques were proposed whereby an XML document is fragmented into XML fragments to be streamed and the mobile clients receive the stream while processing queries over it. In processing queries over an XML fragment stream, the average access time significantly depends on the order of fragments in the stream. As such, for query performance, an efficient organization of XML fragment stream is required as well as the indexing for energy-efficient query processing due to the reduction of tuning time. In this paper, a technique of XML fragment stream organization based on query frequencies, fragment size, fragment access frequencies, and an active XML-based indexing scheme are proposed. Through implementation and performance experiments, our techniques were shown to be efficient compared with the conventional XML fragment stream organizations.

  • PDF

Monitoring Tools for Efficient Overload Measurements in Apache Kafka (Apache Kafka에서 효율적인 과부하 측정을 위한 모니터링 도구)

  • Bang, Jiwon;Son, Siwoon;Moon, Yang-Sae;Choi, Mi-Jung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.52-54
    • /
    • 2017
  • 실시간으로 빠르게 발생하는 대용량 데이터를 다루기 위해 Apache Storm, Apache Spark 등 실시간 데이터 스트림 처리 기술에 대한 연구가 활발하다. 대부분의 실시간 처리 기술들은 단독으로 사용하기에 어려움이 있으며, 데이터 스트림의 입출력을 위해 메시징 시스템과 함께 사용하는 것이 일반적이다. Apache Kafka는 대표적인 분산 메시징 시스템으로써, 실시간으로 발생하는 대용량의 로그 데이터를 전달하는데 특화된 시스템이다. 현재 Kafka를 위한 다양한 성능 모니터링 도구들이 존재한다. 이러한 모니터링 도구들은 Kafka에서 처리되는 데이터의 양 이외에도 유입 데이터의 크기, 수집 속도, 처리 속도 등 다양한 데이터들을 관찰할 수 있다. 본 논문은 Kafka에서 제공하는 도구와 오픈 소스로 제공되는 여러 개의 도구들을 비교하여, 향후 Kafka의 로드 쉐딩에 대한 연구에 적용할 수 있는 최적의 모니터링 도구를 선별하고자 한다.

A Study on Ring Buffer for Efficiency of Mass Data Transmission in Unstable Network Environment (불안정한 네트워크 환경에서 대용량 데이터의 전송 효율화를 위한 링 버퍼에 관한 연구)

  • Song, Min-Gyu;Kim, Hyo-Ryoung
    • The Journal of the Korea institute of electronic communication sciences
    • /
    • v.15 no.6
    • /
    • pp.1045-1054
    • /
    • 2020
  • In this paper, we designed a TCP/IP based ring buffer system that can stably transfer bulk data streams in the unstable network environments. In the scheme we proposed, The observation data stream generated and output by each radio observatory's backend system as a UDP frame is stored as a UDP packet in a large capacity ring buffer via a socket buffer in the client system. Thereafter, for stable transmission to the remote destination, the packets are processed in TCP and transmitted to the socket buffer of server system in the correlation center, which packets are stored in a large capacity ring buffer if there is no problem with the packets. In case of errors such as loss, duplication, and out of order delivery, the packets are retransmitted through TCP flow control, and we guaranteed that the reliability of data arriving at the correlation center. When congestion avoidance occurs due to network performance instability, we also suggest that performance degradation can be minimized by applying parallel streams.

An Implementation of Real-time Audio Mixer on the Distributed Buffer Structure (분산 버퍼 구조의 실시간 오디오 믹서의 구현)

  • 임진영;송동호
    • Proceedings of the Korea Database Society Conference
    • /
    • 1995.12a
    • /
    • pp.169-172
    • /
    • 1995
  • 멀티미디어 응용프로그램 환경에서 실시간 오디오 믹싱 기능은 자주 요구되는 지원 사항중에 하나이다. 지금까지는 단일 시스템에서의 여러가지 스트림 조합에 대한 믹싱이 일반적 인 방법이나 분산 응용프로그램이 일반화됨에 따라 분산스트림에 대한 데이타 믹싱이 필요하게 되었다. 이러한 요구를 충족시킬 수 있는 방법으로써 분산 버퍼들로부터 스트림을 억세스하여 믹싱 모듈의 내부 버퍼를 통한 실시간 오디오 믹싱을 연구해 보았다.

  • PDF

Adaptive Multi-stream Transmission Technique Based on SPIHT Video Signal (SPIHT 기반 비디오 신호의 적응적 멀티스트림 전송기법)

  • 강경원;정태일;류권열;권기룡;문광석
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2002.05c
    • /
    • pp.422-426
    • /
    • 2002
  • 본 논문에서는 현재의 인터넷 환경 하에서 최선의 서비스를 제공하기 위해 SPIHT 비디오 데이터에 대한 적응적 멀티스트림 전송 기법을 제안한다. 제안한 방법은 QoS가 보장되지 않는 비동기 적인 패킷 망에서 클라이언트의 수신 버퍼 상태를 이용한 네트워크 상태에 따른 정보 전송량 조절과 TCP 상에서 멀티스트림을 이용한 병렬 전송을 수행함으로서 신뢰성 있는 전송과 네트워크의 지터에도 강하며, 클라이언트가 가진 대역폭을 최대한 활용 할 수 있는 최선의 서비스를 제공한다.

  • PDF

Performance Comparison of Window Joins with Different Evaluation Periods (윈도우 조인에서 실행 주기에 따른 성능 비교)

  • Kim, Hyeon-Gyu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.1173-1175
    • /
    • 2013
  • 윈도우 조인은 데이터 스트림 처리에서 중요한 역할을 차지한다. 많은 스트림 응용에서 시간-기반 윈도우를 이용하여 스트림을 분할하고 이를 바탕으로 조인을 수행한다. 본 논문에서는 윈도우가 업데이트되는 주기 내에서 조인을 자유로이 수행할 수 있으며, 이 경우 조인 결과의 정확성이 보장됨을 보여준다. 또한, 실험을 통해 조인 주기가 짧아질수록 윈도우 조인의 성능이 우수해짐을 보여준다.

Improvement of Stream Transmission Mode in File Transfer Protocol (FTP에서 Stream 전송 모드의 개선)

  • 박성은;최돈은;서영상;서장수;이재영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10a
    • /
    • pp.600-602
    • /
    • 1998
  • RFC 959 정의한 FTP 의 세가진 전송모드, Stream, Block, Compressed전송 모드 중 현재 주로 사용되고 있는 전송 모드는 Stream 전송모드인데. 이 Stream전송모드에서 서버 또는 네트웍에 치명?인 오류 발생하였을 경우 이를 체크 할 수 없고 서버에 재접속하였을 겨우 처음부터 재전송 하영햐 하는 문제점이 발생한다. 이를 개선한 Block, Compressed전송 모드의 경우, 데이터 스트림에 정보 헤더를 추가하여야 함으로써 오버 헤드를 발생한다. 본 논문에서는 클라이언트 FTP상에서 전송 상태를 체크하게 함으로서 전송 중단시 중단된 시점부터 나머지 데이터를 보냄으로써 FTP의 스트림 전송 모드의 문제점을 개선하는 방법을 제시한다.

  • PDF

Proxy Caching Mechanism for Continuous Media Data on the Internet (인터넷 상의 연속 미디어를 위한 Proxy Caching 기법)

  • 임은지;최태욱;박성호;정기동
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04a
    • /
    • pp.382-384
    • /
    • 2000
  • WWW의 성장으로 인터넷은 과부하 상태에 이르렀으며, 현재 인터넷 상에는 오디오나 비디오 같은 연속미디어 데이터가 급격히 증가하는 추세에 있다. 본 논문은 인터넷상의 연속미디어 데이터의 효율적인 서비스를 위한 프락시 캐슁 기법을 제안한다. 연속미디어 스트림의 앞부분부터 점진적으로 캐슁하고, 스트림의 캐슁 길이를 유동적으로 변화시켜서 인기도에 따른 사용공간의 차별화를 수행한다. 그리하여 캐쉬의 제한된 저장공간을 보다 효율적으로 사용하고, 클라이언트의 서비스 지연시간을 최소화 시킬 수 있다. 그리고, 실험을 통하여 다른 알고리즘과의 성능을 비교 측정한다.

  • PDF