• 제목/요약/키워드: 데이터스트림

검색결과 917건 처리시간 0.036초

유비쿼터스 응용 서비스를 위한 공간 데이터 스트림 처리 플랫폼 (Spatial Data Stream Processing Platform for Ubiquitous Application Services)

  • 정원일;김환구
    • 한국산학기술학회논문지
    • /
    • 제11권3호
    • /
    • pp.906-913
    • /
    • 2010
  • 지리정보를 기반으로 하는 센서들은 첨단 정보통신 인프라 구축을 통해 종합적인 정보기술 서비스를 제공하는 미래형 신도시 개발 프로젝트인 u-City 사업 등과 같은 유비쿼터스 환경에서의 응용 서비스를 실현하기 위한 핵심 기술로 대두되고 있다. 이러한 센서들은 지리적으로 광역의 분산된 형태로 설치 운영되므로 센서로부터 수집되는 데이터들은 대량의 실시간 연속 데이터로 구성된다. 이에 본 연구에서는 다양한 u-GIS 서비스의 효율적인 구축을 위해 지리정보를 갖는 센서들로부터 실시간으로 입력되는 대량의 공간 데이터 스트림을 효과적으로 처리할 수 있는 플랫폼을 제안한다. 또한, 제안 공간 데이터 스트림 처리 플랫폼을 이용하여 미아방지서비스 구축하여 제안 기술이 유비쿼터스 응용 서비스 구축에 효과적으로 활용될 수 있음을 보인다.

DSMS 에서 환형 큐 버퍼 기반의 해시 색인을 이용한 조인 기법 (Join processing using Hash Index based on Ring Queue Buffer in DSMS)

  • 김상기;이연;백성하;이동욱;김경배;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.389-392
    • /
    • 2008
  • 유비쿼터스 환경에서 센서 데이터는 빠르고 연속적인 데이터 스트림 형태로 전송된다. 이러한 개별적인 데이터 스트림 정보를 연관되어 처리하기 위해 조인 연산이 필요하다. LWO, SWF 와 같은 기존 기법들은 Nested Loop Join 을 이용해 데이터 스트림 환경에서 조인 알고리즘을 제시하였다. 하지만 Nested Loop Join 을 사용하기 때문에 슬라이딩 윈도우의 크기에 따라 처리 속도가 영향을 많이 받고 XJoin 은 디스크 I/O 추가 비용이 필요하다. 제안 기법은 환형 큐 버퍼 기반의 해시 색인을 이용한 조인 기법은 환형 큐를 이용하여 데이터의 삽입, 삭제를 관리하고 해시 색인을 이용해 조인 연산을 처리 하여 제안 기법은 기존의 기법 보다 조인 연산을 보다 효율적으로 처리 할 수 있다.

이동 클라이언트에서 효율적인 XML 질의 처리를 위한 XML 조각 스트림 구성 기법 (Techniques of XML Fragment Stream Organization for Efficient XML Query Processing in Mobile Clients)

  • 류정훈;강현철
    • 한국전자거래학회지
    • /
    • 제14권4호
    • /
    • pp.75-94
    • /
    • 2009
  • XML이 웹에서 데이터 교환의 표준으로 부각된 이래 전자 거래의 핵심 요소로 자리 잡으며 유비쿼터스 컴퓨팅 환경에서도 XML 데이터에 대한 효율적인 질의 처리에 관한 연구가 발하게 이루어지고 있다. 최근에는 XML 문서를 XML 조각으로 분할하여 스트리밍하고 이동 클라이언트에서 이를 수신하면서 질의 처리하는 기법이 제안되었다. XML 조각 스트림에대한 질의 처리는 스트림을 구성하는 각 조각의 전송 순서에 따라 평균 접근 시간에서 큰 차이를 보인다. 따라서 질의 성능을 높이기 위한 효과적인 XML 조각 스트림 구성 방법이 요구되며, 튜닝 시간의 단축을 통해 에너지 효율적인 질의 처리를 가능하게 하는 인덱싱도 요구된다. 본 논문에서는 사용자 질의 빈도와 질의 처리 시 접근되는 XML 조각의 크기 및 중복에 기반을 둔 XML 조각 스트림 구성 및 능동 XML 형식의 인덱스 구성을 제안한다. 구현 및 성능 실험 결과 본 논문에서 제시한 기법이 다양한 사용자 질의 집합 및 빈도에 대해 기존의 XML 조각 스트림 구성 기법에 비해 접근 시간 및 튜닝 시간 양면에서 모두 우수함을 확인하였다.

  • PDF

Apache Kafka에서 효율적인 과부하 측정을 위한 모니터링 도구 (Monitoring Tools for Efficient Overload Measurements in Apache Kafka)

  • 방지원;손시운;문양세;최미정
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 추계학술발표대회
    • /
    • pp.52-54
    • /
    • 2017
  • 실시간으로 빠르게 발생하는 대용량 데이터를 다루기 위해 Apache Storm, Apache Spark 등 실시간 데이터 스트림 처리 기술에 대한 연구가 활발하다. 대부분의 실시간 처리 기술들은 단독으로 사용하기에 어려움이 있으며, 데이터 스트림의 입출력을 위해 메시징 시스템과 함께 사용하는 것이 일반적이다. Apache Kafka는 대표적인 분산 메시징 시스템으로써, 실시간으로 발생하는 대용량의 로그 데이터를 전달하는데 특화된 시스템이다. 현재 Kafka를 위한 다양한 성능 모니터링 도구들이 존재한다. 이러한 모니터링 도구들은 Kafka에서 처리되는 데이터의 양 이외에도 유입 데이터의 크기, 수집 속도, 처리 속도 등 다양한 데이터들을 관찰할 수 있다. 본 논문은 Kafka에서 제공하는 도구와 오픈 소스로 제공되는 여러 개의 도구들을 비교하여, 향후 Kafka의 로드 쉐딩에 대한 연구에 적용할 수 있는 최적의 모니터링 도구를 선별하고자 한다.

불안정한 네트워크 환경에서 대용량 데이터의 전송 효율화를 위한 링 버퍼에 관한 연구 (A Study on Ring Buffer for Efficiency of Mass Data Transmission in Unstable Network Environment)

  • 송민규;김효령
    • 한국전자통신학회논문지
    • /
    • 제15권6호
    • /
    • pp.1045-1054
    • /
    • 2020
  • 본 논문에서는 불안정한 네트워크 환경에서 안정적으로 대용량 데이터 스트림을 전송할 수 있는 TCP/IP 기반 링 버퍼 시스템을 설계하였다. 우리가 제안한 방식에서 각 전파천문대의 백엔드 시스템으로부터 UDP 프레임으로 생성 및 출력되는 관측 데이터 스트림은 클라이언트 시스템 내의 소켓 버퍼를 경유해 대용량 링 버퍼에 UDP 패킷으로 저장된다. 이후 목적지에 해당하는 상관센터로의 안정적인 전송을 위해 해당 패킷은 TCP로 전송되고 상관센터 내의 서버 시스템은 소켓 버퍼에 수신된 패킷에 이상이 없으면 대용량 링 버퍼에 저장한다. 패킷 손실, 중복 및 순서 역전 등의 이상이 발생할 경우 TCP의 흐름 제어를 통해 패킷은 재전송되며 상관센터에 도착한 데이터는 신뢰성을 보장받게 된다. 또한 네트워크 성능 불안정으로 인한 혼잡 회피 발생 시 병렬 스트림 적용을 통해 성능 저하가 최소화될 수 있도록 하였다.

분산 버퍼 구조의 실시간 오디오 믹서의 구현 (An Implementation of Real-time Audio Mixer on the Distributed Buffer Structure)

  • 임진영;송동호
    • 한국데이타베이스학회:학술대회논문집
    • /
    • 한국데이타베이스학회 1995년도 제4회 멀티미디어 산업기술 학술대회 논문집
    • /
    • pp.169-172
    • /
    • 1995
  • 멀티미디어 응용프로그램 환경에서 실시간 오디오 믹싱 기능은 자주 요구되는 지원 사항중에 하나이다. 지금까지는 단일 시스템에서의 여러가지 스트림 조합에 대한 믹싱이 일반적 인 방법이나 분산 응용프로그램이 일반화됨에 따라 분산스트림에 대한 데이타 믹싱이 필요하게 되었다. 이러한 요구를 충족시킬 수 있는 방법으로써 분산 버퍼들로부터 스트림을 억세스하여 믹싱 모듈의 내부 버퍼를 통한 실시간 오디오 믹싱을 연구해 보았다.

  • PDF

SPIHT 기반 비디오 신호의 적응적 멀티스트림 전송기법 (Adaptive Multi-stream Transmission Technique Based on SPIHT Video Signal)

  • 강경원;정태일;류권열;권기룡;문광석
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2002년도 춘계학술발표논문집(상)
    • /
    • pp.422-426
    • /
    • 2002
  • 본 논문에서는 현재의 인터넷 환경 하에서 최선의 서비스를 제공하기 위해 SPIHT 비디오 데이터에 대한 적응적 멀티스트림 전송 기법을 제안한다. 제안한 방법은 QoS가 보장되지 않는 비동기 적인 패킷 망에서 클라이언트의 수신 버퍼 상태를 이용한 네트워크 상태에 따른 정보 전송량 조절과 TCP 상에서 멀티스트림을 이용한 병렬 전송을 수행함으로서 신뢰성 있는 전송과 네트워크의 지터에도 강하며, 클라이언트가 가진 대역폭을 최대한 활용 할 수 있는 최선의 서비스를 제공한다.

  • PDF

윈도우 조인에서 실행 주기에 따른 성능 비교 (Performance Comparison of Window Joins with Different Evaluation Periods)

  • 김현규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1173-1175
    • /
    • 2013
  • 윈도우 조인은 데이터 스트림 처리에서 중요한 역할을 차지한다. 많은 스트림 응용에서 시간-기반 윈도우를 이용하여 스트림을 분할하고 이를 바탕으로 조인을 수행한다. 본 논문에서는 윈도우가 업데이트되는 주기 내에서 조인을 자유로이 수행할 수 있으며, 이 경우 조인 결과의 정확성이 보장됨을 보여준다. 또한, 실험을 통해 조인 주기가 짧아질수록 윈도우 조인의 성능이 우수해짐을 보여준다.

FTP에서 Stream 전송 모드의 개선 (Improvement of Stream Transmission Mode in File Transfer Protocol)

  • 박성은;최돈은;서영상;서장수;이재영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (3)
    • /
    • pp.600-602
    • /
    • 1998
  • RFC 959 정의한 FTP 의 세가진 전송모드, Stream, Block, Compressed전송 모드 중 현재 주로 사용되고 있는 전송 모드는 Stream 전송모드인데. 이 Stream전송모드에서 서버 또는 네트웍에 치명?인 오류 발생하였을 경우 이를 체크 할 수 없고 서버에 재접속하였을 겨우 처음부터 재전송 하영햐 하는 문제점이 발생한다. 이를 개선한 Block, Compressed전송 모드의 경우, 데이터 스트림에 정보 헤더를 추가하여야 함으로써 오버 헤드를 발생한다. 본 논문에서는 클라이언트 FTP상에서 전송 상태를 체크하게 함으로서 전송 중단시 중단된 시점부터 나머지 데이터를 보냄으로써 FTP의 스트림 전송 모드의 문제점을 개선하는 방법을 제시한다.

  • PDF

인터넷 상의 연속 미디어를 위한 Proxy Caching 기법 (Proxy Caching Mechanism for Continuous Media Data on the Internet)

  • 임은지;최태욱;박성호;정기동
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (A)
    • /
    • pp.382-384
    • /
    • 2000
  • WWW의 성장으로 인터넷은 과부하 상태에 이르렀으며, 현재 인터넷 상에는 오디오나 비디오 같은 연속미디어 데이터가 급격히 증가하는 추세에 있다. 본 논문은 인터넷상의 연속미디어 데이터의 효율적인 서비스를 위한 프락시 캐슁 기법을 제안한다. 연속미디어 스트림의 앞부분부터 점진적으로 캐슁하고, 스트림의 캐슁 길이를 유동적으로 변화시켜서 인기도에 따른 사용공간의 차별화를 수행한다. 그리하여 캐쉬의 제한된 저장공간을 보다 효율적으로 사용하고, 클라이언트의 서비스 지연시간을 최소화 시킬 수 있다. 그리고, 실험을 통하여 다른 알고리즘과의 성능을 비교 측정한다.

  • PDF