• 제목/요약/키워드: Real-Time Stream Processing System

검색결과 94건 처리시간 0.024초

실시간 헬스케어 서비스를 위한 스트림 데이터 시스템 프레임워크의 설계 (The Framework of Stream Data Processing System for Realtime Health Care Service)

  • 오택군;이연;배해영
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2011년도 제44차 하계학술발표논문집 19권2호
    • /
    • pp.21-22
    • /
    • 2011
  • The growth of using smartphone and tablet pc has enabled variety kinds of realtime applications. In these applications, the data which we called data stream is multidimensional, continuous, rapid, and time-varying. However the traditional Database Management System (DBMS) suffers from processing the real time and complex application, in this paper we proposed the framework for CCR Data Stream Server's design and implementation that compiled with Data Stream Database Management System (DSMS) and DBMS in EMR system. The system enables users not only to query stored CCR information from DBMS, but also to execute continues query for the real-time CCR Data Stream.

  • PDF

Java 기반 실시간 센서 데이터스트림처리 및 임베디드 시스템 구현 (Jave based Embedded System Design and Implementation for Real-time Stream Data Processing)

  • 김휴찬;고완기;박상열
    • 디지털산업정보학회논문지
    • /
    • 제4권2호
    • /
    • pp.1-12
    • /
    • 2008
  • Home network is a technology that provides possibilities of monitoring/controling/mutilating-recognition between optional home network machines in residences. Currently, home network or other networks like entertainment, residential electronic networks are jumbled together with heterogeneous networks in a rampaging condition. In a reality of high expectation for home networks system like the mutual application for various machines, we are required to have the unification technology for conveniences to satisfy expectations. This thesis reflects how to develop Java applications or mutual products based on convenient interfaces actually that process various sensors which create real time data stream in Java platform through Java based sensor data-stream processing embedded middleware design and realization in real time.

Splash의 스트림 프로세싱 기능 구현 (Implementing stream processing functionalities of Splash)

  • 안재호;노순현;홍성수
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2019년도 제59차 동계학술대회논문집 27권1호
    • /
    • pp.377-380
    • /
    • 2019
  • To accommodate for the difficult task of satisfying application's system timing constraints, we are developing Splash, a real time stream processing language for embedded AI applications. Splash is a graphical programming language that designs applications through data flow graph which, later automatically generates into codes. The codes are compiled and executed on top of the Splash runtime system. The Splash runtime system supports two aspects of the application. First, it supports the basic stream processing functions required for an application to operate on multiple streams of data. Second, it supports the checking and handling of the user configurated timing constraints. In this paper we explain the implementation of the first aspect of the Splash runtime system which is being developed using a real time communication middleware called DDS.

  • PDF

스트림-리즈닝을 위한 실시간 사물인터넷 빅-데이터 처리 (Real-Time IoT Big-data Processing for Stream Reasoning)

  • 윤창호;박종원;정혜선;이용우
    • 인터넷정보학회논문지
    • /
    • 제18권3호
    • /
    • pp.1-9
    • /
    • 2017
  • 스마트-시티는 스마트-시티의 사물인터넷(Internet of Things: IoT) 디바이스를 비롯한 수많은 인프라를 지능적으로 관리하고, 다양한 스마트 어플리케이션을 도시민에게 제공한다. 스마트-시티에서는 스마트-시티 어플리케이션에서 필요한 다양한 정보를 제공하기 위하여 수많은 사물인터넷 기기들로부터 끊임없이 발생하는 대규모의 스트림 빅-데이터를 지능적으로 처리하는 기능이 필요하다. 하지만, 스마트-시티에서 대규모의 스트림 빅-데이터를 처리하는 것에는 실시간 처리와 관련된 제약들이 존재한다. 본 스마트-시티-사업단에서는 선행 연구에서 스마트-시티미들웨어와 이를 이용한 스트림-리즈닝 방법론 및 시스템을 개발하였다. 스마트-시티에서 스마트 서비스를 제공하기 위하여, 스마트-시티-사업단에서는 스트림-리즈닝을 사용하는 방법론을 사용한다. 이 스트림-리즈닝은 대용량 데이터의 실시간 처리를 필요로 한다. 따라서, 후속연구로서 스마트-시티미들웨어의 클라우드-컴퓨팅 플랫폼을 이용하여 스트림-리즈닝을 위한 실시간 분산병렬처리 클라우드-컴퓨팅 방법론과 시스템을 개발하였다. 본 논문에서는 스마트-시티에서 발생하는 사물인터넷 빅-데이터를 스트림-리즈닝에 사용하기 위하여 이 후속연구에서 개발된 클라우드 기반 실시간 분산병렬처리 연구결과를 소개한다. 스마트-시티의 각종 센서들로부터 전송되어지는 사물인터넷 빅-데이터를 사용하여 스트림-리즈닝하는 데 필요한 클라우드-컴퓨팅 기반의 실시간 분산처리 방법론과 시스템을 소개하고 있으며, 이 방법론을 선행연구에서 개발한 스마트-시티 미들웨어에 구현하여 실시간 분산처리 성능을 평가한 것을 소개한다.

Design and Implementation of Advanced Traffic Monitoring System based on Integration of Data Stream Management System and Spatial DBMS

  • Xia, Ying;Gan, Hongmei;Kim, Gyoung-Bae
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.162-169
    • /
    • 2009
  • The real-time traffic data is generated continuous and unbounded stream data type while intelligent transport system (ITS) needs to provide various and high quality services by combining with spatial information. Traditional database techniques in ITS has shortage for processing dynamic real-time stream data and static spatial data simultaneously. In this paper, we design and implement an advanced traffic monitoring system (ATMS) with the integration of existed data stream management system (DSMS) and spatial DBMS using IntraMap. Besides, the developed ATMS can deal with the stream data of DSMS, the trajectory data of relational DBMS, and the spatial data of SDBMS concurrently. The implemented ATMS supports historical and one time query, continuous query and combined query. Application programmer can develop various intelligent services such as moving trajectory tracking, k-nearest neighbor (KNN) query and dynamic intelligent navigation by using components of the ATMS.

  • PDF

실시간 공간 상황 분석을 위한 공간 데이터 스트림 처리 시스템 (A Spatial Data Stream Processing System for Spatial Context Analysis in Real-time)

  • 권오제;김재훈;이기준
    • Spatial Information Research
    • /
    • 제18권1호
    • /
    • pp.69-76
    • /
    • 2010
  • 센서로부터 획득되는 데이터 스트림들 중에 특히 이동 객체에 대한 공간 정보를 담은 데이터 스트림은 상황 인지의 여러 응용 분야에 매우 유용하다. 하지만, 실시간으로 공간 스트림을 처리하는 것과 공간 상황 인지를 위한 복잡한 연산 처리 사이에는 중요한 기능적인 격차가 존재하는데, 이는 공간 스트림 처리와 상황 인지를 통합하는데 매우 큰 어려움을 준다. 본 논문에서는, 공간 스트림 처리와 공간 상황 인지 사이에 존재하는 기능적인 격차를 해결하기 위한 공간 데이터 스트림 처리 시스템인 SCONSTREAM(Spatial CONtext STREAm Management)를 제안한다. 본 논문에서 제안하는 시스템은 불필요한 공간 데이터 스트림을 전처리하고 상황 인지에 용이한 형태로 가공한다. 실험을 통해, 본 시스템이 공간 스트림 처리와 공간 상황 인지 사이에 존재하는 기능적인 격차를 해소할 수 있음을 보인다.

해양플랜트의 예지보전을 위한 실시간 데이터 스트림 처리 구현 (Implementation of Real-time Data Stream Processing for Predictive Maintenance of Offshore Plants)

  • 김성수;원종호
    • 정보과학회 논문지
    • /
    • 제42권7호
    • /
    • pp.840-845
    • /
    • 2015
  • 최근 빅데이터는 전사적 자원관리 분야뿐만 아니라 해양플랜트내 생산 및 운영 작업 분야에서도 큰 관심을 받고 있다. 이력데이터를 기반으로 미래의 설비에 대한 성능을 예측하는 것은 설비들의 생산성을 향상 시킬 수 있다. 특히 해양플랜트의 주요설비 중 하나인 원심압축기는 고장 시 폭발 할 수 있는 위험한 설비이기 때문에 실시간으로 설비성능을 모니터링 해야 한다. 본 논문에서 원심압축기의 성능을 계산하기 위한 스트림 데이터 처리 구조를 제안한다. 제안하는 시스템은 크게 가상태그 스트림 생성기와 실시간 데이터 스트림 관리자와 같이 두 가지 컴포넌트로 구성된다. 시스템 성능 확장성을 제공하기 위해, 멀티 코어 CPU를 사용하여 대용량 스트림 데이터를 처리할 수 있는 병렬 프로그래밍 접근 방식을 이용하였다. 또한, 실험을 통해 원심압축기의 스트림 데이터 처리에 대한 성능 개선을 보여주었다.

실시간 스트림 데이터 분석을 위한 시각화 가속 기술 및 시각적 분석 시스템 (Fast Visualization Technique and Visual Analytics System for Real-time Analyzing Stream Data)

  • 정성민;연한별;정대교;유상봉;김석연;장윤
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제22권4호
    • /
    • pp.21-30
    • /
    • 2016
  • 위험관리 시스템은 단 시간에 의사결정하기 위해 스트림 데이터를 실시간으로 분석 할 수 있어야 한다. 많은 데이터 분석 시스템은 CPU와 디스크 데이터베이스로 구성되어 있다. 하지만, cpu 기반 시스템은 스트림 데이터를 실시간으로 분석하는데 어려움이 있다. 스트림 데이터는 1ms부터 1시간, 1일까지 생성주기가 다양하다. 한 개의 센서가 생성하는 데이터는 작다. 하지만 수 만개의 센서가 생성하는 데이터는 매우 크다. 예를 들어 10만개 센서가 1초에 1GB 데이터를 생성한다면, CPU 기반 시스템은 이를 분석 할 수 없다. 이러한 이유로 실시간 스트림 데이터 분석 시스템은 빠른 처리 속도와 확장성이 필요하다. 본 논문에서는 GPU와 하이브리드 데이터베이스를 이용한 시각화 가속 기술을 제안한다. 제안한 기술을 평가하기 위해 우리는 지하 파이프라인에 설치된 센서와 트윗 데이터를 활용하여 실시간 릭 탐지 시각적 분석 시스템에 적용했다.

차량 내 멀티미디어 네트워크를 이용한 DSP 기반 실시간 영상 전송 시스템의 구현 (The Implementation of DSP-Based Real-Time Video Transmission System using In-Vehicle Multimedia Network)

  • 전영준;김진일
    • 융합신호처리학회논문지
    • /
    • 제14권1호
    • /
    • pp.62-69
    • /
    • 2013
  • 본 논문은 멀티미디어 광 네트워크인 MOST를 통해 차량의 카메라에서 입력된 영상을 실시간으로 전송하여 디스플레이 할 수 있는 MOST 기반 영상 송 수신 시스템을 제안하였다. 기존의 차량에서는 카메라를 아날로그 형태로 연결하여 영상을 전송하였으나, 차량에 장착되는 카메라의 수가 점점 증가함에 따라 네트워크로 연결하여 영상을 전송하는 것을 요구하게 되었다. 본 논문에서는 실시간 영상 전송을 위해 DSP를 이용하여 MPEG 인코딩과 디코딩을 하였다. 그리고 DSP와 MOST 네트워크 컨트롤러 사이의 스트림 데이터 전송은 MediaLB를 이용하였다. 이때 DSP가 MediaLB와의 연결을 지원하지 않기 때문에 스트림 데이터를 직접 주고 받을 수 없다. 따라서 FPGA를 사용하여 MediaLB를 통해 전송되는 스트림 데이터를 DSP에 전달하도록 하였다. MediaLB는 MOST 네트워크에 대한 하드웨어 및 소프트웨어 응용 프로그램 개발을 쉽게 할 수 있도록 해주고 모든 MOST 네트워크의 데이터 전송방법을 지원한다 본 논문에서 제안된 시스템으로 실시간 영상 전송을 테스트 한 결과 정상적으로 동작하는 것을 확인하였다.

Real-time multi-GPU-based 8KVR stitching and streaming on 5G MEC/Cloud environments

  • Lee, HeeKyung;Um, Gi-Mun;Lim, Seong Yong;Seo, Jeongil;Gwak, Moonsung
    • ETRI Journal
    • /
    • 제44권1호
    • /
    • pp.62-72
    • /
    • 2022
  • In this study, we propose a multi-GPU-based 8KVR stitching system that operates in real time on both local and cloud machine environments. The proposed system first obtains multiple 4 K video inputs, decodes them, and generates a stitched 8KVR video stream in real time. The generated 8KVR video stream can be downloaded and rendered omnidirectionally in player apps on smartphones, tablets, and head-mounted displays. To speed up processing, we adopt group-of-pictures-based distributed decoding/encoding and buffering with the NV12 format, along with multi-GPU-based parallel processing. Furthermore, we develop several algorithms such as equirectangular projection-based color correction, real-time CG overlay, and object motion-based seam estimation and correction, to improve the stitching quality. From experiments in both local and cloud machine environments, we confirm the feasibility of the proposed 8KVR stitching system with stitching speed of up to 83.7 fps for six-channel and 62.7 fps for eight-channel inputs. In addition, in an 8KVR live streaming test on the 5G MEC/cloud, the proposed system achieves stable performances with 8 K@30 fps in both indoor and outdoor environments, even during motion.