• 제목/요약/키워드: Real-Time Stream Processing System

검색결과 94건 처리시간 0.023초

IFTTT 서비스를 위한 실시간 이벤트 처리 룰 관리 시스템 (Real-time Event Processing Role Management System for IFTTT Service)

  • 김계영;이현동;조대수
    • 한국멀티미디어학회논문지
    • /
    • 제20권8호
    • /
    • pp.1379-1386
    • /
    • 2017
  • As the Internet of Things evolves, various IoT services are provided. IFTTT is an abbreviation for If This Then That and refers to a service that links different web-based services. This paper proposes a system that generates and manages rules that combine the possibility of IFTTT service and the real-time event processing according to the concept of IoT service. Conventional database-based data processing methods are burdened to process a lot of data of IoT devices coming in real-time. The IoT device's data can be classified into formal data such as the amount of power, temperature value and position information, and informal data such as video or image data. Thus, this system classifies the data stream of IoT devices coming in real-time using the CEP engine Esper into a file signature table, classifies the formal/informal data, and shows the condition of the device data defined by the user and the service to be provided by applying the service.

데이터스트림 처리 시스템에 기반한 연속적인 헬스케어 데이터 관리 시스템 설계 (The Design and Implementation of Continuity Health Care Record Management System based on Data Stream System)

  • 오택군;이연;신숭선;김경배;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 춘계학술발표대회
    • /
    • pp.1218-1221
    • /
    • 2011
  • The development of the internet and information management has enabled new applications which include: Electronic medical record (EMR), intelligent transportation, environmental monitoring, etc. In this paper, we design and implement the Continuity Care Record(CCR) Data Stream management server that compiled with DSMS and DBMS in EMR system for processing, monitoring the incoming CCR data stream and storing the processed result with high-efficiency. The proposed system enables users not only to query stored CCR information from DBMS, but also enables to execute continue query for the real-time CCR Data Stream. By using of CCR Viewer Application users can view or update their personal health records even compare self health care records with standard health care records in order to monitor the healthy status, and the on line updating information would be minimized and medical error.

철도 교량에서의 위험 요소 분류와 실시간 스트림 데이터 처리 시스템 구현 (Implementation of Real-time Stream Data Processing System and Classification of Risk Factor on Railway Bridges)

  • 유송수;오염덕
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
    • /
    • pp.123-126
    • /
    • 2022
  • 본 논문에서는 철도 교량 운행 상황을 가정하는 모형 철도를 사용하여 실제 철도 교량에서 발생할 수 있는 소음, 진동등 위험 요소로 분류될 수 있는 데이터들을 수집하고 수집된 데이터들을 활용하여 실시간으로 위험 요소로부터 발생할 수 있는 위험 상황들을 분류하고 적절한 조치들을 상황에 맞게 취할 수 있도록 한다.

  • PDF

맵리듀스 온라인 프레임워크에서 공간 데이터 스트림 처리를 위한 동적 부하 관리 기법 (Dynamic Load Management Method for Spatial Data Stream Processing on MapReduce Online Frameworks)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제19권8호
    • /
    • pp.535-544
    • /
    • 2018
  • 다양한 센서를 내장하고 고품질의 무선 네트워크 통신 기능을 탑재한 이동 장치의 보급이 확대됨에 따라 다양한 서비스 환경에서 이동 장치로부터 생성되는 시공간 데이터 량도 빠르게 증가하고 있다. 이와 같이 실시간 특성을 갖는 대량의 공간 데이터 스트림을 처리하기 위한 기존의 연구에서 하둡 기반의 공간 빅 데이터 시스템은 일괄 처리 방식의 플랫폼으로 공간 데이터 스트림에 대한 실시간 서비스에 적용하기에는 매우 어렵다. 이에 본 논문에서는 맵리듀스 온라인 프레임워크를 확장하여 연속적으로 입력되는 공간 데이터 스트림에 대한 실시간 질의 처리를 지원하고, 질의 처리 과정에서 야기될 수 있는 부하 문제를 효과적으로 분산하는 부하 관리 기법을 제안한다. 제안 기법에서는 공간 분할 영역을 기반으로 입력 데이터의 유입율과 부하율을 이용하여 노드들에 대해 동적으로 부하를 분산하는 기법을 제시하였다. 실험에서는 특정 공간 영역에서의 부하 관리가 요구될 때 해당 영역에서의 공간 데이터 스트림을 공유하는 자원들에게 분배함으로써 효과적인 질의 처리를 지원할 수 있음을 보인다.

대용량 로그 데이터 처리를 위한 분산 실시간 자가 진단 시스템 (A Distributed Real-time Self-Diagnosis System for Processing Large Amounts of Log Data)

  • 손시운;김다솔;문양세;최형진
    • 데이타베이스연구회지:데이타베이스연구
    • /
    • 제34권3호
    • /
    • pp.58-68
    • /
    • 2018
  • 분산 컴퓨팅이란 다수의 서버로 구성된 분산 시스템에서 데이터를 효율적으로 저장 및 처리하는 기술이다. 따라서 분산 시스템을 구성하는 서버의 상태에 따라 분산 컴퓨팅의 성능에 큰 영향을 미친다. 본 논문은 분산 시스템에서 실시간으로 발생하는 시스템 자원의 로그 데이터를 수집하고 이상을 탐지하여 결과를 시각화하는 자가 진단 시스템을 제안한다. 먼저, 자가 진단 과정을 수집, 전달, 분석, 저장, 시각화의 다섯 단계로 구분한다. 다음으로, 자가 진단 과정이 실시간성, 확장성, 고가용성의 목표를 만족하도록 실시간 자가 진단 시스템을 설계한다. 본 시스템은 대표적인 실시간 분산 기술인 Apache Flume, Apache Kafka, Apache Storm을 기반으로 구현되어 실시간성, 확장성, 고가용성의 세 가지 목표를 만족할 수 있다. 또한, 자가 진단 과정에서 로그 데이터 처리의 지연을 최소화하도록 간단하지만 효과적인 이동 평균 및 3-시그마 기반 이상 탐지 기법을 사용한다. 본 논문의 결과를 통해, 분산 시스템 내에서 서버 상태를 실시간으로 진단할 수 있는 분산 실시간 자가 진단 시스템을 구축할 수 있다.

대용량 데이터스트림 실시간 압축 저장을 위한 저장관리자 설계 및 구현 (Design and Implementation of Storage Manager for Real-Time Compressed Storing of Large Volume Datastream)

  • 이동욱;백성하;김경배;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권3호
    • /
    • pp.31-39
    • /
    • 2009
  • 유비쿼터스 환경에서 발생하는 실시간 데이터스트림의 처리 및 관리에 대한 요구사항이 증가되고 있다. 특히 인터넷 보안, 공장 자동화 기기설비 관리 등에서 발생하는 데이터스트림은 대용량 데이터가 실시간으로 발생하는 특징을 가지고 있어 이를 처리하기 위한 특화된 DSMS의 저장관리자의 개발이 요구된다. Coral8과 같은 기존의 DSMS의 경우 일반적인 데이터스트림의 처리가 가능 하지만 초당 10만 건 이상의 대용량의 실시간 데이터스트림이 발생하는 특수한 상황의 경우 이에 대한 처리 성능이 부족하며, 이에 대한 저장이 불가능하다. 관련 분야에서 일반적으로 사용되는 오라클10g의 경우 저장, 관리 성능은 우수하지만 실시간 데이터스트림 처리에 대한 고려가 되어 있지 않다. 본 논문에서는 삼성전자, 하이닉스, HP 등에 반도체, LCD 제조공장의 생산 기계에서 발생하는 대용량 데이터스트림을 실시간 압축 저장이 가능한 DSMS 저장관리자를 설계 및 구현하였다. 본 문에서는 시스템의 구조 및 주요 컴포넌트에 대해 설명하며, 관련시스템과 비교 평가를 통해 제안 시스템의 우수성을 보인다.

  • PDF

질의 전처리기를 사용한 스트림 DBMS의 효율적 질의처리 (An Efficient Query Processing in Stream DBMS using Query Preprocessor)

  • 양영휴
    • 한국컴퓨터정보학회논문지
    • /
    • 제13권1호
    • /
    • pp.65-73
    • /
    • 2008
  • 유비쿼터스 시대의 텔레매틱스 데이터 관리는 자동차의 위치나 속도, 엔진의 속도, 타이어의 상태, 운전자의 관심사항 등의 실시간으로 유입되는 스트림 데이터에 대한 질의를 처리하는데 있다. 본 논문에서는 기존의 스트림 DBMS의 질의처리 연구현황을 비교 분석하고, 스트림 DBMS에서 다뤄야 하는 모든 유형의 질의를 질의 전처리기를 사용하여 하나의 통합된 시스템에서 처리할 수 있는 통합 하이브리드 모델을 제안한다. 최근 각종 장치의 가격은 하락하는 반면, 성능은 수직 상승함에 따라 DB와 큐등을 위한 공간을 추가함으로써 최대의 병렬성을 보장받을 수 있다. 그 결과 제안된 하이브리드 모델에서는 다양한 유형의 스트림 DBMS 질의들을 단일 시스템 내에서 일괄적이며 효율적으로 처리하여 시스템 성능 향상을 기대 할 수 있다.

  • PDF

실시간 공간 빅데이터 스트림 분산 처리를 위한 부하 균형화 방법 (Load Balancing for Distributed Processing of Real-time Spatial Big Data Stream)

  • 윤수식;이재길
    • 정보과학회 논문지
    • /
    • 제44권11호
    • /
    • pp.1209-1218
    • /
    • 2017
  • 최근 스마트 자동차, 스마트폰과 같은 다양한 소스로부터 공간 빅데이터 스트림을 수집하는 것이 매우 용이해졌다. 공간 데이터 스트림은 편중되고 동적으로 변화하는 분포를 지니기 때문에 전체 부하가 분산 클러스터 내의 작업자들에게 효율적으로 분배되지 않을 경우 전체 시스템의 성능이 저하된다. 본 연구에서는 공간 데이터 스트림에 특화된 부하 균형화 알고리즘인 적응적 공간 키 그룹핑(ASKG)을 제안한다. ASKG의 핵심 아이디어는 공간 데이터 스트림의 최근 분포를 학습하고 이를 기반으로 향후 유입되는 데이터 스트림이 각 작업자에게 고르게 분배되도록 하는 새로운 그룹핑 스키마를 제안하는 것이다. 이를 공간 분포의 변화에 맞춰 주기적으로 반복함으로서 적응적으로 부하 불균형을 해결할 수 있다. 실제 데이터셋에 대해 작업자의 수, 입력 속도, 공간 질의 처리 시간을 변화시키며 성능을 평가한 결과, 대안 알고리즘 대비 제안 방법이 부하 불균형, 처리량, 지연 시간에서 높은 개선효과를 보였다.

센서 데이터의 시간 정보를 이용한 이력 정보 관리 (Historical Sensor Data Management Using Temporal Information)

  • 이양구;류근호
    • 한국공간정보시스템학회 논문지
    • /
    • 제10권4호
    • /
    • pp.97-102
    • /
    • 2008
  • 무선 센서 네트워크는 공간상에 분포되어 거의 무제한적이고, 연속적으로 데이터를 발생시키며, 주로 샘플링이나 시놉시스 등을 이용하여 수집되는 데이터를 저장한다. 그러나 이러한 방법은 원시 데이터의 정확한 저장 및 장기간 수집된 이력 데이터로부터의 분석을 요구하는 응용환경에는 적합하지 않다. 따라서 이 논문에서는 센서로부터 수집된 데이터를 손실 없이 저장하는 동시에 시간에 따라 누적되는 센서 데이터의 이력을 효율적으로 관리할 수 있는 저장 기법을 제안한다. 제안된 방법에서는 센서의 측정값이 변경된 시점을 기준으로 동일한 값이 지속된 기간을 Time-segment와 Time- point로 저장한다. 이러한 방법은 센서의 모든 측정값을 정확하게 저장할 수 있고, 특정 시간에 걸쳐 중복되는 데이터들을 하나의 튜플에 저장하기 때문에 장기간 동안 수집된 데이터를 메모리에서 유지할 수 있다.

  • PDF

유비쿼터스 환경을 위한 시공간 질의 처리 시스템 (Spatio-temporal Query Processing Systems for Ubiquitous Environments)

  • 이기영;임명재;김규호;김정준
    • 한국인터넷방송통신학회논문지
    • /
    • 제10권3호
    • /
    • pp.145-152
    • /
    • 2010
  • 최근 유비쿼터스 컴퓨팅 기술의 발전과 함께 센서 및 RFID에 관련한 정보 인식, 위치 측위와 같은 다양한 유비쿼터스 영역에 대한 관심과 연구가 증대되고 있다. 특히, 시공간 데이터를 다루는 실시간 위치 추적 서비스 기술이 대두되고 있다. 이에, ISO/IEC에서는 실시간 위치 추적 서비스의 데이타 호환성과 상호 운용성을 위해 RTLS 표준 명세를 제시하였다. 본 논문에서는 이동 객체의 시공간 데이타 스트림에 대한 효율적인 관리와 검색을 지원하는 시공간 질의 처리 시스템을 설계 및 구현하였다. 시공간 질의 처리 시스템의 시공간 미들웨어는 끊임없이 연속으로 들어오는 시공간 데이타 스트림을 실시간으로 처리하고 시공간 DBMS간의 양방향 동기화를 지원한다. 웹 서버는 서버와 클라이언트간의 상호 운용성을 위하여 SOAP(Simple Object Access Protocol) 메시지를 사용하며, 클라이언트의 SOAP 메시지를 분석하여 시공간 미들웨어의 CQL(Continuous Query Language)로 변환하는 기능을 지원한다. 마지막으로, 본 논문에서는 실시간 위치 추적 서비스에 적용해 봄으로써 시공간 질의 처리 시스템의 효용성을 입증하였다.