• 제목/요약/키워드: Stream Processing System

검색결과 293건 처리시간 0.027초

Java 기반 실시간 센서 데이터스트림처리 및 임베디드 시스템 구현 (Jave based Embedded System Design and Implementation for Real-time Stream Data Processing)

  • 김휴찬;고완기;박상열
    • 디지털산업정보학회논문지
    • /
    • 제4권2호
    • /
    • pp.1-12
    • /
    • 2008
  • Home network is a technology that provides possibilities of monitoring/controling/mutilating-recognition between optional home network machines in residences. Currently, home network or other networks like entertainment, residential electronic networks are jumbled together with heterogeneous networks in a rampaging condition. In a reality of high expectation for home networks system like the mutual application for various machines, we are required to have the unification technology for conveniences to satisfy expectations. This thesis reflects how to develop Java applications or mutual products based on convenient interfaces actually that process various sensors which create real time data stream in Java platform through Java based sensor data-stream processing embedded middleware design and realization in real time.

Design and Implementation of Advanced Traffic Monitoring System based on Integration of Data Stream Management System and Spatial DBMS

  • Xia, Ying;Gan, Hongmei;Kim, Gyoung-Bae
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.162-169
    • /
    • 2009
  • The real-time traffic data is generated continuous and unbounded stream data type while intelligent transport system (ITS) needs to provide various and high quality services by combining with spatial information. Traditional database techniques in ITS has shortage for processing dynamic real-time stream data and static spatial data simultaneously. In this paper, we design and implement an advanced traffic monitoring system (ATMS) with the integration of existed data stream management system (DSMS) and spatial DBMS using IntraMap. Besides, the developed ATMS can deal with the stream data of DSMS, the trajectory data of relational DBMS, and the spatial data of SDBMS concurrently. The implemented ATMS supports historical and one time query, continuous query and combined query. Application programmer can develop various intelligent services such as moving trajectory tracking, k-nearest neighbor (KNN) query and dynamic intelligent navigation by using components of the ATMS.

  • PDF

A Human Movement Stream Processing System for Estimating Worker Locations in Shipyards

  • Duong, Dat Van Anh;Yoon, Seokhoon
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제13권4호
    • /
    • pp.135-142
    • /
    • 2021
  • Estimating the locations of workers in a shipyard is beneficial for a variety of applications such as selecting potential forwarders for transferring data in IoT services and quickly rescuing workers in the event of industrial disasters or accidents. In this work, we propose a human movement stream processing system for estimating worker locations in shipyards based on Apache Spark and TensorFlow serving. First, we use Apache Spark to process location data streams. Then, we design a worker location prediction model to estimate the locations of workers. TensorFlow serving manages and executes the worker location prediction model. When there are requirements from clients, Apache Spark extracts input data from the processed data for the prediction model and then sends it to TensorFlow serving for estimating workers' locations. The worker movement data is needed to evaluate the proposed system but there are no available worker movement traces in shipyards. Therefore, we also develop a mobility model for generating the workers' movements in shipyards. Based on synthetic data, the proposed system is evaluated. It obtains a high performance and could be used for a variety of tasksin shipyards.

u-GIS 컴퓨팅을 위한 GeoSensor 데이터 스트림 처리 시스템 (GeoSensor Data Stream Processing System for u-GIS Computing)

  • 정원일;신숭선;백성하;이연;이동욱;김경배;이충호;김주완;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권1호
    • /
    • pp.9-16
    • /
    • 2009
  • 유비쿼터스 공간 컴퓨팅 환경에서 GeoSensor는 RFID, WSN, Web CAM, Digital Camera, CCTV, 텔레매틱스 단말 등에서 발생되는 다양한 데이터와 함께 직.간접적으로 지리적 정보를 포함하는 데이터 스트림을 발생하는 센서들로, 지리적 정보를 이용한 USN 기술과 공간적 특성에 기반을 둔 서비스의 활성화에 기여하고 있다. 이러한 GeoSensor를 기반으로 하는 다양한 u-GIS 서비스를 제공하기 위해서는 광역의 GeoSensor들로부터 발생하는 센서 데이터 스트림에 대한 효과적인 처리가 필수적이다. 본 연구에서는 위치 및 이동성을 갖는 GeoSensor들로부터 생성되는 실시간 데이터 스트림에 대한 효율적인 수집, 저장, 그리고 연속 질의 처리를 제공하여 사용자의 상황(Context)에 부합하는 다양한 u-GIS 응용 서비스의 효과적인 구축을 지원하는 GeoSensor 데이터 스트림 처리 시스템을 제안한다.

  • PDF

질의 전처리기를 사용한 스트림 DBMS의 효율적 질의처리 (An Efficient Query Processing in Stream DBMS using Query Preprocessor)

  • 양영휴
    • 한국컴퓨터정보학회논문지
    • /
    • 제13권1호
    • /
    • pp.65-73
    • /
    • 2008
  • 유비쿼터스 시대의 텔레매틱스 데이터 관리는 자동차의 위치나 속도, 엔진의 속도, 타이어의 상태, 운전자의 관심사항 등의 실시간으로 유입되는 스트림 데이터에 대한 질의를 처리하는데 있다. 본 논문에서는 기존의 스트림 DBMS의 질의처리 연구현황을 비교 분석하고, 스트림 DBMS에서 다뤄야 하는 모든 유형의 질의를 질의 전처리기를 사용하여 하나의 통합된 시스템에서 처리할 수 있는 통합 하이브리드 모델을 제안한다. 최근 각종 장치의 가격은 하락하는 반면, 성능은 수직 상승함에 따라 DB와 큐등을 위한 공간을 추가함으로써 최대의 병렬성을 보장받을 수 있다. 그 결과 제안된 하이브리드 모델에서는 다양한 유형의 스트림 DBMS 질의들을 단일 시스템 내에서 일괄적이며 효율적으로 처리하여 시스템 성능 향상을 기대 할 수 있다.

  • PDF

해양플랜트의 예지보전을 위한 실시간 데이터 스트림 처리 구현 (Implementation of Real-time Data Stream Processing for Predictive Maintenance of Offshore Plants)

  • 김성수;원종호
    • 정보과학회 논문지
    • /
    • 제42권7호
    • /
    • pp.840-845
    • /
    • 2015
  • 최근 빅데이터는 전사적 자원관리 분야뿐만 아니라 해양플랜트내 생산 및 운영 작업 분야에서도 큰 관심을 받고 있다. 이력데이터를 기반으로 미래의 설비에 대한 성능을 예측하는 것은 설비들의 생산성을 향상 시킬 수 있다. 특히 해양플랜트의 주요설비 중 하나인 원심압축기는 고장 시 폭발 할 수 있는 위험한 설비이기 때문에 실시간으로 설비성능을 모니터링 해야 한다. 본 논문에서 원심압축기의 성능을 계산하기 위한 스트림 데이터 처리 구조를 제안한다. 제안하는 시스템은 크게 가상태그 스트림 생성기와 실시간 데이터 스트림 관리자와 같이 두 가지 컴포넌트로 구성된다. 시스템 성능 확장성을 제공하기 위해, 멀티 코어 CPU를 사용하여 대용량 스트림 데이터를 처리할 수 있는 병렬 프로그래밍 접근 방식을 이용하였다. 또한, 실험을 통해 원심압축기의 스트림 데이터 처리에 대한 성능 개선을 보여주었다.

Memory Latency Penalty를 개선한 SIMT 기반 Stream Processor의 Memory Operation System Architecture 설계 (An Implementation of a Memory Operation System Architecture for Memory Latency Penalty Reduction in SIMT Based Stream Processor)

  • 이광엽
    • 전기전자학회논문지
    • /
    • 제18권3호
    • /
    • pp.392-397
    • /
    • 2014
  • 본 논문은 Memory Latency Penalty를 개선한 SIMT Architecture 기반 Stream Processor의 Memory Operation System Architecture를 제안한다. 제안하는 구조는 Non-Blocking Cache Architecture를 적용하여 기존의 Blocking Cache Architecture에서 발생하는 Cache Miss Penalty를 개선하였고 다양한 알고리즘의 처리속도를 비교하여 제안하는 Memory Operation System Architecture를 적용한 Stream Processor의 성능 향상을 검증하였다. 실험은 각 알고리즘의 Memory 명령어의 비율에 따라 향상된 성능을 측정하여 Stream Processor의 성능이 최소 8.2%에서 최대 46.5%까지 향상됨을 확인하였다.

A GEOSENSOR FILTER FOR PROCESSING GEOSENSOR QUERIES ON DATA STREAMS

  • Lee, Dong-Gyu;Ryu, Keun-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2008년도 International Symposium on Remote Sensing
    • /
    • pp.119-121
    • /
    • 2008
  • Pattern matching is increasingly being employed in various researches as health care service, RFID-based system, facility management, and surveillance. Geosensor filter correlates a data stream to match specific patterns in distribution environments. In this paper, we present a geosensor query language to represent efficiently declarative geosensor query. Geosensor operators are proposed to use for fast query processing in terms of spatial and temporal area in distribution environments. We also propose a geosensor filter to match new query predicates into incoming stream predicates. Our filter can reduce the volume of transmission data and save power consumption of sensors. It can be utilized the stream data mining system to process in real-time various data as location, time, and geosensor information in distribution environments.

  • PDF

Aural-visual two-stream 기반의 아기 울음소리 식별 (Aural-visual two-stream based infant cry recognition)

  • 박철;이종욱;오스만;박대희;정용화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.354-357
    • /
    • 2021
  • Infants communicate their feelings and needs to the outside world through non-verbal methods such as crying and displaying diverse facial expressions. However, inexperienced parents tend to decode these non-verbal messages incorrectly and take inappropriate actions, which might affect the bonding they build with their babies and the cognitive development of the newborns. In this paper, we propose an aural-visual two-stream based infant cry recognition system to help parents comprehend the feelings and needs of crying babies. The proposed system first extracts the features from the pre-processed audio and video data by using the VGGish model and 3D-CNN model respectively, fuses the extracted features using a fully connected layer, and finally applies a SoftMax function to classify the fused features and recognize the corresponding type of cry. The experimental results show that the proposed system classification exceeds 0.92 in F1-score, which is 0.08 and 0.10 higher than the single-stream aural model and single-stream visual model.

분산 공간 데이터 스트림 처리에서 질의 영역의 겹침을 고려한 공간 연산 배치 기법 (Spatial Operation Allocation Scheme over Common Query Regions for Distributed Spatial Data Stream Processing)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제13권6호
    • /
    • pp.2713-2719
    • /
    • 2012
  • 위치를 기반으로 하는 서비스가 다양해짐에 따라 고가용성과 고확장성을 제공하기 위한 분산 데이터 스트림 처리 기법에 대한 연구가 널리 수행되고 있다. 기존 연구는 분산된 노드들에서 부하의 균형을 유지하기 위해 공간 데이터 스트림의 지리적인 특성을 고려하지 않고 있어 공간적으로 인접한 연산을 수행함에 있어 전체 시스템의 부하를 증가시키고 있다. 본 논문에서는 분산 환경의 공간 데이터 스트림을 처리하기 위해 공간 영역의 겹침을 고려한 연산배치 기법을 제안한다. 제안 기법에서는 인접한 공간 영역을 대상으로 하는 연산을 효율적으로 분리하기 위해 질의 영역이 겹치는 부분의 연산을 우선적으로 동일 노드에 분배하여 중복 영역에 대한 공유의 최대화를 보장한다.