• 제목/요약/키워드: Location Data Stream

검색결과 84건 처리시간 0.021초

Design and Implementation of a USN Middleware for Context-Aware and Sensor Stream Mining

  • Jin, Cheng-Hao;Lee, Yang-Koo;Lee, Seong-Ho;Yun, Un-il;Ryu, Keun-Ho
    • Spatial Information Research
    • /
    • 제19권1호
    • /
    • pp.127-133
    • /
    • 2011
  • Recently, with the advances in sensor techniques and net work computing, Ubiquitous Sensor Network (USN) has been received a lot of attentions from various communities. The sensor nodes distributed in the sensor network tend to continuously generate a large amount of data, which is called stream data. Sensor stream data arrives in an online manner so that it is characterized as high-speed, real-time and unbounded and it requires fast data processing to get the up-to-date results. The data stream has many application domains such as traffic analysis, physical distribution, U-healthcare and so on. Therefore, there is an overwhelming need of a USN middleware for processing such online stream data to provide corresponding services to diverse applications. In this paper, we propose a novel USN middleware which can provide users both context-aware service and meaningful sequential patterns. Our proposed USN middleware is mainly focused on location based applications which use stream location data. We also show the implementation of our proposed USN middleware. By using the proposed USN middleware, we can save the developing cost of providing context aware services and stream sequential patterns mainly in location based applications.

A Human Movement Stream Processing System for Estimating Worker Locations in Shipyards

  • Duong, Dat Van Anh;Yoon, Seokhoon
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제13권4호
    • /
    • pp.135-142
    • /
    • 2021
  • Estimating the locations of workers in a shipyard is beneficial for a variety of applications such as selecting potential forwarders for transferring data in IoT services and quickly rescuing workers in the event of industrial disasters or accidents. In this work, we propose a human movement stream processing system for estimating worker locations in shipyards based on Apache Spark and TensorFlow serving. First, we use Apache Spark to process location data streams. Then, we design a worker location prediction model to estimate the locations of workers. TensorFlow serving manages and executes the worker location prediction model. When there are requirements from clients, Apache Spark extracts input data from the processed data for the prediction model and then sends it to TensorFlow serving for estimating workers' locations. The worker movement data is needed to evaluate the proposed system but there are no available worker movement traces in shipyards. Therefore, we also develop a mobility model for generating the workers' movements in shipyards. Based on synthetic data, the proposed system is evaluated. It obtains a high performance and could be used for a variety of tasksin shipyards.

An Abnormal Worker Movement Detection System Based on Data Stream Processing and Hierarchical Clustering

  • Duong, Dat Van Anh;Lan, Doi Thi;Yoon, Seokhoon
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제14권4호
    • /
    • pp.88-95
    • /
    • 2022
  • Detecting anomalies in human movement is an important task in industrial applications, such as monitoring industrial disasters or accidents and recognizing unauthorized factory intruders. In this paper, we propose an abnormal worker movement detection system based on data stream processing and hierarchical clustering. In the proposed system, Apache Spark is used for streaming the location data of people. A hierarchical clustering-based anomalous trajectory detection algorithm is designed for detecting anomalies in human movement. The algorithm is integrated into Apache Spark for detecting anomalies from location data. Specifically, the location information is streamed to Apache Spark using the message queuing telemetry transport protocol. Then, Apache Spark processes and stores location data in a data frame. When there is a request from a client, the processed data in the data frame is taken and put into the proposed algorithm for detecting anomalies. A real mobility trace of people is used to evaluate the proposed system. The obtained results show that the system has high performance and can be used for a wide range of industrial applications.

공간 데이터스트림을 위한 조인 전략 및 비용 모델 (Strategies and Cost Model for Spatial Data Stream Join)

  • 유기현;남광우
    • 한국공간정보시스템학회 논문지
    • /
    • 제10권4호
    • /
    • pp.59-66
    • /
    • 2008
  • GeoSensor 네트워크란 지리공간상에서 발생하는 다양한 현상들을 모니터링하는 특정형태의 센서네트워크 인프라 및 관련 소프트웨어를 의미한다. 그리고 이러한 GeoSensor 네트워크는 데이터스트림과 공간 속성의 데이터를 가진 스트림, 또는 공간 릴레이션과의 조합으로 구현될 수 있다. 하지만, 최근까지 연구된 센서 네트워크 시스템은 공간 정보를 배제한 센서 데이터스트림에 대한 저장 및 검색 방안 연구에 치중되어 있다. 따라서 본 논문은 GeoSensor 네트워크에서 데이터스트림과 공간 데이터가 결합된 형태의 공간 데이터스트림의 정의 및 그들 간의 조인 전략들을 제안한다. 본 논문에서 정의하고 있는 공간 데이터스 트림에는 이동 객체 형태의 동적 공간 데이터스트림과 고정된 형태의 정적 공간 데이터스트림이 있다. 동적공간 데이터스트림은 GPS와 같이 동적으로 이동하는 센서에 의해 전송되는 데이터스트림을 말한다. 반면, 정적 공간 데이터스트림은 일반 센서 형태의 데이터스트림과 이러한 센서들의 위치 값을 가지고 있는 릴레이션과의 조인으로 만들어 진다. 본 논문은 동적 공간 데이터스트림과 정적 공간 데이터스트림의 조인 및 조인 비용을 추정하는 모델을 제안하고 있다. 또한, 실험을 통해 제안하는 비용 모델의 검증 및 조인 전략에 따른 조인 성능을 보이고 있다.

  • PDF

주성분 분석을 이용한 지역기반의 날씨의 스트림 데이터 분석 (Stream Data Analysis of the Weather on the Location using Principal Component Analysis)

  • 김상엽;김광덕;배경호;류근호
    • 한국측량학회지
    • /
    • 제28권2호
    • /
    • pp.233-237
    • /
    • 2010
  • The recent advance of sensor networks and ubiquitous techniques allow collecting and analyzing of the data which overcome the limitation imposed by time and space in real-time for making decisions. Also, analysis and prediction of collected data can support useful and necessary information to users. The collected data in sensor networks environment is the stream data which has continuous, unlimited and sequential properties. Because of the continuous, unlimited and large volume properties of stream data, managing stream data is difficult. And the stream data needs dynamic processing method because of the memory constraint and access limitation. Accordingly, we analyze correlation stream data using principal component analysis. And using result of analysis, it helps users for making decisions.

A GEOSENSOR FILTER FOR PROCESSING GEOSENSOR QUERIES ON DATA STREAMS

  • Lee, Dong-Gyu;Ryu, Keun-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2008년도 International Symposium on Remote Sensing
    • /
    • pp.119-121
    • /
    • 2008
  • Pattern matching is increasingly being employed in various researches as health care service, RFID-based system, facility management, and surveillance. Geosensor filter correlates a data stream to match specific patterns in distribution environments. In this paper, we present a geosensor query language to represent efficiently declarative geosensor query. Geosensor operators are proposed to use for fast query processing in terms of spatial and temporal area in distribution environments. We also propose a geosensor filter to match new query predicates into incoming stream predicates. Our filter can reduce the volume of transmission data and save power consumption of sensors. It can be utilized the stream data mining system to process in real-time various data as location, time, and geosensor information in distribution environments.

  • PDF

공간 DSMS 기반 RTLS의 설계 및 구현 (Design and Implementation of RTLS based on a Spatial DSMS)

  • 김정준;김판규;김동오;이기영;한기준
    • 한국공간정보시스템학회 논문지
    • /
    • 제10권4호
    • /
    • pp.47-58
    • /
    • 2008
  • 최근 유비쿼터스 컴퓨팅 기술의 발전과 함께 센서 및 RFID에 관련한 정보 인식, 위치 측위와 같은 다양한 유비쿼터스 영역에 대한 관심과 연구가 증대되고 있다. 특히, RFID 태그를 이용해 이동 객체의 위치 및 상태 정보를 제공하는 다양한 RTLS(Real-Time Locating Systems)가 개발됨에 따라 RTLS에서의 데이타 호환성과 상호 운용성을 위한 표준 명세가 필요하게 되었다. 이에, ISO/IEC에서는 RTLS의 데이타 호환성과 상호 운용성을 위해 RTLS 표준 명세를 제시하였다. 본 논문에서는 이동 객체의 데이타 스트림에 대한 효율적인 관리와 검색을 위해 공간 DSMS(Data Stream Management System)기반 RTLS를 설계 및 구현하였다. 공간 DSMS는 Stanford 대학교에서 개발한 STREAM(STanford stREam datA Manager)을 다양한 공간 연산이 가능하도록 확장한 시스템이다. 공간 DSMS 기반 RTLS는 서버와 클라이언트간의 상호 운용성을 위하여 SOAP(Simple Object Access Protocol) 메시지를 사용하며, 클라이언트의 SOAP 메시지를 공간 DSMS의 CQL(Continuous Query Language)로 변환한다. 마지막으로, 공간 DSMS 기반 RTLS를 사원 위치 관리 서비스에 적용해 봄으로써 시스템의 효용성을 입증하였다.

  • PDF

시공간 데이터 스트림 처리를 위한 영역 기반의 연산자 공유 기법 (Partition-based Operator Sharing Scheme for Spatio-temporal Data Stream Processing)

  • 정원일;김영기
    • 한국산학기술학회논문지
    • /
    • 제11권12호
    • /
    • pp.5042-5048
    • /
    • 2010
  • 유비쿼터스 환경에서 다양한 센서로부터 생성되는 데이터 스트림에 대해 사용자가 요구하는 위치 기반 서비스를 효과적으로 지원하기 위해 연산자 네트워크와 공유 등을 통한 연속 질의 처리 기법이 활용되고 있다. 위치 정보 기반의 연속 질의 처리는 특정 영역을 중심으로 유사 질의가 집중적으로 발생할 수 있으므로, 본 논문에서는 유사한 조건을 갖는 공간 연산을 공유하기 위해 그리드 영역 분할을 이용한 공간 연산 공유 기법을 제안한다. 제안기법은 공간 연산을 직접 공유하지 않고 그리드 셀 별로 이동객체를 공유하기 때문에 유사한 조건을 갖는 공간 연산의 공유가 가능하여 공간 연산의 실행 빈도수를 크게 감소시켜 질의 처리 속도의 향상과 함께 메모리 이용률을 향상시킨다.

분산 공간 데이터 스트림 처리에서 질의 영역의 겹침을 고려한 공간 연산 배치 기법 (Spatial Operation Allocation Scheme over Common Query Regions for Distributed Spatial Data Stream Processing)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제13권6호
    • /
    • pp.2713-2719
    • /
    • 2012
  • 위치를 기반으로 하는 서비스가 다양해짐에 따라 고가용성과 고확장성을 제공하기 위한 분산 데이터 스트림 처리 기법에 대한 연구가 널리 수행되고 있다. 기존 연구는 분산된 노드들에서 부하의 균형을 유지하기 위해 공간 데이터 스트림의 지리적인 특성을 고려하지 않고 있어 공간적으로 인접한 연산을 수행함에 있어 전체 시스템의 부하를 증가시키고 있다. 본 논문에서는 분산 환경의 공간 데이터 스트림을 처리하기 위해 공간 영역의 겹침을 고려한 연산배치 기법을 제안한다. 제안 기법에서는 인접한 공간 영역을 대상으로 하는 연산을 효율적으로 분리하기 위해 질의 영역이 겹치는 부분의 연산을 우선적으로 동일 노드에 분배하여 중복 영역에 대한 공유의 최대화를 보장한다.

대용량 위치 데이터에서 효율적인 k-최근접 질의 처리 기법 (Efficient k-Nearest Neighbor Query Processing Method for a Large Location Data)

  • 최도진;임종태;유승훈;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제17권8호
    • /
    • pp.619-630
    • /
    • 2017
  • 스마트 기기의 대중화로 다양한 위치 기반 서비스가 제공되고 있다. 최근에는 소셜 서비스와 결합한 위치 기반 소셜 서비스들이 생겨나고 있다. 이러한 위치 기반 소셜 네트워크 서비스에서는 사용자 중심의 가장 가까운 위치를 검색하는 k-최근접 질의 처리의 요구가 증가된다. 본 논문에서는 대규모 사용자 환경에서 질의를 효율적으로 처리하기 위한 근사 k-최근접 질의 처리 기법을 제안한다. 제안하는 기법은 빅데이터 분산 처리기술을 활용하여 효율적인 스트림 처리를 수행한다. 본 논문에서는 대량의 위치 데이터에 대한 색인을 위해 전통적인 그리드 색인 기법을 변형한 색인 기법을 제안한다. 제안하는 질의 처리기법은 사용자의 진행방향을 고려하여 해당 셀을 우선적으로 탐색한다. 이를 통해 k개의 근사 결과 집합을 생성할 수 있다. 제안하는 기법의 우수성을 입증하기 위해 기존 기법과 다양한 성능 평가를 수행한다.