• 제목/요약/키워드: Stream Processing

검색결과 720건 처리시간 0.021초

Design and Implementation of Advanced Traffic Monitoring System based on Integration of Data Stream Management System and Spatial DBMS

  • Xia, Ying;Gan, Hongmei;Kim, Gyoung-Bae
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.162-169
    • /
    • 2009
  • The real-time traffic data is generated continuous and unbounded stream data type while intelligent transport system (ITS) needs to provide various and high quality services by combining with spatial information. Traditional database techniques in ITS has shortage for processing dynamic real-time stream data and static spatial data simultaneously. In this paper, we design and implement an advanced traffic monitoring system (ATMS) with the integration of existed data stream management system (DSMS) and spatial DBMS using IntraMap. Besides, the developed ATMS can deal with the stream data of DSMS, the trajectory data of relational DBMS, and the spatial data of SDBMS concurrently. The implemented ATMS supports historical and one time query, continuous query and combined query. Application programmer can develop various intelligent services such as moving trajectory tracking, k-nearest neighbor (KNN) query and dynamic intelligent navigation by using components of the ATMS.

  • PDF

Memory Latency Penalty를 개선한 SIMT 기반 Stream Processor의 Memory Operation System Architecture 설계 (An Implementation of a Memory Operation System Architecture for Memory Latency Penalty Reduction in SIMT Based Stream Processor)

  • 이광엽
    • 전기전자학회논문지
    • /
    • 제18권3호
    • /
    • pp.392-397
    • /
    • 2014
  • 본 논문은 Memory Latency Penalty를 개선한 SIMT Architecture 기반 Stream Processor의 Memory Operation System Architecture를 제안한다. 제안하는 구조는 Non-Blocking Cache Architecture를 적용하여 기존의 Blocking Cache Architecture에서 발생하는 Cache Miss Penalty를 개선하였고 다양한 알고리즘의 처리속도를 비교하여 제안하는 Memory Operation System Architecture를 적용한 Stream Processor의 성능 향상을 검증하였다. 실험은 각 알고리즘의 Memory 명령어의 비율에 따라 향상된 성능을 측정하여 Stream Processor의 성능이 최소 8.2%에서 최대 46.5%까지 향상됨을 확인하였다.

슬라이딩 윈도우 기반 다변량 스트림 데이타 분류 기법 (A Sliding Window-based Multivariate Stream Data Classification)

  • 서성보;강재우;남광우;류근호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권2호
    • /
    • pp.163-174
    • /
    • 2006
  • 분산 센서 네트워크에서 대용량 스트림 데이타를 제한된 네트워크, 전력, 프로세서를 이용하여 모든 센서 데이타를 전송하고 분석하는 것은 어렵고 바람직하지 않다. 그러므로 연속적으로 입력되는 데이타를 사전에 분류하여 특성에 따라 선택적으로 데이타를 처리하는 데이타 분류 기법이 요구된다. 이 논문에서는 다차원 센서에서 주기적으로 수집되는 스트림 데이타를 슬라이딩 윈도우 단위로 데이타를 분류하는 기법을 제안한다. 제안된 기법은 전처리 단계와 분류단계로 구성된다. 전처리 단계는 다변량 스트림 데이타를 포함한 각 슬라이딩 윈도우 입력에 대해 데이타의 변화 특성에 따라 문자 기호를 이용하여 다양한 이산적 문자열 데이타 집합으로 변환한다. 분류단계는 각 윈도우마다 생성된 이산적 문자열 데이타를 분류하기 위해 표준 문서 분류 알고리즘을 이용하였다. 실험을 위해 우리는 Supervised 학습(베이지안 분류기, SVM)과 Unsupervised 학습(Jaccard, TFIDF, Jaro, Jaro Winkler) 알고리즘을 비교하고 평가하였다. 실험결과 SVM과 TFIDF 기법이 우수한 결과를 보였으며, 특히 속성간의 상관 정도와 인접한 각 문자 기호를 연결한 n-gram방식을 함께 고려하였을 때 높은 정확도를 보였다.

통합 RFID 미들웨어의 응답시간 개선을 위한 효과적인 캐쉬 구조 설계 (An Efficient Cache Mechanism for Improving Response Times in Integrated RFID Middleware)

  • 김정길;이준환;박경랑;김신덕
    • 정보처리학회논문지A
    • /
    • 제15A권1호
    • /
    • pp.17-26
    • /
    • 2008
  • 본 논문에서는 WSN(wireless sensor networks)과 RFID(radio frequency identification) 시스템을 통합하여 이용할 수 있는 통합 RFID 미들웨어에서의 효과적인 캐슁 기법을 제시한다. 통합 RFID 미들웨어가 운영되는 환경은 연결된 RFID리더로부터 대규모의 데이터가 입력되고, 다수의 무선 센서로부터 끊임없이 데이터가 입력되는 상황을 가정하고 있으며 또한 특정 목적을 위해 과거에 센서로부터 입력되어 분산 저장되어 있는 히스토리 데이터도 활용될 수 있음을 가정하고 있다. 따라서 캐슁 기능을 구비한 특정 미들웨어 레이어에서 센서 노드로부터 수신되는 연속 데이터와 분산 저장되어 있는 히스토리 데이터에 대한 신속한 질의 및 응답을 위한 효율적 데이터 처리가 절실히 요구된다. 이를 위하여 본 논문에서 제안되는 캐슁 기법은 기존의 캐슁 기법 기반으로 통합 RFID 미들웨어에 특화하여 데이터 처리의 효율을 높이기 위하여 두가지 방법을 제시하고 있으며, 이는 처리 데이터의 유형에 따라 DSC(data stream cache)와 HDC(history data cache) 로 구분된다. 제안된 캐슁 기법은 다양한 파라미터를 이용한 실험을 통하여 신속한 질의 및 응답이 이루어짐을 보여주고 있다.

관계형 데이터 스트림에서 고급 키워드 검색을 위한 질의 최적화 (Query Optimization for an Advanced Keyword Search on Relational Data Stream)

  • 주진웅;김학수;황진호;손진현
    • 정보처리학회논문지D
    • /
    • 제16D권6호
    • /
    • pp.859-870
    • /
    • 2009
  • 관계형 데이터베이스 기반의 키워드 검색 기법에 대한 연구에서의 관심에도 불구하고 관계형 데이터 스트림 기반의 연구는 아직 미흡한 수준이다. 오늘날 스트리밍 데이터는 데이터 관리 측면에서 중요한 연구 토픽이기 때문에 관계형 데이터 스트림 기반의 키워드 검색 기법에 대한 연구는 매우 중요하다. 이러한 관점에서 본 논문은 관계형 데이터 스트림 기반의 키워드 검색 기법과 관련된 연구들을 먼저 분석하고 키워드 검색 질의를 처리하는 동안에 발생되는 조인 비용을 최소화하는 기법에 대해 초점을 둔다. 결과적으로 본 논문은 관계형 데이터 스트림에서 사용자를 위해 좀 더 의미 있는 질의 결과를 산출하기 위한 고급 키워드 검색 기법을 제안하고 효율적인 질의 처리를 위한 계층적 클러스터링을 사용한 질의 최적화 기법을 제안한다.

데이터 스트림 상에서 다중 연속 질의 처리를 위한 속성기반 접근 기법 (Attribute-based Approach for Multiple Continuous Queries over Data Streams)

  • 이현호;이원석
    • 정보처리학회논문지D
    • /
    • 제14D권5호
    • /
    • pp.459-470
    • /
    • 2007
  • 데이터 스트림은 빠르게 연속적으로 발생하는 무제한의 데이터 튜플의 집합이다. 이러한 데이터 스트림에 대한 질의 처리 또한 연속적이고 신속해야 하며 엄격한 시공간적 제약이 요구된다. 대부분의 데이터 스트림 관리시스템(DSMS)에서는 시공간적 제약사항을 효과적으로 지키기 위해서 등록된 연속 질의들의 선택 조건(selection predicate)들을 그룹화하거나 색인처리 한다. 본 논문에서는 연속 질의들의 선택 조건들을 속성별로 그룹화한 새로운 구조체인 속성 선택체(Attribute Selection Construct)를 제안한다. 속성 선택체에는 해당 속성이 특정 질의조건에 사용되는지 여부, 부분적으로 미리 계산된 질의결과 정보, 그리고 해당 속성의 선택률 통계 등 효율적인 질의 처리를 위한 유용한 정보들이 포함된다. 또한, 대상 질의집합을 구현한 속성 선택체들 간의 처리 순서는 전체적인 질의성능에 많은 영향을 미칠 수 있기 때문에 효과적으로 속성 선택체 처리 순서를 결정할 수 있는 전략도 함께 제안된다. 마지막으로, 기존의 방법들이 포함된 다양한 실험을 통하여 제안된 방법론의 성능을 여러 각도에서 비교 검증한다.

CORBA 기반의 분산 오디오/비디오 스트림 서비스 프레임워크의 설계 및 구현 (Design and Implementation of a Distributed Audio/Video Stream Service Framework based on CORBA)

  • 김종현;노영욱;정기동
    • 정보처리학회논문지A
    • /
    • 제9A권2호
    • /
    • pp.207-216
    • /
    • 2002
  • 본 논문에서는 CORBA환경 하에서 오디오/비디오 스트림을 효율적으로 처리하고 제어하기 위한 분산 오디오/비디오 스트림 프래임워크의 설계와 구현에 관한 내용을 기술한다. 분산 오디오/비디오 스트림 서비스 프레임워크는 오디오/비디오 스트림의 효율적인 처리와 제어 그리고 전송을 위한 소프트웨어 구성 요소들을 분산 객체들로 설계한다. 그리고 오디오/비디오 데이터의 전송 효율을 최적화하기 위하여 제어 데이터와 미디어 데이터의 전송 경로를 분리한다. 분산 객체들은 IDL로 정의하며 JAVA로 구현한다. 그리고 미디어 데이터의 캡쳐, 재생 그리고 통신 채널 등 디바이스에 의존적인 기능들은 JMF에서 제공하는 컴포넌트들로 구현한다. 스트림 통신을 위한 분산 객체들 간의 연결설정과 제어 절차를 보여주며, 검증을 위하여 테스트 시스템을 구축하여 성능을 실험한다. 실험 결과 연결설정 지연은 TCP 연결에 비해 다소 지연을 가지나, 미디어 데이터의 전송은 RTP/UDP프로토콜을 사용하여 CORBA의 IIOP 프로토콜에 비해 최적화된 성능을 보여준다. 또한 미디어 데이터를 전송할 때 서비스 품질을 측정한 결과 만족할 만한 성능을 보여준다.

IDSTa1.1 - TCP Stream 분석 기반 침입 탐지 시스템 (IDSTa1.1 - Host based IDS through TCP Stream Analysis)

  • 정해진;이명선
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (하)
    • /
    • pp.1961-1964
    • /
    • 2003
  • NIDS 구조의 근본적인 결함을 이용하는 공격기법과 또한 우회하는 공격기법이 많이 개발 되고 있다. 이러한 NIDS에 대한 공격기법의 해결로 HIDS가 사용 될 수 있으나 HIDS 또한 서비스 하는 시스템 자체 내에 탑재하기 때문에 시스템에 많은 부하를 준다. 따라서 NIDS의 많은 장점들을 유지하면서도 NIDS의 한계를 극복하고 HIDS로써 시스템에 않은 과부하를 주지 않는 새로운 HIDS 모델을 제시한다. 제안된 HIDS는 특성상 모든 곳에서의 접속을 허용하므로 보안이 취약한 Web 서버의 보안 강화를 목적으로 설계되었다. 또한, Web 서버는 Web Service라는 특정 목적안을 위해 운영되기 때문에 HIDS를 설치하더라도 Web 공격에 대해서안 고려함으로써 HIDS의 부하를 상당히 줄일 수 있다. 본 논문에서 제안하는 HIDS는 Linux 운영체제의 Kernel에서 TCP Stream을 추출하여 이를 감사 자료로써 사용하여 침입탐지를 한다. Linux 서버의 자체적인 호스트 방화벽과 연동하여 침입에 따른 대응을 한다.

  • PDF

RAVIP: Real-Time AI Vision Platform for Heterogeneous Multi-Channel Video Stream

  • Lee, Jeonghun;Hwang, Kwang-il
    • Journal of Information Processing Systems
    • /
    • 제17권2호
    • /
    • pp.227-241
    • /
    • 2021
  • Object detection techniques based on deep learning such as YOLO have high detection performance and precision in a single channel video stream. In order to expand to multiple channel object detection in real-time, however, high-performance hardware is required. In this paper, we propose a novel back-end server framework, a real-time AI vision platform (RAVIP), which can extend the object detection function from single channel to simultaneous multi-channels, which can work well even in low-end server hardware. RAVIP assembles appropriate component modules from the RODEM (real-time object detection module) Base to create per-channel instances for each channel, enabling efficient parallelization of object detection instances on limited hardware resources through continuous monitoring with respect to resource utilization. Through practical experiments, RAVIP shows that it is possible to optimize CPU, GPU, and memory utilization while performing object detection service in a multi-channel situation. In addition, it has been proven that RAVIP can provide object detection services with 25 FPS for all 16 channels at the same time.

맵리듀스 온라인 프레임워크에서 공간 데이터 스트림 처리를 위한 동적 부하 관리 기법 (Dynamic Load Management Method for Spatial Data Stream Processing on MapReduce Online Frameworks)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제19권8호
    • /
    • pp.535-544
    • /
    • 2018
  • 다양한 센서를 내장하고 고품질의 무선 네트워크 통신 기능을 탑재한 이동 장치의 보급이 확대됨에 따라 다양한 서비스 환경에서 이동 장치로부터 생성되는 시공간 데이터 량도 빠르게 증가하고 있다. 이와 같이 실시간 특성을 갖는 대량의 공간 데이터 스트림을 처리하기 위한 기존의 연구에서 하둡 기반의 공간 빅 데이터 시스템은 일괄 처리 방식의 플랫폼으로 공간 데이터 스트림에 대한 실시간 서비스에 적용하기에는 매우 어렵다. 이에 본 논문에서는 맵리듀스 온라인 프레임워크를 확장하여 연속적으로 입력되는 공간 데이터 스트림에 대한 실시간 질의 처리를 지원하고, 질의 처리 과정에서 야기될 수 있는 부하 문제를 효과적으로 분산하는 부하 관리 기법을 제안한다. 제안 기법에서는 공간 분할 영역을 기반으로 입력 데이터의 유입율과 부하율을 이용하여 노드들에 대해 동적으로 부하를 분산하는 기법을 제시하였다. 실험에서는 특정 공간 영역에서의 부하 관리가 요구될 때 해당 영역에서의 공간 데이터 스트림을 공유하는 자원들에게 분배함으로써 효과적인 질의 처리를 지원할 수 있음을 보인다.