• Title/Summary/Keyword: Real-time Data Processing

검색결과 2,085건 처리시간 0.029초

확장형 실시간 데이터 파이프라인 시스템 아키텍처 설계 (Design of Extended Real-time Data Pipeline System Architecture)

  • 신호승;강성원;이지현
    • 정보과학회 논문지
    • /
    • 제42권8호
    • /
    • pp.1010-1021
    • /
    • 2015
  • 빅데이터 시스템은 대규모 로그 데이터를 수집하는 용도로 광범위하게 사용되고 있기 때문에 높은 성능을 갖는 것이 매우 중요하지만, 현재의 Hadoop 기반의 빅데이터 시스템은 중복 처리로 인하여 낮은 성능을 갖는 아키텍처적인 문제를 가지고 있다. 본 논문은 아키텍처 설계 개선을 통하여 Hadoop 기반 시스템의 낮은 성능 문제를 해결한다. 새로운 제안 아키텍처는 기존 아키텍처의 배치(Batch) 기반의 데이터 수집 방식을 개별처리 방식과 혼합한 수집 방법을 사용하고, 수집하는 데이터를 In-Memory 상에서 직접 분석하여 중복 처리를 배제하여 높은 성능을 제공하게 한다. 또한 제안 아키텍처는 기존 Hadoop 기반 아키텍처의 장점인 시스템 확장성을 가진다. 본 논문은 제안 아키텍처가 테스트 베드 환경에서 기존 아키텍처보다 데이터의 분석 처리 속도가 30%~35% 빠르고 확장성도 가진다는 것을 확인하였다.

가상 윈도우 기반 인스턴스 레벨 서브시퀀스 매칭 방안 (Instance-Level Subsequence Matching Method based on a Virtual Window)

  • 임선영;박영호
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제3권2호
    • /
    • pp.43-46
    • /
    • 2014
  • 시계열 데이터는 시간에 따라 변화되는 실수 값을 저장한 것이다. 시계열 데이터에서 사용자 질의 시퀀스가 주어졌을 때, 유사한 서브시퀀스를 가지는 데이터 시퀀스를 검색하는 서브시퀀스 매칭은 매우 중요한 문제이다. 본 논문에서는 인스턴스 레벨의 새로운 서브시퀀스 매칭 방법인 I-Match (Instance-Match)를 제안한다. I-Match는 인스턴스 레벨에서 가상 윈도우를 생성하여 질의 시퀀스와 데이터 시퀀스를 비교하여 착오 해답을 줄이는 방법으로 기존 방법인 Dual Match에 비해 후보의 개수를 줄임으로써 성능을 향상시켰다. 실험을 통해 I-Match의 질의 처리 시간이 Dual Match와 비교하여 최대 2.95배 빠르며, 후보의 개수를 줄임을 보인다.

대용량 데이터스트림 실시간 압축 저장을 위한 저장관리자 설계 및 구현 (Design and Implementation of Storage Manager for Real-Time Compressed Storing of Large Volume Datastream)

  • 이동욱;백성하;김경배;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권3호
    • /
    • pp.31-39
    • /
    • 2009
  • 유비쿼터스 환경에서 발생하는 실시간 데이터스트림의 처리 및 관리에 대한 요구사항이 증가되고 있다. 특히 인터넷 보안, 공장 자동화 기기설비 관리 등에서 발생하는 데이터스트림은 대용량 데이터가 실시간으로 발생하는 특징을 가지고 있어 이를 처리하기 위한 특화된 DSMS의 저장관리자의 개발이 요구된다. Coral8과 같은 기존의 DSMS의 경우 일반적인 데이터스트림의 처리가 가능 하지만 초당 10만 건 이상의 대용량의 실시간 데이터스트림이 발생하는 특수한 상황의 경우 이에 대한 처리 성능이 부족하며, 이에 대한 저장이 불가능하다. 관련 분야에서 일반적으로 사용되는 오라클10g의 경우 저장, 관리 성능은 우수하지만 실시간 데이터스트림 처리에 대한 고려가 되어 있지 않다. 본 논문에서는 삼성전자, 하이닉스, HP 등에 반도체, LCD 제조공장의 생산 기계에서 발생하는 대용량 데이터스트림을 실시간 압축 저장이 가능한 DSMS 저장관리자를 설계 및 구현하였다. 본 문에서는 시스템의 구조 및 주요 컴포넌트에 대해 설명하며, 관련시스템과 비교 평가를 통해 제안 시스템의 우수성을 보인다.

  • PDF

교통 빅데이터의 효율적 저장 및 검색 기술의 설계와 구현 (Design and Implementation of Efficient Storage and Retrieval Technology of Traffic Big Data)

  • 김기수;이재진;김홍회;장유림;함유근
    • 한국빅데이터학회지
    • /
    • 제4권2호
    • /
    • pp.207-220
    • /
    • 2019
  • 최근 정보통신기술의 발달은 센서를 바탕으로 수많은 데이터를 구축하고 이를 이용하여 실시간 서비스를 제공할 수 있게 한다. 교통안전공단에서는 디지털 운행기록계를 통해 전국의 상용차의 운행 정보를 수집하고 있다. 전국 상용자의 운행 정보는 교통 분야에서 다방면으로 활용이 가능하다. 그 중 특히 자율주행 분야에서는 실시간으로 운행정보를 분석하여 위험 운전에 대응을 하거나 방지하는데 도움을 줄 수 있다. 그러나 전통적인 데이터베이스 시스템을 이용하여 대용량의 데이터를 실시간 서비스에 적합한 수준의 성능으로 처리하는 데는 한계가 존재한다. 특히 국내에서는 이와 같은 기술적인 문제로 상용차 운행정보의 실시간 분석을 위한 대규모 교통 빅데이터의 처리가 이전에 시도된 적이 없다. 이런 문제를 해결하기 위해 본 연구에서는 새로운 방식의 데이터베이스 서버 시스템 최적화를 진행하였고 실시간 서비스가 가능한 수준임을 확인하였다. 구축된 데이터베이스 시스템을 이용하여 디지털 트윈, 자율주행환경을 마련하기 위한 기반 데이터를 확보할 수 있을 것으로 기대된다.

  • PDF

LabView를 이용한 실시간 온실 모니터링 및 원격 제어 (Real-Time Remote Greenhouse Monitoring and Control Using LabView)

  • 서정희;박흥복
    • 한국정보통신학회논문지
    • /
    • 제7권4호
    • /
    • pp.779-787
    • /
    • 2003
  • 최근에는 웹(Web)을 기반으로 하여 여러 분야에 적용되는 원격 감시, 자동화 제어 시스템 등의 개발에 관한 연구가 활발히 전개되고 있다. 본 논문에서는 기존의 자동화 시스템에 원격 제어 기술을 추가하였다. 오류의 수정과 적용이 쉬운 LabView 그래픽컬 언어를 사용하여 멀티미디어 데이터 처리, 일반적인 통신망(TCP/IP)상의 확장성을 고려한 실시간 모니터링 및 원격 제어를 위한 방법을 제안하고, 온실 환경 제어 시스템에 적용하였다. 적용 결과는 온실의 제어 상황을 원격으로 제어 및 감시하는데 매우 효율적인 것으로 평가되었다.

Fast Coordinate Conversion Method for Real-time Weather Radar Data Processing

  • Jang, Bong-Joo;Lim, Sanghun;Kim, Won
    • Journal of Multimedia Information System
    • /
    • 제5권1호
    • /
    • pp.1-8
    • /
    • 2018
  • The coordinate system conversion of weather radar data is a basic and important process because it can be a factor to measure the accuracy of radar precipitation rate by comparison with the ground rain gauge. We proposed a real-time coordinate system conversion method that combines the advantages of the interpolation masks of SPRINT and REORDER to use tables of predetermined radar samples for each interpolated object coordinate and also distance weights for each precomputed sample. Experimental results show that the proposed method improves the computation speed more than 20~30 times compared with the conventional method and shows that the deterioration of image quality is hardly ignored.

플래시 메모리 저장 장치에서 멀티미디어 데이터의 실시간 재생 (Real-Time Retrieval of Multimedia Data from Flash Memory Storage Devices)

  • 한용철;양학모;류연승
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.1705-1708
    • /
    • 2005
  • Recently, flash memory is becoming popular as storage system to store and retrieve multimedia files. However, there are few researches about multimedia file system for flash memory based storage devices. We have been designing and developing a novel multimedia file systems for flash memory. In this paper, we describe the semantics of real-time retrieval of multimedia data and present scheduling scheme to guarantee the real-time requirements in our multimedia file system.

  • PDF

산업 현장의 안전거리 계측을 위한 동적 계획 신경회로망 (A Dynamic Programming Neural Network to find the Safety Distance of Industrial Field)

  • 김종만;김원섭;김영민;황종선;박현철
    • 한국전기전자재료학회:학술대회논문집
    • /
    • 한국전기전자재료학회 2001년도 기술교육위원회 창립총회 및 학술대회 의료기기전시회
    • /
    • pp.23-27
    • /
    • 2001
  • Making the safety situation from the various work system is very important in the industrial fields. The proposed neural network technique is the real titre computation method based theory of inter-node diffusion for searching the safety distances from the sudden appearance-objests during the work driving. The main steps of the distance computation using the theory of stereo vision like the eyes of man is following steps. One is the processing for finding the corresponding points of stereo images and the other is the interpolation processing of full image data from nonlinear image data of obejects. All of them request much memory space and titre. Therefore the most reliable neural-network algorithm is drived for real time recognition of obejects, which is composed of a dynamic programming algorithm based on sequence matching techniques. And the real time reconstruction of nonlinear image information is processed through several simulations. I-D LIPN hardware has been composed, and the real time reconstruction is verified through the various experiments.

  • PDF

병렬신호처리시스템을 위한 성능 모니터의 구현 및 검증 (An Implementation and Verification of Performance Monitor for Parallel Signal Processing System)

  • 이원주;김효남
    • 한국컴퓨터정보학회논문지
    • /
    • 제10권5호
    • /
    • pp.313-322
    • /
    • 2005
  • 본 논문에서는 TMS302C6711을 기본 프로세서로 사용하는 DSP Starter Kit(DSK)를 이용하여 병렬신호처리시스템의 성능을 측정하는 성능 모니터를 구현하고 검증한다. 이 성능 모니터의 특징은 DSP/BIOS의 기능 및 실시간 데이터 전송을 위한 RTDX(Real Time Data Exchange)를 사용하여 DSP 작업부하, 메모리 이용률, 그리고 브릿지 트래픽 등과 같은 병렬신호처리시스템의 성능 평가 척도를 측정할 수 있다는 것이다. 시뮬레이션에서는 DSP 알고리즘에서 널리 사용하는 FFT, 2D FFT, Matrix Multiplication, Fir Filter를 사용한다. 하나의 웨이브 파일에서 각각 다른 주기와 데이터 크기, 버퍼크기에 따른 결과를 성능 모니터와 TI(Texas Instrument)사의 코드 컴포저 스투디오로 측정한다. 그리고 그 결과를 비교함으로써 본 논문에서 구현한 성능 모니터의 정확성을 검증한다.

  • PDF

선박관리 시스템의 최적화 (Optimization of Ship Management System)

  • 임치산;박수홍
    • 한국전자통신학회논문지
    • /
    • 제8권6호
    • /
    • pp.839-846
    • /
    • 2013
  • 본 연구에서는 실시간 선박관리시스템을 위한 최적 프로그램방법을 설계 및 개발하였다. 종래의 인터럽트 프로그램방식을 대신하여 다중작업과 시각화되어진 임베디드 실시간 관리시스템을 제안한다. 데이터 관리는 임베디드 실시간 운영체계상에서 개발하였고, 인공지능방식으로 중앙연산장치(CPU)를 최적화하도록 설계되었다. 최종적으로 시스템에서의 데이터손실을 최소화하면서 최적프로그램모델을 통하여 데이터처리를 향상시켰다.