• 제목/요약/키워드: Real-time Data Processing

검색결과 2,065건 처리시간 0.029초

Squall: 실시간 이벤트와 마이크로-배치의 동시 처리 지원을 위한 TMO 모델 기반의 실시간 빅데이터 처리 프레임워크 (Squall: A Real-time Big Data Processing Framework based on TMO Model for Real-time Events and Micro-batch Processing)

  • 손재기;김정국
    • 정보과학회 논문지
    • /
    • 제44권1호
    • /
    • pp.84-94
    • /
    • 2017
  • 최근 다양하고 방대한 양의 데이터를 처리하기 위해 빅데이터의 특성인 5V(Volume, Variety, Velocity, Veracity, Value) 중에서도 속도(Velocity)의 중요성이 강조되면서 대량의 데이터를 빠르고 정확하게 처리하는 기술인 실시간 스트림 처리(Real-time Stream processing)를 위해 많은 연구가 진행되고 있다. 본 논문에서는 실시간 빅데이터 처리를 위해 대표적인 실시간 객체 모델인 TMO(Time-triggered Message-triggered Object) 개념을 도입한 Squall 프레임워크를 제시하고, 단일 노드에서 동작하는 Squall 프레임워크와 그 동작들에 대해 기술한다. TMO는 작업을 수행할 때, 특정 조건에 대해 실시간으로 처리하는 비주기적인 처리방법과 일정 시간 간격동안 주기적인 처리를 지원하는 객체 모델이다. 따라서 Squall 프레임워크는 실시간 빅데이터의 실시간 이벤트 스트림 및 마이크로-배치 처리를 동시에 지원하고, 기존 아파치 스톰과 스파크 스트리밍 대비 상대적으로 우수한 성능을 제공한다. 하지만 Squall은 대부분의 프레임워크에서 제공되는 다중 노드에서의 실시간 분산처리를 위한 추가적인 개발이 필요하다. 결론적으로, TMO 모델의 장점은 실시간 빅데이터 처리시 기존 아파치의 스톰이나 스파크 스트리밍의 단점들을 극복할 수 있다. 이러한 TMO 모델은 실시간 빅데이터 처리에 있어 유용한 모델로서의 가능성을 가지고 있다.

RFID 시스템 도입을 위한 실시간 정보처리용 미들웨어의 개발에 관한 연구 (A Study on Development of Middleware for Real Time Data Processing with RFID)

  • 이광수;조용철;이창호
    • 대한안전경영과학회지
    • /
    • 제8권4호
    • /
    • pp.109-117
    • /
    • 2006
  • This paper deals with the middleware development for real time data processing using ubiquitous RFID(Radio Frequency Identification). This middleware system supports the real time data gathering, filtering, and collaborative operations within SCM. We expect to decrease the data processing cost and to upgrade the status of RTE(Real Time Enterprise) and competitive power of company.

소프트웨어 디자인 패턴을 적용한 실시간 분산 시뮬레이션을 위한 데이터 전달처리 시스템 설계 (Data Transmission Processing System Design for Real-Time Distributed Simulation by Using Software Design Patterns)

  • 석진원;유인태
    • 디지털콘텐츠학회 논문지
    • /
    • 제10권4호
    • /
    • pp.649-657
    • /
    • 2009
  • 일반적으로 초고속 네트워크에서 실행되는 분산 시스템의 데이터 전달처리 효율은 시스템 구조 및 데이터의 전달처리 시스템에 의존한다. 분산 환경을 이용한 실시간 분산 시뮬레이션 시스템은 데이터전달처리의 실시간성과 시스템의 신뢰성 보장을 위하여 데이터 전달처리 시스템에 의하여 요구된 성능을 만족하고자 하였다. 그러나 실시간 시뮬레이션 시스템에 적용된 클라이언트/서버 기반의 데이터 전달처리 시스템은 시스템의 안정성 및 시스템의 변경에 따른 확장성과 유지보수성 확보가 어려웠다. 따라서 기존의 데이터 전달처리 시스템의 문제점을 해결하기 위하여 새로운 데이터 전달처리 시스템이 필요하다. 본 논문에서는 기존의 실시간 시뮬레이션 시스템을 분석하여 시스템 개선방향을 제시하고, 시스템 확장성, 상호운용성, 재사용성 및 유지보수성을 위하여 소프트웨어 디자인 패턴을 적용한 새로운 실시간 데이터 전달처리 시스템을 제안한다.

  • PDF

능동 건강/생활지원 USN 기반 서비스 로봇 시스템의 실시간 싱크 노드 구조 (Real-Time Sink Node Architecture for a Service Robot Based on Active Healthcare/Living-support USN)

  • 신동관;이수영;최병욱
    • 제어로봇시스템학회논문지
    • /
    • 제14권7호
    • /
    • pp.720-725
    • /
    • 2008
  • This paper proposes a system architecture for USN with a service robot to provide more active assisted living services for elderly persons by monitoring their mental and physical well-being with USN environments at home, hospital, or silver town. Sensors embedded in USN are used to detect preventive measures for chronic disease. Logged data are transferred to main controller of a service robot via wireless channel in which the analysis of data is performed. For the purpose of handling emergency situations, it needs real-time processing on gathering variety sensor data, routing algorithms for sensor nodes to a moving sink node and processing of logged data. This paper realized multi-hop sensor network to detect user movements with biometric data transmission and performed algorithms on Xenomai, a real-time embedded Linux. To leverage active sensing, a mobile robot is used of which task was implemented with a priority to process urgent data came from the sink-node. This software architecture is anticipated to integrate sensing, communication and computing with real-time manner. In order to verify the usefulness of a proposed system, the performance of data transferring and processing on a real-time OS with non real-time OS is also evaluated.

Real Time Processing을 위한 Image Processing Unit의 설계 (Design of Image Processing Unit for Real Time Processing)

  • 김진욱;김석태
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 1998년도 추계종합학술대회
    • /
    • pp.194-197
    • /
    • 1998
  • Image Processing은 Image Data가 대량이고 내재된 정보가 병렬로 연관성을 가진다는 측면에서 실시간 처리가 용이하지 알다. 본 연구에서는 High Speed Real Time Image Processing을 위한 IPU(Image Processing Unit)와 이를 구동하기 위한 High Speed Real Time image Processing Language인 IPASM(Image Processing Assembly)을 제안한다. 우선 IPU의 기본개념을 설명하고 IPU의 구현을 위한 IPLU(Image Processing Logic Unit)를 설계한다. 그 후 Window98환경에서 구동 가능한 IPASM Interpreter를 실제로 제작하여 IPU의 동작방식을 간접적으로 진단한다.

  • PDF

실시간 철도안전 관제를 위한 데이터 처리 방안 연구 (Data Processing Method for Real-time Safety Supervision System in Railway)

  • 신광호;정혜란;안진
    • 한국철도학회논문집
    • /
    • 제19권4호
    • /
    • pp.445-455
    • /
    • 2016
  • 실시간 철도안전 관제시스템은 철도시스템을 구성하는 열차, 신호, 전력 및 설비 등으로 분산되어 감시되던 시스템의 안전관련 데이터를 통합하여 안전감시 효율을 향상시키고 사고를 예방하는 것이 목적으로, 기존 개별 감시 시스템과 달리 데이터의 대용량 처리와 실시간 처리 성능을 동시에 요구하고 있다. 기존 관제시스템에서 주로 활용되는 디스크 기반 데이터베이스는 실시간 및 빅 데이터 처리기능이 없고, 최근 도입되는 메모리 기반 데이터베이스는 빅데이터 처리기능이 없으며, 시계열 데이터베이스는 실시간 처리 기능이 없다. 이에 따라, 실시간 안전관제에서 요구되는 빅 데이터 처리와 실시간 처리를 동시에 제공하는 새로운 솔루션이 필요하다. 본 연구에서는 기존 관제의 데이터 처리 사례를 분석하고, 빅 데이터 처리와 실시간 처리를 동시에 제공하는 새로운 데이터 처리 방안을 제안하였으며, 이를 검증하였다.

비행시험통제용 실시간 PCM 자료처리시스템 개발 (Real-time PCM Data Processing System Development for Flight Test Control)

  • 박인희
    • 한국정보통신학회논문지
    • /
    • 제25권6호
    • /
    • pp.825-833
    • /
    • 2021
  • 비행시험에서 비행체의 경우 실시간으로 빠르게 이동하므로 비행체 상태를 파악하기 위하여 사용되는 계측/측정장비들의 데이터는 비행시험통제시스템들에 필요한 형태로 처리되고 송신되는 것이 실시간으로 이루어지는 것이 중요하다. 그래서 통제컴퓨터 자료처리시스템에서 발생하는 원격측정자료 처리시간의 감소 및 처리 주기의 향상을 통하여 계측레이더/원격측정장비 연동자료 처리, 비행안전 판단시스템, 비상종료 송신시스템 등에 연동자료 및 안전판단 정보를 현재보다 빠르고 유연하게 제공하기 위해 현 운용중인 원격측정자료처리시스템의 PCM 데이터와 레이더 정보를 동시에 수신/처리할 수 있는 자료처리 소프트웨어를 탑재하여 독립 운용이 가능한 PCM 자료처리시스템 을 개발하였다. 본 논문에서는 기존 시스템을 보완하여 개발된 PCM 자료처리시스템의 전체적인 구조부터 소프트웨어 기능을 세부적으로 분류하여 중점적으로 설명하고 있다. 또한, PCM 자료처리시스템은 시스템 안정화 및 시험운영을 통하여 점차 보완해 나갈 것이다.

WWW에서 대화형 원격 한자학습 시스템 (Interactive chinese Character Distance Learning System on the WWW)

  • 강종규;박상우;김현숙;김계환;진성일
    • 한국정보처리학회논문지
    • /
    • 제4권3호
    • /
    • pp.698-708
    • /
    • 1997
  • WWW 상에서 원격교육 서버를 구축하고 서비스 하기 위해서 기존의 멀티미디어 데 이터의 전송 및 처리가 다운로드 방식이 아닌 실시간 처리 방식이 요구된다. 본 연구 에서는 이러한 요구를 만족하기 위해 원격교육을 위한 동영상(AVI)와 음성(WAV)같은 멀티미디어 데이터를 분산환경에서 실시간으로 처리할 수 있는 실시간처리 모듈을 개발하여 MuX(Mulitimeida I/O Server)에 추가하고 이를WWW와 접목시켜 하이퍼텍스트 및 동영상 데이터를 실시간으로 서비스 할 수 있는 실시간 WWW서버를 개발하였으며, 이에 기반한 실시간 대화형 한자학습을 위한 원격교육 시스템을 연구 개발하였다.

  • PDF

실시간 데이터 처리를 위한 개방형 데이터 프레임워크 적용 방안 (Application Of Open Data Framework For Real-Time Data Processing)

  • 박순호;김영길
    • 한국정보통신학회논문지
    • /
    • 제23권10호
    • /
    • pp.1179-1187
    • /
    • 2019
  • 오늘날의 기술 환경에서 대다수의 빅 데이터 기반 애플리케이션 및 솔루션은 스트리밍 데이터의 실시간 처리를 기반으로 한다. 빅 데이터 스트림의 실시간 처리 및 분석은 빅 데이터 기반 애플리케이션 및 솔루션 개발에서 중요한 역할을 한다. 특히 해사 분야 데이터 처리 환경에서도 데이터의 폭발적 증대에 따른 대용량 실시간 데이터를 빠르게 처리 및 분석할 수 있는 기술 개발의 필요성이 가속화되고 있다. 따라서 본 논문에서는 다양한 빅 데이터 처리를 위한 오픈소스 기술 중에 적합한 오픈소스로 NiFi, Kafka, Druid의 특징을 분석하여 한국형 e-Navigation 서비스에서 해사 분야 서비스 분석에 필요한 외부 연계 필요 정보들을 상시 최신 정보로 제공할 수 있도록 실시간 데이터 처리를 위한 개방형 데이터 프레임워크 기술 적용의 기초를 마련하고자 한다.

6-DOF 시뮬레이터의 real-time 시스템 제어에 관한 연구 (Real-time system control for the 6-DOF simulation)

  • 김영대;김충영;백인철;민성기
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1989년도 한국자동제어학술회의논문집; Seoul, Korea; 27-28 Oct. 1989
    • /
    • pp.17-21
    • /
    • 1989
  • 6-DOE simulator system is designed to real-time processing for motion control, data acquisition, image generation and image processing etc.. In this paper, we introduce hardware and software design technologies for distributed processing, event-trapping, system monitoring and time scheduling procedure in 6-DOF simulator system design.

  • PDF