• Title/Summary/Keyword: 실시간 데이터 처리

Search Result 2,429, Processing Time 0.048 seconds

Deadline information management techniques to support real-time GPU tasks in container-based cloud environments (컨테이너 기반 클라우드 환경에서 실시간 GPU 작업을 지원하기 위한 데드라인 정보 관리 기법)

  • Kang, Jihun;Gil, Joon-Min
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.05a
    • /
    • pp.56-59
    • /
    • 2022
  • 최근 인터넷 기반 서비스에서 사용되는 데이터가 개인화 및 맞춤화가 됨에 따라 사용자의 상황이나 요구사항에 따라 실시간 AI 추론 및 데이터 분석과 같이 데이터를 서비스 요청 즉시 처리해야 하는 실시간 서비스에 대한 요구사항이 증가하고 있다. 하지만, 기존 컨테이너 관리 시스템은 컨테이너의 데드라인 할당 및 관리 기능이 제공되지 않으며, 컨테이너 관리 시스템에서 GPU(Graphic Processing Unit) 작업의 실행과 같은 작업 상태를 알 수 없다. 본 논문에서는 컨테이너에서 실행되는 GPU 작업의 실시간 처리를 지원하기 위해 컨테이너에서 실행되는 GPU 작업의 시작 및 종료 상태의 추적과 데드라인 할당 기법을 위한 실시간 처리 정보 관리 기법을 제안한다.

Real-time construction machine data processing and fault prediction system (실시간 건설기계 데이터 처리 및 이상 유무 예측 시스템)

  • Kim, Chan-Hyup;An, Jae-Hoon;Han, Jae-Seung;Kim, Young-Hwan
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2018.07a
    • /
    • pp.364-366
    • /
    • 2018
  • 본 논문에서는 Digital Twin 기반 건설기계 지능화를 위한 실시간 건설기계 데이터 처리 및 이상 유무 예측 시스템을 제안한다. 이 시스템은 빅 데이터 분산처리 기반으로 실시간 스트리밍 처리가 가능하며, CEP(Complex Event Processing)의 Sliding Window Operator를 활용한 Rule 적용을 통해 건설기계 데이터 처리 및 분석한다. 분석된 결과로 건설기계의 실시간 이상 유무를 판단할 수 있으며, 결과를 기반으로 Deep Learning 기술을 적용하고 학습된 모델을 통해 건설기계의 이상 유무를 예측하여 원활한 부품관리를 할 수 있다.

  • PDF

A Traffic Data based User's Route Exploring Mechanism using Hadoop Platform (Hadoop 플랫폼을 이용한 교통데이터 기반 사용자 경로탐색 방법론)

  • Cho, Wonhee;Choi, Eunmi
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.176-179
    • /
    • 2013
  • 본 연구는 최근 활성화된 스마트폰 내비게이션의 교통정보를 이용 시 상대적으로 품질이 취약한 지방지역의 빠른길 및 통행시간 정확도를 개선하는 방안에 대한 연구이다. 본 연구에서는 Hadoop기술을 이용하여 교통데이터에 대한 방대한 양의 데이터를 분석 처리한다. 특히, 실시간 교통정보가 제대로 수집되지 않는 지역의 도로 속도 정보에 대한 개선 방안으로 고객 단말로부터 올라오는 위치 데이터를 실시간으로 수집하여 전자지도 기본 속성값을 실시간 통계 데이터로 교체 반영하여 상대적으로 취약한 지방지역의 경로 품질 및 경로 탐색을 개선하는 방안을 제시하였다. 단말로부터 올라오는 많은 양의 GPS 위치정보등 대용량 데이터 처리를 위해 오픈소스프로젝트인 Hadoop플랫폼 환경에서 빅데이터 처리용 오픈소스를 활용하여 고가의 RDBMS를 대체하는 효과와 시간 단축의 효과를 기대할 수 있게 되었다.

Design and Implementation of Distributed Visualization Server for Real-time Visualization of Massive Dataset (거대 데이터의 실시간 가시화를 위한 분산 가시화 서버의 설계 및 구현)

  • Lee, Joong-Youn;Kim, MinAh;Hur, Youngju
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.11a
    • /
    • pp.467-470
    • /
    • 2011
  • 일반 PC의 메인 메모리에 올릴 수 없는 거대 용량의 데이터의 경우 가시화를 통한 해석을 수행하는데 어려움이 많다. 본 논문에서는 이러한 거대 용량의 데이터를 실시간으로 처리하기 위한 분산 환경에서의 가시화 서버의 설계를 제안한다. 본 논문에서 제안하는 가시화 서버는 가시화 관리자, 네트워크 관리자, 데이터 관리자로 구분되며 이들 관리자를 통해 복수의 사용자에 대한 가시화 서비스 제공, 거대 데이터의 실시간 동적 데이터 분할 및 할당 및 실시간 가시화를 지원한다.

A dynamic additive transmission scheme of realtime data based on packet loss characteristics in mobile computing environment (이동 컴퓨팅 환경에는 패킷 손실 특성을 고려한 실시간 데이터의 동적 부가 전송 방법)

  • Oh, Yeun-Joo;Baek, Nak-Hoon;Lim, Kyung-Shik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2000.10b
    • /
    • pp.1541-1544
    • /
    • 2000
  • 본 논문은 이동 컴퓨팅 환경에서 실시간 데이터의 전송시 발생하는 패킷 손실에 관한 문제를 다룬다. 현재 인터넷 상에서의 실시간 데이터 전송은 주로 RTP/RTCP 프로토콜[1]을 이용하는데, 이 프로토콜은 안정된 전송을 보장받지 못하며, 따라서 패킷 손실을 피할 수 없다[2,3]. 특히, 제한된 무선 대역폭과 높은 BER(bit error rate) 특성을 갖는 이동 컴퓨팅 환경에서는 기존의 인터넷보다도 더 많은 패킷들이 손실될 수 있다. 본 논문에서는, 이동 컴퓨팅 환경에서 실시간 데이터 전송시 발생되는 패킷 손실 특성을, 길버트 모델에 기초하여 확률적으로 분석하고, 이를 기반으로 새로운 복구 방법을 제안한다. 제안하는 실시간 데이터의 복구 방법에서는 패킷에 부가하는 잉여 데이터의 개수를 가변적으로 조절함으로써, 사용 중인 네트워크의 패킷 손실 특성을 반영할 수 있다. 특히, 잉여 데이터들의 오프셋 값들을 비연속적으로 설정함으로써, 간헐적이거나 연속적인 패킷 손실 모두에 대처할 수 있는 특징이 있다.

  • PDF

A Storage Scheme of Health Data Stream for Multidimensional Analysis (건강 스트림 데이터의 다차원적 분석을 위한 저장 구조)

  • Shin, Hea-Won;Lim, Yoon-Sun;Kim, Myung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.05a
    • /
    • pp.81-84
    • /
    • 2005
  • 유비쿼터스 의료 기술이 본격화되면서 센서 네트워크를 통해 환자의 건강 관련 데이터 스트림을 수집하여 위험상황을 탐지하고 지속적인 건강 상태를 모니터링할 수 있게 되었다. 그러나 방대한 양의 스트림 데이터로부터 의미 있는 데이터를 효과적으로 찾아내기 위해서는 실시간으로 데이터의 갱신과 집계 연산이 가능해야 하고 데이터의 압축이 효율적으로 처리 될 수 있는 다차원 저장구조가 필요하다. 기존의 다차원 데이터 분석 도구인 OLAP 큐브 저장구조는 실시간 업데이트가 힘들고, 스트림 데이터 저장 구조인 DSMS들은 다차원 데이터 분석이 용이하지 않다. 이에 본 연구에서는 건강 스트림 데이터의 특징과 질의를 분석하고, 이러한 스트림 데이터에 적합한 저장구조의 요건을 제시하였다. 또한 점진적 갱신이 가능하고, 대용량 데이터를 시간 차원으로 압축, 삭제하기 용이하며 실시간에 분석 데이터 구축이 가능한 저장구조를 제안하고 그 효율성을 보였다.

  • PDF

Esper-based Real-time Filtering System (Esper 기반 실시간 필터링 시스템)

  • Park, Sebin;Lee, Sanghun;Moon, Yang-Sae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.552-555
    • /
    • 2016
  • 본 논문에서는 데이터 스트림 대상의 필터링 문제를 다룬다. 데이터 스트림은 지속적으로 생성되며, 크기 또한 거대해서 이를 실시간 처리하기 위해서는 분석에 불필요한 데이터를 충분히 필터링해야 한다. 하지만, 기존 필터링 알고리즘은 하나의 데이터 형식에만 사용이 가능하여 다양하고 복잡한 스트림 환경에서는 사용하기가 어렵다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 스트림 형식에 따라 필터링 알고리즘을 다양하게 선택할 수 있는 필터링 시스템을 제안한다. 그리고 실시간 필터링을 위해 대표적인 오픈소스 DSMS(data stream management system)인 에스퍼 기반으로 구현한다. 또한 웹 기반 클라이언트-서버 모델로 확장 구현하여 사용자가 언제 어디에서든 필터링 시스템을 사용할 수 있게 한다. 제안하는 에스퍼 기반 실시간 필터링 시스템은 데이터 스트림으로 실시간 데이터 스트림과 벌크 데이터 스트림을 지원한다. 그리고 필터링 알고리즘으로 질의 필터링, 블룸 필터링, 베이지안 필터링을 제공한다. 제안하는 필터링 시스템 구현 결과, 데이터 스트림 특성에 적합한 필터링 알고리즘을 선택적으로 제공함으로써, 사용자가 보다 정확하고 효율적으로 의미있는 데이터를 추출 가능하게 하였다.

A Design of Realtime Data Sharing Platform of Production Equipment PLC (생산설비 PLC 데이터의 실시간 공유 플랫폼 설계)

  • Kim, Phyoungjung;Hong, Sungwoong;Oh, Yeonggyu;Kim, Daljoong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.11a
    • /
    • pp.1177-1180
    • /
    • 2014
  • 본 논문은 생산설비 PLC(Programmable logic Controller) 데이터의 실시간 공유 플랫폼을 설계한다. 이 플랫폼은 자동화 설비를 보유하고 운영 중인 수출집약 중소기업에서 FTA(Free Trade Agreement) 체결 수입 상대국의 원산지 증명을 위한 생산 시험성적서 제출에 활용할 수 있고, 생산설비의 OPC 서버가 갖는 실시간 데이터를 수집하는 라이브러리를 활용하여 MES(Manufacturing Execution System)에서 생성되는 다양한 실시간 데이터를 활용하여 그래프, 생산관리 모니터링 및 설비 관리를 가능케한다. 따라서 중소기업이 생산관리, 공정관리, PLC 데이터공유 등에 필요한 수준별 분야별로 실시간 제조운영관리 시스템의 확대 보급이 가능하고, 생산설비의 실시간 제어가 가능하도록 설계한다.

Design of Multi-Sensor Data Processing System for Real-Time Aerial Monitoring (실시간 공중 모니터링을 위한 다중센서 데이터 처리 컴퓨터의 설계)

  • Joe, Hyun-Woo;Lee, Jong-Hyuk;Kim, Hyung-Shin
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06b
    • /
    • pp.400-404
    • /
    • 2008
  • 무인항공기를 이용한 실시간 공중 모니터링은 재난 재해, 테러 등의 위기상황을 사전에 대비하고, 사고 발생 시 피해상황을 신속하게 파악할 수 있는 효율적인 관리 시스템이다. 실시간 공중 모니터링을 위해 무인항공부문에서는 고성능의 카메라, 관성항법장치, 레이저 스캐너, GPS 수신기 등의 다중 센서들을 장착하고, 제어하며 각 센서들로부터 입력받은 데이터 처리 및 지상국으로 데이터 전송이 실시간으로 가능해야 한다. 기존 무인 모니터링 시스템들은 카메라와 같이 단일 센서의 운용을 목적으로 설계되었으나, 본 연구에서는 레이져 스캐너, 적외선카메라를 포함하는 다중센서를 위한 컴퓨터를 설계하였다. 최근 다중센서를 장착한 관측시스템에 관한 연구가 미국 및 유럽에서 수행되고 있으나, 아직 개발이 완료되지 않은 상태이다. 본 논문에서는 고성능 다중 센서 데이터 처리를 위해 실시간 소프트웨어, 고속 대용량 데이터처리 기술, 고속 압축 기술, 이기종 다중 센서들 간의 시각 동기화 기능을 제공하는 탑재컴퓨터의 설계결과를 소개하였다.

  • PDF

Design of Streaming Sensory Data Processing Platform for Energy Efficiency Improvement (에너지 효율성 개선을 위한 스트리밍 센서 데이터 처리 플랫폼 설계)

  • Kang, Yun-Hee;Kang, Myung Ju
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.04a
    • /
    • pp.129-131
    • /
    • 2015
  • 스마트 그리드는 에너지 이용 효율 최적화를 위한 개선방안으로 전기에너지를 발생하는 발전원별 분석하며, 전력 사용 측면에서 전력망을 통해 공급된 전력의 소비패턴으로 분석을 통해 에너지 이용 효율을 최적화할 수 있다. 본 논문에서는 아파치 Storm을 활용하여 실시간 데이터 수집 및 처리 시스템을 설계한다. 설계된 시스템은 에너지 효율성을 위해 이종의 실시간 대용량 스트리밍 센서 데이터를 수집하여 분석을 수행하도록 데이터 필터링과 변환 기법을 제시한다. 이를 위해 실시간 대용량 처리를 위해 필터링 및 변환을 병렬 처리하도록 한다. 필터링과 변환 처리는 독립적인 타스크로 구성하도록 하며, 전체 프로세스는 정의된 파이프-필터 토폴로지를 구성하여 처리한다.