• Title/Summary/Keyword: 실시간처리

Search Result 7,685, Processing Time 0.037 seconds

Monitoring Tools for Efficient Overload Measurements in Apache Kafka (Apache Kafka에서 효율적인 과부하 측정을 위한 모니터링 도구)

  • Bang, Jiwon;Son, Siwoon;Moon, Yang-Sae;Choi, Mi-Jung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.52-54
    • /
    • 2017
  • 실시간으로 빠르게 발생하는 대용량 데이터를 다루기 위해 Apache Storm, Apache Spark 등 실시간 데이터 스트림 처리 기술에 대한 연구가 활발하다. 대부분의 실시간 처리 기술들은 단독으로 사용하기에 어려움이 있으며, 데이터 스트림의 입출력을 위해 메시징 시스템과 함께 사용하는 것이 일반적이다. Apache Kafka는 대표적인 분산 메시징 시스템으로써, 실시간으로 발생하는 대용량의 로그 데이터를 전달하는데 특화된 시스템이다. 현재 Kafka를 위한 다양한 성능 모니터링 도구들이 존재한다. 이러한 모니터링 도구들은 Kafka에서 처리되는 데이터의 양 이외에도 유입 데이터의 크기, 수집 속도, 처리 속도 등 다양한 데이터들을 관찰할 수 있다. 본 논문은 Kafka에서 제공하는 도구와 오픈 소스로 제공되는 여러 개의 도구들을 비교하여, 향후 Kafka의 로드 쉐딩에 대한 연구에 적용할 수 있는 최적의 모니터링 도구를 선별하고자 한다.

Experiment and Evaluation of the App Profile-based Sensor Registry System in a Real-time Environment (앱 프로파일 기반 센서 레지스트리 시스템에 대한 실시간 환경에서의 실험 및 평가)

  • Choi, Hojin;Jeong, Dongwon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.857-860
    • /
    • 2016
  • 이 논문에서는 모바일 앱 프로파일 기반의 센서 레지스트리 시스템을 실시간 환경에서 실험하고 평가한다. 이기종 사물인터넷 환경에서 센서 레지스트리 시스템은 모바일 기기에 센서 메타데이터를 제공하여 센서 데이터 처리의 즉시성을 제공한다. 하지만 불필요한 센서 데이터까지 처리하여 성능 측면에서 개선사항이 요구된다. 이를 개선하기 위해 앱 프로파일을 기반으로 한 센서 필터링 기법을 제안한다. 유효한 센서 식별을 위한 센서의 정보를 프로파일 형태로 모바일 기기에 저장 후 사용하여 불필요한 센서 데이터를 필터링함으로써 전체적인 처리 속도가 개선된다. 기존 연구는 시뮬레이션 평가를 통하여 처리 속도의 향상성을 확인한다. 하지만 실시간 환경을 통한 다양한 상황의 실험이 부족하여, 이 논문에서는 기존 센서 레지스트리 시스템과 앱 프로파일 기반의 센서 레지스트리 시스템을 실시간 환경에 맞춰 구축하고 실험 및 평가한다.

Web Based Real-time Data Manager for Spatiotemporal Renewable Energy (웹 기반 실시간 시공간 대체에너지 관리기)

  • Kim, Won-Tae;Ahn, Yoon-Ae;Oh, In-Bae;Kim, Kwang-Deuk;Ryu, Keun-Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.05c
    • /
    • pp.1559-1562
    • /
    • 2003
  • 현대의 산업화가 급격히 발전되면서 유한한 에너지에 대한 고갈 및 환경 문제가 더욱 심각해지고 있다. 이와 같은 문제들을 해결하기 위한 하나의 방법으로서 대체에너지 관리 및 서비스의 필요성이 크게 요구되고 있다. 이 논문은 국내 지역에서 측정된 대체에너지 데이터에 대한 실시간 시공간 대체에너지 관리기를 설계한다. 시공간 대체에너지 관리기는 시공간 질의 처리기, 실시간 데이터 처리기, 공간 객체 관리기, 웹 GIS 서버로 구성된다. 또한 주기적으로 측정되는 대체에너지 관련 데이터를 실시간으로 처리하여 시공간 데이터베이스를 구축하고, 웹에서 다양한 형태로 정보를 제공하는 기능을 포함한다. 시공간 질의 처리기에서 실행된 결과를 텍스트 형태로만 제시하지 않고, 그래프, 등고선, 지도정보 등과 같은 다양한 시각화를 통한 검색 서비스를 제공한다.

  • PDF

An Multi-Channel Media Data Processor for Mobile Devices (모바일 단말을 위한 다채널 미디어 데이터 처리기)

  • Kang Mi-Yeon;Kim Do-Wan;Kim Yoon-Soo;Chung Won-Ho
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07a
    • /
    • pp.352-354
    • /
    • 2005
  • 인터넷을 통하여 비디오, 오디오 등 미디어 데이터를 실시간으로 전승 받아 실시간으로 재생할 수 있는 기술은 미디어 데이터를 처리하는 클라이언트 측의 필수적인 기능으로 요구되고 있으며, PC 등의 데스크탑 뿐만 아니라 PDA, 핸드폰, 유무선 통신 단말기 등의 모바일 단말에서도 활용 범위를 넓혀가고 있다. 본 논문에서는 모바일 단말에 적합한 MPEG-4 기반의 다채널 실시간 미디어 데이터 처리 시스템을 설계하고, 4개의 채널로 입력되는 비디오 데이터를 서버로부터 전송받아 재생하는 Pocket PC 기반의 PDA용 MPEG-4 미디어 데이터 처리기를 구현한다. 본 처리기는 네트워크의 부하를 감소시키고, 모바일 단말의 자원 부족으로 인한 문제점을 해결하면서 실시간으로 전송되는 미디어 데이터를 처리한다.

  • PDF

A Study on Radar System Development utilizing a RTOS (실시간 운영체제를 활용한 레이더 개발에 대한 연구)

  • Lee, Dal-Han;Chung, Kihyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.3-5
    • /
    • 2012
  • 현대의 레이더는 복잡성 증가 및 다기능으로의 변화가 불가피하며 이에 따라 보다 정교하고 실시간성이 보장되는 구성품의 제어가 필요하여 고속의 실시간 통제기가 필수적으로 사용되어야 한다. 고속의 실시간 통제기를 구현하기 위해서는 신뢰성이 높은 실시간 운영체제를 기반으로 개발하여야 하며 오류가 없는 통제 소프트웨어의 구현이 필요하다.

Application Framework Architecture In ubiquitous environment based on RFID (RFID에 기반한 유비쿼터스 환경에서의 어플리케이션 프레임웍 구조)

  • 김기현;이정태;류기열
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04a
    • /
    • pp.571-573
    • /
    • 2004
  • 유비쿼터스 컴퓨팅 환경에서 공통적으로 필요로 하는 요구는 사물의 이동을 자동으로 인식하고 위치론 파악하는 것이고 이를 위해서 현재 RFID를 통한 사물의 인식이 각광을 받고 있다. 하지만 RFID에 기반한 어플리케이션은 일반 어플리케이션과는 달리 태그 인식에 의한 실시간 이벤트의 처리가 가장 중요하며, 이로 인해서 RFID 어플리케이션에는 실시간 이벤트 모니터링과 실시간 이벤트 처리, 비동기 이벤트 처리, 멀티 쓰레딩, 분산 처리 등이 반드시 필요하다. 이러한 RFID 어플리케이션의 특성 때문에 RFID 어플리케이션은 일반 어플리케이션과는 다른 구조가 요구된다. 이에 돈 논문에서는 RFID 어플리케이션에서 공통적으로 요구되는 컴포넌트들을 추출하고 이를 효과적으로 결합하기 위한 프레임웍을 설계, 구현하였다.

  • PDF

A Real-time Implementation of the MPEG-2 Audio Encoder (MPEG-2 오디오 부호화기의 실시간 구현)

  • 김성윤;강홍구;김기수;윤대희;이준용;이종화
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 1995.06a
    • /
    • pp.149-153
    • /
    • 1995
  • 본 논문에서는 TI(Texas Instrument)사의 범용 디지탈 프로세서인 TMS320C30을 이용하여 MPEG-2 계층2(Layer II) 오디오 부호화 알고리듬의 실시간 처리가 가능한 시스템을 구현하였다. 구현한 시스템은 1 채널의 오디오 신호를 처리하기 위한 Slave 보드 5개와 채널 멀티플렉싱과 부가 처리를 위한 Master 보드 1개로 이루어져 있다. MPEG-2 알고리듬의 각 단계별 소요시간을 계산한 후, 이를 바탕으로 각 프로세서에 할당하는 작업량을 조정하여 실시간 처리에 적합한 시스템을 구현하였다.

Dominance and Performance of Real-time Scheduling Algorithms on Multiprocessors (다중처리기 상의 실시간 스케줄링 알고리즘의 우월 관계 및 성능)

  • Park, Min-Kyu;Han, Sang-Chul;Kim, Hee-Heon;Cho, Seong-Je;Cho, Yoo-Kun
    • Journal of KIISE:Computer Systems and Theory
    • /
    • v.32 no.7
    • /
    • pp.368-376
    • /
    • 2005
  • Multiprocessor architecture becomes increasingly common on real-time systems as computer hardware technology rapidly progresses and the workload of real-time systems increases. However, efficient solutions for many real-time multiprocessor scheduling problems are not known. Hence many researchers apply uniprocessor scheduling algorithms to multiprocessor scheduling or devise new algorithms based on these algorithms. Such algorithms are EDF (Earliest Deadline First), LLF (Least Laxity First), EDF-US[m/(2m-1)], and EDZL (Earliest Deadline Zero Laxity), and comparative studies on them are necessary. In this paper, we show the dominance relation of these algorithms with respect to schedulability, and we prove EDZL strictly dominates EDF. The simulation results show that EDZL has high processor utilization and it causes a small number of preemptions.

Real-time Hausdorff Matching Algorithm for Tracking of Moving Object (이동물체 추적을 위한 실시간 Hausdorff 정합 알고리즘)

  • Jeon, Chun;Lee, Ju-Sin
    • The KIPS Transactions:PartB
    • /
    • v.9B no.6
    • /
    • pp.707-714
    • /
    • 2002
  • This paper presents a real-time Hausdorff matching algorithm for tracking of moving object acquired from an active camera. The proposed method uses the edge image of object as its model and uses Hausdorff distance as the cost function to identify hypothesis with the model. To enable real-time processing, a high speed approach to calculate Hausdorff distance and half cross matching method to improve performance of existing search methods are also presented. the experimental results demonstrate that the proposed method can accurately track moving object in real-time.

A Distributed Real-time Self-Diagnosis System for Processing Large Amounts of Log Data (대용량 로그 데이터 처리를 위한 분산 실시간 자가 진단 시스템)

  • Son, Siwoon;Kim, Dasol;Moon, Yang-Sae;Choi, Hyung-Jin
    • Database Research
    • /
    • v.34 no.3
    • /
    • pp.58-68
    • /
    • 2018
  • Distributed computing helps to efficiently store and process large data on a cluster of multiple machines. The performance of distributed computing is greatly influenced depending on the state of the servers constituting the distributed system. In this paper, we propose a self-diagnosis system that collects log data in a distributed system, detects anomalies and visualizes the results in real time. First, we divide the self-diagnosis process into five stages: collecting, delivering, analyzing, storing, and visualizing stages. Next, we design a real-time self-diagnosis system that meets the goals of real-time, scalability, and high availability. The proposed system is based on Apache Flume, Apache Kafka, and Apache Storm, which are representative real-time distributed techniques. In addition, we use simple but effective moving average and 3-sigma based anomaly detection technique to minimize the delay of log data processing during the self-diagnosis process. Through the results of this paper, we can construct a distributed real-time self-diagnosis solution that can diagnose server status in real time in a complicated distributed system.