• 제목/요약/키워드: Real-time Data Processing

검색결과 2,085건 처리시간 0.028초

비정형 빅데이터의 실시간 복합 이벤트 탐지를 위한 기법 (The Method for Real-time Complex Event Detection of Unstructured Big data)

  • 이준희;백성하;이순조;배해영
    • Spatial Information Research
    • /
    • 제20권5호
    • /
    • pp.99-109
    • /
    • 2012
  • 최근 소셜 미디어의 발달과 스마트폰의 확산으로 SNS(Social Network Service)가 활성화가 되면서 데이터양이 폭발적으로 증가하였다. 이에 맞춰 빅데이터 개념이 새롭게 대두되었으며, 빅데이터를 활용하기 위한 많은 방안이 연구되고 있다. 여러 기업이 보유한 빅데이터의 가치창출을 극대화하기 위해 기존 데이터와의 융합이 필요하며, 물리적, 논리적 저장구조가 다른 이기종 데이터 소스를 통합하고 관리하기 위한 시스템이 필요하다. 빅데이터를 처리하기 위한 시스템인 맵리듀스는 분산처리를 활용하여 빠른게 데이터를 처리한다는 이점이 있으나 모든 키워드에 대해 시스템을 구축하여 저장 및 검색 등의 과정을 거치므로 실시간 처리에 어려움이 따른다. 또한, 이기종 데이터를 처리하는 구조가 없어 복합 이벤트를 처리하는데 추가 비용이 발생할 수 있다. 이를 해결하는 방안으로 기존에 연구된 복합 이벤트 처리 시스템을 활용하여 실시간 복합 이벤트 탐지를 위한 기법을 제안하고자 한다. 복합 이벤트 처리 시스템은 서로 다른 이기종 데이터 소스로부터 각각의 데이터들을 통합하고 이벤트들의 조합이 가능하며 스트림 데이터를 즉시 처리할 수 있어 실시간 처리에 유용하다. 그러나 SNS, 인터넷 기사 등 텍스트 기반의 비정형 데이터를 텍스트형으로 관리하고 있어 빅데이터에 대한 질의가 요청될 때마다 문자열 비교를 해야 하므로 성능저하가 발생할 여지가 있다. 따라서 복합 이벤트 처리 시스템에서 비정형 데이터를 관리하고 질의처리가 가능하도록 문자열의 논리적 스키마를 부여하고 데이터 통합 기능을 제안한다. 그리고 키워드 셋을 이용한 필터링 기능으로 문자열의 키워드를 정수형으로 변환함으로써 반복적인 비교 연산을 줄인다. 또한, 복합 이벤트 처리 시스템을 활용하면 인 메모리(In-memory)에서 실시간 스트림 데이터를 처리함으로써 디스크에 저장하고 불러들이는 시간을 줄여 성능 향상을 가져온다.

자율주행을 위한 라이다 기반의 실시간 그라운드 세그멘테이션 알고리즘 (LiDAR based Real-time Ground Segmentation Algorithm for Autonomous Driving)

  • 이아영;이경수
    • 자동차안전학회지
    • /
    • 제14권2호
    • /
    • pp.51-56
    • /
    • 2022
  • This paper presents an Ground Segmentation algorithm to eliminate unnecessary Lidar Point Cloud Data (PCD) in an autonomous driving system. We consider Random Sample Consensus (Ransac) Algorithm to process lidar ground data. Ransac designates inlier and outlier to erase ground point cloud and classified PCD into two parts. Test results show removal of PCD from ground area by distinguishing inlier and outlier. The paper validates ground rejection algorithm in real time calculating the number of objects recognized by ground data compared to lidar raw data and ground segmented data based on the z-axis. Ground Segmentation is simulated by Robot Operating System (ROS) and an analysis of autonomous driving data is constructed by Matlab. The proposed algorithm can enhance performance of autonomous driving as misrecognizing circumstances are reduced.

이동통신 AMPS에서 광대역 데이터 송.수신을 위한 하드웨어 설계에 관한 연구 (H/W Design and Implementations of the Wideband Data Processing system for the AMPS)

  • 이준동;김대중;김종일;이영천;조형래;강창언
    • 한국통신학회논문지
    • /
    • 제17권3호
    • /
    • pp.247-259
    • /
    • 1992
  • 본 연구에서는 이동 통신의 AMPS 방식에서 통화를 하기 위해 셀 사이트와 이동체간에 오고 가는 데이터를 분석한 후, 광대역 데이터를 처리하기 위한 시스템을 설계하고 제작하였다. AMPS 방식에서 이동체가 셀 사이트와 통화를 하기 이전에 채널의 상태를 판단하는데 필요한 BUSY / IDLE 비트를 추\ulcorner라흔 회로, 동기 감지 회로, 인터럽트 방식의 데이터 송,수신 회로 및 적은 버퍼 용량을 차지하면서 실시간 처리를 할 수 있는 majority vote, BCH 인코딩 및 디코딩을 하는데 있어서 기존 방법에 따른 계산상의 복잡성을 해결하는 실시간 처리 소프트 웨어를 제안하였다.

  • PDF

화상처리를 이용한 표면 실장 기판 외관 검사

  • 백갑환;김현곤;김기현;유건희
    • 한국정밀공학회:학술대회논문집
    • /
    • 한국정밀공학회 1992년도 춘계학술대회 논문집
    • /
    • pp.343-348
    • /
    • 1992
  • Using the real-time image processing technique, we have developed an automatic visual inspection system which detects the defects of the surface muonted components in PCB( missing components, mislocation, mismounts, and reverse polarity, etc ) and collects the quality control and production management data. An image processing system based on a commercial parallel processor, TRANSPUTER by which the image processing time can be largely reduced was designed. Analyzing the collected data, the proposed inspection system contributes to the productivity improvement throughthe reduction of defective rate.

전자상거래를 지원하기 위한 실시간 웹 미들웨어 프레임워크 (Real-Time Web Middleware Framework for Supporting Electronic Commerce)

  • 윤은영;윤용익
    • 한국정보처리학회논문지
    • /
    • 제7권5S호
    • /
    • pp.1666-1675
    • /
    • 2000
  • 본 논문에서는 전자상거래 시스템에서 요구하는 상호운용성과 실시간 요구사항들을 지원할 수 있는 실시간 웹 미들웨이(RTWM Real-Time Web Middleware) 프레임워크를 제안한다. RTWM시스템은 전자상거래 시스템의 실시간 요구사항들을 지원하기 위해CORBA 객체 서비스 구조를 확장하여 이벤트 모니터, 실시간 스케줄러, 실시간 이벤트 서비스 등의 객체 컴포넌트를 포함하는 구조를 가진다. 특히, 본 논문에서는 전자상거래 사용자의 실시간 요구사항을 지원할 수 있는 실시간 이벤트 필터링을 제공하는 것에 중점을 두었다. 사용자로부터 시간적 제약조건과 원하는 이벤트 정보를 입력받아 QoS저장소에 저장하고, 실시간 이벤트가 발생하며RTFA(Real-Time Fitering Agent)를 통해 소비자가 원하는 이벤트를 필터링하여 제공하게 된다. 이로써 사용자는 보다 높은 서비스를 제공받게 되고 이 과정을 통해 전체적인 네트워크 트래픽이 감소되는 효과를 얻을 수 있다.

  • PDF

주조공정 설비에 대한 실시간 모니터링을 통한 불량예측에 대한 연구 (A Study on Defect Prediction through Real-time Monitoring of Die-Casting Process Equipment)

  • 박철순;김흥섭
    • 산업경영시스템학회지
    • /
    • 제45권4호
    • /
    • pp.157-166
    • /
    • 2022
  • In the case of a die-casting process, defects that are difficult to confirm by visual inspection, such as shrinkage bubbles, may occur due to an error in maintaining a vacuum state. Since these casting defects are discovered during post-processing operations such as heat treatment or finishing work, they cannot be taken in advance at the casting time, which can cause a large number of defects. In this study, we propose an approach that can predict the occurrence of casting defects by defect type using machine learning technology based on casting parameter data collected from equipment in the die casting process in real time. Die-casting parameter data can basically be collected through the casting equipment controller. In order to perform classification analysis for predicting defects by defect type, labeling of casting parameters must be performed. In this study, first, the defective data set is separated by performing the primary clustering based on the total defect rate obtained during the post-processing. Second, the secondary cluster analysis is performed using the defect rate by type for the separated defect data set, and the labeling task is performed by defect type using the cluster analysis result. Finally, a classification learning model is created by collecting the entire labeled data set, and a real-time monitoring system for defect prediction using LabView and Python was implemented. When a defect is predicted, notification is performed so that the operator can cope with it, such as displaying on the monitoring screen and alarm notification.

삼차원 응시 위치의 실 시간 추적 시스템 구현 (Design and Implementation of Real-time three dimensional Tracking system of gazing point)

  • 김재한
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 하계종합학술대회 논문집 V
    • /
    • pp.2605-2608
    • /
    • 2003
  • This paper presents design and implementation methods of the real-time three dimensional tracking system of the gazing point. The proposed method is based on three dimensional data processing of eye images in the 3D world coordinates. The system hardware consists of two conventional CCD cameras for acquisition of stereoscopic image and computer for processing. And in this paper, the advantages of the proposed algorithm and test results ate described.

  • PDF

차량 감지용 레이다 성능 향상을 위한 가변 threshold 설정 기법 (Variable threshold estimation for performance improvement of vehicle detection RADAR)

  • 박상진;김태용;강성민;구경헌
    • 한국전자파학회:학술대회논문집
    • /
    • 한국전자파학회 2002년도 종합학술발표회 논문집 Vol.12 No.1
    • /
    • pp.196-199
    • /
    • 2002
  • In this paper, variable threshold estimation algorithm for multiple vehicle detection RADAR is proposed and realized by using DSP for real time processing. The algorithm is developed to get the information of velocity and length of vehicles in multiple lanes by using FMCW RADAR. For real time operation, signal processing part is realized with a high speed DSP board to detect and manipulate the vehicle data and some experimental results are given to show the usefulness of the proposed technique.

  • PDF

철도 교량에서의 위험 요소 분류와 실시간 스트림 데이터 처리 시스템 구현 (Implementation of Real-time Stream Data Processing System and Classification of Risk Factor on Railway Bridges)

  • 유송수;오염덕
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
    • /
    • pp.123-126
    • /
    • 2022
  • 본 논문에서는 철도 교량 운행 상황을 가정하는 모형 철도를 사용하여 실제 철도 교량에서 발생할 수 있는 소음, 진동등 위험 요소로 분류될 수 있는 데이터들을 수집하고 수집된 데이터들을 활용하여 실시간으로 위험 요소로부터 발생할 수 있는 위험 상황들을 분류하고 적절한 조치들을 상황에 맞게 취할 수 있도록 한다.

  • PDF

Mach 커널의 재구성을 위한 확장된 스케줄 가능성 검사를 수행하는 실시간 스케줄러 (Real-Time Scheduler with Extended Schedulability Testing for Mach Kernel Reconfiguration)

  • 류진열;김광;허신
    • 한국정보처리학회논문지
    • /
    • 제7권2호
    • /
    • pp.507-519
    • /
    • 2000
  • 본 논문에서는 실시간 스케줄링이 가능하도록 Mach 커널을 재구성하기 위해 확장된 스케줄 가능성 검사를 수행하는 실시간 스케줄러를 구현한다. 첫째, 실시간 운영체제의 요구사항이 따른 구성요소들을 제시하고 기존의 실시간 스케줄링 알고리즘에 대하여 분석한다. 둘째, Mach 커널 재구성을 위하여 Mach 커널의 실행 환경과 스케줄링 부분에 대한 분석을 통해 수정된 자료구조를 제시한다. 셋째, 기존 실시간 스케줄링 정책에서의 스케줄 가능성 검사에서 확장된 스케줄가능성 검사 방법을 제시한다. 넷째, 확장된 스케줄가능성 검사를 거쳐 마감시간이 보장된 쓰레드들을 마감시간 우선 스케줄링 방식과 비율 단조 스케줄링 방식으로 스케줄하는 스케줄러를 구현한다.

  • PDF