• 제목/요약/키워드: Very large real-time data

검색결과 132건 처리시간 0.027초

규칙기반 및 상관분석 방법을 이용한 시계열 계측 데이터의 이상치 판정 (Outlier Detection in Time Series Monitoring Datasets using Rule Based and Correlation Analysis Method)

  • 전제성;구자갑;박창목
    • 한국지반환경공학회 논문집
    • /
    • 제16권5호
    • /
    • pp.43-53
    • /
    • 2015
  • 본 연구에서는 빅데이터 범주에 포함되는 각종 계측 데이터를 대상으로 각종 이상치를 판단하기 위한 기법을 고안하고, 인공 데이터 및 실 계측 데이터를 이용한 이상치 분석을 수행하였다. 계측결과에 대한 1차 차분 값 및 오차율을 적용한 규칙기반 방법은 큰 규모의 Short fault 분석 및 일정 기간 계측값에 변화가 발생하지 않는 경우의 Constant fault 분석에 효과적으로 적용될 수 있었으나, 독립적인 단일 데이터셋만을 이용하는 관계로 큰 변화폭을 보이는 실 계측 데이터의 정상 데이터를 이상치로 오판하는 문제점이 있었다. 규칙기반 방법을 이용한 Noise fault 분석은 적정 데이터 윈도우 사이즈의 선택 및 이상치 판정용 한계값 선정상의 문제로 인해 실 계측 데이터 적용에 한계가 있었다. 이종 데이터 간 상관분석 방법은 학습 데이터의 적정범위 선정이 선행된다면 장단기 계측 데이터의 이상 거동 및 국부적 이상치 판정에 매우 효과적으로 이용될 수 있음을 알 수 있었다.

PMU 데이터를 이용한 저주파 진동분석 연구 (A Study on the Low Frequency Oscillation Using PMU Measurement Data)

  • 김용학;남수철;고백경;강성범;심관식
    • KEPCO Journal on Electric Power and Energy
    • /
    • 제6권3호
    • /
    • pp.245-252
    • /
    • 2020
  • It is very important to evaluate on/off-line stability to operate the power system stably and economically. Until now, we have continuously secured the operation reliability of the power system through the evaluation of transient, voltage and small signal stability. This paper proposes that it is possible to operate in KWAMS by applying the multi-section analysis and subspace methods and verifying the reliability of the algorithms to directly estimate the dominant oscillation mode of the power system from the signal waveform acquired from the phasor measurement units. In addition, this paper shows that the dominant oscillation mode can be detected from real-time measurement data in power systems. Therefore, if we can monitor the state of the power system in real time, it is possible to avoid a large-scale power outage by knowing the possibility of the power system accident in advance.

Non-Causal Filter의 PC-NC에의 응용

  • 장현상;최종률
    • 한국정밀공학회:학술대회논문집
    • /
    • 한국정밀공학회 1995년도 추계학술대회 논문집
    • /
    • pp.1039-1042
    • /
    • 1995
  • In real time application such as motion control, it is hard to find the application of non-causal filtering due to its need for future position data, even though it shows wide usage in off-line digital signal processing. Recently, some of motion control areas such as learning and repetitive control use non-causal filtering technique in their application. these kinds of zero-lag non-causal filter application are very usful not only to reduce the machine vibration, but also to increase control accuracy with comparatively less work. In this paper, genuine method to implement zero-lag non-causal filter in a CNC is introduced. Also the variation of this implementation for the learning operation is suggested to give the NC better control performance for a specific job. By adopting the new NC architecture call Soft-NC, all these implementions are made possible here, and especially large memory requirement which hinders their usage for many years is no longer barrier in their real world application.

  • PDF

PPFP(Push and Pop Frequent Pattern Mining): 빅데이터 패턴 분석을 위한 새로운 빈발 패턴 마이닝 방법 (PPFP(Push and Pop Frequent Pattern Mining): A Novel Frequent Pattern Mining Method for Bigdata Frequent Pattern Mining)

  • 이정훈;민연아
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권12호
    • /
    • pp.623-634
    • /
    • 2016
  • 현존하는 빈발 패턴 마이닝 방법은 대부분 시간 효율성을 목표로 하고, 물리적 메모리 사용에 매우 의존적이다. 하지만 빅데이터 시대가 도래함에 따라 실제 세상의 데이터베이스는 급속도로 증가하고 있으며, 그에 따라 기존의 방법으로 현실적인 거대한 양의 데이터를 마이닝하기에 물리적 메모리 공간이 부족한 실정이다. 이러한 문제를 해결하기 위해, 빈발 패턴 마이닝의 메모리 의존성을 줄이기 위한 보조저장장치 기반의 연구들이 진행되었으나, 메모리 기반의 방법들에 비해 처리 시간이 너무 많이 소비된다는 한계가 있었다. 따라서 확장성을 가지며, 기존의 디스크 기반의 방법들에 비해 시간효율성을 높인 새로운 빈발 패턴 마이닝이 필요하게 되었다. 본 논문에서는 빅데이터로부터 빈도 아이템 집합들을 마이닝하기 위해 메모리와 디스크를 함께 사용하는 스택 기반의 새로운 접근법인 PPFP 알고리즘을 제안하였다. PPFP는 빈발 패턴 마이닝 접근법 중 가장 인기 있고 효율적인 접근법 중 하나인 FP-growth를 기반으로 하고 있다. PPFP 마이닝 방법은 다음과 같이 두 단계로 진행된다. (1) IFP-tree 구축: FP-tree를 생성한 후, 새로운 인덱스 번호 부여 방법으로 FP-tree의 각 노드에 인덱스 번호를 부여하고, 이 인덱스 번호가 부여된 FP-tree(IFP-tree)를 테이블로 변환하여(IFP-table) 디스크에 저장한다. (2) PPFP 알고리즘을 이용한 빈발 패턴 마이닝: 스택 기반의 PUSH-POP 방식으로 패턴을 확장시켜 나가며 빈발 패턴을 마이닝한다. 이러한 방식을 통해 메모리 기반의 방법에 비해 반복적으로 많은 시간이 소모되는 연산에 매우 적은 양의 메모리를 활용하여 확장성과 함께 시간효율성 또한 향상시킬 수 있었다. 그리고 기존의 연구 방법들과 비교 실험을 통해 새로운 알고리즘의 성능을 증명하였다.

능동 카메라 기반의 물체 추적 제어기 설계 (Controller Design for Object Tracking with an Active Camera)

  • 윤수진;최군호
    • 반도체디스플레이기술학회지
    • /
    • 제10권1호
    • /
    • pp.83-89
    • /
    • 2011
  • In the case of the tracking system with an active camera, it is very difficult to guarantee real-time processing due to the attribute of vision system which handles large amounts of data at once and has time delay to process. The reliability of the processed result is also badly influenced by the slow sampling time and uncertainty caused by the image processing. In this paper, we figure out dynamic characteristics of pixels reflected on the image plane and derive the mathematical model of the vision tracking system which includes the actuating part and the image processing part. Based on this model, we find a controller that stabilizes the system and enhances the tracking performance to track a target rapidly. The centroid is used as the position index of moving object and the DC motor in the actuating part is controlled to keep the identified centroid at the center point of the image plane.

교육정보화를 위한 문서저장 및 정보검색에 관한 연구 (A Study on Document Storage and Information Retrieval for Educational Informatization)

  • 강무영;이상구
    • 정보교육학회논문지
    • /
    • 제3권1호
    • /
    • pp.1-12
    • /
    • 1999
  • 최근 정보화 도구의 발달로 교육용 소프트웨어와 학습용 DB등이 빠른 속도로 개발되고 있으며, 인터넷을 통해 보급 및 교환이 활발하게 이루어지고 있다. 또한 교육행정정보화에 따라 여러 교육현장으로부터 생산되는 자료도 매년 엄청나게 불어나게 된다. 본 논문에서는 이러한 대량의 교육정보를 효율적으로 저장하고, 필요한 자료를 검색하여 실시간에 활용할 수 있는 적절한 정보검색시스템과 통합검색 방안에 대해서 제안하였다. 또한 제안한 방법에 의해 간단한 프로토타입을 개발하여 실험하였다.

  • PDF

USING GIS TO IMPROVE ROADWAY CONSTRUCTION PLANNING

  • Sanghyeok Kang;Jongwon Seo
    • 국제학술발표논문집
    • /
    • The 1th International Conference on Construction Engineering and Project Management
    • /
    • pp.643-648
    • /
    • 2005
  • The planning process for roadway construction involves a large amount of information on design, construction methods, quantities, unit costs, production rates, and site conditions. Therefore, it is very important to acquire, manage, and process the necessary information efficiently to produce a rigorous construction plan. GIS (Geographic Information System) is a very effective tool for integrating and managing various types of information including spatial and non-spatial data required for roadway construction planning. This paper proposes a GIS-based system for improving roadway construction planning with its 'Interactive Space Scheduling' and 'Operation Level Planning' functions. The proposed system can assist construction planners in a unique way by integrating design and construction information and creating modularized design elements for space scheduling in real time. It is expected that the proposed system could improve the efficiency of roadway construction planning.

  • PDF

고장 데이터 분석을 통한 교환 소프트웨어 특성 연구 (A study on hypothetical switching software through of the analysis of failure data)

  • 이재기;신상권;이영목
    • 한국통신학회논문지
    • /
    • 제23권8호
    • /
    • pp.1915-1925
    • /
    • 1998
  • 교환 시스템이 고장과 장애를 일으키면 서비스에 치명적인 영향을 미치게 된다. 다시 말해서 시스템을 제어하는 교환 소프트웨어의 역할은 매우 중요하다. 그렇기 때문에 정량적인 소프트웨어의 품질 평가 방법은 더욱 중요하다. 본 논문에서는 기능 블록으로 구성된 교환 소프트웨어를 시험하여 얻어진 각종 고장 데이터를 수집, 분석하고 이를 이용하여 각 버전별, 개발 전과정에 대한 소프트웨어 신뢰도를 평가해보고, 기타 고려할 사항에 대해 논한다. 대표적인 2개의 신뢰도 모형(G-O model, S-Shaped model)을 선택하여 소프트웨어 신뢰도를 비교해 보고 품질 향상을 위한 제반 활동과 소프트웨어 개발 프로젝트에 맞는 소프트웨어 신뢰도 모형을 제시하였다.

  • PDF

Detecting Jaywalking Using the YOLOv5 Model

  • Kim, Hyun-Tae;Lee, Sang-Hyun
    • International Journal of Advanced Culture Technology
    • /
    • 제10권2호
    • /
    • pp.300-306
    • /
    • 2022
  • Currently, Korea is building traffic infrastructure using Intelligent Transport Systems (ITS), but the pedestrian traffic accident rate is very high. The purpose of this paper is to prevent the risk of traffic accidents by jaywalking pedestrians. The development of this study aims to detect pedestrians who trespass using the public data set provided by the Artificial Intelligence Hub (AIHub). The data set uses training data: 673,150 pieces and validation data: 131,385 pieces, and the types include snow, rain, fog, etc., and there is a total of 7 types including passenger cars, small buses, large buses, trucks, large trailers, motorcycles, and pedestrians. has a class format of Learning is carried out using YOLOv5 as an implementation model, and as an object detection and edge detection method of an input image, a canny edge model is applied to classify and visualize human objects within the detected road boundary range. In this study, it was designed and implemented to detect pedestrians using the deep learning-based YOLOv5 model. As the final result, the mAP 0.5 showed a real-time detection rate of 61% and 114.9 fps at 338 epochs using the YOLOv5 model.

ARM9 프로세서용 실시간 JPEG2000 코덱의 구현 (A Real-Time JPEG2000 Codec Implementation on ARM9 Processor)

  • 김영태;조시원;이동욱
    • 융합신호처리학회논문지
    • /
    • 제8권3호
    • /
    • pp.149-155
    • /
    • 2007
  • 본 논문에서는 ARM9 프로세서를 위한 실시간 JPEG 2000 코덱을 구현하였다. 구현된 코덱은 프로세서, 메모리와 같은 시스템의 리소스를 효율적으로 사용할 수 있도록 제어 코드와 데이터 관리 코드를 분리하여 설계하였다. 특히 이동전화와 같은 임베디드 환경에서는 제한된 프로세서와 내부메모리를 이용하여 양질의 서비스를 제공하는 것이 매우 중요하다. ARM9계열의 프로세서는 부동소수점을 제공하지 않기 때문에 DWT와 같이 아주 반복적으로 부동소수점 연산을 필요로 하는 동작을 실행하기 위해서는 많은 연산시간이 필요하다. 제안된 코덱은 이러한 단점을 극복하기 위해 고정소수점을 이용하여 프로그램을 하였다. 또한 캐시 메모리를 고려한 코드 최적화 방법을 적용하여 연산속도를 더욱 향상시켰다.

  • PDF