• 제목/요약/키워드: data anomaly detection

검색결과 400건 처리시간 0.029초

Analysis of detected anomalies in VOC reduction facilities using deep learning

  • Min-Ji Son;Myung Ho Kim
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권4호
    • /
    • pp.13-20
    • /
    • 2023
  • 본 논문에서는 데이터의 이상을 탐지하고 예측하는 모델을 통해 VOC 저감 설비에서 실측한 데이터를 분석했다. 이상 탐지 분야에서 안정적인 성능을 보이는 USAD 모델을 이용하여 실시간 데이터의 이상을 탐지하고 이상 원인이 되는 센서를 탐색한다. 또한 자기 회귀 모델을 통해 미래의 이상치를 예측하여 이상이 발생할 시점을 예측하고 경고하는 방법을 제안한다. 실험은 VOC 저감 설비에서 실측한 데이터를 이용하여 시스템의 이상을 탐지할 수 있는지 검증하는 실험을 진행했으며 이상 탐지 실험 결과는 정밀도, 재현율, F1-점수가 각각 98.54%, 89.08%, 93.57%로 높은 성능의 탐지율을 보였다. 센서 별 학습된 모델의 성능은 8개 센서의 정밀도, 재현율, F1-점수를 평균한 결과 각각 99.64%, 99.37%, 99.63%로 높은 성능의 탐지율을 보였다. 또한, 센서 별 탐지 실험에 대한 타당성을 확인하기 위해 구한 해밍 손실은 0.0058로 안정적인 성능을 보였다. 그리고 이상 예측 실험 결과는 평균절대오차 0.0902로 안정적인 성능을 보였다.

수집 데이터 기반 경량 이상 데이터 감지 알림 시스템 개발 (Evaluation of Edge-Based Data Collection System through Time Series Data Optimization Techniques and Universal Benchmark Development)

  • 조우진;구재회
    • 문화기술의 융합
    • /
    • 제10권1호
    • /
    • pp.453-458
    • /
    • 2024
  • 전 세계적으로 기후 위기와 에너지 비용 증가 등의 문제로 인해 에너지 절감과 관리에 대한 관심이 증대되고 있다. 대한민국의 경우 전체 에너지 사용량의 약 53.5%가 산업 단지에서 사용하여 이와 관련한 에너지 절감 포인트를 찾고자 유사한 에너지 유틸리티를 사용하는 기업 간의 "공유 네트워크 유틸리티 플랜트"를 통해 문제점을 개선하고자 하였다. 이러한 에너지 절감을 위해서 활용하는 다양한 기법들과 공장의 안정적인 운영을 위해서는 데이터의 안정적 수급이 그 무엇보다 중요하다. 그를 위해 데이터를 안정적으로 수급할 수 있는지에 대해 알아볼 수 있는 이상 데이터 감지 시스템과 알림 시스템의 대다수는 에너지 관리 시스템에 종속되어 한계가 있었고 에너지 관리 시스템의 구축은 대단위 시스템의 구축으로 공간, 에너지적 한계가 있는 소형 공장에서 구축이 어려웠다. 본 논문에서는 문제점들을 극복하고자 적은 공간과 전력을 소비하는 임베디드 디바이스에 데이터 수집 시스템과 이상 데이터 감지 알림 시스템를 구축하고, 데이터 수집을 하는 보편적인 기관에서 이상 데이터 감지 알림 시스템의 활용 가능성과 구축 과정에 대한 연구를 수행하였다.

스마트 팩토리 모니터링을 위한 빅 데이터의 LSTM 기반 이상 탐지 (LSTM-based Anomaly Detection on Big Data for Smart Factory Monitoring)

  • ;;김진술
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권4호
    • /
    • pp.789-799
    • /
    • 2018
  • 이 논문에서는 이러한 산업 단지 시스템에서의 비정상적인 동작이 일어날 때, 시간 계열의 데이터를 분석하기 위하여 Big 데이터를 이용한 접근을 기반으로 하는 머신 러닝을 보여줍니다. Long Short-Term Memory (LSTM) 네트워크는 향상된 RNN버전으로서 입증되었으며 많은 작업에 유용한 도움이 되었습니다. 이 LSTM 기반 모델은 시간적 패턴뿐만 아니라 더 높은 레벨의 시간적 특징을 학습 한 다음, 미래의 데이터를 예측하기 위해 예측 단계에 사용됩니다. 예측 오차는 예측 인자에 의해 예측 된 결과와 실제 예상되는 값의 차이입니다. 오차 분포 추정 모델은 가우스 분포를 사용하여 관찰 스코어의 이상을 계산합니다. 이러한 방식으로, 우리는 하나의 비정상적 데이터의 개념에서 집단적인 비정상적 데이터 개념으로 바뀌어 갑니다. 이 작업은 실패를 최소화하고 제조품질을 향상시키는 Smart Factory의 모니터링 및 관리를 지원할 수 있습니다.

도로 CCTV 데이터를 활용한 딥러닝 기반 차량 이상 감지 (Deep Learning-based Vehicle Anomaly Detection using Road CCTV Data)

  • 신동훈;백지원;박찬홍;정경용
    • 한국융합학회논문지
    • /
    • 제12권2호
    • /
    • pp.1-6
    • /
    • 2021
  • 현대사회에서는 차량을 소유하는 사람들이 증가하면서 교통문제가 발생하고 있다. 특히 고속도로 교통사고 문제는 발생률이 낮지만 치사율은 높다. 따라서 차량의 이상을 탐지하는 기술이 연구되고 있다. 이 중에는 딥러닝을 이용한 차량 이상탐지 기술이 있다. 이는 사고 및 엔진고장으로 인한 정차차량 등의 차량 이상을 탐지한다. 그러나 도로에서 이상이 발생할 경우 운전자의 위치를 파악할 수 있어야 빠른 대처가 가능하다. 따라서 본 연구에서는 도로 CCTV 데이터를 활용한 딥러닝 기반 차량 이상 감지 방법을 제안한다. 제안하는 방법은 먼저 도로 CCTV 데이터를 전처리한다. 전처리는 배경 추출 알고리즘인 MOG2를 이용하여 배경과 전경을 분리한다. 전경은 변위가 존재하는 차량을 의미하며 도로 위에서 이상이 존재하는 차는 변위가 없어 배경으로 판단된다. 배경이 추출된 이미지는 이상을 탐지하기 위해 YOLOv4를 이용하여 객체를 탐지한다. 해당 차량은 이상이 있음으로 판단한다.

정상 샘플 이미지의 기하학적 변환을 사용한 이상 징후 검출 (Anomaly Detection using Geometric Transformation of Normal Sample Images)

  • 권용완;강동중
    • 한국인터넷방송통신학회논문지
    • /
    • 제22권4호
    • /
    • pp.157-163
    • /
    • 2022
  • 최근 산업 분야 자동화의 발전에 따라 이상 징후 검출에 대한 연구가 활발하게 진행 중이다. 공장 자동화에 사용되는 이상 징후 검출의 응용분야로 카메라를 사용한 결함 검사가 있다. 비전 카메라 검사는 공장 자동화에서 높은 성능과 효율성을 보이지만, 조명과 환경조건의 불안정성을 극복하기가 어렵다. 딥러닝을 이용한 카메라 검사가 훨씬 더 높은 성능을 보이면서 비전 카메라 검사의 문제를 해결할 수 있지만 학습을 위해 엄청난 양의 정상 데이터 및 비정상 데이터를 요구하기 때문에 실제 산업 분야에 적용하기가 어렵다. 따라서 본 연구는 정상 데이터만을 사용한 72개의 기하학적 변환 딥러닝 방법으로 비정상 데이터 수집 문제를 극복하고, 성능 개선을 위한 특이치 노출 방법을 추가한 네트워크를 제안한다. 이를 자동차 부품 데이터 및 이상치 검출용 데이터베이스인 MVTec 데이터 셋에 적용하고 검증함에 의해 실제 산업 현장에서 적용할 수 있음을 보인다.

이동 무선망을 위한 비유사도 기반 비정상 행위 탐지 방법의 설계 및 평가 (Design and evaluation of a dissimilarity-based anomaly detection method for mobile wireless networks)

  • 이화주;배인한
    • Journal of the Korean Data and Information Science Society
    • /
    • 제20권2호
    • /
    • pp.387-399
    • /
    • 2009
  • 이동 무선망은인증의 절도와 침입에 의해 계속 고통을 받고 있다. 그러한 두 문제 모두 2가지 다른 방법: 오용 탐지 또는 비정상 행위 기반 탐지로 해결될 수 있다. 이 논문에서, 우리는 이동 무선망의 이동 패턴과 같은 정상 행위를 효율적으로 식별할 수 있는 비유사도 기반 방법을 제안한다. 제안하는 알고리즘에서, 정상 프로파일은 이동 무선망에서 이동 사용자들의 정상 이동 패턴으로부터 구축되어진다. 구축된 정상 프로파일로부터, 가중 비유사도 측정으로 비유사도가 계산되어진다. 만일 가중 비유사도 측정치가 시스템 매개변수인 비유사도 임계치보다 크면, 경고 메시지가 발생된다. 제안된 방법의 성능은 모의실험을 통하여 평가되었다. 그 결과, 제안하는 방법의 성능이 비유사도 측정을 사용하는다른 비정상 행위 탐지 방법의 성능 보다 우수함을 알 수 있었다.

  • PDF

콘텐츠 기반 무선 센서 네트워크 이상 탐지 기법 (A Contents-Based Anomaly Detection Scheme in WSNs)

  • 이창석;이광휘
    • 전자공학회논문지CI
    • /
    • 제48권5호
    • /
    • pp.99-106
    • /
    • 2011
  • 데이터 중심적인 네트워크인 무선 센서 네트워크는 대량의 센서 노드들이 광범위한 지역에 조밀하게 분산 배치되어 동작한다. 센서 노드들은 일반적으로 열린 환경에서 독립적으로 동작하기 때문에 보안 공격에 취약하다. 본 논문에서는 무선 센서 네트워크를 위한 콘텐츠 기반 이상 탐지 기법을 제안한다. 제안 기법은 무선 센서 네트워크의 특징인 특정한 현상을 여러 개의 센서 노드가 동시에 감지한다는 특성과 센서 노드에서 측정된 데이터인 콘텐츠는 어떤 특정 범위 안에서 변한다는 특성을 이용한다. 제안 기법은 훈련 단계, 적용 단계와 보정 단계로 구성되며 적용 단계에서 거리 기반 이상 탐지(distance-based anomaly detection) 기법을 이용하여 얻게 된 이상치 후보를 보정 단계로 보낸다. 보정 단계는 동일한 현상을 동시에 감지한 센서 노드들의 데이터로 구성된 콘텐츠 테이블과 이상치 후보를 비교, 분석함으로써 이상 탐지 기법의 성능을 향상시킨다. 시뮬레이션을 통해 제안 탐지 기법이 높은 탐지율과 낮은 오탐율을 가진다는 것을 확인할 수 있었다.

Multi-sensor data-based anomaly detection and diagnosis of a pumped storage hydropower plant

  • Sojin Shin;Cheolgyu Hyun;Seongpil Cho;Phill-Seung Lee
    • Structural Engineering and Mechanics
    • /
    • 제88권6호
    • /
    • pp.569-581
    • /
    • 2023
  • This paper introduces a system to detect and diagnose anomalies in pumped storage hydropower plants. We collect data from various types of sensors, including those monitoring temperature, vibration, and power. The data are classified according to the operation modes (pump and turbine operation modes) and normalized to remove the influence of the external environment. To detect anomalies and diagnose their types, we adopt a multivariate normal distribution analysis by learning the distribution of the normal data. The feasibility of the proposed system is evaluated using actual monitoring data of a pumped storage hydropower plant. The proposed system can be used to implement condition monitoring systems for other plants through modifications.

Vibration Anomaly Detection of One-Class Classification using Multi-Column AutoEncoder

  • Sang-Min, Kim;Jung-Mo, Sohn
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권2호
    • /
    • pp.9-17
    • /
    • 2023
  • 본 논문에서는 베어링의 결함 진단을 위한 단일 클래스 분류의 진동 이상 탐지 시스템을 제안한다. 베어링 고장으로 인해 발생하는 경제적 및 시간적 손실을 줄이기 위해 정확한 결함 진단시스템은 필수적이며 문제 해결을 위해 딥러닝 기반의 결함 진단 시스템들이 널리 연구되고 있다. 그러나 딥러닝 학습을 위한 실제 데이터 채집 환경에서 비정상 데이터 확보에 어려움이 있으며 이는 데이터 편향을 초래한다. 이에 정상 데이터만 활용하는 단일 클래스 분류 방법을 활용한다. 일반적인 방법으로는 AutoEncoder를 통한 압축과 복원 과정을 학습하여 진동 데이터의 특성을 추출한다. 추출된 특성으로 단일 클래스 분류기를 학습하여 이상 탐지를 실시한다. 하지만 이와 같은 방법은 진동 데이터의 주파수 특성을 고려하지 않아서 진동 데이터의 특성을 효율적 추출할 수 없다. 이러한 문제를 해결하기 위해 진동 데이터의 주파수 특성을 고려한 AutoEncoder 모델을 제안한다. 분류 성능은 accuracy 0.910, precision 1.0, recall 0.820, f1-score 0.901이 나왔다. 주파수 특성을 고려한 네트워크 설계로 기존 방법들보다 우수한 성능을 확인하였다.

Detection of 2002-2003 El Ni${\tilde{n}}$o Using EOS and OSMI Data

  • Lee, S.H.;Lim, H.S.;Kim, J.G.;Jun, J.N.
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2003년도 Proceedings of ACRS 2003 ISRS
    • /
    • pp.1413-1414
    • /
    • 2003
  • Interannual variability in the patterns of satellitederived pigment concentrations, sea-level height anomaly, sea surface temperature anomaly, and zonal wind anomaly are observed during the 2002-2003 El Ni${\tilde{n}}$o. The largest spatial extent of the phytoplankton bloom was recovery from El Ni${\tilde{n}}$o over the equatorial Pacific. The evolution towards a warm episode (El Ni${\tilde{n}}$o) started from spring of 2002 and continued during January 2003, while equatorial Sea Surface Temperature Anomaly (SSTA) remained greater than +1$^{\circ}$C in the central equatorial Pacific. The EOS (Earth Observing System) and OSMI (Ocean Scanning Multispectral Imager) data are used for detection of dramatic changes in the patterns of pigment concentration during El Ni${\tilde{n}}$o.

  • PDF