• Title/Summary/Keyword: 이상치 탐지

Search Result 141, Processing Time 0.029 seconds

Bi-LSTM VAE based Intrusion Detection System for In-Vehicle CAN (Bi-LSTM VAE 기반 차량 CAN 침입 탐지 시스템)

  • Kim, Yong-Su;Kang, Hyo-Eun;Kim, Ho-Won
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.05a
    • /
    • pp.531-534
    • /
    • 2022
  • 승차 공유, 카풀, 렌터카의 이용률이 증가하면서 많은 사용자가 동일한 차량에 로컬 액세스 할 수 있는 시나리오가 더욱 보편화됨에 따라 차량 네트워크에 대한 공격 가능성이 커지고 있다. 차량용 CAN Bus Network에 대한 DoS(Denial of Service), Fuzzy Attack 및 Replay Attack과 같은 공격은 일부 ECU(Electronic Controller Unit) 비활성 및 작동 불능 상태를 유발한다. 에어백, 제동 시스템과 같은 필수 시스템이 작동 불가 상태가 되어 운전자에게 치명적인 결과를 초래할 수 있다. 차량 네트워크 침입 탐지를 위하여 많은 연구가 진행되고 있으나, 기존 화이트리스트를 이용한 탐지 방법은 새로운 유형의 공격이 발생하거나 희소성이 높은 공격일 때 탐지하기 어렵다. 본 논문에서는 인공신경망 기반의 CAN 버스 네트워크 침입 탐지 기법을 제안한다. 제안하는 침입 탐지 기법은 2단계로 나누어 진다. 1단계에서 정상 패킷 분포를 학습한 VAE 모형이 이상 탐지를 수행한다. 이상 패킷으로 판정될 경우, 2단계에서 인코더로부터 추출된 잠재변수와 VAE의 재구성 오차를 이용하여 공격 유형을 분류한다. 분류 결과의 신뢰점수(Confidence score)가 임계치보다 낮을 경우 학습하지 않은 공격으로 판단한다. 본 연구 결과물은 정보보호 연구·개발 데이터 첼린지 2019 대회의 차량 이상징후 탐지 트랙에서 제공하는 정상 및 3종의 차량 공격시도 패킷 데이터를 대상으로 성능을 평가하였다. 실험을 통해 자동차 제조사의 규칙이나 정책을 사전에 정의하지 않더라도 낮은 오탐율로 비정상 패킷을 탐지해 낼 수 있음을 확인할 수 있다.

Research Trends on Deep Learning for Anomaly Detection of Aviation Safety (딥러닝 기반 항공안전 이상치 탐지 기술 동향)

  • Park, N.S.
    • Electronics and Telecommunications Trends
    • /
    • v.36 no.5
    • /
    • pp.82-91
    • /
    • 2021
  • This study reviews application of data-driven anomaly detection techniques to the aviation domain. Recent advances in deep learning have inspired significant anomaly detection research, and numerous methods have been proposed. However, some of these advances have not yet been explored in aviation systems. After briefly introducing aviation safety issues, data-driven anomaly detection models are introduced. Along with traditional statistical and well-established machine learning models, the state-of-the-art deep learning models for anomaly detection are reviewed. In particular, the pros and cons of hybrid techniques that incorporate an existing model and a deep model are reviewed. The characteristics and applications of deep learning models are described, and the possibility of applying deep learning methods in the aviation field is discussed.

Detection of Abnormal Dam Water Level Data Based on Machine Learning (기계학습에 기반한 댐 수위 이상 데이터 탐지)

  • Bang, Suil;Lee, Do-Gil
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.293-296
    • /
    • 2021
  • K-water에서는 다목적댐의 관리를 위해 실시간으로 댐수위, 하천 수위 및 강우량 등을 계측하고 있으며, 계측된 값들은 댐을 효과적으로 운영하는데 필요한 데이터로 활용되고 있다. 특히 댐수위 이상 데이터를 탐지하지 못한 채 그대로 사용할 경우 댐의 방류 시기와 방류량 등을 결정하는 중요한 의사결정을 그르칠 수 있으므로 이를 신속히 탐지하는 것이 매우 중요하다. 현재의 자동화된 이상 데이터 탐지방법 중 하나는 현재 데이터가 최댓값과 최솟값을 초과할 때, 다른 하나는 현재 데이터와 일정 시간 동안의 평균값 간의 차이가 관리자가 정한 특정 값을 벗어났을 때를 기준으로 삼고 있다. 전자는 상한과 하한의 초과 여부만 판단하므로 탐지가 쉬우나 정상범위 내에서 발생한 이상 데이터는 탐지가 불가하다. 후자는 관리자의 경험을 통해 판단 조건을 정하기 때문에 객관성이 결여되는 문제가 있다. 특히 방류와 강우가 복합적으로 댐수위에 영향을 미치는 홍수기에 관리자의 경험에 기초한 이상 데이터 판별은 신뢰성의 문제가 있을 수 있다. 따라서 본 연구에서는 기계학습을 최초로 적용하여 이상 데이터를 탐지하고자 하였다. 댐수위, 누적강우량 및 누적방류량 데이터와 댐수위데이터를 가공하여 생성한 댐수위차, 댐수위차평균, 댐수위평균 등 자질들의 다양한 조합을 만든 후 이를 Random Forest, SVM, AdaptiveBoost 및 다층퍼셉트론(MLP) 등과 같은 여러 가지 기계학습모델 등을 통해 이상 데이터를 판별하는 실험(분류)을 하였다. 실험결과 댐수위, 댐수위차, 댐수위-댐수위평균, 누적강우량, 누적방류량 및 댐수위차평균을 사용하였을 때 MLP에서 가장 우수한 성능을 보였다. 이 연구를 통해서 댐수위 이상 데이터를 기계학습의 분류기능을 통해 효과적으로 탐지할 수 있다는 것과 모델의 성능은 실험에 사용한 자질의 수뿐 아니라 자질의 종류에도 큰 영향을 받는다는 것을 알 수 있었다.

Outlier Reduction using C-SCGP for Target Localization based on RSS/AOA in Wireless Sensor Networks (무선 센서 네트워크에서 C-SCGP를 이용한 RSS/AOA 이상치 제거 기반 표적 위치추정 기법)

  • Kang, SeYoung;Lee, Jaehoon;Song, JongIn;Chung, Wonzoo
    • Journal of Convergence for Information Technology
    • /
    • v.11 no.11
    • /
    • pp.31-37
    • /
    • 2021
  • In this paper, we propose an outlier detection algorithm called C-SCGP to prevent the degradation of localization performance based on RSS (Received Signal Strength) and AOA (Angle of Arrival) in the presence of outliers in wireless sensor networks. Since the accuracy of target estimation can significantly deteriorate due to various cause of outliers such as malfunction of sensor, jamming, and severe noise, it is important to detect and filter out all outliers. The single cluster graph partitioning (SCGP) algorithm has been widely used to remove such outliers. The proposed continuous-SCGP (C-SCGP) algorithm overcomes the weakness of the SCGP that requires the threshold and computing probability of outliers, which are impratical in many applications. The results of numerical simulations show that the performance of C-SCGP without setting threshold and probability computation is the same performance of SCGP.

Comparative Analysis of Anomaly Detection Models using AE and Suggestion of Criteria for Determining Outliers

  • Kang, Gun-Ha;Sohn, Jung-Mo;Sim, Gun-Wu
    • Journal of the Korea Society of Computer and Information
    • /
    • v.26 no.8
    • /
    • pp.23-30
    • /
    • 2021
  • In this study, we present a comparative analysis of major autoencoder(AE)-based anomaly detection methods for quality determination in the manufacturing process and a new anomaly discrimination criterion. Due to the characteristics of manufacturing site, anomalous instances are few and their types greatly vary. These properties degrade the performance of an AI-based anomaly detection model using the dataset for both normal and anomalous cases, and incur a lot of time and costs in obtaining additional data for performance improvement. To solve this problem, the studies on AE-based models such as AE and VAE are underway, which perform anomaly detection using only normal data. In this work, based on Convolutional AE, VAE, and Dilated VAE models, statistics on residual images, MSE, and information entropy were selected as outlier discriminant criteria to compare and analyze the performance of each model. In particular, the range value applied to the Convolutional AE model showed the best performance with AUC PRC 0.9570, F1 Score 0.8812 and AUC ROC 0.9548, accuracy 87.60%. This shows a performance improvement of an accuracy about 20%P(Percentage Point) compared to MSE, which was frequently used as a standard for determining outliers, and confirmed that model performance can be improved according to the criteria for determining outliers.

An acoustic sensor fault detection method based on root-mean-square crossing-rate analysis for passive sonar systems (수동 소나 시스템을 위한 실효치교차율 분석 기반 음향센서 결함 탐지 기법)

  • Kim, Yong Guk;Park, Jeong Won;Kim, Young Shin;Lee, Sang Hyuck;Kim, Hong Kook
    • The Journal of the Acoustical Society of Korea
    • /
    • v.36 no.1
    • /
    • pp.30-38
    • /
    • 2017
  • In this paper, we propose an underwater acoustic sensor fault detection method for passive sonar systems. In general, a passive sonar system displays processed results of array signals obtained from tens of the acoustic sensors as a two-dimensional image such as displays for broadband or narrowband analysis. Since detection result display in the operation software is to display the accumulated result through the array signal processing, it is difficult to determine the possibility where signal may be contaminated by the fault or failure of a single channel sensor. In this paper, accordingly, we propose a detection method based on the analysis of RMSCR (Root Mean Square Crossing-Rate), and the processing techniques for the faulty sensors are analyzed. In order to evaluate the performance of the proposed method, the precision of detecting fault sensors is measured by using signals acquired from real array being operated in several coastal areas. Besides, we compare performance of fault processing techniques. From the experiments, it is shown that the proposed method works well in underwater environments with high average RMS, and mute (set to zero) shows the best performance with regard to fault processing techniques.

Development of Post-Processing Software for Flow Measurement Results Analysis using RQ-30 (RQ-30을 활용한 유량 측정 결과 분석을 위한 후처리 소프트웨어 개발)

  • Geunsoo Son;JungHwan Chun;Seongcheol Kang;Youngbeen Kwon;Youngsin Roh
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.420-420
    • /
    • 2023
  • 하천의 유량 자료는 하천 관리에 필수적인 요소로, 지속적인 유량측정을 위해 국가 유량 측정망을 구성하여 주요 지점을 대상으로 유량 측정을 수행하고 있다. 측정된 유량자료는 일반적으로 수위-유량 관계곡선식을 개발하여 제공되고 있으며, 홍수파와 배수 영향 등으로 인해 수위-유량 관계곡선식에서 발생하는 산포로 인한 신뢰도에 문제가 우려되는 경우에는 실시간의 정확한 유량자료를 제공하기 위해 H-ADCP를 설치하여 지표유속법 기반의 실시간 유량 자료 생산하여 제공하고 있다. 그러나 H-ADCP를 이용한 유량 측정 방법은 장비의 한계로 인해 상대적으로 규모가 작고 수심이 얕은 하천에 적용하기 어려운 문제가 있다. 따라서, 최근에는 자동유량관측소 지점 확대를 위해 비접촉식 유속계를 활용한 자동유량관측소 운영이 점차 고려되고 있다. 이에 따라 비접촉식유속계를 이용한 유량 측정 결과의 검증 및 유지 관리를 위한 소프트웨어가 필요하다. 이에 본 연구에서는 비접촉식유속계 중 전자파를 이용하여 수표면의 표면유속을 측정할 수 있는 장비인 RQ-30의 측정결과를 분석하기 위해 Microsoft Visual Studio(C#) 사용하여 측정결과의 검토 및 자료 관리를 위한 후처리 소프트웨어를 개발하였다. 개발한 소프트웨어는 측정 원시자료를 읽고, 도시하여 측정 결과를 확인할 수 있으며, 머신러닝 기반의 알고리즘을 적용하여 수위 및 유속 시계열 자료에서 발생하는 이상치를 탐색할 수 있도록 개발하였다. 그리고 탐지된 이상치에 대한 보정을 위해 선형보간, LOESS, SuperSmoother를 사용하여 이상치를 보정하여 결과를 도출할 수 있도록 개발하였다. 추후 본 연구를 통해 개발된 프로그램을 활용하여 측정 자료의 유지 관리 효율성을 증대시킬 수 있을 것으로 기대되며, 지속적인 프로그램의 개선을 통해서 실무적으로 활용이 가능할 것으로 판단된다.

  • PDF

Fault Detection Method for Multivariate Process using Mahalanobis Distance and ICA (마할라노비스 거리와 독립성분분석을 이용한 다변량 공정 고장탐지 방법에 관한 연구)

  • Jung, Seunghwan;Kim, Sungshin
    • The Journal of Korea Institute of Information, Electronics, and Communication Technology
    • /
    • v.14 no.1
    • /
    • pp.22-28
    • /
    • 2021
  • Multivariate processes, such as chemical and mechanical process, power plants are operated in a state where several facilities are complexly connected, the fault of a particular system can also have fatal consequences for the entire process. In addition, since process data is measured in an unstable environment, outlier is likely to be include in the data. Therefore, monitoring technology is essential, which can remove outlier from measured data and detect failures in advance. In this paper, data obtained from dynamic and multivariate process models was used to detect fault in various type of processes. The dynamic process is a simulation of a process with autoregressive property, and the multivariate process is a model that describes a situation when a specific sensor fault. Mahalanobis distance was used to remove outlier contained in the data generated by dynamic process model and multivariate process model, and fault detection was performed using ICA. For comparison, we compared performance with and a conventional single ICA method. The proposed fault detection method improves performance by 0.84%p for bias data and 6.82%p for drift data in the dynamic process. In the case of the multivariate process, the performance was improves by 3.78%p, therefore, the proposed method showed better fault detection performance.

Object-based Building Change Detection from LiDAR Data and Digital Map Using Adaptive Overlay Threshold (적응적 중첩 임계치를 이용한 LiDAR 자료와 수치지도의 객체기반 건물변화탐지)

  • Lee, Sang-Yeop;Lee, Jeong-Ho;Han, Su-Hee;Choi, Jae-Wan;Kim, Yong-Il
    • Journal of Korean Society for Geospatial Information Science
    • /
    • v.19 no.3
    • /
    • pp.49-56
    • /
    • 2011
  • Because urban areas change rapidly, it is necessary to reflect urban changes in a digital map database in a timely manner. To address these issues, LiDAR data was used to detect changes in urban area buildings. The purpose of this study is to detect object-based building change using LiDAR data and existing digital maps, and classify change types. In the study, we classified change type using overlay and shape comparison with building layer of the digital maps and point-based extracted building outline from the LiDAR data. When applying the overlay method, we were able to increase the accuracy and objectivity of the change detection process throughout an adaptive threshold applied to each object. In the experiments, it was demonstrated that classifying and detecting changes in urban areas using the proposed method can provide superior classification accuracy compared with the existing methodology.

Efficient Time-Series Similarity Measurement and Ranking Based on Anomaly Detection (이상탐지 기반의 효율적인 시계열 유사도 측정 및 순위화)

  • Ji-Hyun Choi;Hyun Ahn
    • Journal of Internet Computing and Services
    • /
    • v.25 no.2
    • /
    • pp.39-47
    • /
    • 2024
  • Time series analysis is widely employed by many organizations to solve business problems, as it extracts various information and insights from chronologically ordered data. Among its applications, measuring time series similarity is a step to identify time series with similar patterns, which is very important in time series analysis applications such as time series search and clustering. In this study, we propose an efficient method for measuring time series similarity that focuses on anomalies rather than the entire series. In this regard, we validate the proposed method by measuring and analyzing the rank correlation between the similarity measure for the set of subsets extracted by anomaly detection and the similarity measure for the whole time series. Experimental results, especially with stock time series data and an anomaly proportion of 10%, demonstrate a Spearman's rank correlation coefficient of up to 0.9. In conclusion, the proposed method can significantly reduce computation cost of measuring time series similarity, while providing reliable time series search and clustering results.