• 제목/요약/키워드: Anomaly detection

검색결과 651건 처리시간 0.025초

Data anomaly detection for structural health monitoring using a combination network of GANomaly and CNN

  • Liu, Gaoyang;Niu, Yanbo;Zhao, Weijian;Duan, Yuanfeng;Shu, Jiangpeng
    • Smart Structures and Systems
    • /
    • 제29권1호
    • /
    • pp.53-62
    • /
    • 2022
  • The deployment of advanced structural health monitoring (SHM) systems in large-scale civil structures collects large amounts of data. Note that these data may contain multiple types of anomalies (e.g., missing, minor, outlier, etc.) caused by harsh environment, sensor faults, transfer omission and other factors. These anomalies seriously affect the evaluation of structural performance. Therefore, the effective analysis and mining of SHM data is an extremely important task. Inspired by the deep learning paradigm, this study develops a novel generative adversarial network (GAN) and convolutional neural network (CNN)-based data anomaly detection approach for SHM. The framework of the proposed approach includes three modules : (a) A three-channel input is established based on fast Fourier transform (FFT) and Gramian angular field (GAF) method; (b) A GANomaly is introduced and trained to extract features from normal samples alone for class-imbalanced problems; (c) Based on the output of GANomaly, a CNN is employed to distinguish the types of anomalies. In addition, a dataset-oriented method (i.e., multistage sampling) is adopted to obtain the optimal sampling ratios between all different samples. The proposed approach is tested with acceleration data from an SHM system of a long-span bridge. The results show that the proposed approach has a higher accuracy in detecting the multi-pattern anomalies of SHM data.

Multimodal layer surveillance map based on anomaly detection using multi-agents for smart city security

  • Shin, Hochul;Na, Ki-In;Chang, Jiho;Uhm, Taeyoung
    • ETRI Journal
    • /
    • 제44권2호
    • /
    • pp.183-193
    • /
    • 2022
  • Smart cities are expected to provide residents with convenience via various agents such as CCTV, delivery robots, security robots, and unmanned shuttles. Environmental data collected by various agents can be used for various purposes, including advertising and security monitoring. This study suggests a surveillance map data framework for efficient and integrated multimodal data representation from multi-agents. The suggested surveillance map is a multilayered global information grid, which is integrated from the multimodal data of each agent. To confirm this, we collected surveillance map data for 4 months, and the behavior patterns of humans and vehicles, distribution changes of elevation, and temperature were analyzed. Moreover, we represent an anomaly detection algorithm based on a surveillance map for security service. A two-stage anomaly detection algorithm for unusual situations was developed. With this, abnormal situations such as unusual crowds and pedestrians, vehicle movement, unusual objects, and temperature change were detected. Because the surveillance map enables efficient and integrated processing of large multimodal data from a multi-agent, the suggested data framework can be used for various applications in the smart city.

INT 기반 네트워크 이상 상태 탐지 기술 연구 (In-band Network Telemetry based Network Anomaly Detection Scheme)

  • 임지윤;남석현;유재형;홍원기
    • KNOM Review
    • /
    • 제22권3호
    • /
    • pp.13-19
    • /
    • 2019
  • 네트워크 이상 상태 탐지는 네트워크 상의 플로우에 대한 정보를 수집하여 네트워크에서 발생하는 악의적인 공격을 실시간으로 탐지하는 기술이다. 실시간으로 패킷 단위의 세부적인 네트워크 정보를 제공하는 INT (In-band Network Telemetry) 기술을 이용하면 네트워크 홉 단위 지연 (hop latency)과 큐 점유율 (queue occupancy) 등 기존 네트워크에서 제공하지 않는, 보다 세부적인 정보를 실시간으로 수집 가능하여 네트워크 이상 상태 탐지에 활용할 수 있다. 본 논문에서는 INT를 이용하여 추출한 네트워크 상태 정보를 머신 러닝의 입력특징으로 사용하여 더 높은 성능을 가진 이상 상태 탐지 시스템을 구현하는 방법을 제안하고 이를 실험을 통해 검증한다.

딥러닝을 활용한 설비 이상 탐지 및 성능 분석 (Anomaly Detection and Performance Analysis using Deep Learning)

  • 황주효;진교홍
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.78-81
    • /
    • 2021
  • 스마트공장 구축사업을 통해 제조업의 생산설비에 센서가 설치되고 각종 공정데이터를 실시간으로 수집할 수 있게 되었다. 이를 통해 제조공정의 설비이상으로 인한 생산중단을 줄이기 위해 실시간 설비 이상 탐지에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 생산설비의 이상탐지를 위해 제조데이터를 딥러닝 모델인 Autoencoder(AE), VAE(Variational Autoencoder), AAE(Adversarial Autoencoder)에 적용하여 그 결과를 도출하였다. 제조데이터는 단순 이동 평균 기법과 전처리 과정을 거쳐 입력데이터로 사용하였으며, 단순이동평균 기법의 윈도우 크기와 AE 모델의 특징벡터 크기에 따른 성능분석을 실시하였다.

  • PDF

근 실시간 조건을 달성하기 위한 효과적 속성 선택 기법 기반의 고성능 하이브리드 침입 탐지 시스템 (Efficient Feature Selection Based Near Real-Time Hybrid Intrusion Detection System)

  • 이우솔;오상윤
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제5권12호
    • /
    • pp.471-480
    • /
    • 2016
  • 최근 국가 기반 시스템, 국방 및 안보 시스템 등에 대한 사이버 공격의 피해 규모가 점차 커지고 있으며, 군에서도 사이버전에 대한 중요성을 인식하고 전 평시 구분 없이 대비하고 있다. 이에 네트워크 보안에서 탐지와 대응에 핵심적인 역할을 하는 침입 탐지 시스템의 중요성이 증대되고 있다. 침입 탐지 시스템은 탐지 방법에 따라 오용 탐지, 이상 탐지 방식으로 나뉘는데, 근래에는 두 가지 방식을 혼합 적용한 하이브리드 침입 탐지 방식에 대한 연구가 진행 중이다. 그렇지만 기존 연구들은 높은 계산량이 요구된다는 점에서 근 실시간 네트워크 환경에 부적합하다는 문제점이 있었다. 본 논문에서는 기존의 하이브리드 침입 탐지 시스템의 성능 문제를 보완할 수 있는 효과적인 속성 선택 기법을 적용한 의사 결정 트리와 가중 K-평균 알고리즘 기반의 고성능 하이브리드 침입 탐지 시스템을 제안하였다. 상호 정보량과 유전자 알고리즘 기반의 속성 선택 기법을 적용하여 침입을 더 빠르고 효율적으로 탐지할 수 있으며, 오용 탐지 모델과 이상 탐지 모델을 위계적으로 결합하여 구조적으로 고도화된 하이브리드 침입 탐지 시스템을 제안하였다. 실험을 통해 제안한 하이브리드 침입 탐지 시스템은 98.68%로 높은 탐지율을 보장함과 동시에, 속성 선택 기법을 적용하여 고성능 침입 탐지를 수행할 수 있음을 검증하였다.

An Intrusion Detection Model based on a Convolutional Neural Network

  • Kim, Jiyeon;Shin, Yulim;Choi, Eunjung
    • Journal of Multimedia Information System
    • /
    • 제6권4호
    • /
    • pp.165-172
    • /
    • 2019
  • Machine-learning techniques have been actively employed to information security in recent years. Traditional rule-based security solutions are vulnerable to advanced attacks due to unpredictable behaviors and unknown vulnerabilities. By employing ML techniques, we are able to develop intrusion detection systems (IDS) based on anomaly detection instead of misuse detection. Moreover, threshold issues in anomaly detection can also be resolved through machine-learning. There are very few datasets for network intrusion detection compared to datasets for malicious code. KDD CUP 99 (KDD) is the most widely used dataset for the evaluation of IDS. Numerous studies on ML-based IDS have been using KDD or the upgraded versions of KDD. In this work, we develop an IDS model using CSE-CIC-IDS 2018, a dataset containing the most up-to-date common network attacks. We employ deep-learning techniques and develop a convolutional neural network (CNN) model for CSE-CIC-IDS 2018. We then evaluate its performance comparing with a recurrent neural network (RNN) model. Our experimental results show that the performance of our CNN model is higher than that of the RNN model when applied to CSE-CIC-IDS 2018 dataset. Furthermore, we suggest a way of improving the performance of our model.

A DoS Detection Method Based on Composition Self-Similarity

  • Jian-Qi, Zhu;Feng, Fu;Kim, Chong-Kwon;Ke-Xin, Yin;Yan-Heng, Liu
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제6권5호
    • /
    • pp.1463-1478
    • /
    • 2012
  • Based on the theory of local-world network, the composition self-similarity (CSS) of network traffic is presented for the first time in this paper for the study of DoS detection. We propose the concept of composition distribution graph and design the relative operations. The $(R/S)^d$ algorithm is designed for calculating the Hurst parameter. Based on composition distribution graph and Kullback Leibler (KL) divergence, we propose the composition self-similarity anomaly detection (CSSD) method for the detection of DoS attacks. We evaluate the effectiveness of the proposed method. Compared to other entropy based anomaly detection methods, our method is more accurate and with higher sensitivity in the detection of DoS attacks.

권한이동 모델링을 통한 은닉 마르코프 모델 기반 침입탐지 시스템의 성능 향상 (Performance Improvement of Infusion Detection System based on Hidden Markov Model through Privilege Flows Modeling)

  • 박혁장;조성배
    • 한국정보과학회논문지:정보통신
    • /
    • 제29권6호
    • /
    • pp.674-684
    • /
    • 2002
  • 기존 침입탐지시스템에서는 구현의 용이성 때문에 오용침입탐지 기법이 주로 사용되었지만, 새로운 침입에 대처하기 위해서는 궁극적으로 비정상행위탐지 기법이 요구된다. 그 중 HMM기법은 생성메커니즘을 알 수 없는 이벤트들을 모델링하고 평가하는 도구로서 다른 침입탐지기법에 비해 침입탐지율이 높은 장점이 있다. 하지만 높은 성능에 비해 정상행위 모델링 시간이 오래 걸리는 단점이 있는데, 본 논문에는 실제 해킹에 사용되고 있는 다양한 침입패턴을 분석하여 권한이동시의 이벤트 추출방법을 이용한 모델링 기법을 제안하였고 이를 통하여 모델링 시간과 False-Positive 오류를 줄일 수 있는 지 평가해 보았다. 실험결과 전체 이벤트 모델링에 비해 탐지율이 증가하였고 시간 또한 단축됨을 알 수 있었다.

Developing an Intrusion Detection Framework for High-Speed Big Data Networks: A Comprehensive Approach

  • Siddique, Kamran;Akhtar, Zahid;Khan, Muhammad Ashfaq;Jung, Yong-Hwan;Kim, Yangwoo
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권8호
    • /
    • pp.4021-4037
    • /
    • 2018
  • In network intrusion detection research, two characteristics are generally considered vital to building efficient intrusion detection systems (IDSs): an optimal feature selection technique and robust classification schemes. However, the emergence of sophisticated network attacks and the advent of big data concepts in intrusion detection domains require two more significant aspects to be addressed: employing an appropriate big data computing framework and utilizing a contemporary dataset to deal with ongoing advancements. As such, we present a comprehensive approach to building an efficient IDS with the aim of strengthening academic anomaly detection research in real-world operational environments. The proposed system has the following four characteristics: (i) it performs optimal feature selection using information gain and branch-and-bound algorithms; (ii) it employs machine learning techniques for classification, namely, Logistic Regression, Naïve Bayes, and Random Forest; (iii) it introduces bulk synchronous parallel processing to handle the computational requirements of large-scale networks; and (iv) it utilizes a real-time contemporary dataset generated by the Information Security Centre of Excellence at the University of Brunswick (ISCX-UNB) to validate its efficacy. Experimental analysis shows the effectiveness of the proposed framework, which is able to achieve high accuracy, low computational cost, and reduced false alarms.

적대적 생성 신경망을 활용한 비지도 학습 기반의 대기 자료 이상 탐지 알고리즘 연구 (A Study on Atmospheric Data Anomaly Detection Algorithm based on Unsupervised Learning Using Adversarial Generative Neural Network)

  • 양호준;이선우;이문형;김종구;최정무;신유미;이석채;권장우;박지훈;정동희;신혜정
    • 융합정보논문지
    • /
    • 제12권4호
    • /
    • pp.260-269
    • /
    • 2022
  • 본 논문에서는 기존에 전문가에 의해서 이루어지던 국가 대기오염 측정망 데이터들의 이상 탐지 작업을 인공지능을 통해 자동화하고자 심층 신경망을 이용한 이상 탐지 모델을 제안하였다. 환경과학원에서 제공받은 기상자료 데이터의 결측치 및 이상치를 분석하여 학습데이터를 생성하였으며 비지도 학습 방식의 BeatGAN 모델에 기반하여 커널 구조 변경과 합성곱 필터층 및 전치 합성곱 필터층의 추가를 통해 새로운 모델을 제안하여 이상 탐지 성능을 높이고자 하였다. 또한 제안하는 모델의 생성적 특징을 활용하여 새로운 데이터를 생성하고 이를 학습에 사용하는 재학습 알고리즘을 구현 및 적용하여 기존 BeatGAN 모델뿐 아니라 다른 비지도 학습 모델인 Iforest, One Class SVM과 비교하였을 때 제안모델의 성능이 가장 높았음을 확인할 수 있었다. 본 연구를 통해 실제 산업현장에서 센서의 이상, 점검 등의 여러 요인으로 인해 학습 데이터가 부족한 상황에서 추가적인 비용없이 과적합을 피하며 제안하는 모델의 이상탐지 성능을 올릴 수 있는 방법을 제시할 수 있었다.