• 제목/요약/키워드: Anomaly data detection

검색결과 384건 처리시간 0.023초

Multimodal layer surveillance map based on anomaly detection using multi-agents for smart city security

  • Shin, Hochul;Na, Ki-In;Chang, Jiho;Uhm, Taeyoung
    • ETRI Journal
    • /
    • 제44권2호
    • /
    • pp.183-193
    • /
    • 2022
  • Smart cities are expected to provide residents with convenience via various agents such as CCTV, delivery robots, security robots, and unmanned shuttles. Environmental data collected by various agents can be used for various purposes, including advertising and security monitoring. This study suggests a surveillance map data framework for efficient and integrated multimodal data representation from multi-agents. The suggested surveillance map is a multilayered global information grid, which is integrated from the multimodal data of each agent. To confirm this, we collected surveillance map data for 4 months, and the behavior patterns of humans and vehicles, distribution changes of elevation, and temperature were analyzed. Moreover, we represent an anomaly detection algorithm based on a surveillance map for security service. A two-stage anomaly detection algorithm for unusual situations was developed. With this, abnormal situations such as unusual crowds and pedestrians, vehicle movement, unusual objects, and temperature change were detected. Because the surveillance map enables efficient and integrated processing of large multimodal data from a multi-agent, the suggested data framework can be used for various applications in the smart city.

The Design and Implementation of Anomaly Traffic Analysis System using Data Mining

  • Lee, Se-Yul;Cho, Sang-Yeop;Kim, Yong-Soo
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제8권4호
    • /
    • pp.316-321
    • /
    • 2008
  • Advanced computer network technology enables computers to be connected in an open network environment. Despite the growing numbers of security threats to networks, most intrusion detection identifies security attacks mainly by detecting misuse using a set of rules based on past hacking patterns. This pattern matching has a high rate of false positives and can not detect new hacking patterns, which makes it vulnerable to previously unidentified attack patterns and variations in attack and increases false negatives. Intrusion detection and analysis technologies are thus required. This paper investigates the asymmetric costs of false errors to enhance the performances the detection systems. The proposed method utilizes the network model to consider the cost ratio of false errors. By comparing false positive errors with false negative errors, this scheme achieved better performance on the view point of both security and system performance objectives. The results of our empirical experiment show that the network model provides high accuracy in detection. In addition, the simulation results show that effectiveness of anomaly traffic detection is enhanced by considering the costs of false errors.

침입탐지시스템의 정확도 향상을 위한 개선된 데이터마이닝 방법론 (Reinforcement Data Mining Method for Anomaly&Misuse Detection)

  • 최윤정
    • 디지털산업정보학회논문지
    • /
    • 제6권1호
    • /
    • pp.1-12
    • /
    • 2010
  • Recently, large amount of information in IDS(Intrusion Detection System) can be un manageable and also be mixed with false prediction error. In this paper, we propose a data mining methodology for IDS, which contains uncertainty based on training process and post-processing analysis additionally. Our system is trained to classify the existing attack for misuse detection, to detect the new attack pattern for anomaly detection, and to define border patter between attack and normal pattern. In experimental results show that our approach improve the performance against existing attacks and new attacks,from 0.62 to 0.84 about 35%.

설비 이상탐지를 위한 딥러닝 알고리즘 개발 (Development of a Deep Learning Algorithm for Anomaly Detection of Manufacturing Facility)

  • 김민희;진교홍
    • 한국정보통신학회논문지
    • /
    • 제26권2호
    • /
    • pp.199-206
    • /
    • 2022
  • 제품을 생산하는 설비의 고장이나 이상 현상은 곧 제품의 결함 및 생산라인 가동 중단으로 이어져 제조 업체의 막대한 경제적 손실의 원인이 된다. 스마트팩토리 서비스의 확산으로 공장에서 많은 양의 데이터가 수집됨에 따라, 이를 활용하여 제조 현장의 효율이나 제조 설비의 고장 예측 및 진단을 위한 인공지능 기반의 연구가 활발히 이어지고 있다. 하지만 정상과 이상을 구분 짓는 레이블 정보가 명확하지 않고 이상에 대한 극심한 클래스 불균형을 가지는 제조 데이터의 특징으로 인하여 분류 모델이나 이상탐지 모델의 개발에는 큰 어려움이 존재한다. 본 논문에서는 딥러닝 모델의 재구성 손실값을 이용하여 제조 설비의 이상탐지를 위한 딥러닝 알고리즘을 제안하고 성능을 분석하였다. 해당 알고리즘은 이상 데이터를 제외한 설비의 제조 데이터, 즉 정상 데이터에만 의존하여 이상을 감지한다.

다변량 시계열 이상 탐지 과업에서 비지도 학습 모델의 성능 비교 (A Survey on Unsupervised Anomaly Detection for Multivariate Time Series)

  • 임주완;이재구
    • 정보보호학회논문지
    • /
    • 제33권1호
    • /
    • pp.1-12
    • /
    • 2023
  • 다변량 시계열 이상 탐지 과업에서 정답 값이 존재하는 데이터를 얻는 것은 매우 시간 집약적인 일이다. 따라서 최근 정답 값이 필요 없는 비지도 학습법(unsupervised learning)에 관한 많은 연구가 진행되었다. 하지만 다변량 시계열 이상 탐지 과업에 특화된 주요 구조와 세부적인 특성에 대한 심화 있는 논의는 이루어지지 않았다. 본 논문에서는 비지도 학습 기반의 다변량 시계열 이상 탐지 모델과 특장점을 포괄적으로 분석하여 분류하였다. 전력 계통(power grid) 또는 Cyber Physical System(CPS)과 같은 현실 세계 데이터 집합에서 현실적인 이상 상황을 고려하여 학습을 진행하였고, 실험 결과를 바탕으로 각 모델의 정량적 성능을 비교 분석하였다. 성능 지표로는 정밀도(precision), 재현율(recall)과 F1 점수를 사용하여 성능을 측정하였다.

Data anomaly detection for structural health monitoring of bridges using shapelet transform

  • Arul, Monica;Kareem, Ahsan
    • Smart Structures and Systems
    • /
    • 제29권1호
    • /
    • pp.93-103
    • /
    • 2022
  • With the wider availability of sensor technology through easily affordable sensor devices, several Structural Health Monitoring (SHM) systems are deployed to monitor vital civil infrastructure. The continuous monitoring provides valuable information about the health of the structure that can help provide a decision support system for retrofits and other structural modifications. However, when the sensors are exposed to harsh environmental conditions, the data measured by the SHM systems tend to be affected by multiple anomalies caused by faulty or broken sensors. Given a deluge of high-dimensional data collected continuously over time, research into using machine learning methods to detect anomalies are a topic of great interest to the SHM community. This paper contributes to this effort by proposing a relatively new time series representation named "Shapelet Transform" in combination with a Random Forest classifier to autonomously identify anomalies in SHM data. The shapelet transform is a unique time series representation based solely on the shape of the time series data. Considering the individual characteristics unique to every anomaly, the application of this transform yields a new shape-based feature representation that can be combined with any standard machine learning algorithm to detect anomalous data with no manual intervention. For the present study, the anomaly detection framework consists of three steps: identifying unique shapes from anomalous data, using these shapes to transform the SHM data into a local-shape space and training machine learning algorithms on this transformed data to identify anomalies. The efficacy of this method is demonstrated by the identification of anomalies in acceleration data from an SHM system installed on a long-span bridge in China. The results show that multiple data anomalies in SHM data can be automatically detected with high accuracy using the proposed method.

THRE-KBANN을 이용한 이상현상탐지모델 (Anomaly Detection Model Using THRE-KBANN)

  • 심동희
    • 전자공학회논문지CI
    • /
    • 제38권5호
    • /
    • pp.37-43
    • /
    • 2001
  • 인터넷이 널리 이용되면서 네트워크나 호스트에 대한 불법적인 침입은 많은 위험요소가 되고 있다. 이러한 침입을 탐지하기 위하여 통계적기법, 데이터마이닝기법, 유전자 알고리즘/프로그래밍 기법 등을 이용한 이상현상 탐지모델들이 많이 제안되어 왔으나 새로운 유형의 침입에 대해서는 탐지능력이 떨어지는 단점이 있다. 본 논문에서는 THRE KBANN을 이용한 이상현상탐지모델을 제안하였는데, 이는 연속학습을 할 수 있도록 지식기반신경망을 개선한 것이다. 이 모델을 실험적 자료에 적용한 결과를 데이터마이닝기법을 적용한 경우와 비교하여 성능평가를 하였다. 그리고 새로운 침입유형을 탐지하기 위한 연속학습에 대한 성능도 평가하였다.

  • PDF

태양광 발전 이상감지를 위한 아웃라이어 추정 방법에 대한 연구 (A study on the outlier data estimation method for anomaly detection of photovoltaic system)

  • 서종관;이태일;이휘성;박점배
    • 전기전자학회논문지
    • /
    • 제24권2호
    • /
    • pp.403-408
    • /
    • 2020
  • 태양광 발전은 특성상 간헐성과 불확실성이 항상 존재하기 때문에 정확한 예측은 어려우며, 실시간 발전량 진단을 위한 이상감지 기술이 중요하다. 본 논문에서는 다양한 파라미터의 상관관계를 도출하고 최근접 이웃 알고리즘을 적용하여 정상데이터와 비정상데이터를 분류한다. 두 분류의 결과는 발전 시스템의 결함에 의한 아웃라이어와 구름 등에 의해 단기간 동안 발생하는 부분 음영 및 전체 음영의 일시적인 전력손실을 보여준다. 100kW 발전소 데이터를 대상으로 머신러닝 분석을 수행하여 테스트 결과를 산출하였으며 실제 이상치와 이상치 후보지를 검증하였다.

딥러닝을 활용한 설비 이상 탐지 및 성능 분석 (Anomaly Detection and Performance Analysis using Deep Learning)

  • 황주효;진교홍
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.78-81
    • /
    • 2021
  • 스마트공장 구축사업을 통해 제조업의 생산설비에 센서가 설치되고 각종 공정데이터를 실시간으로 수집할 수 있게 되었다. 이를 통해 제조공정의 설비이상으로 인한 생산중단을 줄이기 위해 실시간 설비 이상 탐지에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 생산설비의 이상탐지를 위해 제조데이터를 딥러닝 모델인 Autoencoder(AE), VAE(Variational Autoencoder), AAE(Adversarial Autoencoder)에 적용하여 그 결과를 도출하였다. 제조데이터는 단순 이동 평균 기법과 전처리 과정을 거쳐 입력데이터로 사용하였으며, 단순이동평균 기법의 윈도우 크기와 AE 모델의 특징벡터 크기에 따른 성능분석을 실시하였다.

  • PDF

NetFlow 데이터를 이용한 실시간 네트워크 트래픽 어노멀리 검출 기법 (A Real-Time Network Traffic Anomaly Detection Scheme Using NetFlow Data)

  • 강구홍;장종수;김기영
    • 정보처리학회논문지C
    • /
    • 제12C권1호
    • /
    • pp.19-28
    • /
    • 2005
  • 최근 알려지지 않은 공격(unknown attack)으로부터 네트워크를 보호하기 위한 네트워크 트래픽 어노멀리(anomaly) 검출에 대한 관심이 고조되고 있다. 본 논문에서는 캠퍼스 네트워크의 보드라우터(border router)의 NetFlow 데이터로 제공되는 초당비트수(bits per second)와 초당플로수(flows per second)의 상관관계를 단순회귀분석을 통하여 새로운 어노멀리 검출 기법을 제시하였다. 새로이 제안된 기법을 검증하기 위해 실지 캠퍼스 네트워크에 적용하였으며 그 결과론 Holt-Winters seasonal(HWS) 알고리즘과 비교하였다. 특히, 제안된 기법은 기존 RRDtool에 통합시켜 실시간 검출이 가능하도록 설계하였다.