• Title/Summary/Keyword: Real-Time Anomalies Detection

검색결과 43건 처리시간 0.023초

무선 센서 네트워크에서의 이상 징후 감지를 위한 공동 지수 평활법 및 추세 기반 주성분 분석 (Joint Exponential Smoothing and Trend-based Principal Component Analysis for Anomaly Detection in Wireless Sensor Networks)

  • ;양희규;;;김문성;추현승
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.145-148
    • /
    • 2019
  • Principal Component Analysis (PCA) is a powerful technique in data analysis and widely used to detect anomalies in Wireless Sensor Networks. However, the performance of conventional PCA is not high on time-series data collected by sensors. In this paper, we propose a Joint Exponential Smoothing and Trend-based Principal Component Analysis (JES-TBPCA) for Anomaly Detection which is based on conventional PCA. Experimental results on a real dataset show a remarkably higher performance of JES-TBPCA comparing to conventional PCA model in detection of stuck-at and offset anomalies.

엔트로피 기반의 이상징후 탐지 시스템 (An Anomalous Event Detection System based on Information Theory)

  • 한찬규;최형기
    • 한국정보과학회논문지:정보통신
    • /
    • 제36권3호
    • /
    • pp.173-183
    • /
    • 2009
  • 본 논문에서는 엔트로피에 기반한 이상징후 탐지 시스템을 제안한다. 엔트로피는 시스템의 무질서정도를 측정하는 지표로써, 이상징후 출현 시 네트워크의 엔트로피는 급증한다. 네트워크를 IP와 포트번호를 기준으로 분류하여, 패킷별로 역학을 관찰하고 엔트로피를 각각 측정한다. 분산서비스거부공격이나 웜, 스캐닝 등의 네트워크 공격 출현 시 패킷 교환과정이 정상적일 때와는 다르므로 엔트로피를 통하여 기존기법 보다 높은 탐지율로 이상징후를 탐지할 수 있다. 본 논문에서는 다수의 원과 서비스거부공격을 포함한 데이터 셋을 수집하여 제안기법을 검증하였다. 또한 지수평활법, Holt-winters 등의 시계열예측 기법과 주성분분석을 이용한 이상징후 탐지 기법과 정확도 측면에서 비교한다. 본 논문에서 제안한 기법으로 웜, 서비스거부공격 등의 이상징후 탐지에 있어 오탐지율을 낮출 수 있다.

패스트 데이터 기반 실시간 비정상 행위 탐지 시스템 (Real-time Abnormal Behavior Detection System based on Fast Data)

  • 이명철;문대성;김익균
    • 정보보호학회논문지
    • /
    • 제25권5호
    • /
    • pp.1027-1041
    • /
    • 2015
  • 최근, Verizon(2010), 농협(2011), SK컴즈(2011), 그리고 3.20 사이버 테러(2013)와 같이 소중한 정보가 누출되고 자산에 피해가 발생한 후에야 보안 공격을 인지하는 APT (Advanced Persistent Threat) 공격 사례가 증가하고 있다. 이러한 APT 공격을 해결하고자 이상 행위 탐지 기술 관련 연구가 일부 진행되고 있으나, 대부분 알려진 악성 코드의 시그너쳐 기반으로 명백한 이상 행위를 탐지하는데 초점을 맞추고 있어서, 장기간 잠복하며 제로데이 취약점을 이용하고, 새로운 또는 변형된 악성 코드를 일관되게 사용하는 APT 공격에는 취약하여, 미탐율이 굉장히 높은 문제들을 겪고 있다. APT 공격을 탐지하기 위해서는 다양한 소스로부터 장기간에 걸쳐 대규모 데이터를 수집, 처리 및 분석하는 기술과, 데이터를 수집 즉시 실시간 분석하는 기술, 그리고 개별 공격들 간의 상관(correlation) 분석 기술이 동시에 요구되나, 기존 보안 시스템들은 이러한 복잡한 분석 능력이나 컴퓨팅 파워, 신속성 등이 부족하다. 본 논문에서는 기존 시스템들의 실시간 처리 및 분석 한계를 극복하기 위해, 패스트 데이터 기반 실시간 비정상 행위 탐지 시스템을 제안한다.

건축공간 환경관리 지원을 위한 AI·IoT 기반 이상패턴 검출에 관한 연구 (A Study on Detection of Abnormal Patterns Based on AI·IoT to Support Environmental Management of Architectural Spaces)

  • 강태욱
    • 한국BIM학회 논문집
    • /
    • 제13권3호
    • /
    • pp.12-20
    • /
    • 2023
  • Deep learning-based anomaly detection technology is used in various fields such as computer vision, speech recognition, and natural language processing. In particular, this technology is applied in various fields such as monitoring manufacturing equipment abnormalities, detecting financial fraud, detecting network hacking, and detecting anomalies in medical images. However, in the field of construction and architecture, research on deep learning-based data anomaly detection technology is difficult due to the lack of digitization of domain knowledge due to late digital conversion, lack of learning data, and difficulties in collecting and processing field data in real time. This study acquires necessary data through IoT (Internet of Things) from the viewpoint of monitoring for environmental management of architectural spaces, converts them into a database, learns deep learning, and then supports anomaly patterns using AI (Artificial Infelligence) deep learning-based anomaly detection. We propose an implementation process. The results of this study suggest an effective environmental anomaly pattern detection solution architecture for environmental management of architectural spaces, proving its feasibility. The proposed method enables quick response through real-time data processing and analysis collected from IoT. In order to confirm the effectiveness of the proposed method, performance analysis is performed through prototype implementation to derive the results.

Data anomaly detection and Data fusion based on Incremental Principal Component Analysis in Fog Computing

  • Yu, Xue-Yong;Guo, Xin-Hui
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권10호
    • /
    • pp.3989-4006
    • /
    • 2020
  • The intelligent agriculture monitoring is based on the perception and analysis of environmental data, which enables the monitoring of the production environment and the control of environmental regulation equipment. As the scale of the application continues to expand, a large amount of data will be generated from the perception layer and uploaded to the cloud service, which will bring challenges of insufficient bandwidth and processing capacity. A fog-based offline and real-time hybrid data analysis architecture was proposed in this paper, which combines offline and real-time analysis to enable real-time data processing on resource-constrained IoT devices. Furthermore, we propose a data process-ing algorithm based on the incremental principal component analysis, which can achieve data dimensionality reduction and update of principal components. We also introduce the concept of Squared Prediction Error (SPE) value and realize the abnormal detection of data through the combination of SPE value and data fusion algorithm. To ensure the accuracy and effectiveness of the algorithm, we design a regular-SPE hybrid model update strategy, which enables the principal component to be updated on demand when data anomalies are found. In addition, this strategy can significantly reduce resource consumption growth due to the data analysis architectures. Practical datasets-based simulations have confirmed that the proposed algorithm can perform data fusion and exception processing in real-time on resource-constrained devices; Our model update strategy can reduce the overall system resource consumption while ensuring the accuracy of the algorithm.

위성항법 신호를 이용한 지진에 의한 전리층 교란 실시간 검출 기법 연구 (Real-Time Detection of Seismic Ionospheric Disturbance Using Global Navigation Satellite System Signal)

  • 송준솔;강선호;한덕화;김부겸;기창돈
    • 한국항공우주학회지
    • /
    • 제47권8호
    • /
    • pp.549-557
    • /
    • 2019
  • 본 연구에서는 위성항법 신호를 활용하여 전리층 교란 관측을 통한 실시간 지진 발생 검출에 대한 연구를 수행한다. 위성항법 신호를 활용하여 추정한 전리층 지연을 이용하여 전리층 교란 모니터를 선정하고, 실시간 검출을 위한 교란 판단 기준값(threshold)을 계산하는 방법을 소개한다. 또한, cycle slip 등 다른 오차 요인에 의하여 발생하는 전리층 변화와 지진에 의해 발생하는 전리층 변화를 구분하기 위하여, 지진에 의한 파동 특성을 이용하여 지진에 의한 전리층 교란 검출 판단 기준을 제시한다. 한국 및 일본에 설치되어 있는 47개의 기준국으로부터 수집한 측정치를 활용하여 제안된 알고리즘의 성능 검증을 수행한다.

Flow-based Anomaly Detection Using Access Behavior Profiling and Time-sequenced Relation Mining

  • Liu, Weixin;Zheng, Kangfeng;Wu, Bin;Wu, Chunhua;Niu, Xinxin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권6호
    • /
    • pp.2781-2800
    • /
    • 2016
  • Emerging attacks aim to access proprietary assets and steal data for business or political motives, such as Operation Aurora and Operation Shady RAT. Skilled Intruders would likely remove their traces on targeted hosts, but their network movements, which are continuously recorded by network devices, cannot be easily eliminated by themselves. However, without complete knowledge about both inbound/outbound and internal traffic, it is difficult for security team to unveil hidden traces of intruders. In this paper, we propose an autonomous anomaly detection system based on behavior profiling and relation mining. The single-hop access profiling model employ a novel linear grouping algorithm PSOLGA to create behavior profiles for each individual server application discovered automatically in historical flow analysis. Besides that, the double-hop access relation model utilizes in-memory graph to mine time-sequenced access relations between different server applications. Using the behavior profiles and relation rules, this approach is able to detect possible anomalies and violations in real-time detection. Finally, the experimental results demonstrate that the designed models are promising in terms of accuracy and computational efficiency.

임업인의 신체 이상 징후 실시간 감지 및 재해 조기경보 사물인터넷 구축에 관한 연구 (A Study on Real-Time Detection of Physical Abnormalities of Forestry Worker and Establishment of Disaster Early Warning IOT)

  • 박인규;함운철
    • 융합정보논문지
    • /
    • 제11권5호
    • /
    • pp.1-8
    • /
    • 2021
  • 본 논문에서는 임업인의 신체 이상 징후를 실시간 모니터링하여 응급 조치를 수행함과 동시에 인근의 산불이나 산사태와 같은 자연재해 또는 열사병에 대한 알람을 제공하는 IOT 구축을 제안한다. 임업인에게 제공되는 노드에 6축 센서, 온도 센서, GPS, LoRa를 포함하도록 하고, LoRa 통신을 이용하여 측정된 데이터를 게이트웨이를 통해 네트워크 서버에 송신한다. 네트워크 서버는 6축 센서 데이터로 임업인의 신체 이상 징후 여부를 판단한 후 GPS 위치를 추적하여 응급 조치를 수행한다. 온도 데이터를 분석한 후 열사병 가능성이 있는 경우 또는 인근에서 산불 및 산사태가 발생했을 경우에 알람을 제공한다. 본 논문에서는 노드 및 게이트웨이를 제작하고, 네트워크 서버를 구축하여 얻은 데이터를 분석하여 임업인의 신체 이상 징후 실시간 감지 및 재해조기경보 IOT 구축이 가능함을 확인하였다.

LSTM-Autoencoder를 이용한 부유식 풍력터빈 블레이드 피치 시스템의 이상징후 감지 (Anomaly detection in blade pitch systems of floating wind turbines using LSTM-Autoencoder)

  • 조성필
    • 항공우주시스템공학회지
    • /
    • 제18권4호
    • /
    • pp.43-52
    • /
    • 2024
  • 본 논문은 부유식 풍력터빈의 블레이드 피치 시스템에서 발생하는 이상을 조기에 감지하기 위한 LSTM-Autoencoder 모델 기반의 이상징후 감지 시스템을 설명한다. 발전소 모니터링 시스템에 활용되는 센서 데이터는 주로 시계열 데이터로 구성되며, LSTM 네트워크는 이러한 시계열 데이터를 분석하기 위해 두 개의 단방향 LSTM 네트워크로 구성된다. 이를 통해 순차 데이터에 숨겨진 장기 의존성을 효과적으로 발견할 수 있다. 한편, 오토인코더 메커니즘은 정상상태 데이터로부터만 학습하여 이상상태를 분류될 수 있기 때문에 이 두 가지 네트워크를 결합하여 시스템에 발생하는 이상징후를 효과적으로 감지할 수 있다. 제안된 프레임워크의 효과를 입증하기 위해 풍력 터빈 모델에서 수집한 실제 다변량 시계열 데이터셋을 적용하였다. LSTM-AE 모델은 높은 이상징후 감지 정확도를 달성하여 우수한 성능을 보였다.

YOLOv5 based Anomaly Detection for Subway Safety Management Using Dilated Convolution

  • Nusrat Jahan Tahira;Ju-Ryong Park;Seung-Jin Lim;Jang-Sik Park
    • 한국산업융합학회 논문집
    • /
    • 제26권2_1호
    • /
    • pp.217-223
    • /
    • 2023
  • With the rapid advancement of technologies, need for different research fields where this technology can be used is also increasing. One of the most researched topic in computer vision is object detection, which has widely been implemented in various fields which include healthcare, video surveillance and education. The main goal of object detection is to identify and categorize all the objects in a target environment. Specifically, methods of object detection consist of a variety of significant techniq ues, such as image processing and patterns recognition. Anomaly detection is a part of object detection, anomalies can be found various scenarios for example crowded places such as subway stations. An abnormal event can be assumed as a variation from the conventional scene. Since the abnormal event does not occur frequently, the distribution of normal and abnormal events is thoroughly imbalanced. In terms of public safety, abnormal events should be avoided and therefore immediate action need to be taken. When abnormal events occur in certain places, real time detection is required to prevent and protect the safety of the people. To solve the above problems, we propose a modified YOLOv5 object detection algorithm by implementing dilated convolutional layers which achieved 97% mAP50 compared to other five different models of YOLOv5. In addition to this, we also created a simple mobile application to avail the abnormal event detection on mobile phones.