• Smart Structures and Systems
• /
• 제29권1호
• /
• pp.77-91
• /
• 2022

Various monitoring systems have been implemented in civil infrastructure to ensure structural safety and integrity. In long-term monitoring, these systems generate a large amount of data, where anomalies are not unusual and can pose unique challenges for structural health monitoring applications, such as system identification and damage detection. Therefore, developing efficient techniques is quite essential to recognize the anomalies in monitoring data. In this study, several machine learning techniques are explored and implemented to detect and classify various types of data anomalies. A field dataset, which consists of one month long acceleration data obtained from a long-span cable-stayed bridge in China, is employed to examine the machine learning techniques for automated data anomaly detection. These techniques include the statistic-based pattern recognition network, spectrogram-based convolutional neural network, image-based time history convolutional neural network, image-based time-frequency hybrid convolution neural network (GoogLeNet), and proposed ensemble neural network model. The ensemble model deliberately combines different machine learning models to enhance anomaly classification performance. The results show that all these techniques can successfully detect and classify six types of data anomalies (i.e., missing, minor, outlier, square, trend, drift). Moreover, both image-based time history convolutional neural network and GoogLeNet are further investigated for the capability of autonomous online anomaly classification and found to effectively classify anomalies with decent performance. As seen in comparison with accuracy, the proposed ensemble neural network model outperforms the other three machine learning techniques. This study also evaluates the proposed ensemble neural network model to a blind test dataset. As found in the results, this ensemble model is effective for data anomaly detection and applicable for the signal characteristics changing over time.

• 정보처리학회 논문지
• /
• 제13권3호
• /
• pp.130-139
• /
• 2024

제조 분야 설비 예지보전을 위해서 진동, 전류, 온도 등 물리 데이터를 기반으로 설비 이상을 탐지하는 인공지능 학습 모델이 활용되고 있다. 설비 결함, 고장 등 설비 이상 유형은 매우 다양하므로, 주로 오토인코더 기반 비지도 학습 모델을 이용한 이상 탐지 방법이 적용되고 있다. 설비 상태의 정상, 비정상 여부는 오토인코더의 재구성 오차를 이용해 효과적으로 분류할 수 있지만, 설비 이상의 구체적인 상태를 식별하는 데 한계가 있다. 설비 불균형, 정렬 불량, 고정 불량 등 설비 이상 상황 발생 시, 설비 진동 주파수는 특정 영역에서 정상 상태와 다른 패턴을 나타낸다. 본 논문에서는 전체 진동 주파수 범위를 N개 영역으로 나누어 이상 탐지를 수행하는 N 분할 이상 탐지 방법을 제시하였다. 압축기의 진동 데이터를 이용해 주파수와 강도를 달리한 9종의 이상 데이터를 대상으로 실험한 결과, N 분할을 적용하였을 때 더 높은 이상 탐지 성능을 나타냈다. 제안 방법은 설비 이상 탐지 이후, 설비 이상 구체화에 활용될 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제8권1호
• /
• pp.103-113
• /
• 2003

프로그램 행위 침입 탐지 기법은 데몬 프로그램이나 루트 권한으로 실행되는 프로그램이 발생시키는 시스템 호출들을 분석하고 프로파일을 구축하여 침입을 효과적으로 탐지한다 시스템 호출을 이용한 이상 탐지는 단지 그 프로세스가 이상(anomaly)임을 탐지할 뿐 그 프로세스에 의해 영향을 받는 여러 부분에 대해서는 탐지하지 못하는 문제점을 갖는다. 이러한 문제점을 개선하는 방법이 베이지안 확률값 이용하여 여러 프로세스의 시스템 호출간의 관계를 표현하고, 베이지안 네트워크를 이용한 어플리케이션의 행위 프로파일링에 의해 이상 탐지 정보를 제공한다. 본 논문은 여러 침입 탐지 모델들의 문제점들을 극복하면서 이상 침입 탐지를 효율적으로 수행할 수 있는 베이지안 네트워크를 이용한 침입 탐지 방법을 제안한다 행위의 전후 관계를 이용한 정상 행위를 간결하게 프로파일링하며, 변형되거나 새로운 행위에 대해서도 탐지가 가능하다. 제안한 정상행위 프로파일링 기법을 UNM 데이터를 이용하여 시뮬레이션하였다.

• 인터넷정보학회논문지
• /
• 제22권1호
• /
• pp.13-22
• /
• 2021

최근 네트워크 환경에 대한 공격이 급속도로 고도화 및 지능화 되고 있기에, 기존의 시그니처 기반 침입탐지 시스템은 한계점이 명확해지고 있다. 지능형 지속 위협(Adavanced Persistent Threat; APT)과 같은 새로운 공격에 대해서 시그니처 패턴은 일반화 성능이 떨어지는 문제가 존재한다. 이러한 문제를 해결하기 위해 기계학습 기반의 침입 탐지 시스템에 대한 연구가 활발히 진행되고 있다. 하지만 실제 네트워크 환경에서 공격 샘플은 정상 샘플에 비해서 매우 적게 수집되어 클래스 불균형(Class Imbalance) 문제를 겪게 된다. 이러한 데이터로 지도 학습 기반의 이상 탐지 모델을 학습시킬 경우 정상 샘플에 편향된 결과를 가지게 된다. 본 논문에서는 이러한 불균형 문제를 해결하기 위해서 오토 인코더(Auto Encoder; AE)를 활용해 One-Class Anomaly Detection 을 수행하여 이를 극복한다. 실험은 NSL-KDD 데이터 셋을 통해 진행되었으며, 제안한 방법의 성능 평가를 위해 지도 학습된 모델들과 성능을 비교한다.

• Smart Structures and Systems
• /
• 제31권2호
• /
• pp.183-197
• /
• 2023

For long-span bridges with a structural health monitoring (SHM) system, environmental temperature-driven responses are proved to be a main component in measurements. However, anomalous structural behavior may be hidden incomplicated recorded data. In order to receive reliable assessment of structural performance, it is important to study therelationship between temperature and monitoring data. This paper presents an application of the cointegration based methodology to detect anomalies that may be masked by temperature effects and then forecast the temperature-induced deflection (TID) of long-span suspension bridges. Firstly, temperature effects on girder deflection are analyzed with fieldmeasured data of a suspension bridge. Subsequently, the cointegration testing procedure is conducted. A threshold-based anomaly detection framework that eliminates the influence of environmental temperature is also proposed. The cointegrated residual series is extracted as the index to monitor anomaly events in bridges. Then, wavelet separation method is used to obtain TIDs from recorded data. Combining cointegration theory with autoregressive moving average (ARMA) model, TIDs for longspan bridges are modeled and forecasted. Finally, in-situ measurements of Xihoumen Bridge are adopted as an example to demonstrate the effectiveness of the cointegration based approach. In conclusion, the proposed method is practical for actual structures which ensures the efficient management and maintenance based on monitoring data.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제5권6호
• /
• pp.283-288
• /
• 2016

최근 빅데이터 처리를 위한 연구들이 활발히 진행 중이며, 관련된 다양한 제품들이 개발되고 있다. 이에 따라, 기존 환경에서는 처리가 어려웠던 대용량 로그 데이터의 저장 및 분석이 가능해졌다. 본 논문은 다수의 서버에서 빠르게 생성되는 대량의 로그 데이터를 Apache Hive에서 분석할 수 있는 데이터 저장 구조를 제안한다. 그리고 저장된 로그 데이터로부터 특정 서버의 이상 유무를 판단하기 위해, 이동 평균 및 3-시그마 기반의 이상 탐지 기술을 설계 및 구현한다. 또한, 실험을 통해 로그 데이터의 급격한 증가폭을 나타내는 구간을 이상으로 판단하여, 제안한 이상 탐지 기술의 유효성을 보인다. 이 같은 결과를 볼 때, 본 연구는 하둡 기반으로 로그 데이터를 분석하여 이상치를 바르게 탐지할 수 있는 우수한 결과라 사료된다.

• 정보보호학회논문지
• /
• 제29권4호
• /
• pp.795-805
• /
• 2019

최근 알려지지 않은 공격에 대처하기 위한 네트워크 비정상(anomaly) 탐지 기술에 대한 관심이 한층 높아지고 있다. 이러한 기술 개발을 위해 데이터 마이닝(data mining), 기계학습(machine learning), 그리고 딥러닝(deep learning)등을 활용한 다양한 연구가 진행되고 있다. 본 논문에서는 분류(classification) 문제를 다루는 데이터 마이닝 기술 중 가장 전통적인 방법 중 하나인 의사결정나무(decision tree)를 이용하여 NSL-KDD 데이터 셋을 대상으로 네트워크 비정상 탐지 가능성을 보여준다. 의사결정나무의 과대적합(over-fitting) 단점을 해소하기 위해 카이-제곱(chi-square) 테스트를 통해 최적의 속성 선택(feature selection)을 수행하고, 선택된 13개의 속성을 사용한 의사결정나무 모델 환경에서 NSL-KDD 시험 데이터 셋 KDDTest+에 대해 84% 그리고 KDDTest-21에 대해 70%의 네트워크 비정상 검출 정확도를 보였다. 제시된 정확도는 기존 의사결정나무 모델 적용 시 이들 시험 데이터 셋을 대상으로 알려진 정확도 81% 그리고 64% 수준과 비교해 약 3% 그리고 6% 각각 향상된 결과다.

• 인터넷정보학회논문지
• /
• 제23권5호
• /
• pp.79-85
• /
• 2022

이상 탐지는 일반적인 사용자들의 데이터 집합 속에서 비정상적인 데이터 흐름을 파악하여 미리 차단하는 방법이다. 기존에 알려진 방식은 이미 알려진 공격의 시그니처를 활용하여 시그니처 기반으로 공격을 탐지 및 방어하는 방식인데, 이는 오탐율이 낮다는 장점이 있지만 제로 데이 취약점 공격이나 변형된 공격에 대해서는 매우 취약하다는 점이 문제점이다. 하지만 이상 탐지의 경우엔 오탐율이 높다는 단점이 존재하지만 제로 데이 취약점 공격이나 변형된 공격에 대해서도 식별하여 탐지 및 차단할 수 있다는 장점이 있어 관련 연구들이 활발해지고 있는 중이다. 본 연구에서는 이 중 이상 탐지 메커니즘에 대해 다뤘다. 앞서 말한 단점인 높은 오탐율을 보완하며 그와 더불어 이상 탐지와 분류를 동시에 수행하는 새로운 메커니즘을 제안한다. 본 연구에서는 여러 알고리즘의 특성을 고려하여 5가지의 구성으로 실험을 진행하였다. 그 결과로 가장 우수한 정확도를 보이는 모델을 본 연구의 결과로 제안하였다. Extra Tree와 Three layer ANN을 동시에 적용하여 공격 여부를 탐지한 후 공격을 분류된 데이터에 대해서는 Extra Tree를 활용하여 공격 유형을 분류하게 된다. 본 연구에서는 NSL-KDD 데이터 세트에 대해서 검증을 진행하였으며, Accuracy는 Normal, Dos, Probe, U2R, R2L에 대하여 각각 99.8%, 99.1%, 98.9%, 98.7%, 97.9%의 결과를 보였다. 본 구성은 다른 모델에 비해 우수한 성능을 보였다.

• 한국BIM학회 논문집
• /
• 제7권1호
• /
• pp.18-27
• /
• 2017

Although Industry Foundation Classes (IFC) provide standards for exchanging Building Information Modeling (BIM) data, authoring tools still require manual mapping between BIM entities and IFC classes. This leads to errors and omissions, which results in corrupted data exchanges that are unreliable and thus compromise the validity of IFC. This research explored precedent work by Krijnen and Tamke, who suggested ways to automate the mapping of IFC classes using a machine learning technique, namely anomaly detection. The technique incorporates geometric features of individual components to find outliers among entities in identical IFC classes. This research primarily focused on applying this approach on two architectural BIM models and determining its feasibility as well as limitations. Results indicated that the approach, while effective, misclassified outliers when an IFC class had several dissimilar entities. Another issue was the lack of entities for some specific IFC classes that prohibited the anomaly detection from comparing differences. Future research to improve these issues include the addition of geometric features, using novelty detection and the inclusion of a probabilistic graph model, to improve classification accuracy.

• 한국신뢰성학회지:신뢰성응용연구
• /
• 제18권1호
• /
• pp.20-32
• /
• 2018

Purpose: The purpose of this study is to set up an anomaly detection criteria for sensor data coming from a motorcycle. Methods: Five sensor values for accelerator pedal, engine rpm, transmission rpm, gear and speed are obtained every 0.02 second from a motorcycle. Exploratory data analysis is used to find any pattern in the data. Traditional process control methods such as X control chart and time series models are fitted to find any anomaly behavior in the data. Finally unsupervised learning algorithm such as k-means clustering is used to find any anomaly spot in the sensor data. Results: According to exploratory data analysis, the distribution of accelerator pedal sensor values is very much skewed to the left. The motorcycle seemed to have been driven in a city at speed less than 45 kilometers per hour. Traditional process control charts such as X control chart fail due to severe autocorrelation in each sensor data. However, ARIMA model found three abnormal points where they are beyond 2 sigma limits in the control chart. We applied a copula based Markov chain to perform statistical process control for correlated observations. Copula based Markov model found anomaly behavior in the similar places as ARIMA model. In an unsupervised learning algorithm, large sensor values get subdivided into two, three, and four disjoint regions. So extreme sensor values are the ones that need to be tracked down for any sign of anomaly behavior in the sensor values. Conclusion: Exploratory data analysis is useful to find any pattern in the sensor data. Process control chart using ARIMA and Joe's copula based Markov model also give warnings near similar places in the data. Unsupervised learning algorithm shows us that the extreme sensor values are the ones that need to be tracked down for any sign of anomaly behavior.