• Title/Summary/Keyword: 이상데이터

Search Result 6,469, Processing Time 0.049 seconds

AIS 데이터를 활용한 선박궤적의 분석

  • Jeong, Jung-Sik;Park, Gye-Gak;Kim, Eun-Gyeong
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2012.06a
    • /
    • pp.38-40
    • /
    • 2012
  • 해상 교통량 증가로 급증하는 선박 사고 위험을 줄이기 위해 안전 운항 관리를 위한 연구가 필수적이다. 최근 SOLAS에서 300톤 이상 급에 대해서는 AIS의 의무 장착이 제정되면서 선박 운항의 안전에 크게 기여하고 있다. 본 연구에서는 AIS의 정적, 동적 데이터를 수집하여 항계내 통항 선박의 궤적의 곡률을 분석하여 불규칙 이동 조종선박의 움직임을 파악하였다. 기존의 과거 누적 데이터의 퍼지이론을 활용한 이상 거동의 선박식별 시스템은 전문가 시스템에 의존하여 항적의 비정상성을 판단하므로 항로의 특성에 따른 실 항해상황을 간과할 수 있는 문제점이 있다. 본 연구는 선박 움직임에 대한 궤적의 시간 AIS 정보를 활용하여 항로이탈의 변화율에 해당하는 곡률분석, 항로선으로부터 좌우의 변동을 보다 정확하게 모니터링 할 수 있는 이상 거동 선박을 식별하는 방법을 제안한다. 본 연구는 VTS 및 VMS의 응용서비스로서 해양사고의 사전예방을 위한 연안 및 항만수로의 효율적인 관리에 기여할 것이다.

  • PDF

Real-time construction machine data processing and fault prediction system (실시간 건설기계 데이터 처리 및 이상 유무 예측 시스템)

  • Kim, Chan-Hyup;An, Jae-Hoon;Han, Jae-Seung;Kim, Young-Hwan
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2018.07a
    • /
    • pp.364-366
    • /
    • 2018
  • 본 논문에서는 Digital Twin 기반 건설기계 지능화를 위한 실시간 건설기계 데이터 처리 및 이상 유무 예측 시스템을 제안한다. 이 시스템은 빅 데이터 분산처리 기반으로 실시간 스트리밍 처리가 가능하며, CEP(Complex Event Processing)의 Sliding Window Operator를 활용한 Rule 적용을 통해 건설기계 데이터 처리 및 분석한다. 분석된 결과로 건설기계의 실시간 이상 유무를 판단할 수 있으며, 결과를 기반으로 Deep Learning 기술을 적용하고 학습된 모델을 통해 건설기계의 이상 유무를 예측하여 원활한 부품관리를 할 수 있다.

  • PDF

Internal Information Leakage Detection System using Time Series Graph (시계열 그래프를 이용한 내부 데이터 유출 탐지 시스템)

  • Seo, Min Ji;Shin, Hee Jin;Kim, Myung Ho;Park, Jin Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.04a
    • /
    • pp.769-770
    • /
    • 2017
  • 최근 데이터 기술의 발달에 따라, 기업에서는 중요 데이터를 서버와 같은 데이터 저장 장치에 보관하고 있다. 하지만 기업 내부 직원에 의해 기업의 기밀 데이터가 유출될 수 있는 위험성이 있기 때문에, 내부 직원에 의한 데이터 유출을 탐지 및 방지해야 할 필요성이 있다. 따라서 본 논문에서는 각 보안 솔루션에서 수집한 보안 로그를 데이터 유출 시나리오를 바탕으로 시계열 그래프로 작성하여, 이미지 인식에 뛰어난 성능을 보이는 합성곱 신경망을 통해 데이터 유출을 탐지하는 시스템을 제안한다. 실험 결과 유출된 데이터의 크기에 상관없이 95% 이상의 정확도를 보였으며, 복합적인 행동을 통해 데이터 유출을 시도한 경우에도 97% 이상의 정확도를 보였다.

Intrusion Detection Method Using Unsupervised Learning-Based Embedding and Autoencoder (비지도 학습 기반의 임베딩과 오토인코더를 사용한 침입 탐지 방법)

  • Junwoo Lee;Kangseok Kim
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.12 no.8
    • /
    • pp.355-364
    • /
    • 2023
  • As advanced cyber threats continue to increase in recent years, it is difficult to detect new types of cyber attacks with existing pattern or signature-based intrusion detection method. Therefore, research on anomaly detection methods using data learning-based artificial intelligence technology is increasing. In addition, supervised learning-based anomaly detection methods are difficult to use in real environments because they require sufficient labeled data for learning. Research on an unsupervised learning-based method that learns from normal data and detects an anomaly by finding a pattern in the data itself has been actively conducted. Therefore, this study aims to extract a latent vector that preserves useful sequence information from sequence log data and develop an anomaly detection learning model using the extracted latent vector. Word2Vec was used to create a dense vector representation corresponding to the characteristics of each sequence, and an unsupervised autoencoder was developed to extract latent vectors from sequence data expressed as dense vectors. The developed autoencoder model is a recurrent neural network GRU (Gated Recurrent Unit) based denoising autoencoder suitable for sequence data, a one-dimensional convolutional neural network-based autoencoder to solve the limited short-term memory problem that GRU can have, and an autoencoder combining GRU and one-dimensional convolution was used. The data used in the experiment is time-series-based NGIDS (Next Generation IDS Dataset) data, and as a result of the experiment, an autoencoder that combines GRU and one-dimensional convolution is better than a model using a GRU-based autoencoder or a one-dimensional convolution-based autoencoder. It was efficient in terms of learning time for extracting useful latent patterns from training data, and showed stable performance with smaller fluctuations in anomaly detection performance.

Anomaly Detection Analysis using Repository based on Inverted Index (역방향 인덱스 기반의 저장소를 이용한 이상 탐지 분석)

  • Park, Jumi;Cho, Weduke;Kim, Kangseok
    • Journal of KIISE
    • /
    • v.45 no.3
    • /
    • pp.294-302
    • /
    • 2018
  • With the emergence of the new service industry due to the development of information and communication technology, cyber space risks such as personal information infringement and industrial confidentiality leakage have diversified, and the security problem has emerged as a critical issue. In this paper, we propose a behavior-based anomaly detection method that is suitable for real-time and large-volume data analysis technology. We show that the proposed detection method is superior to existing signature security countermeasures that are based on large-capacity user log data according to in-company personal information abuse and internal information leakage. As the proposed behavior-based anomaly detection method requires a technique for processing large amounts of data, a real-time search engine is used, called Elasticsearch, which is based on an inverted index. In addition, statistical based frequency analysis and preprocessing were performed for data analysis, and the DBSCAN algorithm, which is a density based clustering method, was applied to classify abnormal data with an example for easy analysis through visualization. Unlike the existing anomaly detection system, the proposed behavior-based anomaly detection technique is promising as it enables anomaly detection analysis without the need to set the threshold value separately, and was proposed from a statistical perspective.

Experimental Study on Application of an Anomaly Detection Algorithm in Electric Current Datasets Generated from Marine Air Compressor with Time-series Features (시계열 특징을 갖는 선박용 공기 압축기 전류 데이터의 이상 탐지 알고리즘 적용 실험)

  • Lee, Jung-Hyung
    • Journal of the Korean Society of Marine Environment & Safety
    • /
    • v.27 no.1
    • /
    • pp.127-134
    • /
    • 2021
  • In this study, an anomaly detection (AD) algorithm was implemented to detect the failure of a marine air compressor. A lab-scale experiment was designed to produce fault datasets (time-series electric current measurements) for 10 failure modes of the air compressor. The results demonstrated that the temporal pattern of the datasets showed periodicity with a different period, depending on the failure mode. An AD model with a convolutional autoencoder was developed and trained based on a normal operation dataset. The reconstruction error was used as the threshold for AD. The reconstruction error was noted to be dependent on the AD model and hyperparameter tuning. The AD model was applied to the synthetic dataset, which comprised both normal and abnormal conditions of the air compressor for validation. The AD model exhibited good detection performance on anomalies showing periodicity but poor performance on anomalies resulting from subtle load changes in the motor.

Anomaly Detection Methodology Based on Multimodal Deep Learning (멀티모달 딥 러닝 기반 이상 상황 탐지 방법론)

  • Lee, DongHoon;Kim, Namgyu
    • Journal of Intelligence and Information Systems
    • /
    • v.28 no.2
    • /
    • pp.101-125
    • /
    • 2022
  • Recently, with the development of computing technology and the improvement of the cloud environment, deep learning technology has developed, and attempts to apply deep learning to various fields are increasing. A typical example is anomaly detection, which is a technique for identifying values or patterns that deviate from normal data. Among the representative types of anomaly detection, it is very difficult to detect a contextual anomaly that requires understanding of the overall situation. In general, detection of anomalies in image data is performed using a pre-trained model trained on large data. However, since this pre-trained model was created by focusing on object classification of images, there is a limit to be applied to anomaly detection that needs to understand complex situations created by various objects. Therefore, in this study, we newly propose a two-step pre-trained model for detecting abnormal situation. Our methodology performs additional learning from image captioning to understand not only mere objects but also the complicated situation created by them. Specifically, the proposed methodology transfers knowledge of the pre-trained model that has learned object classification with ImageNet data to the image captioning model, and uses the caption that describes the situation represented by the image. Afterwards, the weight obtained by learning the situational characteristics through images and captions is extracted and fine-tuning is performed to generate an anomaly detection model. To evaluate the performance of the proposed methodology, an anomaly detection experiment was performed on 400 situational images and the experimental results showed that the proposed methodology was superior in terms of anomaly detection accuracy and F1-score compared to the existing traditional pre-trained model.

Development of Algorithm Patterns for Identifying the Time of Abnormal Low Temperature Generation (이상저온 발생 시점 확인을 위한 알고리즘 패턴 개발)

  • Jeongwon Lee;Choong Ho Lee
    • Journal of Industrial Convergence
    • /
    • v.21 no.8
    • /
    • pp.43-49
    • /
    • 2023
  • Since 2018, due to climate change, heat waves and cold waves have caused gradual damage to social infrastructure. Since the damage caused by cold weather has increased every year due to climate change in recent 4 years, the damage that was limited to a specific area is now appearing all over the country, and a lot of efforts are being concentrated from experts in various fields to minimize this. However, it is not easy to study real-time observation of sudden abnormal low temperature in existing studies to reflect local characteristics in discontinuously measured data. In this study, based on the weather-related data that affects the occurrence of cold-weather damage, we developed an algorithm pattern that can identify the time when abnormal cold temperatures occurred after searching for weather patterns at the time of cold-weather damage. The results of this study are expected to be of great help to the related field in that it is possible to confirm the time when the abnormal low temperature occurs due to the data generated in real time without relying on the past data.

Analysis of detected anomalies in VOC reduction facilities using deep learning

  • Min-Ji Son;Myung Ho Kim
    • Journal of the Korea Society of Computer and Information
    • /
    • v.28 no.4
    • /
    • pp.13-20
    • /
    • 2023
  • In this paper, the actual data of VOC reduction facilities was analyzed through a model that detects and predicts data anomalies. Using the USAD model, which shows stable performance in the field of anomaly detection, anomalies in real-time data are detected and sensors that cause anomalies are searched. In addition, we propose a method of predicting and warning, when abnormalities that time will occur by predicting future outliers with an auto-regressive model. The experiment was conducted with the actual data of the VOC reduction facility, and the anomaly detection test results showed high detection rates with precision, recall, and F1-score of 98.54%, 89.08%, and 93.57%, respectively. As a result, averaging of the precision, recall, and F1-score for 8 sensors of detection rates were 99.64%, 99.37%, and 99.63%. In addition, the Hamming loss obtained to confirm the validity of the detection experiment for each sensor was 0.0058, showing stable performance. And the abnormal prediction test result showed stable performance with an average absolute error of 0.0902.

Vibration Diagnosis of Rotating Machinery Using Fuzzy Inference (퍼지추론을 이용한 회전기계의 정밀진단법)

  • 전순기;양보석
    • Proceedings of the Korean Society for Noise and Vibration Engineering Conference
    • /
    • 1995.10a
    • /
    • pp.284-288
    • /
    • 1995
  • 최근 애매성이 수반되는 정보를 Zadeh는 멤버쉽함수(membership function)를 이용하여 새로운 정보처리 방식으로서 퍼지이론을 제안하였고, 그후 의료계에서도 퍼지이론을 도입한 진단법들이 제안되었다. 회전기계의 이상진단법으로는 주파수득점법(Point counting method), 퍼지역연산법(Inverse method of fuzzy theory)등이 보고되고 있으며, 저자들도 퍼지이론을 이용하여 구름베어링의 결함진단, 회전기계의 간이 이상진단법등을 보고하였다. 이들은 주로 진동주파수의 스펙트럼 데이터 만을 이용하고 있고, 다른 많은 데이터를 복합적으로 이용할 수 없다. 이 때문에 주로 소규모 문제의 간이진단에서는 효과적이나 진단대상이 복잡하고 대규모로 되면 보다 정확한 원인 추정이 곤란하게 된다. 또한 수치데이터만을 취급할 수 있으므로 진동전문가가 진단에 이용하는 각종의 수치화 될 수 없는 데이터(언어적인 정보)가 취급될 수 없다. 따라서 이들의 진단법은 개략적인 진단은 가능하나 상세한 원인까지는 진단할 수 없는 단점이 있다. 회전기계의 이상판단시 참고가 되는 각종 정보로는 주로 진동진폭의 크기, 진폭과 위상의 변화, 진폭의 변화, 진동파형, 진동벡터의 시간변화 등이 있고, 이들은 수치적으로 표현할 수 있는 계량데이터와 판단의 경계가 불명확한 언어정보(범위데이터)로 나눌 수 있다. 후자는 애매성(fuzziness)을 많이 포함하고 있으며, 엄밀히 측정되는 수치데이터에서도 퍼지성을 가지고 있다. 이러한 언어적인 정보의 애매성을 퍼지추론에서는 [수치적 진리치](numeric truth)와 [언어적 진리치](linguistic truth)의 개념으로 표현하게 되었다. 수치적 진리치는 확실함의 척도를 [0,1] 사이의 수치를 이용하여 표현하고 있으며, 이 수치는 소견의 확실도로서 가능성을 표현한 것이다. 예를 들면, 진동진폭 스펙트럼상에 2X 성분이 상당히 크게 나타나 정렬불량의 가능성이 0.7 정도라고 판정하는 것 등은 이러한 수치적진리치를 이용하는 방법이다. 그러나 상기의 수치적 표현만으로는 확실도를 한개의 수치로서 대표하게 하는 것은 진단의 정밀도에 문제가 있을 것으로 생각된다. 따라서 언어적진리치가 도입되어 [상당히 확실], [확실], [약간 확실] 등의 언어적인 표현을 이용하여 애매성을 표현하게 되었다. 본 논문에서는 간이진단 결과로부터 추출된 애매한 진단결과중에서 가장 가능성이 높은 이상원인을 복수로 선정하고, 여러 종류의 수치화할 수 없는 언어적(linguistic)인 정보ㄷㄹ을 if-then 형식의 퍼지추론으로 종합하는 회전기계의 이상진단을 위한 정밀진단 알고리즘을 제안하고 그 유용성을 검토한다.

  • PDF