• Title/Summary/Keyword: Anomaly Data

검색결과 790건 처리시간 0.025초

모바일 애드-혹 망을 위한 퍼지 비정상 행위 탐지 알고리즘 (FADA: A fuzzy anomaly detection algorithm for MANETs)

  • 배인한
    • Journal of the Korean Data and Information Science Society
    • /
    • 제21권6호
    • /
    • pp.1125-1136
    • /
    • 2010
  • 최근에 이동 객체 추적 장치로부터 얻어진 추적 스트림에 대한 온라인 비정상 행위 감시에 대한 요구가 증가하고 있다. 제한된 공간 비용 내에서 고속 데이터 처리의 요구사항에 기인하여 이 문제는 흥미를 끌고 있다. 이 논문에서, 우리는 모바일 애드 혹 망에서 모바일 장치의 위성항법장치 로그로부터 이동특징 정보를 계산하여 정상 프로파일을 구축하고, 모바일 장치의 현재 이동 특징 정보와 정상 프로파일내의 이동 특징 정보간의 퍼지 비유사도를 계산한다. 그 계산된 퍼지 비유사도를 기초로 그 모바일 장치의 비정상 행위를 효율적으로 탐지하는 퍼지 비정상 행위 탐지 알고리즘을 제안한다. 그리고 모의실험을 통하여 제안한 알고리즘의 성능을 평가한다.

서해남부에서의 선상중력 자료 획득 및 처리에 관한 고찰 (Study on the aquisition and processing of the shipborne gravity data from the southern area of Yellow sea)

  • 최광선;옥수석;서만철;최영섭;김백수
    • 지구물리
    • /
    • 제3권4호
    • /
    • pp.291-310
    • /
    • 2000
  • 국립해양조사원이 1999년도 '해양2000'호를 이용하여 측정한 서해 남부지역의 선상 중력자료를 처리하였다. 자료처리 결과 264개 교점에서 고도이상의 RMS는 0.436mGal로 매우 좋은 결과를 나타내고 있다. 국립해양조사원이 '해양2000'호를 이용하여 측정한 선상 중력은 우리나라 일원의 중력관련 연에 매우 큰 기여를 할 것이다.

  • PDF

사운덱스 알고리즘을 적용한 신경망라 뉴로-처지 기법의 호스트 이상 탐지 (Host Anomaly Detection of Neural Networks and Neural-fuzzy Techniques with Soundex Algorithm)

  • 차병래;김형종;박봉구;조혁현
    • 정보보호학회논문지
    • /
    • 제15권2호
    • /
    • pp.13-22
    • /
    • 2005
  • 본 논문에서는 시스템 호출을 이용하여 이상 침입 탐지 시스템의 성능을 향상시키기 위해, 특징 선택과 가변 길이 데이터를 고정 길이 학습 패턴으로 변환 생성하는 문제를 해결하기 위한 사운덱스 알고리즘을 적용한 신경망 학습을 통하여 이상 침입 탐지의 연구를 하고자 한다. 즉, 가변 길이의 순차적인 시스템 호출 데이터를 사운덱스 알고리즘에 의한 고정 길이의 행위 패턴을 생성하여 역전파 알고리즘과 퍼지 멤버쉽 함수에 의해 신경망 학습을 수행하였다. 역전파 신경망과 뉴로-퍼지 기법을 UNM의 Sendmail Data Set을 이용하여 시스템 호출의 이상침입 탐지에 적용하여 시간과 공간 복잡도 그리고 MDL 측면에서 성능을 검증하였다.

검증데이터 기반의 차별화된 이상데이터 처리를 통한 데이터 불균형 해소 방법 (Resolving data imbalance through differentiated anomaly data processing based on verification data)

  • 황철현
    • 지능정보연구
    • /
    • 제28권4호
    • /
    • pp.179-190
    • /
    • 2022
  • 데이터 불균형은 한 분류의 데이터 수가 다른 분류에 비해 지나치게 크거나 작은 현상을 의미하며. 이로 인해 분류 알고리즘을 활용하는 기계학습에서 성능을 저하시키는 주요 요인으로 제기되고 있다. 데이터 불균형 문제 해결을 위해서 소수 분포 데이터를 증폭하는 다양한 오버 샘플링(Over Sampling) 방법들이 제안되고 있다. 이 가운데 SMOTE는 가장 대표적인 방법으로 소수 분포 데이터의 증폭 효과를 극대화하기 위해 데이터에 포함된 잡음을 제거(SMOTE-IPF)하거나, 경계선만을 강화(Borderline SMOTE) 시키는 다양한 방법들이 출현하였다. 이 논문은 소수분류 데이터를 증폭하는 전통적인 SMOTE 방법에서 이상데이터(Anomaly Data)에 대한 처리방법개선을 통해 궁극적으로 분류성능을 높이는 방법을 제안한다. 제안 방법은 실험을 통해 기존 방법에 비해 상대적으로 높은 분류성능을 일관성 있게 제시하였다.

비지도 학습 기반의 임베딩과 오토인코더를 사용한 침입 탐지 방법 (Intrusion Detection Method Using Unsupervised Learning-Based Embedding and Autoencoder)

  • 이준우;김강석
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권8호
    • /
    • pp.355-364
    • /
    • 2023
  • 최근 지능화된 사이버 위협이 지속적으로 증가함에 따라 기존의 패턴 혹은 시그니처 기반의 침입 탐지 방식은 새로운 유형의 사이버 공격을 탐지하는데 어려움이 있다. 따라서 데이터 학습 기반 인공지능 기술을 적용한 이상 징후 탐지 방법에 관한 연구가 증가하고 있다. 또한 지도학습 기반 이상 탐지 방식은 학습을 위해 레이블 된 이용 가능한 충분한 데이터를 필요로 하기 때문에 실제 환경에서 사용하기에는 어려움이 있다. 최근에는 정상 데이터로 학습하고 데이터 자체에서 패턴을 찾아 이상 징후를 탐지하는 비지도 학습 기반의 방법에 대한 연구가 활발히 진행되고 있다. 그러므로 본 연구는 시퀀스 로그 데이터로부터 유용한 시퀀스 정보를 보존하는 잠재 벡터(Latent Vector)를 추출하고, 추출된 잠재 벡터를 사용하여 이상 탐지 학습 모델을 개발하는데 있다. 각 시퀀스의 특성들에 대응하는 밀집 벡터 표현을 생성하기 위하여 Word2Vec을 사용하였으며, 밀집 벡터로 표현된 시퀀스 데이터로부터 잠재 벡터를 추출하기 위하여 비지도 방식의 오토인코더(Autoencoder)를 사용하였다. 개발된 오토인코더 모델은 시퀀스 데이터에 적합한 순환신경망 GRU(Gated Recurrent Unit) 기반의 잡음 제거 오토인코더, GRU 네트워크의 제한적인 단기 기억문제를 해결하기 위한 1차원 합성곱 신경망 기반의 오토인코더 및 GRU와 1차원 합성곱을 결합한 오토인코더를 사용하였다. 실험에 사용된 데이터는 시계열 기반의 NGIDS(Next Generation IDS Dataset) 데이터이며, 실험 결과 GRU 기반의 오토인코더나, 1차원 합성곱 기반의 오토인코더를 사용한 모델보다 GRU와 1차원 합성곱을 결합한 오토인코더가 훈련 데이터로부터 유용한 잠재 패턴을 추출하기 위한 학습 시간적 측면에서 효율적이었고 이상 탐지 성능 변동의 폭이 더 작은 안정된 성능을 보였다.

다양한 데이터 전처리 기법과 데이터 오버샘플링을 적용한 GRU 모델 기반 이상 탐지 성능 비교 (Comparison of Anomaly Detection Performance Based on GRU Model Applying Various Data Preprocessing Techniques and Data Oversampling)

  • 유승태;김강석
    • 정보보호학회논문지
    • /
    • 제32권2호
    • /
    • pp.201-211
    • /
    • 2022
  • 최근 사이버보안 패러다임의 변화에 따라, 인공지능 구현 기술인 기계학습과 딥러닝 기법을 적용한 이상탐지 방법의 연구가 증가하고 있다. 본 연구에서는 공개 데이터셋인 NGIDS-DS(Next Generation IDS Dataset)를 이용하여 GRU(Gated Recurrent Unit) 신경망 기반 침입 탐지 모델의 이상(anomaly) 탐지 성능을 향상시킬 수 있는 데이터 전처리 기술에 관한 비교 연구를 수행하였다. 또한 정상 데이터와 공격 데이터 비율에 따른 클래스 불균형 문제를 해결하기 위해 DCGAN(Deep Convolutional Generative Adversarial Networks)을 적용한 오버샘플링 기법 등을 사용하여 오버샘플링 비율에 따른 탐지 성능을 비교 및 분석하였다. 실험 결과, 시스템 콜(system call) 특성과 프로세스 실행패스 특성에 Doc2Vec 알고리즘을 사용하여 전처리한 방법이 좋은 성능을 보였고, 오버샘플링별 성능의 경우 DCGAN을 사용하였을 때, 향상된 탐지 성능을 보였다.

설비 결함 식별 최적화를 위한 오토인코더 기반 N 분할 주파수 영역 이상 탐지 (Autoencoder Based N-Segmentation Frequency Domain Anomaly Detection for Optimization of Facility Defect Identification)

  • 박기창;이용관
    • 정보처리학회 논문지
    • /
    • 제13권3호
    • /
    • pp.130-139
    • /
    • 2024
  • 제조 분야 설비 예지보전을 위해서 진동, 전류, 온도 등 물리 데이터를 기반으로 설비 이상을 탐지하는 인공지능 학습 모델이 활용되고 있다. 설비 결함, 고장 등 설비 이상 유형은 매우 다양하므로, 주로 오토인코더 기반 비지도 학습 모델을 이용한 이상 탐지 방법이 적용되고 있다. 설비 상태의 정상, 비정상 여부는 오토인코더의 재구성 오차를 이용해 효과적으로 분류할 수 있지만, 설비 이상의 구체적인 상태를 식별하는 데 한계가 있다. 설비 불균형, 정렬 불량, 고정 불량 등 설비 이상 상황 발생 시, 설비 진동 주파수는 특정 영역에서 정상 상태와 다른 패턴을 나타낸다. 본 논문에서는 전체 진동 주파수 범위를 N개 영역으로 나누어 이상 탐지를 수행하는 N 분할 이상 탐지 방법을 제시하였다. 압축기의 진동 데이터를 이용해 주파수와 강도를 달리한 9종의 이상 데이터를 대상으로 실험한 결과, N 분할을 적용하였을 때 더 높은 이상 탐지 성능을 나타냈다. 제안 방법은 설비 이상 탐지 이후, 설비 이상 구체화에 활용될 수 있다.

Detection algorithm of ionospheric delay anomaly based on multi-reference stations for ionospheric scintillation

  • Yoo, Yun-Ja;Cho, Deuk-Jae;Park, Sang-Hyun;Shin, Mi-Young
    • 한국항해항만학회지
    • /
    • 제35권9호
    • /
    • pp.701-706
    • /
    • 2011
  • Radio waves including GPS signals, various TV communications, and radio broadcasting can be disturbed by a strong solar storm, which may occur due to solar flares and produce an ionospheric delay anomaly in the ionosphere according to the change of total electron content. Electron density irregularities can cause deep signal fading, frequently known as ionospheric scintillation, which can result in the positioning error using GPS signal. This paper proposes a detection algorithm for the ionosphere delay anomaly during a solar storm by using multi-reference stations. Different TEC grid which has irregular electron density was applied above one reference station. Then the ionospheric delay in zenith direction applied different TEC will show comparatively large ionospheric zenith delay due to the electron irregularity. The ionospheric slant delay applied an elevation angle at reference station was analyzed to detect the ionospheric delay anomaly that can result in positioning error. A simulation test was implemented and a proposed detection algorithm using data logged by four reference stations was applied to detect the ionospheric delay anomaly compared to a criterion.

이상 침입 탐지를 위한 베이지안 네트워크 기반의 정상행위 프로파일링 (Normal Behavior Profiling based on Bayesian Network for Anomaly Intrusion Detection)

  • 차병래;박경우;서재현
    • 한국컴퓨터정보학회논문지
    • /
    • 제8권1호
    • /
    • pp.103-113
    • /
    • 2003
  • 프로그램 행위 침입 탐지 기법은 데몬 프로그램이나 루트 권한으로 실행되는 프로그램이 발생시키는 시스템 호출들을 분석하고 프로파일을 구축하여 침입을 효과적으로 탐지한다 시스템 호출을 이용한 이상 탐지는 단지 그 프로세스가 이상(anomaly)임을 탐지할 뿐 그 프로세스에 의해 영향을 받는 여러 부분에 대해서는 탐지하지 못하는 문제점을 갖는다. 이러한 문제점을 개선하는 방법이 베이지안 확률값 이용하여 여러 프로세스의 시스템 호출간의 관계를 표현하고, 베이지안 네트워크를 이용한 어플리케이션의 행위 프로파일링에 의해 이상 탐지 정보를 제공한다. 본 논문은 여러 침입 탐지 모델들의 문제점들을 극복하면서 이상 침입 탐지를 효율적으로 수행할 수 있는 베이지안 네트워크를 이용한 침입 탐지 방법을 제안한다 행위의 전후 관계를 이용한 정상 행위를 간결하게 프로파일링하며, 변형되거나 새로운 행위에 대해서도 탐지가 가능하다. 제안한 정상행위 프로파일링 기법을 UNM 데이터를 이용하여 시뮬레이션하였다.

  • PDF

Data anomaly detection for structural health monitoring of bridges using shapelet transform

  • Arul, Monica;Kareem, Ahsan
    • Smart Structures and Systems
    • /
    • 제29권1호
    • /
    • pp.93-103
    • /
    • 2022
  • With the wider availability of sensor technology through easily affordable sensor devices, several Structural Health Monitoring (SHM) systems are deployed to monitor vital civil infrastructure. The continuous monitoring provides valuable information about the health of the structure that can help provide a decision support system for retrofits and other structural modifications. However, when the sensors are exposed to harsh environmental conditions, the data measured by the SHM systems tend to be affected by multiple anomalies caused by faulty or broken sensors. Given a deluge of high-dimensional data collected continuously over time, research into using machine learning methods to detect anomalies are a topic of great interest to the SHM community. This paper contributes to this effort by proposing a relatively new time series representation named "Shapelet Transform" in combination with a Random Forest classifier to autonomously identify anomalies in SHM data. The shapelet transform is a unique time series representation based solely on the shape of the time series data. Considering the individual characteristics unique to every anomaly, the application of this transform yields a new shape-based feature representation that can be combined with any standard machine learning algorithm to detect anomalous data with no manual intervention. For the present study, the anomaly detection framework consists of three steps: identifying unique shapes from anomalous data, using these shapes to transform the SHM data into a local-shape space and training machine learning algorithms on this transformed data to identify anomalies. The efficacy of this method is demonstrated by the identification of anomalies in acceleration data from an SHM system installed on a long-span bridge in China. The results show that multiple data anomalies in SHM data can be automatically detected with high accuracy using the proposed method.