• 제목/요약/키워드: Anomaly data detection

검색결과 394건 처리시간 0.028초

실시간 네트워크 침입탐지 시스템을 위한 아웃라이어 클러스터 검출 기법 (An Outlier Cluster Detection Technique for Real-time Network Intrusion Detection Systems)

  • 장재영;박종명;김한준
    • 인터넷정보학회논문지
    • /
    • 제8권6호
    • /
    • pp.43-53
    • /
    • 2007
  • 최근의 네트워크 침입탐지 시스템은 기존의 시그너처(또는 패턴) 기반 탐지 기법에 비정상행위 탐지 기법이 새롭게 결합되면서 더욱 발전되고 있다. 일반적으로 시그너처 기반 침입 탐지 시스템들은 기계학습 알고리즘을 활용함에도 불구하고 사전에 이미 알려진 침입 패턴만을 탐지할 수 있었다. 이상적인 네트워크 침입탐지 시스템을 구축하기 위해서는 침입 패턴이 저장된 시그너처 데이터베이스를 항상 최신의 정보로 유지해야 한다. 따라서 시스템은 유입되는 네트워크 데이터를 모니터링하고 분석하는 과정에서 새로운 공격에 대한 시그너처를 생성할 수 있는 기능이 필요하다. 본 논문에서는 이를 위해 밀도(또는 영향력) 함수를 이용한 새로운 아웃라이어 클러스터 검출 알고리즘을 제안한다. 제안된 알고리즘에서는 네트워크 침입 패턴을 하나의 객체가 아닌 유사 인스턴스들의 집합 형태인 아웃라이어 클러스터로 가정하였다. 본 논문에서는 KDD 1999 Cup 침입탐지 데이터 집합을 이용한 실험을 수행하여, 침입이 자주 발생하는 상황에서 본 논문의 방법이 유클리디언 거리를 이용한 기존의 아웃라이어 탐지 기법에 비해서 좋은 성능을 보임을 증명하였다.

  • PDF

공항 근처 ADS-B 항적 자료에서의 클러스터링 기법 비교 (Comparison of Clustering Techniques in Flight Approach Phase using ADS-B Track Data)

  • 박종찬;박헌진
    • 한국빅데이터학회지
    • /
    • 제6권2호
    • /
    • pp.29-38
    • /
    • 2021
  • 항공안전관리에서 항공기 경로 이탈은 큰 사고로 이어질 수 있는 위험한 요인이다. 본 연구에서는 항공기 경로 이탈 문제를 예방하기 위해 클러스터링을 통해 항적을 분류하고, 클러스터 중심과의 거리를 계산하여 이상 점수를 산출하고자 한다. 1년 동안 수신된 ADS-B 항적 자료에서 공항을 기준으로 근방 100km 이내 항적을 추출하여 연구를 진행했다. 항적은 선형 보간법을 이용하여 벡터화하였다. 위도·경도·고도 3차원 좌표 자료를 사용하였다. PCA를 통해 전체 데이터 분산 90% 이상을 나타내는 축으로 차원을 축소하였고, k-평균 군집화, 계층적 군집화, PAM 기법을 적용하였다. 클러스터 개수는 실루엣 측도를 사용하여 선택하였고, 클러스터 중심과의 거리를 계산하여 이상 점수를 산출하였다. 본 연구에서는 각 클러스터 기법별로 클러스터 개수를 비교해보고, 실루엣 측도를 통해 클러스터링 결과를 평가하고자 한다.

다중서열정렬의 유사도 매칭을 이용한 순서기반 침입탐지 (Sequence based Intrusion Detection using Similarity Matching of the Multiple Sequence Alignments)

  • 김용민
    • 정보보호학회논문지
    • /
    • 제16권1호
    • /
    • pp.115-122
    • /
    • 2006
  • 대부분의 침입탐지 방법은 알려진 침입 정보를 축적하고 임의의 행위 데이터에 대해 침입 여부를 결정하는 오용행위 탐지의 방법에 기반하고 있다. 그러나 생성된 공격행위 패턴은 새로운 공격 및 변형된 공격행위에 대응하는 방법에 어려움이 있다. 현실적으로 비정상행위 탐지기법의 높은 오탐을 고려하면, 대용량 순서기반 침입패턴은 알려진 공격에 대한 탐지와 함께 침입패턴의 유사도를 측정하는 방법의 보완을 통해 변형된 공격 및 새로운 공격에 대한 탐지의 가능성을 높이는 대책이 요구된다. 본 논문에서는 순서기반 침입패턴의 유사성 매칭을 위해 다중서열정렬 기법을 적용하는 방법을 제안한다. 그 기법은 침입패턴 서열의 통계적 분석을 가능하게 하고 구현이 용이하며, 서열 크기의 변경에 따라 공격에 대한 탐지 경보 및 오탐의 수를 줄이는 결과를 보였다.

Anomalous Trajectory Detection in Surveillance Systems Using Pedestrian and Surrounding Information

  • Doan, Trung Nghia;Kim, Sunwoong;Vo, Le Cuong;Lee, Hyuk-Jae
    • IEIE Transactions on Smart Processing and Computing
    • /
    • 제5권4호
    • /
    • pp.256-266
    • /
    • 2016
  • Concurrently detected and annotated abnormal events can have a significant impact on surveillance systems. By considering the specific domain of pedestrian trajectories, this paper presents two main contributions. First, as introduced in much of the work on trajectory-based anomaly detection in the literature, only information about pedestrian paths, such as direction and speed, is considered. Differing from previous work, this paper proposes a framework that deals with additional types of trajectory-based anomalies. These abnormal events take places when a person enters prohibited areas. Those restricted regions are constructed by an online learning algorithm that uses surrounding information, including detected pedestrians and background scenes. Second, a simple data-boosting technique is introduced to overcome a lack of training data; such a problem particularly challenges all previous work, owing to the significantly low frequency of abnormal events. This technique only requires normal trajectories and fundamental information about scenes to increase the amount of training data for both normal and abnormal trajectories. With the increased amount of training data, the conventional abnormal trajectory classifier is able to achieve better prediction accuracy without falling into the over-fitting problem caused by complex learning models. Finally, the proposed framework (which annotates tracks that enter prohibited areas) and a conventional abnormal trajectory detector (using the data-boosting technique) are integrated to form a united detector. Such a detector deals with different types of anomalous trajectories in a hierarchical order. The experimental results show that all proposed detectors can effectively detect anomalous trajectories in the test phase.

내부정보 유출 시나리오와 Data Analytics 기법을 활용한 내부정보 유출징후 탐지 모형 개발에 관한 연구 (A Study on Development of Internal Information Leak Symptom Detection Model by Using Internal Information Leak Scenario & Data Analytics)

  • 박현출;박진상;김정덕
    • 정보보호학회논문지
    • /
    • 제30권5호
    • /
    • pp.957-966
    • /
    • 2020
  • 최근 산업기밀보호센터의 통계에 의하면 국내 기밀유출 사고의 경우 전·현직 직원에 의해 기업기밀유출의 약 80%를 차지하고 이러한 내부자에 의한 정보유출 사고의 대다수가 허술한 보안 관리체계와 정보유출 탐지기술의 이유로 발생하고 있다. 내부자의 기밀유출을 차단하는 업무는 기업보안 부문에서 매우 중요한 문제이지만 기존의 많은 연구들은 내부자에 의한 유출위협보다는 외부 위협에 의한 침입에 대응하는데 초점이 맞추어져 있다. 따라서 본 논문에서는 기업 내에서 발생하는 다양한 비정상 행위를 효과적이고 효율적으로 탐지하기 위해 내부정보 유출 시나리오를 설계하고 시나리오에서 도출 된 유출 징후의 핵심 위험지표를 데이터 분석(Data analytics)함 으로써 정교하지만 신속하게 유출행위를 탐지하는 모형을 제시하고자 한다.

A case study of red tide detection around Korean waters using satellite remote sensing

  • Suh, Y.S.;Lee, N.K.;Jang, L.H.;Kim, H.G.;Hwang, J.D.
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2003년도 Proceedings of ACRS 2003 ISRS
    • /
    • pp.654-655
    • /
    • 2003
  • Korea has experienced 10 a Cochlodinium polykrikoides red tide outbreaks during the last 10 years (1993-2002). The monitoring activities at National Fisheries Research and Development Institute (NFRDI) in Korea have been extended to all the coastal waters after the worst of fish killing by C. polykrikoides blooms in 1995. NFRDI is looking forward to finding out the feasibility of red tide detection around Korean waters using satellite remote sensing of NOAA/AVHRR, Orbview-2/SeaWiFS, IRS-P4/OCM and Terra/MODIS on real time base. In this study, we used several alternative methods including climatological analysis, spectral and optical methods which may offer a potential detection of the major species of red tide in Korean waters. The relationship between the distribution of SST and C. polykrikoides bloom areas was studied. In climatological analysis, NOAA, SeaWiFS, OCM satellite data in 20th and 26th August 2001 were chosen using the known C. polykrikoides red tide bloom area mapped by helicopter reconnaissance and ground observation. The 26th August, 2001 SeaWiFS chlorophyll a anomaly imageries against the imageries of non-occurring red tide for August 20, 2001 showed the areas C. polykrikoides occurred. The anomalies of chlorophyll a concentration from satellite data between before and after red tide outbreaks showed the similar distribution of C. polykrikoides red tide in 26th August, 2001. The distribution of the difference in SST between daytime and nighttime also showed the possibility of red tide detection. We used corrected vegetation index (CVI) to detect floating vegetation and submerged vegetation containing algal blooms. The simple result of optical absorption from C. polykrikoides showed that if we use the optical characteristics of each red tide we will be able to get the feasibility of the red tide detection.

  • PDF

Damaged cable detection with statistical analysis, clustering, and deep learning models

  • Son, Hyesook;Yoon, Chanyoung;Kim, Yejin;Jang, Yun;Tran, Linh Viet;Kim, Seung-Eock;Kim, Dong Joo;Park, Jongwoong
    • Smart Structures and Systems
    • /
    • 제29권1호
    • /
    • pp.17-28
    • /
    • 2022
  • The cable component of cable-stayed bridges is gradually impacted by weather conditions, vehicle loads, and material corrosion. The stayed cable is a critical load-carrying part that closely affects the operational stability of a cable-stayed bridge. Damaged cables might lead to the bridge collapse due to their tension capacity reduction. Thus, it is necessary to develop structural health monitoring (SHM) techniques that accurately identify damaged cables. In this work, a combinational identification method of three efficient techniques, including statistical analysis, clustering, and neural network models, is proposed to detect the damaged cable in a cable-stayed bridge. The measured dataset from the bridge was initially preprocessed to remove the outlier channels. Then, the theory and application of each technique for damage detection were introduced. In general, the statistical approach extracts the parameters representing the damage within time series, and the clustering approach identifies the outliers from the data signals as damaged members, while the deep learning approach uses the nonlinear data dependencies in SHM for the training model. The performance of these approaches in classifying the damaged cable was assessed, and the combinational identification method was obtained using the voting ensemble. Finally, the combination method was compared with an existing outlier detection algorithm, support vector machines (SVM). The results demonstrate that the proposed method is robust and provides higher accuracy for the damaged cable detection in the cable-stayed bridge.

기계학습 기반 내부자위협 탐지기술: RNN Autoencoder를 이용한 비정상행위 탐지 (Detecting Insider Threat Based on Machine Learning: Anomaly Detection Using RNN Autoencoder)

  • 하동욱;강기태;류연승
    • 정보보호학회논문지
    • /
    • 제27권4호
    • /
    • pp.763-773
    • /
    • 2017
  • 최근 몇 년 동안 지속적으로 개인정보유출, 기술유출 사고가 빈번하게 발생하고 있다. 조사에 따르면 이러한 유출 사고의 주체로 가장 많은 부분을 차지하고 있는 것이 조직 내부에 있는 '내부자'로, 내부자에 의한 기술유출은 조직에 막대한 피해를 주기 때문에 점점 더 중요한 문제로 여겨지고 있다. 본 논문에서는 내부자위협을 방지하기 위해 기계학습을 이용하여 직원들의 일반적인 정상행위를 학습하고, 이에 벗어나는 비정상 행위를 탐지하기 방법에 대한 연구를 하고자 한다. Neural Network 모델 중 시계열 데이터의 학습에 적합한 Recurrent Neural Network로 구성한 Autoencoder를 구현하여 비정상 행위를 탐지하는 방법에 대한 실험을 진행하였고, 이 방법에 대한 유효성을 검증하였다.

경암 내 소규모 공동 탐지를 위한 시추공간 탄성파탐사 기법의 적용성 연구 (A Study on the Detection of Small Cavity Located in the Hard Rock by Crosswell Seismic Survey)

  • 고광범;이두성
    • 지구물리와물리탐사
    • /
    • 제6권2호
    • /
    • pp.57-63
    • /
    • 2003
  • 경암 내에 존재하는 소규모 공동 탐지를 목적으로 시추공 간 탄성파자료에 대한 주시 토모그래피 및 Kirchhoff 구조보정 기법의 적용 가능성을 고찰하였다. 주시 토모그래피의 경우 수치모델링을 통한 검토 결과, 소규모 공동($2m{\times}2m$)에 기인한 초동변위 양은 대단히 작고(<0.125msec)초동변위가 관측되는 수신기 오프셋 범위도 조사영역 평균속도의 $1\%$의 초동변위를 탐지가능 기준으로 보았을 때 4m 이내로 나타났다. 이로부터 초동변위를 성공적으초 발췌하기 위해서는 적절 샘플링 간격 0.03125msec, 자료획득 송수긴 간격을 가능한 좁게 설정하여야 함을 확인하였다. 한편, 시추공 탄성파 자료에 대한 Kirchhoff 구조보정 기법을 수치모델링 자료에 적용, 탐지 가능성을 확인하고 이를 현장자료에 적응하였다. 시추공 간 탄성파 자료에 나타나는 직접파 및 각종 모드 변환파 제거를 위해 메디안 필터 및 주파수 대역필터의 조합을 적응함으로써 공동에 의한 회절신호를 분리하였다. 공통 송신원 및 중합 구조보정 단면을 작성하고 이로부터 Kirchhoff 구조보정 기법은 공동에 의한 회절신호를 성공적으로 분리하였을 경우 공동에 대한 정보도출이 가능함을 확인하였다.

Orbit Ephemeris Failure Detection in a GNSS Regional Application

  • Ahn, Jongsun;Lee, Young Jae;Won, Dae Hee;Jun, Hyang-Sig;Yeom, Chanhong;Sung, Sangkyung;Lee, Jeong-Oog
    • International Journal of Aeronautical and Space Sciences
    • /
    • 제16권1호
    • /
    • pp.89-101
    • /
    • 2015
  • To satisfy civil aviation requirements using the Global Navigation Satellite System (GNSS), it is important to guarantee system integrity. In this work, we propose a fault detection algorithm for GNSS ephemeris anomalies. The basic principle concerns baseline length estimation with GNSS measurements (pseudorange, broadcasted ephemerides). The estimated baseline length is subtracted from the true baseline length, computed using the exact surveyed ground antenna positions. If this subtracted value differs by more than a given threshold, this indicates that an ephemeris anomaly has been detected. This algorithm is suitable for detecting Type A ephemeris failure, and more advantageous for use with multiple stations with various long baseline vectors. The principles of the algorithm, sensitivity analysis, minimum detectable error (MDE), and protection level derivation are described and we verify the sensitivity analysis and algorithm availability based on real GPS data in Korea. Consequently, this algorithm is appropriate for GNSS regional implementation.