• 제목/요약/키워드: Anomaly Data

검색결과 799건 처리시간 0.037초

오존 자동측정망 자료 중의 이상치 점검 (Anomaly Test for Ozone Concentration Data from National Air Monitoring Stations)

  • 김영성
    • 한국대기환경학회지
    • /
    • 제15권2호
    • /
    • pp.139-150
    • /
    • 1999
  • The ozone concentrations measured at the National Air Monitoring Stations between 1990 and 1995 were reviewed to detect any anomalies in the measurements. By screening the cases, in which variation of the ozone concentration from the previous measured value is greater than 75ppb, 125 station-days were identified as the test cases for the anomaly test. Historical and parallel consistencies of the measured concentrations were examined by plotting data for each test case. The detected anomalies can be classified into four categories; single outliers, anomalous variations during the startup period, baseline rises, and fluctuations in th diurnal variations. Anomalies were detected in as many as 80 cases among 125 test cases. Because of these anomalies, the number of hours exceeding 100ppb in the areas other than the Greater Seoul Area(GSA) could decrease from 157 to 107. Further studies for developing the methodology for eliminating the abnormal monitoring data are warranted for the data from the National Air Monitoring Stations are official to the both inside and outside of the country.

  • PDF

VANETs에서 비정상 행위 탐지를 위한 빅 데이터 응용 (A Big Data Application for Anomaly Detection in VANETs)

  • 김식;오선진
    • 한국인터넷방송통신학회논문지
    • /
    • 제14권6호
    • /
    • pp.175-181
    • /
    • 2014
  • 무선 기반의 모바일 컴퓨팅 네트워크 기술의 급속한 발전과 더불어, 다양한 관련 기술과의 융합을 통한 획기적인 모바일 애드 혹 네트워크 응용들이 빠르게 확산되고 있는 실정이다. 차량 애드 혹 망 (Vehicular Ad Hoc Networks: VANETs)은 일반적으로 높은 이동성을 갖는 차량 노드들로 구성되어 망 위상이 짧은 시간 유지되고 통신 링크가 불안정한 자기 조직화 모바일 애드 혹 망이다. 따라서 VANETs은 네트워크상에 센서들의 해로운 노이즈나 차량 노드들의 비정상 행위에 매우 취약하다. 본 논문에서는 이러한 VANETs에서 센싱된 센서로 부터의 상황정보에 대한 해로운 오동작이나 노이즈와 차량 노드들의 활동에 대한 비정상 행위를 효율적으로 식별할 수 있는 빅 데이터 처리기술을 응용한 비정상 행위 탐지 방법을 제안하고, 그 성능을 모의실험을 통해 임계 허용 오차에 대한 비정상 행위 탐지율과 거짓 경고율로 평가하였다.

BcN 상에서의 DDoS에 대한 Anomaly Detection 연구 (Anomaly Detection Mechanism against DDoS on BcN)

  • 송병학;이승연;홍충선;허의남;손승원
    • 인터넷정보학회논문지
    • /
    • 제8권2호
    • /
    • pp.55-65
    • /
    • 2007
  • BcN(Broadband Convergence Network)은 통신, 방송, 인터넷이 융합된 품질보장형 광대역 멀티미디어 서비스로 언제 어디서나 끊김 없이 안전하게 이용 할 수 있는 이용자 중심의 유비쿼터스 서비스 구현을 위한 핵심 인프라이다. BcN은 여러 가지 개별망이 통합된 망으로 그 특성상 보안 문제가 발생하면 전체 네트워크로 광범위하게 확산돼 심각한 피해를 입게 된다. 따라서 BcN에서는 전체 네트워크를 통합하는 보안 정책을 세워야 할 것이다. 본 논문에서는 이러한 문제를 해결하기 위해 협력적인 침입방어 시스템의 탐지의 정확도를 향상시키고 수집된 정보를 바탕으로 효과적으로 대응할 수 있는 메커니즘을 제안한다. 또한 BcN상에서의 정보 교환을 위한 분산-계층적 시스템 구조를 설계하였다.

  • PDF

난지도 매립지 및 그 주변의 지질환경 연구: 중력 및 자력탐사 (Studies on the Geological Environment of the Nanjido Waste Disposal Site: Gravity and Magnetic Investigations)

  • 권병두;김차섭;정호준;오석훈
    • 자원환경지질
    • /
    • 제28권5호
    • /
    • pp.469-480
    • /
    • 1995
  • Gravity and magnetic surveys were carried out to investigate the three-dimensional configuration and characteristics of the landfills at Nanjido waste disposal site. For terrain correction and three-dimensional density inversion of gravity data an algorithm, which calculates the gravity effect of a three-dimensional body by using the solid angle method, is developed. This algorithm has been proved to give more accurate terrain correction values for the small survey area having varied topography like Nanjido site as compared with widely used methods such as Hammer's method and multiquadric equation method. Density inversion of gravity anomaly data gives very useful information about the lateral and vertical variation of the landfills, which can be used to discriminate the kinds of wastes. The average density of filled materials appears to be $1.7\;g/cm^3$ which is much higher than the value $(0.8\;g/cm^3)$ estimated by Seoul City. The lateral variation of density shows high correlation with the pattern of ongoing depression of the landfills. The northern region of the landfill no. 1, which shows low density and high depression, is closely associated with the industrial waste and sludge filled area. The magnetic anomaly data provide information about relative concentration of magnetic materials, which is also very useful to investigate characteristics of the fills. Several high positive anomaly regions on the reduced-to-pole magnetic anomaly map are appeared to be associated with the industrial waste fills, but certain industrial waste fills show low negative anomalies. This kind of magnetic information can be used in selecting drilling locations over landfills away from buried metal products during the stabilization process.

  • PDF

양식장 펌프 모터 전류 데이터를 이용한 머신러닝 기반 이상 감지 알고리즘에 관한 연구 (A study on machine learning-based anomaly detection algorithm using current data of fish-farm pump motor)

  • 박세용;장태욱;임태호
    • 인터넷정보학회논문지
    • /
    • 제24권2호
    • /
    • pp.37-45
    • /
    • 2023
  • 4차 산업혁명에 맞춰 스마트팩토리 구축을 위한 설비보전 기술들이 관심을 받으며 고도화되고 있다. 또한 스마트팩토리에 이어 스마트팜, 스마트 양식장에도 기술이 접목되고 있다. 그중에서도 순환여과식 양식장의 경우는 수조의 안정적인 수질 환경을 위해 물을 순환하는 펌프 모터가 존재한다. 순환여과식 양식장 펌프 모터 보전 활동은 예방 정비와 진동센서에서 취득된 데이터를 기반으로 수행한다. 예방정비는 사전계획 이전에 일어나는 이상에 대해서는 대처할 수 없으며 진동센서는 외부 환경에 영향을 받는다. 본 논문에서는 소음, 온도, 진동센서에 비해 외부 환경의 영향을 적게 받는 전류 센서를 통해 수집된 데이터를 기반으로 펌프 모터 이상 감지에 있어 Python 오픈소스인 ADTK를 활용하는 이상 감지 알고리즘을 제안한다.

이상 탐지를 위한 시스템콜 시퀀스 임베딩 접근 방식 비교 (Comparison of System Call Sequence Embedding Approaches for Anomaly Detection)

  • 이근섭;박경선;김강석
    • 융합정보논문지
    • /
    • 제12권2호
    • /
    • pp.47-53
    • /
    • 2022
  • 최근 지능화된 보안 패러다임의 변화에 따라, 다양한 정보보안 시스템에서 발생하는 각종 정보를 인공지능 기반 이상탐지에 적용하기 위한 연구가 증가하고 있다. 따라서 본 연구는 로그와 같은 시계열 데이터를 수치형 특성인 벡터로 변환하기 위하여 딥러닝 기반 Word2Vec 모델의 CBOW와 Skip-gram 추론 방식과 동시발생 빈도 기반 통계 방식을 사용하여 공개된 ADFA 시스템콜 데이터에 대하여, 벡터의 차원, 시퀀스 길이 및 윈도우 사이즈를 고려한 다양한 임베딩 벡터로의 변환에 대한 실험을 진행하였다. 또한 임베딩 모델로 생성된 벡터를 입력으로 하는 GRU 기반 이상 탐지 모델을 통해 탐지 성능뿐만 아니라 사용된 임베딩 방법들의 성능을 비교 평가하였다. 통계 모델에 비해 추론 기반 모델인 Skip-gram이 특정 윈도우 사이즈나 시퀀스 길이에 치우침 없이 좀 더 안정되게(stable) 성능을 유지하여, 시퀀스 데이터의 각 이벤트들을 임베딩 벡터로 만드는데 더 효과적임을 확인하였다.

다변량 시계열 이상 탐지 과업에서 비지도 학습 모델의 성능 비교 (A Survey on Unsupervised Anomaly Detection for Multivariate Time Series)

  • 임주완;이재구
    • 정보보호학회논문지
    • /
    • 제33권1호
    • /
    • pp.1-12
    • /
    • 2023
  • 다변량 시계열 이상 탐지 과업에서 정답 값이 존재하는 데이터를 얻는 것은 매우 시간 집약적인 일이다. 따라서 최근 정답 값이 필요 없는 비지도 학습법(unsupervised learning)에 관한 많은 연구가 진행되었다. 하지만 다변량 시계열 이상 탐지 과업에 특화된 주요 구조와 세부적인 특성에 대한 심화 있는 논의는 이루어지지 않았다. 본 논문에서는 비지도 학습 기반의 다변량 시계열 이상 탐지 모델과 특장점을 포괄적으로 분석하여 분류하였다. 전력 계통(power grid) 또는 Cyber Physical System(CPS)과 같은 현실 세계 데이터 집합에서 현실적인 이상 상황을 고려하여 학습을 진행하였고, 실험 결과를 바탕으로 각 모델의 정량적 성능을 비교 분석하였다. 성능 지표로는 정밀도(precision), 재현율(recall)과 F1 점수를 사용하여 성능을 측정하였다.

크라우드센싱 시스템에서 머신러닝을 이용한 이상데이터 탐지 (Anomaly Data Detection Using Machine Learning in Crowdsensing System)

  • 김미희;이기훈
    • 전기전자학회논문지
    • /
    • 제24권2호
    • /
    • pp.475-485
    • /
    • 2020
  • 최근, 별도의 센서를 설치하지 않고 센서가 포함된 사용자의 기기로부터 제공되는 실시간 센싱 데이터를 가지고 새로운 센싱 서비스를 제공하는 크라우드센싱(Crowdsensing) 시스템이 주목받고 있다. 크라우드센싱 시스템에서는 사용자의 조작실수나 통신 문제로 인해 의미 없는 데이터가 제공되거나 보상을 얻기 위해 거짓 데이터를 제공할 수 있어 해당 이상 데이터의 탐지 및 제거가 크라우드센싱 서비스의 질을 결정짓는다. 이러한 이상데이터를 탐지하기 위해 제안되었던 방법들은 크라우드센싱의 빠른 변화 환경에 효율적이지 않다. 본 논문은 머신러닝 기술을 활용하여 지속적이고 빠르게 변화하는 센싱 데이터의 특징을 추출하고 적절한 알고리즘을 통해 모델링하여 이상데이터를 탐지하는 방법을 제안한다. 지도학습의 딥러닝 이진 분류 모델과 비지도학습의 오토인코더 모델을 사용하여 제안 시스템의 성능 및 실현 가능성을 보인다.

Network Anomaly Traffic Detection Using WGAN-CNN-BiLSTM in Big Data Cloud-Edge Collaborative Computing Environment

  • Yue Wang
    • Journal of Information Processing Systems
    • /
    • 제20권3호
    • /
    • pp.375-390
    • /
    • 2024
  • Edge computing architecture has effectively alleviated the computing pressure on cloud platforms, reduced network bandwidth consumption, and improved the quality of service for user experience; however, it has also introduced new security issues. Existing anomaly detection methods in big data scenarios with cloud-edge computing collaboration face several challenges, such as sample imbalance, difficulty in dealing with complex network traffic attacks, and difficulty in effectively training large-scale data or overly complex deep-learning network models. A lightweight deep-learning model was proposed to address these challenges. First, normalization on the user side was used to preprocess the traffic data. On the edge side, a trained Wasserstein generative adversarial network (WGAN) was used to supplement the data samples, which effectively alleviates the imbalance issue of a few types of samples while occupying a small amount of edge-computing resources. Finally, a trained lightweight deep learning network model is deployed on the edge side, and the preprocessed and expanded local data are used to fine-tune the trained model. This ensures that the data of each edge node are more consistent with the local characteristics, effectively improving the system's detection ability. In the designed lightweight deep learning network model, two sets of convolutional pooling layers of convolutional neural networks (CNN) were used to extract spatial features. The bidirectional long short-term memory network (BiLSTM) was used to collect time sequence features, and the weight of traffic features was adjusted through the attention mechanism, improving the model's ability to identify abnormal traffic features. The proposed model was experimentally demonstrated using the NSL-KDD, UNSW-NB15, and CIC-ISD2018 datasets. The accuracies of the proposed model on the three datasets were as high as 0.974, 0.925, and 0.953, respectively, showing superior accuracy to other comparative models. The proposed lightweight deep learning network model has good application prospects for anomaly traffic detection in cloud-edge collaborative computing architectures.

진동측정 좌표축 회전을 이용한 저널베어링 상태 진단 (Diagnostics of Journal Bearing System Using Coordinate Transformed Vibration Signals)

  • 윤병동;전병철;정준하;김동환;손석만
    • 한국소음진동공학회:학술대회논문집
    • /
    • 한국소음진동공학회 2014년도 추계학술대회 논문집
    • /
    • pp.97-98
    • /
    • 2014
  • Vibration signal has been widely utilized in the diagnostics of rotating mechanical system. Diagnostics systems in rotating machinery are depends on the vibration data which are acquired from the system. However, the characteristics of acquired data can be vary according to the position of anomaly installed or the position of data acquired. In this research, the coordinate transform of journal bearing vibration signal was proposed to overcome the limitation mentioned above. Journal bearing systems are equipped two gap sensors with ninety degree angles, and it can enable to generate coordinate transformed signals in arbitrary angle domain. More abundant information for each normal or anomaly conditions are obtained from coordinate transformation than only the data of the existing measuring position, then we have developed a reliable and robust diagnosis algorithm for journal bearing system.

  • PDF