• Title/Summary/Keyword: Anomaly Data

검색결과 818건 처리시간 0.026초

Correlation Analysis between Global Warming Index and Its Two Main Causes (space weather and green house effects) from 1868 to 2005

  • Moon, Yong-Jae
    • 한국우주과학회:학술대회논문집(한국우주과학회보)
    • /
    • 한국우주과학회 2008년도 한국우주과학회보 제17권2호
    • /
    • pp.24.2-24.2
    • /
    • 2008
  • We have examined the relative contributions of representative space weather proxies (geomagnetic aa index) to global warming (Global temperature anomaly) and compared them with that of green house effect characterized CO2 content from 1868 to 2005. For this we used Hadcrut3 temperature anomaly (Ta) data, aa index taken at two anti-podal subauroral stations (Canberra Australia and hartland England), and the CO2 data come from historical ice core records. From the comparison between Ta and aa index, we found several interesting results: (1) the linear correlation coefficient between two parameters increases until 1990 and then decreases rapidly, and (2) the scattered plots between two parameters shows different patterns before and after 1990. A partial correlation of Ta and two quantities (aa, CO2) also shows that the geomagnetic effect (aa index) is dominant until about 1990 and the CO2 effect becomes much more important after then. These results imply that the green house effect become very important since at least 1990. For a further analysis, we simply assume that Ta (total) = Ta (aa) + Ta (CO2) and made a linear regression between Ta and aa index from 1868 to 1990. A linear model is then made from the linear regression between energy consumption (a proxy of CO2 effect) and Ta (total) - Ta (aa) since 1990. This linear model makes it possible to predict the temperature anomaly in 2030, about 1 degree higher than the present temperature, which is much larger than in the previous century.

  • PDF

The Design and Implementation of Anomaly Traffic Analysis System using Data Mining

  • Lee, Se-Yul;Cho, Sang-Yeop;Kim, Yong-Soo
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제8권4호
    • /
    • pp.316-321
    • /
    • 2008
  • Advanced computer network technology enables computers to be connected in an open network environment. Despite the growing numbers of security threats to networks, most intrusion detection identifies security attacks mainly by detecting misuse using a set of rules based on past hacking patterns. This pattern matching has a high rate of false positives and can not detect new hacking patterns, which makes it vulnerable to previously unidentified attack patterns and variations in attack and increases false negatives. Intrusion detection and analysis technologies are thus required. This paper investigates the asymmetric costs of false errors to enhance the performances the detection systems. The proposed method utilizes the network model to consider the cost ratio of false errors. By comparing false positive errors with false negative errors, this scheme achieved better performance on the view point of both security and system performance objectives. The results of our empirical experiment show that the network model provides high accuracy in detection. In addition, the simulation results show that effectiveness of anomaly traffic detection is enhanced by considering the costs of false errors.

Monitoring of Climatological Variability Using EOS and OSMl Data

  • Lim, Hyo-Suk;Kim, Jeong-Yeon;Lee, Sang-Hee
    • 대한원격탐사학회지
    • /
    • 제19권3호
    • /
    • pp.209-216
    • /
    • 2003
  • Dramatic changes in the patterns of satellite-derived pigment concentrations, sea-level height anomaly, sea surface temperature anomaly, and zonal wind anomaly are observed during the 1997-1998 El Ni$\bar{n}$o. By some measures, the 1997-1998 El Ni$\bar{n}$o was the strongest one of the 20$^{th}$ century. A very strong El Ni$\bar{n}$o developed during 1997 and matured late in the year. A dramatic recovery occurred in mid-1998 and led to La Nina condition. The largest spatial extent of the phytoplankton bloom was fellowed recovery from El Ni$\bar{n}$o over the equatorial Pacific. The evolution towards a warm episode (El Ni$\bar{n}$o) started from spring of 2002 and continued during January 2003, while equatorial SSTA remained greater than +1$^{\circ}C$ in the central equatorial Pacific. The OSMI (Ocean Scanning Multispectral Imager) data are used for detection of dramatic changes in the patterns of pigment concentration during next El Ni$\bar{n}$o.

침입탐지시스템의 정확도 향상을 위한 개선된 데이터마이닝 방법론 (Reinforcement Data Mining Method for Anomaly&Misuse Detection)

  • 최윤정
    • 디지털산업정보학회논문지
    • /
    • 제6권1호
    • /
    • pp.1-12
    • /
    • 2010
  • Recently, large amount of information in IDS(Intrusion Detection System) can be un manageable and also be mixed with false prediction error. In this paper, we propose a data mining methodology for IDS, which contains uncertainty based on training process and post-processing analysis additionally. Our system is trained to classify the existing attack for misuse detection, to detect the new attack pattern for anomaly detection, and to define border patter between attack and normal pattern. In experimental results show that our approach improve the performance against existing attacks and new attacks,from 0.62 to 0.84 about 35%.

불균형 데이터 처리를 통한 머신러닝 기반 TBM 굴진율 이상탐지 개선 (Enhancing machine learning-based anomaly detection for TBM penetration rate with imbalanced data manipulation)

  • 권기범;황병현;박현태;오주영;최항석
    • 한국터널지하공간학회 논문집
    • /
    • 제26권5호
    • /
    • pp.519-532
    • /
    • 2024
  • TBM (tunnel boring machine) 터널 프로젝트의 리스크 관리 측면에서 굴진율 예측은 중요하며, 이를 위한 머신러닝 기반 TBM 굴진율 예측 연구가 지속적으로 진행되어 왔다. 그러나, 기존 연구의 머신러닝 예측 모델은 정상 굴진율과 이상 굴진율 간의 불균형 데이터를 고려하는 데 한계가 있다. 본 연구에서는 데이터 증강 기법을 통해 불균형 데이터를 처리하여 머신러닝 기반 TBM 굴진율 이상탐지 성능을 개선하였다. 먼저, 상관관계 분석을 통해 유사 변수를 제거하여 6가지 입력특성을 선정하였다. 또한, 하위 10%와 상위 10%의 굴진율을 각각 이상 등급으로, 그 외 범위의 굴진율을 정상 등급으로 굴진율 등급을 구분하였다. 기존 학습 데이터와 SMOTE (synthetic minority oversampling technique)를 통해 증강된 학습 데이터를 각각 XGB (extreme gradient boosting)에 적용한 XGB 모델과 XGB-SMOTE 모델을 구축하였다. 굴진율 등급 예측 성능을 비교한 결과, XGB 모델은 정상 굴진율에 대한 예측 성능은 우수하나 이상 굴진율 예측 성능은 상대적으로 낮게 도출되었다. 반면, XGB-SMOTE 모델은 모든 굴진율 등급에서 일관되게 우수한 예측 성능을 보였다. 이는 SMOTE를 통한 이상 굴진율 데이터의 증강이 이상 굴진율을 유발하는 지반조건과 TBM 운영인자 간의 패턴 학습 수준을 향상시켰기 때문으로 판단된다. 결론적으로, 본 연구는 머신러닝 기반 TBM 굴진율 이상탐지 시 데이터 증강 기법을 활용한 불균형 데이터 처리가 효과적임을 보여준다.

육상 중력자료 기반의 전 지구 중력장 모델 분석 (Analysis of Global Gravitational Models based on measured gravity data)

  • 최광선;이영철
    • 한국정보통신학회논문지
    • /
    • 제15권9호
    • /
    • pp.1833-1839
    • /
    • 2011
  • 본 연구에서는 전 지구 중력장 모델 EGM2008, EGM96을 우리나라 육상에서 측정한 16,786 지점의 중력 자료와 비교 평가 하였다. 육상 중력자료가 가장 정확하다는 가정 하에 육상 중력자료와 EGM2008, EGM96 간의 상관계수(correlation coefficient), 차이, 차이의 평균제곱오차(MSE), 표고에 따른 차이의 변화 등을 통하여 분석하였다. 육상중력과 EGM2008 간의 상관계수는 0.824, EGM96 간의 상관계수는 0.538로 계산되었다. 육상중력과 EGM2008, EGM96 간의 차이에 대한 표준편차는 각각 13.196 mgal, 18.685 mgal로 계산되었으며, 차이의 변화폭 역시 EGM2008이 EGM96 보다 작은 것으로 나타났다. 또한 육상 중력과 전 지구 중력장 모델의 표고에 따른 고도이상 차이는 역시 EGM2008은 큰 변화가 없었으나 EGM96의 경우 고도 변화에 따라 고도이상의 차이가 큰 것을 확인하였다. 이러한 결과로 EGM2008이 EGM96에 비하여 우리나라의 중력장을 잘 표현하고 있는 것으로 평가된다.

공간필터링을 이용한 중력이상의 광역-잔여 이상 효과 분리 (New separation technique of regional-residual gravity anomaly using geostatistical spatial filtering)

  • 임형래;박영수;임무택;구성본;이영철
    • 한국지구물리탐사학회:학술대회논문집
    • /
    • 한국지구물리탐사학회 2006년도 공동학술대회 논문집
    • /
    • pp.155-160
    • /
    • 2006
  • 이 논문에서 중력이상에서 광역이상과 잔여이상을 분리하는 문제를 다루었다. 지구통계학의 한 가지 방법인 인자크리깅 기법을 이용하여 공간필터링에 적용하였다. 이 방법은 일반적으로 광역이상은 공간적으로 큰 규모의 상관관계를 가지고 잔여이상은 좁은 지역에서 높은 상관관계를 가진다는 가정에서 출발하였다. 크리깅 방법의 하나인 인자크리깅(Factorial kriging)을 적용하기 위하여 영향 반경이 큰 지역과 작은 지역에 적합한 서로 다른 베리오그램 모델을 적용하여 각각을 광역이상과 잔여이상으로 구분하였다. 이 방법의 적용가능성을 검증하기 위하여 한 방향으로 증가하는 경향을 가정한 광역이상에 단일 이상체를 가정한 잔여이상이 더해진 합성 모델에 대하여 적용하였다. 베리오그램 모델은 각각 광역이상과 잔여이상을 나타내는 두개의 서로 다른 베리오그램 모델의 합으로 근사할 수 있었다. 따라서 서로 다른 두개의 베리오그램 모델에 대하여 인자 크리깅을 이용한 공간필터링을 적용한 결과 광역이상과 잔여이상을 구분할 수 있다. 이 방법을 폐갱도가 존재하는 지역에서의 고정밀중력탐사 자료에서 적용하여 잔여이상을 추출하였고, 다항식 접합법의 결과와도 비교하였다. 이 연구를 통하여 인자크리깅을 이용한 공간필터링 방법이 중력이상에서 광역이상과 잔여이상을 분리해 낼 수 있는 한 가지 방법이 될 수 있음 보였다.

  • PDF

사용자 명령어 분석을 통한 비정상 행위 판정에 관한 연구 (A Study on Anomaly Detection based on User's Command Analysis)

  • 윤정혁;오상현;이원석
    • 정보보호학회논문지
    • /
    • 제10권4호
    • /
    • pp.59-71
    • /
    • 2000
  • 컴퓨터와 통신기술의 발달로 사용자에게 다양한 정보와 편리성이 제공된 반면, 컴퓨터 침입 및 범죄로 인한 피해가 날로 증가하고 있으며 다양한 침입 방법들이 새롭게 사용되고 있다. 따라서 침입자들의 행위를- 효과적으로 탐지하기 위해서는 기존의 오용탐지 방법과 더불어 비정상행위 모델의 적용에 대한 필요성이 증가하고 있다. 본 논문에서는 비 정상행위 탐지 모델에서 사용자의 정상행위 패턴 생성 시 최근에 관찰된 사용자의 행위에 더 많은 영향을 주도록 하는 새로운 연관 규칙 알고리즘을 제시한다 또한 생성된 정상행위 패턴을 토대로 사용자별 그리고 사용자간 클러스터링 과정을 수행함으로써 작업의 유사성을 가진 그룹의 명령어 또는 프로그램 이용정도를 파악한다. 이와 더불어 다양한 실험을 통해서 본 논문에서 제안된 비정상행위 판정시스템에서 탐지율을 최대화 할 수 있는 임계치 값들을 제시한다.

오토인코더 기반 IoT 디바이스 트래픽 이상징후 탐지 방법 연구 (Autoencoder-Based Anomaly Detection Method for IoT Device Traffics)

  • 박승아;장예진;김다슬;한미란
    • 정보보호학회논문지
    • /
    • 제34권2호
    • /
    • pp.281-288
    • /
    • 2024
  • 6세대(6G) 이동통신 기술은 초고속과 초대역, 그리고 초연결성을 중심으로 발전하고 있다. 통신 기술의 발전으로 사물 인터넷(IoT) 기술에서 만물 인터넷(IoE) 기술로 확장되며 초연결 사회의 형성이 급속화되고 있다. 하지만 그와 동시에 IoT 디바이스를 대상으로 하는 보안 위협이 광범위해지고 무단 액세스나 정보 유출 등 침해사고에 대한 우려가 커지며 보안 강화 솔루션의 필요성이 증가하고 있다. 이에 따라, 본 논문에서는 IoT 보안 위협에 대응하기 위해 실시간으로 수집한 네트워크 트래픽을 활용하여 오토인코더 기반의 이상징후 탐지 모델을 구현한다. 실제 IoT 환경에서 각종 공격에 대한 IoT 디바이스 트래픽 데이터를 수집하기 어려운 점을 고려하여 비지도 학습 기반의 오토인코더 신경망을 사용하며, 학습 데이터의 노이즈 적용과 잠재 공간의 차원에 따라 서로 다른 6가지 오토인코더 모델을 구현한다. 실험을 통해 모델 성능을 비교하여 비정상적인 네트워크 트래픽을 탐지하는 이상징후 탐지 모델에 대한 성능 평가를 제공한다.

이상탐지 기반의 효율적인 시계열 유사도 측정 및 순위화 (Efficient Time-Series Similarity Measurement and Ranking Based on Anomaly Detection)

  • 최지현;안현
    • 인터넷정보학회논문지
    • /
    • 제25권2호
    • /
    • pp.39-47
    • /
    • 2024
  • 시계열 분석은 시간 순서로 정렬된 데이터로부터 다양한 정보와 인사이트를 발견하기 위한 방법으로 많은 조직에서 비즈니스 문제 해결을 위해 적용하고 있다. 그중에서 시계열 유사도 측정은 패턴이 비슷한 시계열들을 식별하기 위한 단계로서 시계열 검색 및 군집화와 같은 시계열 분석 응용에서 매우 중요하다. 본 연구에서는 전체 시계열이 아닌 이상치들을 중심으로 시계열 유사도 측정을 계산 효율적으로 수행하는 방법을 제안한다. 이와 관련하여 이상탐지를 통해 추출된 서브시퀀스 집합에 대한 유사도 측정 결과와 시계열 전체에 대한 유사도 측정 결과 사이의 순위 상관관계를 측정 및 분석하여 제안 방법을 검증한다. 실험 결과로써, 주식 종목 시계열 데이터에 이상치 비율 10% 을 적용한 유사도 측정으로부터 최대 0.9 이상의 스피어만 순위 상관계수를 확인하였다. 결론적으로 제안 방법을 통해 시계열 유사도 측정에 소요되는 계산량을 유의미하게 절감하는 동시에 신뢰 가능한 시계열 검색 및 군집화 결과를 기대할 수 있다.