• 제목/요약/키워드: 이상탐지분석

검색결과 602건 처리시간 0.024초

이동 평균과 3-시그마를 이용한 하둡 로그 데이터의 이상 탐지 (Anomaly Detection of Hadoop Log Data Using Moving Average and 3-Sigma)

  • 손시운;길명선;문양세;원희선
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권6호
    • /
    • pp.283-288
    • /
    • 2016
  • 최근 빅데이터 처리를 위한 연구들이 활발히 진행 중이며, 관련된 다양한 제품들이 개발되고 있다. 이에 따라, 기존 환경에서는 처리가 어려웠던 대용량 로그 데이터의 저장 및 분석이 가능해졌다. 본 논문은 다수의 서버에서 빠르게 생성되는 대량의 로그 데이터를 Apache Hive에서 분석할 수 있는 데이터 저장 구조를 제안한다. 그리고 저장된 로그 데이터로부터 특정 서버의 이상 유무를 판단하기 위해, 이동 평균 및 3-시그마 기반의 이상 탐지 기술을 설계 및 구현한다. 또한, 실험을 통해 로그 데이터의 급격한 증가폭을 나타내는 구간을 이상으로 판단하여, 제안한 이상 탐지 기술의 유효성을 보인다. 이 같은 결과를 볼 때, 본 연구는 하둡 기반으로 로그 데이터를 분석하여 이상치를 바르게 탐지할 수 있는 우수한 결과라 사료된다.

시계열 이상치 탐지 기법을 활용한 경부선 주요도시 철도 승객수의 이상치 탐색 연구 (A Study on the Outliers Detection in the Number of Railway Passengers for the Gyeongbu Line From Seoul to Major Cities Using a Time Series Outlier Detection Technique)

  • 이지선;윤윤진
    • 대한교통학회지
    • /
    • 제35권6호
    • /
    • pp.469-480
    • /
    • 2017
  • 2004년 4월 1일, 국내 최초의 고속철도(HSR)인 KTX (Korea Train eXpress)가 경부선에 도입 되었다. KTX의 등장은 경부선을 이용하는 철도 승객들의 운송수단 선택 및 도시구간별 이용객 수 변화를 가져왔다. KTX의 등장과 같은 개입사건(Intervention events)의 영향은 개입사건 전후 변화를 단순 통계량으로 분석하거나 개입 ARIMA 모델을 통해 분석 되었다. 개입 ARIMA 모델은 개입사건의 발생 시점(t)과 개입사건의 영향 형태(type) 등의 가정이 필요하다는 한계가 있었으며, 본 연구에서는 기존 연구에서의 한계점을 보완할 수 있는 시계열 이상치 탐지(time series outlier detection)를 활용하였다. 일반적으로 개입사건의 발생시기는 잘 알려져 있지 않으므로 시계열 이상치 탐지를 통해 개입사건에의 발생 시기를 추정할 수 있다. 시계열 이상치 탐지기법을 활용하여 개입의 시점과 영향 형태에 관한 가정 없이 개입사건에 대한 영향을 분석할 수 있으며, 발생된 이상치의 시점을 개입사건의 시점, 이상치의 영향을 개입사건의 영향으로 가정하였다. 데이터는 KTDB (Korea Transport Database)로 부터 KTX가 도입되기 이전인 2003년부터 2014년까지 12년 동안의 경부선(4개의 주요 도시구간 합산)을 포함한 주요 도시구간 4개의 월별데이터를 수집하여 활용하였다. 경부선 도시 구간별 이상치를 탐지 하고 그 영향을 분석한 결과, 동일한 개입사건 임에도 그 영향의 형태의 정도가 도시구간마다 다르게 나타나거나 영향이 나타나지 않았으며, 기존 연구에서 분석되지 않은 개입사건을 찾을 수 있었다.

모바일 결제 환경에서의 데이터마이닝을 이용한 이상거래 탐지 시스템 (Fraud Detection System in Mobile Payment Service Using Data Mining)

  • 한희찬;김하나;김휘강
    • 정보보호학회논문지
    • /
    • 제26권6호
    • /
    • pp.1527-1537
    • /
    • 2016
  • 전 세계적으로 스마트폰 보급률이 증가함에 따라 스마트폰을 이용한 다양한 결제 서비스들이 출시되었고, 모바일 결제로 금전을 탈취하는 사례도 증가하였다. 이미 금융권은 온/오프라인 환경에서 이상거래를 탐지하기 위한 다양한 보안조치들을 마련하였지만, 모바일 결제 환경의 보안 솔루션이나 연구들은 미비한 실정이다. 모바일 결제는 소액 결제 위주의 결제 패턴을 보이고 결제 환경도 다르기 때문에 기존의 이상거래 탐지와는 다른 모바일에 특화된 이상거래 탐지가 필요하다. 이에 본 논문에서는 국내 PG사의 실제 모바일 결제 로그를 분석하고 데이터 마이닝 알고리즘을 이용한 모바일 결제에 특화된 이상거래 탐지 시스템을 제안하였다. 해당 시스템은 1단계 탐지 모듈에서 2가지 알고리즘을 사용해 빠른 속도로 정상거래를 판별하고, 2단계 탐지 모듈에서는 고도화된 3가지 알고리즘으로 이상거래를 정확히 탐지하도록 설계하였다. 그 결과 1초에 13건 이상의 거래를 93% 이상의 정확도로 판별할 수 있었다.

중앙 집중형 망에서 인공면역체계 기반의 적응적 망 이상 상태 탐지 모델 설계 (An Adaptive Anomaly Detection Model Design based on Artificial Immune System in Central Network)

  • 유경민;양원혁;이상열;정혜련;소원호;김영천
    • 한국통신학회논문지
    • /
    • 제34권3B호
    • /
    • pp.311-317
    • /
    • 2009
  • 기존의 망 이상 상태 탐지 시스템들은 주로 정상 상태의 시스템 사용률 등과 같은 통계 값으로 결정된 임계값을 기반으로 탐지하기 때문에 이상 상태임에도 불구하고 정상 상태와 비슷한 시스템 통계 값을 가지면 탐지하지 못하는 문제점이 있다. 이러한 단점들을 해결하기 위하여 본 논문에서는 인간면역체계의 학습, 적응, 기억 능력등의 특성을 이용하는 인공면역체계 기반의 적응적 망 이상 상태 탐지 모델을 제안한다. 이를 위하여 인간면역 시스템의 수지상 세포 (Dendritic Cell)와 T 세포 사이의 상호 작용을 이용한 탐지 모델을 설계하고 각 구성 요소 및 기능을 정의한다. 중앙 집중 제어 노드는 각 라우터 노드로부터 전달받은 정보를 분석하여 대응 방법을 해당 라우터들에게 전달한다. 또한 라우터 노드는 학습을 통해 얻어진 데이터를 기반으로 이상 상태를 탐지할 뿐만 아니라 중앙 집중 제어 노드로부터 전달받은 정보를 이용하여 이상 상태를 처리한다. 최종적으로 제안된 이상 상태탐지 모델의 타당성을 검증하기 위하여 구성 모듈을 설계하고 flooding 공격에 대한 시뮬레이션을 수행한다.

다변량 장기 종속 시계열에서의 이상점 탐지 (Outlier detection for multivariate long memory processes)

  • 김경희;유승연;백창룡
    • 응용통계연구
    • /
    • 제35권3호
    • /
    • pp.395-406
    • /
    • 2022
  • 본 논문에서는 장기 종속 다변량 시계열 자료에 대한 이상점 탐지 기법을 연구한다. 기존 다변량 시계열 이상점 탐지 방법은 단기 종속 시계열 모형인 VARMA에 기반한 방법으로, 장기억성을 띈 다변량 시계열 자료에는 적합하지 않다. 자기회귀 모형을 통해서 장기 종속성, 즉 장기억성을 고려하기 위해서는 높은 차수의 모형이 필요하고, 이는 곧 추정의 불안성으로 이어지기에 장기억성을 효율적으로 다룰 수 없기 때문이다. 따라서, 본 논문은 이러한 문제를 보완하고자 VHAR 구조에 기반한 이상점 탐지 방법을 제시하고자 한다. 또한 더욱 정확한 추론을 위해서 로버스트한 방법을 이용하여 VHAR 계수를 추정하였고 이를 활용하여 이상점을 탐지하였다. 모의실험 결과 우리가 제안한 방법론이 기존 VARMA에 기반한 방법론보다 이상점 탐지에 더 효과적임을 살펴볼 수 있었다. 주가지수에 대한 실증자료 분석에서도 기존의 방법론은 탐지하지 못하는 추가 이상점을 찾음을 확인할 수 있었다.

재무 시계열 자료의 이상치 탐지 기법 연구 (A Study on Outlier Detection Method for Financial Time Series Data)

  • 하명호;김삼용
    • 응용통계연구
    • /
    • 제23권1호
    • /
    • pp.41-47
    • /
    • 2010
  • 본 연구에서는 재무 시계열 자료를 분석하는데 있어 유용하게 쓰이는 이분산성 시계열 모형하에서 이상치 탐지 기법을 적용하여 그 효율성을 보이고자 한다. 먼저 GARCH 모형과 GARCH 모형하에서 이상치 탐지 기법에 대해 소개하고, 적용된 방법이 기존의 전통적인 이상치 탐지 방법보다 성능이 우수함을 시뮬레이션과 실제 KOSPI 자료에 적합시켜 입증하였다.

데이터 유출 탐지를 위한 이상 행위 탐지 방법의 비교 및 분석 (Comparison and Analysis of Anomaly Detection Methods for Detecting Data Exfiltration)

  • 임원기;권구형;김정재;이종언;차시호
    • 한국산학기술학회논문지
    • /
    • 제17권9호
    • /
    • pp.440-446
    • /
    • 2016
  • 군사 비밀이나 조직의 기밀 데이터는 그 조직의 매우 중요한 자원이며 외부로부터의 접근이 차단되어야 한다. 그러나 최근 인터넷의 접근성이 높아짐으로써 보안이 중요한 이슈로 부상하고 있다. 이를 위해 네트워크 내부에 대한 공격이나 침입행위를 탐지하는 이상 행위 탐지 방법이 제안되었다. 그러나 대부분의 이상 행위 탐지는 외부로부터의 침입에 대한 측면만 다루고 있으며, 공격이나 침입보다 더 큰 피해를 입히는 내부 데이터의 유출에 대해서는 다루고 있지 않다. 또한 기존의 이상 행위 탐지 방법을 데이터 유출 탐지에 적용할 경우 네트워크 내부의 환경과 여러 가지 변수들이 고려되어 있지 않기 때문에 많은 문제점들이 발생한다. 따라서 본 논문에서는 데이터 유출 탐지를 위한 이상 행위 탐지(Data Exfiltrating Detection for Anomaly Detection : DEDfAD) 방법의 정확도 향상을 위하여 DEDfAD에서 고려되어야 하는 이슈 사항들에 대하여 기술하고, 프로파일 기반의 탐지 방법과 머신러닝 기반의 탐지 방법으로 분류하여 이들의 장단점을 분석한다. 또한 분류된 접근 방법을 중심으로 이슈들과의 비교분석을 통해 향후 연구 방향을 제시한다.

콘텐츠 기반 무선 센서 네트워크 이상 탐지 기법 (A Contents-Based Anomaly Detection Scheme in WSNs)

  • 이창석;이광휘
    • 전자공학회논문지CI
    • /
    • 제48권5호
    • /
    • pp.99-106
    • /
    • 2011
  • 데이터 중심적인 네트워크인 무선 센서 네트워크는 대량의 센서 노드들이 광범위한 지역에 조밀하게 분산 배치되어 동작한다. 센서 노드들은 일반적으로 열린 환경에서 독립적으로 동작하기 때문에 보안 공격에 취약하다. 본 논문에서는 무선 센서 네트워크를 위한 콘텐츠 기반 이상 탐지 기법을 제안한다. 제안 기법은 무선 센서 네트워크의 특징인 특정한 현상을 여러 개의 센서 노드가 동시에 감지한다는 특성과 센서 노드에서 측정된 데이터인 콘텐츠는 어떤 특정 범위 안에서 변한다는 특성을 이용한다. 제안 기법은 훈련 단계, 적용 단계와 보정 단계로 구성되며 적용 단계에서 거리 기반 이상 탐지(distance-based anomaly detection) 기법을 이용하여 얻게 된 이상치 후보를 보정 단계로 보낸다. 보정 단계는 동일한 현상을 동시에 감지한 센서 노드들의 데이터로 구성된 콘텐츠 테이블과 이상치 후보를 비교, 분석함으로써 이상 탐지 기법의 성능을 향상시킨다. 시뮬레이션을 통해 제안 탐지 기법이 높은 탐지율과 낮은 오탐율을 가진다는 것을 확인할 수 있었다.

엔트로피 기반의 이상징후 탐지 시스템 (An Anomalous Event Detection System based on Information Theory)

  • 한찬규;최형기
    • 한국정보과학회논문지:정보통신
    • /
    • 제36권3호
    • /
    • pp.173-183
    • /
    • 2009
  • 본 논문에서는 엔트로피에 기반한 이상징후 탐지 시스템을 제안한다. 엔트로피는 시스템의 무질서정도를 측정하는 지표로써, 이상징후 출현 시 네트워크의 엔트로피는 급증한다. 네트워크를 IP와 포트번호를 기준으로 분류하여, 패킷별로 역학을 관찰하고 엔트로피를 각각 측정한다. 분산서비스거부공격이나 웜, 스캐닝 등의 네트워크 공격 출현 시 패킷 교환과정이 정상적일 때와는 다르므로 엔트로피를 통하여 기존기법 보다 높은 탐지율로 이상징후를 탐지할 수 있다. 본 논문에서는 다수의 원과 서비스거부공격을 포함한 데이터 셋을 수집하여 제안기법을 검증하였다. 또한 지수평활법, Holt-winters 등의 시계열예측 기법과 주성분분석을 이용한 이상징후 탐지 기법과 정확도 측면에서 비교한다. 본 논문에서 제안한 기법으로 웜, 서비스거부공격 등의 이상징후 탐지에 있어 오탐지율을 낮출 수 있다.

반려동물 행동 분석 기반 이상행동 예측 시스템 (Abnormal behavior prediction system based on companion animal behavior analysis)

  • 신민찬;문남미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.487-490
    • /
    • 2021
  • 최근 반려동물 관련 산업이 증가함에 따라 반려동물의 행동을 분석하는 연구가 진행되고 있다. 이를 바탕으로 본 논문에서는 반려동물 행동 분석을 통한 이상행동 예측 시스템을 제안한다. 이 시스템은 CCTV로부터 반려동물의 영상 데이터를 수집하고, YOLOv4(You Only Look Once version 4)를 통해 반려동물의 객체를 탐지한다. 행동을 분석하기 위해 탐지된 반려동물 객체를 DeepLabCut 딥러닝 알고리즘을 사용하여 관절 좌표 정보를 추출한다. 추출된 관절 좌표와 반려동물의 일반적인 행동을 매칭하여 이상행동을 예측하기 위한 DNN(Deep Neural Networks)의 입력 데이터로써 사용된다. 위 과정을 통해 반려동물의 전체적인 행동을 분석하여 이상행동을 예측한다. 이 시스템을 통해 반려동물의 행동을 분석하고 이상행동을 예측함으로써 반려동물 의료 관련 사업에도 적용될 수 있을 것이다.