• 제목/요약/키워드: 이상탐지

검색결과 1,346건 처리시간 0.027초

LSTM 오토인코더를 활용한 축산 환경 시계열 데이터의 이상치 탐지: 경계값 설정에 따른 성능 비교 (Anomaly Detection in Livestock Environmental Time Series Data Using LSTM Autoencoders: A Comparison of Performance Based on Threshold Settings)

  • 정세연;김상철
    • 스마트미디어저널
    • /
    • 제13권4호
    • /
    • pp.48-56
    • /
    • 2024
  • 축산업에서 환경의 이상치 탐지와 데이터 예측은 매우 중요한 과제이다. 대부분 시계열 데이터로 수집되는 축산 환경 데이터의 이상치는 급격한 생육환경의 변화와 예상치 못한 전염병의 징후를 나타낼 수 있으므로 이상치를 빠르게 탐지하는 것이 중요하다. 이상치의 빠른 탐지와 효과적인 대응은 가축의 스트레스를 최소화하고 전염병 발생 환경을 조기에 발견하여 농가의 경제적인 손실을 감소시키는 역할을 할 수 있다. 본 연구에서는 축산환경 데이터의 이상치 탐지 분야에서 이상치를 규정하는 경계값(Threshold) 설정에서 두 가지 설정 방법을 이용하여 실험하고 성능을 비교하였다. Mean Squared Error(MSE)를 활용한 이상치 탐지 방법과 Dynamic Threshold를 이용한 이상치 탐지 방법을 이용하여 이를 통해 주어진 이전 데이터의 평균값과의 변동성을 분석하여 이상 상황을 식별하는 연구를 진행하였다. MSE를 활용한 이상치 탐지 방법은 94.98% 정확도를 보였고 표준편차를 활용한 Dynamic Threshold 방법은 99.66%정확도로 성능이 더 우수함을 확인할 수 있었다.

각도 기반 이상치 탐지 방법의 분석과 성능 개선 (Analysis and Performance enhancement of angle-based outlier detection)

  • 신용준;박정희
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(C)
    • /
    • pp.452-457
    • /
    • 2010
  • 고차원 공간에서 효과적인 이상치 탐지 방법으로 제안되었던 각도 기반 이상치 탐지(Angle Based Outlier Detection)는 객체와 객체를 비교하는 척도로 각도 개념을 사용하여 고차원 공간에서도 일반적인 거리기반 이상치 측정 방법보다 좋은 이상치 탐지 성능을 가진다. 그러나 어떤 이상치가 다른 이상치에 의해 둘러싸인 경우 정상객체와 구분하기 어렵다는 문제가 있다. 이 논문에서는 기존의 이상치 탐지 방법을 개선한 방법을 제안하고 실험을 통하여 기존의 방법과 제안한 새로운 방법을 비교하여 향상된 성능을 입증한다.

  • PDF

반도체 공정 신호의 이상탐지 및 분류를 위한 자기구상지도 기반 기법에 관한 연구

  • 윤재준;박정술;백준걸
    • 한국진공학회:학술대회논문집
    • /
    • 한국진공학회 2011년도 제40회 동계학술대회 초록집
    • /
    • pp.36-36
    • /
    • 2011
  • 반도체 공정 신호는 주기 신호와 비주기 신호로 구분된다. 특정 패턴을 가지는 주기 신호는 해당 파라미터(parameter)에 대해서 패턴 매칭을 수행하여 관리하는 연구가 진행되고 있다. 반면 비주기 신호 데이터의 경우에는 패턴 매칭 방법을 수행할 수 없다. 또한 반도체 공정에서 얻을 수 있는 두 개 타입의 데이터는 그 파라미터가 방대하기 때문에 현재 실제 공정에 적용되고 있는 방식인 각각 하나의 파라미터에 대해 관리도(control chart)를 구성해 관리하는 것은 많은 비용과 시간의 낭비를 초래한다. 따라서 두 타입 데이터의 여러 개의 파라미터를 동시에 관측할 수 있고 파라미터간의 내재된 상관관계를 고려할 수 있는 장점을 가진 분석 기법에 대한 연구가 필요하다. 주기 신호의 이상탐지를 위한 기존 연구는 신호를 구간으로 나누어 구간별로 SPC 차트적용 시키는 방법, 각 시점 마다 측정되는 값을 하나의 변수로 고려하여 Hotelling's T square, PCA, PLS 등과 같은 다변량 통계 분석을 적용 시키는 방법들이 제시되어 왔다. 이러한 방법들은 다양한 특성을 가지는 주기신호를 분석하고 이상을 탐지 하는데 많은 한계점을 가진다. 이에 본 논문은 다양한 형태를 가지는 신호의 특성을 반영하여 자기구상지도를 기반으로 신호의 분류와 공정의 이상을 탐지하는 기법을 제안한다. 제안하는 기법은 자기구상지도를 이용하여 복잡한(고차원, 시계열) 신호를 2차원 상의 노드로 맵핑시킴으로써 신호의 특질(feature)을 추출하고 새로 표현된 신호의 특질을 기반으로 Logistic regression을 적용시켜 이상을 탐지 한다. 다양한 이상 상황을 가진 반도체 공정 신호를 사용하여 제안한 이상탐지 성능을 평가하였다.

  • PDF

시퀀스 유사도 기반 무인 비행체 이상 탐지 시스템 (Sequence Based Anomaly Detection System for Unmanned Aerial Vehicle)

  • 서강욱;김휘강
    • 정보보호학회논문지
    • /
    • 제32권1호
    • /
    • pp.39-48
    • /
    • 2022
  • 본 논문에서는 무인 비행체 내부 네트워크의 이상 징후를 탐지하는 시퀀스 기반 이상 탐지 시스템을 제안한다. 제안하는 이상 탐지 시스템은 무인 비행체가 지상 통제 시스템에 주기적으로 전송하는 상태 메시지 시퀀스들 간의 유사도를 측정하여 이상 징후를 탐지한다. 본 연구에서는 무인 비행체 내부 네트워크에서 수행 가능한 악의적인 메시지 주입 공격 세 가지를 정의하고, 해당 공격 기법들을 Pixhawk4 쿼드콥터에서 시뮬레이션하였다. 결과적으로, 제안하는 이상 탐지 시스템은 96% 이상의 정확도로 비정상 시퀀스를 탐지할 수 있었다.

이상탐지 알고리즘 성능 비교: 이상치 유형과 데이터 속성 관점에서 (Performance Comparison of Anomaly Detection Algorithms: in terms of Anomaly Type and Data Properties)

  • 김재웅;정승렬;김남규
    • 지능정보연구
    • /
    • 제29권3호
    • /
    • pp.229-247
    • /
    • 2023
  • 여러 분야에서 이상탐지의 중요성이 강조됨에 따라, 다양한 데이터 유형과 이상치 유형에 대한 이상탐지 알고리즘이 개발되고 있다. 하지만 이상탐지 알고리즘의 성능은 주로 공개 데이터 세트에 대해 측정될 뿐 특정 유형의 이상치에서 나타나는 각 알고리즘의 성능은 확인되지 않고 있으므로, 분석 상황에 맞는 적절한 이상탐지 알고리즘 선택에 어려움이 있다. 이에 본 논문에서는 이상치의 유형과 다양한 데이터 속성을 먼저 파악하여, 이를 기반으로 적절한 이상탐지 알고리즘 선택에 도움을 줄 수 있는 방안을 제시하고자 한다. 구체적으로 본 연구에서는 지역, 전역, 종속성, 그리고 군집화의 총 4가지 이상치 유형에 대해 이상탐지 알고리즘의 성능을 비교하고, 추가 분석을 통해 라벨 수준, 데이터 개수, 그리고 차원 수가 성능에 미치는 영향을 확인한다. 실험 결과 이상치 유형에 따라 가장 우수한 성능을 나타내는 알고리즘이 다르게 나타나며, 이상치 유형에 대한 정보가 없는 경우에도 안정적인 성능을 보여주는 알고리즘을 확인했다. 또한 비지도 학습 기반 이상탐지 알고리즘의 성능이 지도 학습 및 준지도 학습 알고리즘의 성능보다 낮게 나타나는 유형을 확인하였다. 마지막으로 데이터 개수가 상대적으로 적거나 많을 때 대부분 알고리즘들의 성능이 이상치 유형에 더 강하게 영향을 받으며, 상대적으로 고차원일 경우 지역, 전역 이상치에서는 우수한 성능을 보였지만 군집화 이상치 유형에서 낮은 성능을 나타냄을 확인하였다.

트래픽 분산 그래프를 이용한 이상 호스트 탐지 기법 (An Anomalous Host Detection Technique using Traffic Dispersion Graphs)

  • 김정현;원유집;안수한
    • 한국정보과학회논문지:정보통신
    • /
    • 제36권2호
    • /
    • pp.69-79
    • /
    • 2009
  • 오늘날의 인터넷은 일상생활에서 필수적인 요소가 되었으며, 인터넷의 이상 현상은 사회적 문제가 되고 있다. 이 때문에 인터넷 트래픽의 특성을 연구하기 위한 인터넷 측정 연구가 주목을 받고 있다. 특히 최근에는 트래픽 분산 그래프(TDG, Traffic Dispersion Graph)라는 새로운 트래픽 분석 기법이 제안되었다. TDG는 기존의 트래픽의 통계적 표현과 분석이 아닌, 그래프를 이용하여 네트워크 요소들의 상호작용을 표현하는 기법이다. 본 연구에서는 새로운 이상 탐지 기법의 패러다임과 TDG를 활용한 이상 탐지 기법을 제시한다. 기존의 이상 탐지 패러다임은 "비정상 패킷이나 플로우(Abnormal Packets or Flows)를 탐지하여 제거하자"는 것이지만, 본 연구에서는 "이상 트래픽의 근원이 되는 이상 호스트(Anomalous Hosts)를 탐지하여 이상 현상에 대응할 것"을 제안한다. 이를 위해서 TDG 클러스터링 기법(TDG Clustering Technique)을 고안하였다. 제안한 기법에 대한 실험에서 짧은 시간 안에 웜 바이러스(Worm Virus)에 감염된 호스트들을 찾아낼 수 있었고, 그 호스트들이 발생하는 이상 트래픽을 제거하여 정상적인 트래픽을 얻을 수 있었다. TDG 클러스터링 기법은 연산 속도가 빠르므로 실시간 이상 탐지에 적용될 수 있을 것으로 기대된다.

하둡 에코시스템을 활용한 로그 데이터의 이상 탐지 기법 (Anomaly Detection Technique of Log Data Using Hadoop Ecosystem)

  • 손시운;길명선;문양세
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권2호
    • /
    • pp.128-133
    • /
    • 2017
  • 최근 대용량 데이터 분석을 위해 다수의 서버를 사용하는 시스템이 증가하고 있다. 대표적인 빅데이터 기술인 하둡은 대용량 데이터를 다수의 서버로 구성된 분산 환경에 저장하여 처리한다. 이러한 분산 시스템에서는 각 서버의 시스템 자원 관리가 매우 중요하다. 본 논문은 다수의 서버에서 수집된 로그 데이터를 토대로 간단하면서 효율적인 이상 탐지 기법을 사용하여 로그 데이터의 변화가 급증하는 이상치를 탐지하고자 한다. 이를 위해, 각 서버로부터 로그 데이터를 수집하여 하둡 에코시스템에 저장할 수 있도록 Apache Hive의 저장 구조를 설계하고, 이동 평균 및 3-시그마를 사용한 세 가지 이상 탐지 기법을 설계한다. 마지막으로 실험을 통해 세 가지 기법이 모두 올바로 이상 구간을 탐지하며, 또한 가중치가 적용된 이상 탐지 기법이 중복을 제거한 더 정확한 탐지 기법임을 확인한다. 본 논문은 하둡 에코시스템을 사용하여 간단한 방법으로 로그 데이터의 이상을 탐지하는 우수한 결과라 사료된다.

온라인 게임 결제 데이터 분석 기반의 이상거래 탐지 모델

  • 우지영;김하나;곽병일;김휘강
    • 정보보호학회지
    • /
    • 제26권3호
    • /
    • pp.38-44
    • /
    • 2016
  • 소액결제에 대한 규제 완화로 이와 관련한 사기가 급증하고 있으며, 특히 소액결제가 대부분을 차지하는 온라인게임 산업은 관련 사기로 인한 피해가 증가하고 있다. 온라인 게임의 소액결제 사기는 단순히 금액에 대한 피해뿐만이 아니라 회사 브랜드에도 영향을 미치며, 나아가 고객 이탈로 이어질 수 있다. 소액결제 사기를 방지하기 위해 게임 산업에서도 이상거래 탐지 시스템이 요구되고 있다. 본 연구는 게임 사용자의 결제 패턴을 분석하여 이상거래를 탐지할 수 있는 머신러닝 기반의 이상거래 탐지 모델을 제시하며, 제안하는 모델을 글로벌 온라인 게임에 적용한 사례를 소개한다.

이상행위 탐지시스템 기술의 발전 방향

  • 임형진
    • 정보와 통신
    • /
    • 제34권3호
    • /
    • pp.37-46
    • /
    • 2017
  • 최근 핀테크 산업이 이슈가 되면서 금융 업무를 더 효율적으로 만드는 기술 중 하나로서 이상행위 탐지시스템(FDS)이 관심을 받고 있다. 이상행위 탐지시스템은 금융업무의 리스크 관리를 위한 기술로 주로 활용되고 있다. 본고에서는 이상행위 탐지시스템의 개념을 소개하고, 은행, 카드, 보험 등 금융권 적용분야를 살펴보고자 한다. 또한, 각 금융업무의 리스크 관리 목적뿐만 아니라 FDS를 활용한 침해사고 대응 활동을 소개하면서 기술 발전 방향을 고찰하도록 한다.

이상점 영향력 축소를 통한 무응답 대체법 (A Multiple Imputation for Reducing Outlier Effect)

  • 김만겸;신기일
    • 응용통계연구
    • /
    • 제27권7호
    • /
    • pp.1229-1241
    • /
    • 2014
  • 이상점과 무응답이 동시에 존재하는 경우에는 무응답만 있는 경우에 비해 무응답 대체의 성능이 떨어지게 된다. 이러한 경우에는 먼저 이상점을 탐지하고, 탐지된 이상점의 영향력을 축소한 후 무응답 대체를 실시하여야 한다. 본 논문에서는 이상점의 영향력을 축소하여 무응답 대체법의 성능을 향상시키는 방법을 연구하였다. 이를 위해 She and Owen (2011)이 제안한 이상점 탐지법을 살펴보았고, 탐지된 이상점의 영향력을 줄이기 위한 방법으로 흔히 사용되는 가중치 조정법과 이상점 대체법을 살펴보았다. 또한 이상점 처리 방법을 적용한 무응답 대체법을 살펴보았으며 모의실험과 사례분석을 통하여 이상점 영향력 축소 효과를 살펴보았다.