• Title/Summary/Keyword: 이상치 탐지

Search Result 148, Processing Time 0.038 seconds

Android API anomaly Detection System Using One-class SVM algorithm (One-class SVM 알고리즘을 이용한 안드로이드 API의 이상치 탐지 시스템)

  • Ji-Eun LEE;Yu-Jun Choi;Yong-Tae Shin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.562-564
    • /
    • 2023
  • 스마트폰 발전으로 인한 SNS(Social Network Service), 웹 검색 및 활용 등 편리함과 유용성을 가져다 주었지만 안드로이드 APP의 개방성으로 인하여 프로그램의 원칙적 특성을 악용한 취약점이 발생하고 있다. 이를 대응하는 해결방안으로 API에 대한 요청 데이터를 모듈을 통하여 로그 값을 수집한다. 수집된 데이터는 로그 값을 시간을 기준으로 라벨링하여 이상치 탐지 알고리즘인 OCSVM의 이상치 평균으로 사용하여 실시간 데이터 영향을 받는 하이퍼파라미터 C 와 r 값을 Grid Search 기법을 통해 조정함으로써 최적의 파라미터 값을 찾는 시스템을 제안한다.

Learning Memory-Guided Normality with Only Normal Training Data for Novelty Detection in Network Data (네트워크 이상치 탐지를 위한 정상 데이터만을 활용한 메모리 기반 정상성 학습)

  • Lee, Geonsu;Lee, Hochang;Sim, Jaehoon;Koo, Hyung Il;Cho, Nam Ik
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.11a
    • /
    • pp.83-86
    • /
    • 2020
  • 본 논문에서는 네트워크 이상치 탐지를 위하여 정상 데이터만을 활용한 메모리 기반 정상성 학습 모델을 제안한다. 오토인코더를 기반으로 정상 데이터의 특징을 표현하는 프로토타입을 생성할 수 있도록 신경망을 구성하고, 네트워크 데이터의 특성을 반영하여 쿼리의 수를 한 개로 고정하며, 사용되는 프로토타입의 수를 지정한 값으로 고정하여 모든 프로토타입에 정상 데이터의 특징을 반영할 수 있는 학습 방법을 제안한다. 해당 모델을 네트워크 이상치 탐지 데이터 세트인 Kyoto Honeypot, UNSW-NB15, CICIDS-2018에 적용하여 본 결과 Kyoto Honeypot에서는 0.821, UNSW-NB15에서는 0.854, CICIDS-2018에서는 0.981의 AUROC를 달성했다.

  • PDF

Time Series Analysis of Agricultural Reservoir Water Level Data for Abnormal Behavior Detection (농업용 저수지 이상거동 탐지를 위한 시계열 수위자료 특성 분석)

  • Lee, Sung Hack;Lee, Sang Hyun;Hong, Min Ki;Cho, Jin Young
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2015.05a
    • /
    • pp.275-275
    • /
    • 2015
  • 최근 기후변화에 따른 극한 강우사상의 증가로 인하여 농업용 저수지의 재해 위험도가 증가하고 있는 추세이며, 사고가 발생할 때 마다 파손/붕괴된 시설물을 보수하는 대응형 유지관리체계에서 벗어나 기반시설의 성능과 생애주기 등을 고려하여 재해 발생을 사전에 예보 및 경보를 알릴 수 있는 예방적 관리체계로의 전환이 필요하다. 한국농어촌공사는 전국 1,500개 저수지에서 10분 단위 수위자료를 측정하고 있으며, 이를 분석하여 재해예방에 활용할 수 있는 기반이 조성되어 있으나 이에 대한 관리가 이루어지지 않고 있고 수집된 자료를 활용하여 재해 징후를 분석할 수 있는 재해 예방적 분석기술이 마련되어 있지 않은 실정이다. 본 연구에서는 농업용 저수지 수위자료를 이용한 저수지 이상거동을 판별하기 위하여 전국 34개 한국농어촌공사 관할 저수의 시계열 수위자료의 특성(Feature)을 분석하고자 한다. 시계열 자료의 시계열 특성을 분석하기 위하여 한국농어촌공사 관할의 전국 34개 저수지를 선정하여 분석을 실시하였다. 대상저수지는 지역별, 저수용량, 안정등급, 붕괴발생, 1개 지사관할 저수지로 각각 구분하여 선정하였으며, 각 저수지의 수위 측정기간(최소 5개년)에 대한 자료를 수집하였다. 농업용 저수지의 시계열 수위 자료의 특성을 분석하기 위하여 자료의 전처리를 수행하였다. 자료의 전처리는 시계열 수위자료의 잡음 특성, 기상자료 관련 변동특성 등 분류(Classification)에 영향을 미치는 노이즈 요소를 제거하는 과정이다. 전처리과정을 거친 자료는 특징(Feature) 추출 과정을 거치게 되고, 추출된 특징의 적합성에 따라 분류 알고리듬 성능에 많은 영향을 미친다. 따라서 시계열 자료의 특성을 파악하고 특징을 추출하는 것은 이상치 탐지에 있어 매우 중요한 과정이다. 본 연구에서는 시계열 자료 특징 추출 방법으로 물리적인 한계치, 확률적인 문턱값(Threshold), 시계열 패턴, 주변 저수지와의 시계열 상관분석 등을 적용하였으며, 이를 데이터베이스로 구축하여 이후 분류알고리듬 학습에 적용하여 정상치와 이상치를 판별하는데 이용될 수 있도록 하였다. 따라서 본 연구에서 제시되는 농업용 저수지의 시계열 특성은 다양한 분류알고리듬에 적용할 수 있으며, 이를 통하여 저수지 이상거동 판별을 위한 최적을 분류알고리듬의 선택에 도움이 될 것이다.

  • PDF

Development of a Stock Volatility Detection Model Using Artificial Intelligence (인공지능 기반 주식시장 변동성 이상탐지모델 개발)

  • HyunJung Kim;Heonchang Yu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2024.05a
    • /
    • pp.576-579
    • /
    • 2024
  • 경제 위기 대비를 위해 인공지능을 활용한 주식시장 변동성 이상을 탐지하는 목적을 가지고 있다. 글로벌 이슈와 경제 위기 대비를 위해 주식시장 변동성 예측의 중요성이 부각되고 있으며, 기존의 주식시장 변동성 지수인 VIX 의 한계로 인해 더 복잡한 모델 및 인공지능을 활용한 연구에 관심이 집중되고 있다. 기존의 주식시장 변동성 예측에 관한 연구들은 통계적인 방법을 사용했으며 인공지능을 이용한 연구 또한 대부분 이상치 구간을 표시하여 예측을 목표로 하고 있으나 이러한 접근법은 라벨이 있는 데이터 수집 어려움, 클래스 불균형 문제가 있다. 본 연구는 인공지능을 활용한 주식시장 변동성 탐지에 기여하고 지도 학습 방식 대신 비지도 학습 기반의 이상탐지모델을 사용하여 주식시장 변동성을 예측하는 새로운 방법론을 제안한다. 본 연구에서 개발한 인공지능 모델은 IsolationForest 모델을 활용하며, 시계열 데이터를 전처리한 후 정상성을 확보하는 등의 과정을 거친다. 실험 결과로 인공지능 모델이 주요 경제이슈를 이상치로 검출하는 성능을 확인하였으며 재현율 약 93.6%, 정밀도 100%로 높은 성능을 달성했다.

Outlier detection and treatment in industrial sampling survey (경제조사에서의 이상치 탐지와 처리방법)

  • Joo, Young Sun;Cho, Gyo-Young
    • Journal of the Korean Data and Information Science Society
    • /
    • v.27 no.1
    • /
    • pp.131-142
    • /
    • 2016
  • Outliers in surveys can have a large effect on estimates of totals. This is especially true in business surveys where the populations are drawn are typically skewed. In this paper, we discussed the practical development and implementation of methods to identify and deal with outliers. A detection method is based on quartile method and detected outlier is processed in various ways. The study examines two versions of winsorised estimators with three different cut-off thresholds for each one. For the simulation study, four types of weight transformation function have been considered.

Detection of System Abnormal State by Cyber Attack (사이버 공격에 의한 시스템 이상상태 탐지 기법)

  • Yoon, Yeo-jeong;Jung, You-jin
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.29 no.5
    • /
    • pp.1027-1037
    • /
    • 2019
  • Conventional cyber-attack detection solutions are generally based on signature-based or malicious behavior analysis so that have had difficulty in detecting unknown method-based attacks. Since the various information occurring all the time reflects the state of the system, by modeling it in a steady state and detecting an abnormal state, an unknown attack can be detected. Since a variety of system information occurs in a string form, word embedding, ie, techniques for converting strings into vectors preserving their order and semantics, can be used for modeling and detection. Novelty Detection, which is a technique for detecting a small number of abnormal data in a plurality of normal data, can be performed in order to detect an abnormal condition. This paper proposes a method to detect system anomaly by cyber attack using embedding and novelty detection.

Outlier Detection Method for Mobile Banking with User Input Pattern and E-finance Transaction Pattern (사용자 입력 패턴 및 전자 금융 거래 패턴을 이용한 모바일 뱅킹 이상치 탐지 방법)

  • Min, Hee Yeon;Park, Jin Hyung;Lee, Dong Hoon;Kim, In Seok
    • Journal of Internet Computing and Services
    • /
    • v.15 no.1
    • /
    • pp.157-170
    • /
    • 2014
  • As the increase of transaction using mobile banking continues, threat to the mobile financial security is also increasing. Mobile banking service performs the financial transaction using the dedicate application which is made by financial corporation. It provides the same services as the internet banking service. Personal information such as credit card number, which is stored in the mobile banking application can be used to the additional attack caused by a malicious attack or the loss of the mobile devices. Therefore, in this paper, to cope with the mobile financial accident caused by personal information exposure, we suggest outlier detection method which can judge whether the transaction is conducted by the appropriate user or not. This detection method utilizes the user's input patterns and transaction patterns when a user uses the banking service on the mobile devices. User's input and transaction pattern data involves the information which can be used to discern a certain user. Thus, if these data are utilized appropriately, they can be the information to distinguish abnormal transaction from the transaction done by the appropriate user. In this paper, we collect the data of user's input patterns on a smart phone for the experiment. And we use the experiment data which domestic financial corporation uses to detect outlier as the data of transaction pattern. We verify that our proposal can detect the abnormal transaction efficiently, as a result of detection experiment based on the collected input and transaction pattern data.

Hot Place Detection Based on ConvLSTM AutoEncoder Using Foot Traffic Data (유동인구를 활용한 ConvLSTM AutoEncoder 기반 핫플레이스 탐지)

  • Ju-Young Lee;Heon-Jin Park
    • The Journal of Bigdata
    • /
    • v.8 no.2
    • /
    • pp.97-107
    • /
    • 2023
  • Small business owners are relatively likely to be alienated from various benefits caused by the change to a big data/AI-based society. To support them, we would like to detect a hot place based on the floating population to support small business owners' decision-making in the start-up area. Through various studies, it is known that the population size of the region has an important effect on the sales of small business owners. In this study, inland regions were extracted from the Incheon floating population data from January 2019 to June 2022. the Data is consisted of a grid of 50m intervals, central coordinates and the population for each grid are presented, made image structure through imputation to maintain spatial information. Spatial outliers were removed and imputated using LOF and GAM, and temporal outliers were removed and imputated through LOESS. We used ConvLSTM which can take both temporal and spatial characteristics into account as a predictive model, and used AutoEncoder structure, which performs outliers detection based on reconstruction error to define an area with high MAPE as a hot place.

Outlier tests on potential outliers (잠재적 이상치군에 대한 검정)

  • Seo, Han Son
    • The Korean Journal of Applied Statistics
    • /
    • v.30 no.1
    • /
    • pp.159-167
    • /
    • 2017
  • Observations identified as potential outliers are usually tested for real outliers; however, some outlier detection methods skip a formal test or perform a test using simulated p-values. We introduce test procedures for outliers by testing subsets of potential outliers rather than by testing individual observations of potential outliers to avoid masking or swamping effects. Examples to illustrate methods and a Monte Carlo study to compare the power of the various methods are presented.