• 제목/요약/키워드: Outlier Detection Method

검색결과 128건 처리시간 0.021초

사용자 입력 패턴 및 전자 금융 거래 패턴을 이용한 모바일 뱅킹 이상치 탐지 방법 (Outlier Detection Method for Mobile Banking with User Input Pattern and E-finance Transaction Pattern)

  • 민희연;박진형;이동훈;김인석
    • 인터넷정보학회논문지
    • /
    • 제15권1호
    • /
    • pp.157-170
    • /
    • 2014
  • 모바일 뱅킹을 이용한 거래 증가세가 지속되면서 모바일 금융 보안 위협 또한 증가하고 있다. 모바일 뱅킹은 금융사가 제작한 전용 앱을 통해 금융거래를 수행하는 방식으로 인터넷 뱅킹에 준하는 대부분의 서비스를 제공하고 있다. 모바일 뱅킹 전용 앱에서 저장하고 있는 신용카드 번호와 같은 개인정보는 해커의 악의적인 공격이나 모바일 단말 분실로 인해 2차적인 공격에 이용될 수 있다. 따라서 본 논문에서는 이러한 개인정보 유출에 의한 모바일 금융사고 위협에 대응하기 위해 모바일 단말에서 뱅킹 서비스 이용시 사용자의 입력 패턴과 거래 패턴을 이용하여 올바른 사용자에 의한 거래 시도인지 여부를 판단할 수 있는 이상치 탐지 방법을 제안한다. 사용자의 입력 패턴과 거래 패턴 데이터에는 특정 사용자를 식별할 수 있는 정보들이 포함되어 있으며, 따라서 이를 적절히 이용할 경우 올바른 사용자에 의한 금융 거래와 비정상 거래를 구분하기 위한 자료로 사용할 수 있다. 본 논문에서는 실험을 위해 스마트 폰에서 직접 사용자 입력 패턴 정보를 수집하였고, 국내 모 금융사에서 이상치 탐지에 사용하는 실험 데이터를 획득하여 거래 패턴 정보로 활용하였다. 수집된 정보를 바탕으로 입력 패턴 및 거래 패턴 기반의 탐지 실험을 진행한 결과, 효율적으로 이상 거래를 탐지할 수 있음을 확인하였다.

데이터 마이닝을 이용한 고혈압환자의 당뇨질환 동반에 관한 데이터 질 관리 알고리즘 개발 (Developing data quality management algorithm for Hypertension Patients accompanied with Diabetes Mellitus By Data Mining)

  • 황규연;이은숙;김고원;홍성옥;박정선;곽미숙;이예진;임채혁;박태현;박종호;강성홍
    • 디지털융복합연구
    • /
    • 제14권7호
    • /
    • pp.309-319
    • /
    • 2016
  • 보건의료데이터의 질적 수준을 향상시키기 위해서는 데이터 질 관리 알고리즘을 개발할 필요성이 있다. 이에 본 연구에서는 질환의 유병률, 입원율이 높은 고혈압 환자의 당뇨질환 동반에 관련된 데이터 질 관리 알고리즘을 개발하고자 하였다. 이를 위해 2011년, 2012년 퇴원손상심층조사 자료 중 고혈압 환자 61,199건을 추출하여 분석대상으로 하였다. 데이터 마이닝의 대화식 의사결정나무 방법과 Outlier Detection 방법론을 통해 데이터 질 관리 알고리즘 개발한 결과 고혈압 환자가 당뇨병을 동반상병으로 가지는데 영향을 미치는 요인으로는 성별, 연령, 당뇨병성 사구체 장애, 당뇨병성 망막병증, 당병성 다발성 신경병증 등이 있었다. 의사결정나무 결과에 따라 당뇨병을 동반상병으로 가질 확률 값이 80% 이상이거나, 20% 이하인 집단을 Outlier(극단치)로 정의하고, 고혈압 환자의 당뇨 동반에 대한 극단치를 가지는 6개 집단을 발견하였다. 이와 같이 Outlier(극단치) 집단에 포함되는 실제 데이터를 확인하여 데이터의 질적 수준을 향상 시킬 필요가 있다.

해양 이상 자료 탐지를 위한 오토인코더 활용 기법 최적화 연구 (An Outlier Detection Using Autoencoder for Ocean Observation Data)

  • 김현재;김동훈;임채욱;신용탁;이상철;최영진;우승범
    • 한국해안·해양공학회논문집
    • /
    • 제33권6호
    • /
    • pp.265-274
    • /
    • 2021
  • 해양 이상 자료 탐지의 연구는 이전부터 활발하게 이루어지고 있으며, 통계 및 거리 기반의 기계 학습 알고리즘을 활용하는 기법들이 개발되었다. 최근에는 AI 기반의 해양 자료 이상 탐지 기법이 많은 관심을 받고 있으며, AI를 활용한 해양 이상 자료 탐지 기법은 정답이 주어지는 지도학습 기법이 주를 이루고 있다. 이러한 방법은 학습에 필요한 모든 자료에 수작업으로 분류 정보(라벨)를 지정해야 한다는 점에서 많은 시간과 비용이 요구된다. 본 연구에서는 이러한 문제를 극복하기 위해 비지도학습 기반의 오토인코더를 이상 자료 탐지 기법에 사용하였다. 실험으로는 오토인코더의 평가를 위해 단변수·다변수학습 두가지 실험을 구성하였고, 단변수 학습은 기상청에서 제공하는 덕적도 부이 정점 관측 자료 중 수온만 사용하였으며, 다변수 학습은 수온과 기온, 풍향, 풍속, 기압, 습도 등을 사용하였다. 사용기간은 1996~2020년의 25년간이며 학습 자료에 해양-기상 자료의 특성을 고려한 전처리 기법을 적용하였다. 학습된 다변수와 단변수 오토인코더를 활용하여 실제 표층 수온에 대한 이상 탐지를 시도하였다. 모델성능 비교를 위해 오차를 삽입한 합성 자료에 다변수와 단변수 오토인코더를 포함한 여러 이상 탐지 기법을 적용하여 정량적으로 평가하였으며, 다변수/단변수의 정확도가 각각 약 96%/91%로써 다변수 오토인코더가 더 나은 이상자료 탐지 성능을 보였다. 오토인코더를 이용한 비지도학습 기반 이상 탐지 기법은 주관적 판단에 의한 오류와 자료 라벨링에 필요한 시간과 비용을 줄일 수 있다는 점에서 다양하게 활용될 것으로 판단된다.

Robust Estimation and Outlier Detection

  • Myung Geun Kim
    • Communications for Statistical Applications and Methods
    • /
    • 제1권1호
    • /
    • pp.33-40
    • /
    • 1994
  • The conditional expectation of a random variable in a multivariate normal random vector is a multiple linear regression on its predecessors. Using this fact, the least median of squares estimation method developed in a multiple linear regression is adapted to a multivariate data to identify influential observations. The resulting method clearly detect outliers and it avoids the masking effect.

  • PDF

분식 적발을 위한 재무이상치 분석시스템 개발 (Development of the Financial Account Pre-screening System for Corporate Credit Evaluation)

  • 노태협
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제18권4호
    • /
    • pp.41-57
    • /
    • 2009
  • Although financial information is a great influence upon determining of the group which use them, detection of management fraud and earning manipulation is a difficult task using normal audit procedures and corporate credit evaluation processes, due to the shortage of knowledge concerning the characteristics of management fraud, and the limitation of time and cost. These limitations suggest the need of systemic process for !he effective risk of earning manipulation for credit evaluators, external auditors, financial analysts, and regulators. Moot researches on management fraud have examined how various characteristics of the company's management features affect the occurrence of corporate fraud. This study examines financial characteristics of companies engaged in fraudulent financial reporting and suggests a model and system for detecting GAAP violations to improve reliability of accounting information and transparency of their management. Since the detection of management fraud has limited proven theory, this study used the detecting method of outlier(upper, and lower bound) financial ratio, as a real-field application. The strength of outlier detecting method is its use of easiness and understandability. In the suggested model, 14 variables of the 7 useful variable categories among the 76 financial ratio variables are examined through the distribution analysis as possible indicators of fraudulent financial statements accounts. The developed model from these variables show a 80.82% of hit ratio for the holdout sample. This model was developed as a financial outlier detecting system for a financial institution. External auditors, financial analysts, regulators, and other users of financial statements might use this model to pre-screen potential earnings manipulators in the credit evaluation system. Especially, this model will be helpful for the loan evaluators of financial institutes to decide more objective and effective credit ratings and to improve the quality of financial statements.

Damaged cable detection with statistical analysis, clustering, and deep learning models

  • Son, Hyesook;Yoon, Chanyoung;Kim, Yejin;Jang, Yun;Tran, Linh Viet;Kim, Seung-Eock;Kim, Dong Joo;Park, Jongwoong
    • Smart Structures and Systems
    • /
    • 제29권1호
    • /
    • pp.17-28
    • /
    • 2022
  • The cable component of cable-stayed bridges is gradually impacted by weather conditions, vehicle loads, and material corrosion. The stayed cable is a critical load-carrying part that closely affects the operational stability of a cable-stayed bridge. Damaged cables might lead to the bridge collapse due to their tension capacity reduction. Thus, it is necessary to develop structural health monitoring (SHM) techniques that accurately identify damaged cables. In this work, a combinational identification method of three efficient techniques, including statistical analysis, clustering, and neural network models, is proposed to detect the damaged cable in a cable-stayed bridge. The measured dataset from the bridge was initially preprocessed to remove the outlier channels. Then, the theory and application of each technique for damage detection were introduced. In general, the statistical approach extracts the parameters representing the damage within time series, and the clustering approach identifies the outliers from the data signals as damaged members, while the deep learning approach uses the nonlinear data dependencies in SHM for the training model. The performance of these approaches in classifying the damaged cable was assessed, and the combinational identification method was obtained using the voting ensemble. Finally, the combination method was compared with an existing outlier detection algorithm, support vector machines (SVM). The results demonstrate that the proposed method is robust and provides higher accuracy for the damaged cable detection in the cable-stayed bridge.

A Novel Network Anomaly Detection Method based on Data Balancing and Recursive Feature Addition

  • Liu, Xinqian;Ren, Jiadong;He, Haitao;Wang, Qian;Sun, Shengting
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권7호
    • /
    • pp.3093-3115
    • /
    • 2020
  • Network anomaly detection system plays an essential role in detecting network anomaly and ensuring network security. Anomaly detection system based machine learning has become an increasingly popular solution. However, due to the unbalance and high-dimension characteristics of network traffic, the existing methods unable to achieve the excellent performance of high accuracy and low false alarm rate. To address this problem, a new network anomaly detection method based on data balancing and recursive feature addition is proposed. Firstly, data balancing algorithm based on improved KNN outlier detection is designed to select part respective data on each category. Combination optimization about parameters of improved KNN outlier detection is implemented by genetic algorithm. Next, recursive feature addition algorithm based on correlation analysis is proposed to select effective features, in which a cross contingency test is utilized to analyze correlation and obtain a features subset with a strong correlation. Then, random forests model is as the classification model to detection anomaly. Finally, the proposed algorithm is evaluated on benchmark datasets KDD Cup 1999 and UNSW_NB15. The result illustrates the proposed strategies enhance accuracy and recall, and decrease the false alarm rate. Compared with other algorithms, this algorithm still achieves significant effects, especially recall in the small category.

이중추출법에서 일반화 ratio-cum-product 방법을 이용한 이상점 가중치 보정법 (An outlier weight adjustment using generalized ratio-cum-product method for two phase sampling)

  • 오정택;신기일
    • 응용통계연구
    • /
    • 제29권7호
    • /
    • pp.1185-1199
    • /
    • 2016
  • 이중추출법은 모집단 정보가 충분하지 않아 층화 추출법을 사용할 때 정확한 층화 정보가 없는 경우에 흔히 사용하는 표본추출법이다. 특히 최근에는 이중추출법을 위해 1차 조사에서 얻어진 보조 정보를 이용하여 추정의 정확성을 향상시키는 방법들이 제안되었다. 본 연구에서는 최근 제안된 일반화 ratio-cum-product 추정량에서 사용하는 가중치를 이상점 처리를 위한 가중치 보정에 맞도록 보정하여 추정의 정밀성을 향상시키는 방법을 제안하였다. 모의실험을 통하여 본 연구에서 제안한 방법과 기존의 이상점 가중치 보정법의 성능을 비교하였으며 사례 분석을 통하여 제안된 방법의 우수성을 확인하였다.

모서리 잡음 제거를 위한 Loop 필터링 기법 (Loop-Filtering for Reducing Comer outlier)

  • 홍윤표;전병우
    • 대한전자공학회논문지SP
    • /
    • 제41권5호
    • /
    • pp.217-223
    • /
    • 2004
  • 블록 기반의 손실 영상 압축 방식에서는 블록마다 다른 양자화 오류로 인하여 블록 경계를 따라 불연속성이 나타날 수 있다. 이러한 블록화 현상은 압축률이 높아질수록 심각하여 화질에 큰 영향을 미친다. 이러한 블록화 현상을 막기 위해 많은 알고리즘들이 제안되었다 그러나 블록화 현상에 대한 연구 중 모서리 잡음이라고 불리는 현상에 대한 연구가 미진하였다. 모서리 잡음은 블록 경계가 교차하는 지점에서 영상 경계가 불연속적으로 나타나게 되는 것을 말한다. 본 논문에서는 블록 기반영상 압축방식에서 발생하는 모서리 잡음의 발생과정과 특성을 분석하고 이 문제를 해결하기 위한 검출과 제거 알고리즘을 제안한다. 실험 결과는 제안 방법이 주관적 화질을 향상시키는 것을 보여준다.

VAE(Variational AutoEncoder) 기반 머신러닝 모델을 활용한 체중 라이프로그 이상탐지에 관한 연구 (Study on Lifelog Anomaly Detection using VAE-based Machine Learning Model)

  • 김지용;박민서
    • 문화기술의 융합
    • /
    • 제8권4호
    • /
    • pp.91-98
    • /
    • 2022
  • 웨어러블 기기를 통해 지속적으로 수집되는 라이프로그 데이터는 많은 이상값을 포함할 수 있으므로 데이터품질을 향상시키기 위해서는 이상값을 찾아 제거하는 것이 필요하다. 일반적으로 이상치의 개수가 정상 데이터의 개수보다 적기 때문에 클래스 불균형 문제가 발생한다. 이러한 불균형 문제를 해결하기 위해 Variational AutoEncoder를 outlier에 적용하는 방법을 제안한다. 제안된 방법으로 이상치 데이터를 전처리한 후, 다수의 머신러닝 모델(분류)을 통해 검증한다. 체중 데이터를 이용한 검증 결과, 모든 분류 모델에서 성능이 향상됨을 확인하였다. 실험 결과를 바탕으로 라이프로그 체중 데이터 분석 시 본 연구에서 제안한 이상치 처리 방법을 이용하여 데이터를 전처리한 후 성능이 가장 좋은 LightGBM 모델을 적용할 것을 제안한다.