• Title/Summary/Keyword: 이상치 처리

Search Result 663, Processing Time 0.025 seconds

Android API anomaly Detection System Using One-class SVM algorithm (One-class SVM 알고리즘을 이용한 안드로이드 API의 이상치 탐지 시스템)

  • Ji-Eun LEE;Yu-Jun Choi;Yong-Tae Shin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.562-564
    • /
    • 2023
  • 스마트폰 발전으로 인한 SNS(Social Network Service), 웹 검색 및 활용 등 편리함과 유용성을 가져다 주었지만 안드로이드 APP의 개방성으로 인하여 프로그램의 원칙적 특성을 악용한 취약점이 발생하고 있다. 이를 대응하는 해결방안으로 API에 대한 요청 데이터를 모듈을 통하여 로그 값을 수집한다. 수집된 데이터는 로그 값을 시간을 기준으로 라벨링하여 이상치 탐지 알고리즘인 OCSVM의 이상치 평균으로 사용하여 실시간 데이터 영향을 받는 하이퍼파라미터 C 와 r 값을 Grid Search 기법을 통해 조정함으로써 최적의 파라미터 값을 찾는 시스템을 제안한다.

Robust Estimation of Camera Motion using Fuzzy Classification Method (퍼지 분류기법을 이용한 강건한 카메라 동작 추정)

  • Lee, Joong-Jae;Kim, Gye-Young;Choi, Hyung-Il
    • The KIPS Transactions:PartB
    • /
    • v.13B no.7 s.110
    • /
    • pp.671-678
    • /
    • 2006
  • In this paper, we propose a method for robustly estimating camera motion using fuzzy classification from the correspondences between two images. We use a RANSAC(Random Sample Consensus) algorithm to obtain accurate camera motion estimates in the presence of outliers. The drawback of RANSAC is that its performance depends on a prior knowledge of the outlier ratio. To resolve this problem the proposed method classifies samples into three classes(good sample set, bad sample set and vague sample set) using fuzzy classification. It then improves classification accuracy omitting outliers by iteratively sampling in only good sample set. The experimental results show that the proposed approach is very effective for computing a homography.

Deep Learning-Based Outlier Detection and Correction for 3D Pose Estimation (3차원 자세 추정을 위한 딥러닝 기반 이상치 검출 및 보정 기법)

  • Ju, Chan-Yang;Park, Ji-Sung;Lee, Dong-Ho
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.11 no.10
    • /
    • pp.419-426
    • /
    • 2022
  • In this paper, we propose a method to improve the accuracy of 3D human pose estimation model in various move motions. Existing human pose estimation models have some problems of jitter, inversion, swap, miss that cause miss coordinates when estimating human poses. These problems cause low accuracy of pose estimation models to detect exact coordinates of human poses. We propose a method that consists of detection and correction methods to handle with these problems. Deep learning-based outlier detection method detects outlier of human pose coordinates in move motion effectively and rule-based correction method corrects the outlier according to a simple rule. We have shown that the proposed method is effective in various motions with the experiments using 2D golf swing motion data and have shown the possibility of expansion from 2D to 3D coordinates.

Development of a Stock Data Monitoring System Using the Isolation Forest Algorithm (Isolation Forest 알고리즘을 활용한 증권 데이터 모니터링 시스템 개발)

  • Woo-Yong An;Hong-Jip Kim;Jung-Yeon Kim;Seung-Hyun Seo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2024.05a
    • /
    • pp.488-489
    • /
    • 2024
  • 변동성이 심한 증권 데이터의 특성 상 데이터의 다양한 요소에서 장애 상황이 발생한다. 따라서 실시간 대용량 데이터 처리 과정에서 발생할 수 있는 다양한 서비스 장애 요인들을 식별하고, 이를 신속하게 대응하기 위한 효율적인 실시간 모니터링 시스템 구축이 필요하다. 본 연구는 국내 증권사로 송신되는 해외 선물옵션 및 주식 데이터를 이상치 탐지 알고리즘인 Isolation Forest 를 통해 데이터의 이상치를 판단하고 알림 신호를 발생시키는 시스템을 제안한다.

Anomaly Detection of Hadoop Log Data Using Moving Average and 3-Sigma (이동 평균과 3-시그마를 이용한 하둡 로그 데이터의 이상 탐지)

  • Son, Siwoon;Gil, Myeong-Seon;Moon, Yang-Sae;Won, Hee-Sun
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.5 no.6
    • /
    • pp.283-288
    • /
    • 2016
  • In recent years, there have been many research efforts on Big Data, and many companies developed a variety of relevant products. Accordingly, we are able to store and analyze a large volume of log data, which have been difficult to be handled in the traditional computing environment. To handle a large volume of log data, which rapidly occur in multiple servers, in this paper we design a new data storage architecture to efficiently analyze those big log data through Apache Hive. We then design and implement anomaly detection methods, which identify abnormal status of servers from log data, based on moving average and 3-sigma techniques. We also show effectiveness of the proposed detection methods by demonstrating that our methods identifies anomalies correctly. These results show that our anomaly detection is an excellent approach for properly detecting anomalies from Hadoop log data.

A Study on the Dynamic Priority Scheduling for Multiple Class Traffic in ATM Network (ATM망에서 다중등급 통화유량 처리를 위한 동적 우선순위 스케쥴링에 관한 연구)

  • 정상국;진용옥
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.18 no.2
    • /
    • pp.279-287
    • /
    • 1993
  • In this paper, double laxity threshold MLT(Minimum Laxity Threshold) algorithm and double queue threshold QLT(Queue Length Threshold) algorithm are proposed as DPS(Dynamic Priority Scheduling) techniques for advanced processing of multiple class traffics. Also, the performance of the proposed algorithms is analyzed by a computer simulation. According to the simulation results, it can be shown that the proposed double laxity threshold ML T algorithm advances the processing performance versus ML T algorithm for 2 or more classes delay sensitive traffics, and that double queue length threshold QL T algorithm provides more efficient performance than QL T for 2 or more classes of non real time traffics.

  • PDF

Deep Learning-based Time Series Data Prediction Research for Performance Enhancement in Cloud Monitoring Systems (클라우드 모니터링 시스템의 성능 향상을 위한 딥러닝을 이용한 시계열 데이터 예측 연구)

  • 김동완;홍두표;신용태
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.342-344
    • /
    • 2023
  • 클라우드 시장의 성장과 마이크로 서비스 접근식이 제기됨에 따라 IT인프라를 관리하기 위한 연구가 최근 활발히 이루어지고 있다. 하지만 고도화 및 분산된 환경에서 관찰 가능성 응용을 확보하기 어렵다는 문제점을 가지고 있다. 따라서 본 연구에서는 모니터링 시스템을 통한 데이터 분석 중 수집한 데이터의 분석이 난해하다는 문제를 해결하기 위한 방법을 제안한다. 제안된 방법은 NAB 데이터셋을 대상으로 STUMPY를 이용하여 데이터를 시각화하고, CNN을 이용하여 분류 작업을 수행한다. 분류를 수행한 데이터셋은 이상치 데이터와 이상 전조 데이터, 정상 데이터셋으로 분류하여 데이터셋을 구성한다. 구성한 학습 데이터셋에 대해 훈련을 마친 딥러닝 모델은 부하 테스트 환경에서 수집한 데이터에 대한 그래프 패턴을 분석하여 이상치 데이터와 이상 전조 데이터를 탐지한다.

Design of Sensor Data's Missing Value Handling Technique for Pet Healthcare Service based on Graph Attention Networks (펫 헬스 케어 서비스를 위한 GATs 기반 센서 데이터 처리 기법 설계)

  • Lee, Jihoon;Moon, Nammee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.463-465
    • /
    • 2021
  • 센서 데이터는 여러가지 원인으로 인해 데이터 결측치가 발생할 수 있으며, 결측치로 인한 데이터의 처리 방식에 따라 데이터 분석 결과가 다르게 해석될 수 있다. 이는 펫 헬스 케어 서비스에서 치명적인 문제로 연결될 수 있다. 따라서 본 논문에서는 펫 웨어러블 디바이스로부터 수집되는 다양한 센서 데이터의 결측치를 처리하기 위해 GATs(Graph Attention neTworks)와 LSTM(Long Short Term Memory)을 결합하여 활용한 데이터 결측치 처리 기법을 제안한다. 펫 웨어러블 디바이스의 센서 데이터가 서로 연관성을 가지고 있다는 점을 바탕으로 인접 노드의 Attention 수치와 Feature map을 도출한다. 이후 Prediction Layer 를 통해 결측치의 Feature 를 예측한다. 예측된 Feature 를 기반으로 Decoding 과정과 함께 결측치 보간이 이루어진다. 제안된 기법은 모델의 변형을 통해 이상치 탐지에도 활용할 수 있을 것으로 기대한다.

An efficient Bi-LSTM based method for outlier detection and correction in golf swing motion estimation (골프 스윙 모션 추정에서 Bi-LSTM 기반의 효율적인 이상치 검출 및 보정 기법)

  • Ju, Chan-Yang;Park, Ji-Sung;Oh, Gyeong-Su;Choi, Hyun-Jun;Lee, Dong-Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.787-790
    • /
    • 2021
  • 본 논문에서는 최신 모션 인식 기술을 활용하여 골프 스윙 비디오에서 사람의 자세를 추정한 후 다양한 원인으로 오검출된 좌표들을 보정하여 자세 추정의 정확도를 높이는 방법을 제안한다. 기존의 사람 자세 추정 모델은 골프 스윙 데이터에서 오검출, 반전, 불안정성, 미검출의 문제를 보여 정확한 자세 추정을 어렵게 했다. 이를 해결하기 위하여 본 연구에서는 자세 추정시 발생하는 이상치 데이터들을 Bi-LSTM 으로 학습하고 골프 스윙의 특징을 고려한 간단한 규칙을 통하여 이상치 데이터를 효과적으로 검출하고 이를 보정하는 방법을 제안한다. 또한 다양한 실험과 분석을 통하여 제안하는 방법이 골프 스윙 모션에서 사람의 자세를 정확히 추정할 수 있음을 보인다.

Error Filtering Algorithm for Accurate Travel Speed Measurement Using UTIS (UTIS 구간통행속도 이상치 제거 알고리즘)

  • Ki, Yong-Kul;Ahn, Gye-Hyeong;Kim, Eun-Jeong;Jeong, Jun-Ha;Bae, Kwang-Soo;Lee, Choul-Ki
    • The Journal of The Korea Institute of Intelligent Transport Systems
    • /
    • v.9 no.6
    • /
    • pp.33-42
    • /
    • 2010
  • Travel speed is an important parameter in measurement of road traffic. UTIS(Urban Traffic Information System) was developed as a type of section detector. However, UTIS incur errors caused by irregular vehicle trajectories, wireless communication range and so on. This paper suggests a new model that use an error-filtering algorithm to improve the accuracy of travel speed measurements. In the field test, the variance of the percent errors measured by the new model was reduced. Therefore, it can be concluded that the proposed model significantly improves travel speed measuring accuracy.