• Title/Summary/Keyword: outlier detection method

Search Result 130, Processing Time 0.025 seconds

동적 그림을 이용한 이상치 검색 (Outlier Detection Using Dynamic Plots)

  • 안병진;서한손
    • 응용통계연구
    • /
    • 제24권5호
    • /
    • pp.979-986
    • /
    • 2011
  • 선형회귀모형분석은 방법의 간편성과 높은 적용성에 의해 다양한 종류의 자료 분석에 활용되고 있다. 하지만 자료에 이상치가 포함되는 경우 이에 민감하게 영향을 받게 되므로 의심되는 관찰치를 찾아서 이상치 여부를 검토하는 것이 중요하다. 그러나 이상치를 탐지하는 방법의 대부분은 가면화 효과 등 이상치로부터 영향을 받아 정확하게 이상치를 발견하지 못하는 경우가 있다. 본 연구에서는 이를 개선하기 위하여 동적 잔차도를 활용한 방법을 제안한다. 제안된 방법은 종속적 이상치탐지방법을 사용할 때 다양한 기초군을 제공하는데 유용하며 결과적으로 정확한 이상치군을 탐지하게 되는 것을 예를 통해 검증한다.

공간적 상관도 측정을 위한 변이도 분석 : 태백지역의 지화학자료를 이용한 사례 연구 (Variogram Analysis for Spatial Similarity Measures : A Case Study using Geochemical Data Sets in the Taebaek Area)

  • 이기원;권병두
    • 자원환경지질
    • /
    • 제28권3호
    • /
    • pp.271-277
    • /
    • 1995
  • 공간통계를 바탕으로 한 지질정보의 정량적 처리및 분석을 위한 여러 응용방법들이 최근에 광물탐사문제와 관련되어 연구되고 있다. 본 연구에서는 지화학자료와 관련된 이상점판단(outlier detection)과 방향성 상호 변이도 측정의 적용성을 검토하였고, 아울러 태백지역내의 광물탐사를 위한 지화학자료에 에 대한 사례연구를 수행하였다. 이상점판단방법으로는 이동창(moving window)통계법이 이용되었다. 한편 상호 변이도는 공간적 연속성 측정을 위한 통계적 방법으로 알려져 있으나, 본 연구에서는 이 개념을 자료의 공간적 상관도 문제로 확장하였다. 한편 다섯가지 행태의 변이도 표현식을 이상점처리전후의 결과와 연관하여 비교하였다. 이러한 비교연구의 결과로 이 두가지 공간 통계법에 의한 자료처리과정및 분석방법은 실제의 결정판단단계에서 결정적인 영향을 미치는 것으로 나타났으며, 광역적 광물탐사에서 유용한 해석보조자료로 제공될 수 있을 것으로 생각된다.

  • PDF

Data anomaly detection for structural health monitoring using a combination network of GANomaly and CNN

  • Liu, Gaoyang;Niu, Yanbo;Zhao, Weijian;Duan, Yuanfeng;Shu, Jiangpeng
    • Smart Structures and Systems
    • /
    • 제29권1호
    • /
    • pp.53-62
    • /
    • 2022
  • The deployment of advanced structural health monitoring (SHM) systems in large-scale civil structures collects large amounts of data. Note that these data may contain multiple types of anomalies (e.g., missing, minor, outlier, etc.) caused by harsh environment, sensor faults, transfer omission and other factors. These anomalies seriously affect the evaluation of structural performance. Therefore, the effective analysis and mining of SHM data is an extremely important task. Inspired by the deep learning paradigm, this study develops a novel generative adversarial network (GAN) and convolutional neural network (CNN)-based data anomaly detection approach for SHM. The framework of the proposed approach includes three modules : (a) A three-channel input is established based on fast Fourier transform (FFT) and Gramian angular field (GAF) method; (b) A GANomaly is introduced and trained to extract features from normal samples alone for class-imbalanced problems; (c) Based on the output of GANomaly, a CNN is employed to distinguish the types of anomalies. In addition, a dataset-oriented method (i.e., multistage sampling) is adopted to obtain the optimal sampling ratios between all different samples. The proposed approach is tested with acceleration data from an SHM system of a long-span bridge. The results show that the proposed approach has a higher accuracy in detecting the multi-pattern anomalies of SHM data.

Robust Multithreaded Object Tracker through Occlusions for Spatial Augmented Reality

  • Lee, Ahyun;Jang, Insung
    • ETRI Journal
    • /
    • 제40권2호
    • /
    • pp.246-256
    • /
    • 2018
  • A spatial augmented reality (SAR) system enables a virtual image to be projected onto the surface of a real-world object and the user to intuitively control the image using a tangible interface. However, occlusions frequently occur, such as a sudden change in the lighting environment or the generation of obstacles. We propose a robust object tracker based on a multithreaded system, which can track an object robustly through occlusions. Our multithreaded tracker is divided into two threads: the detection thread detects distinctive features in a frame-to-frame manner, and the tracking thread tracks features periodically using an optical-flow-based tracking method. Consequently, although the speed of the detection thread is considerably slow, we achieve real-time performance owing to the multithreaded configuration. Moreover, the proposed outlier filtering automatically updates a random sample consensus distance threshold for eliminating outliers according to environmental changes. Experimental results show that our approach tracks an object robustly in real-time in an SAR environment where there are frequent occlusions occurring from augmented projection images.

A three-stage deep-learning-based method for crack detection of high-resolution steel box girder image

  • Meng, Shiqiao;Gao, Zhiyuan;Zhou, Ying;He, Bin;Kong, Qingzhao
    • Smart Structures and Systems
    • /
    • 제29권1호
    • /
    • pp.29-39
    • /
    • 2022
  • Crack detection plays an important role in the maintenance and protection of steel box girder of bridges. However, since the cracks only occupy an extremely small region of the high-resolution images captured from actual conditions, the existing methods cannot deal with this kind of image effectively. To solve this problem, this paper proposed a novel three-stage method based on deep learning technology and morphology operations. The training set and test set used in this paper are composed of 360 images (4928 × 3264 pixels) in steel girder box. The first stage of the proposed model converted high-resolution images into sub-images by using patch-based method and located the region of cracks by CBAM ResNet-50 model. The Recall reaches 0.95 on the test set. The second stage of our method uses the Attention U-Net model to get the accurate geometric edges of cracks based on results in the first stage. The IoU of the segmentation model implemented in this stage attains 0.48. In the third stage of the model, we remove the wrong-predicted isolated points in the predicted results through dilate operation and outlier elimination algorithm. The IoU of test set ascends to 0.70 after this stage. Ablation experiments are conducted to optimize the parameters and further promote the accuracy of the proposed method. The result shows that: (1) the best patch size of sub-images is 1024 × 1024. (2) the CBAM ResNet-50 and the Attention U-Net achieved the best results in the first and the second stage, respectively. (3) Pre-training the model of the first two stages can improve the IoU by 2.9%. In general, our method is of great significance for crack detection.

자동 손 제거와 개선된 정합방법을 이용한 오프라인 인 핸드 3D 모델링 시스템 (Offline In-Hand 3D Modeling System Using Automatic Hand Removal and Improved Registration Method)

  • 강준석;양현석;임화섭;안상철
    • 한국HCI학회논문지
    • /
    • 제12권3호
    • /
    • pp.13-23
    • /
    • 2017
  • 본 논문에서는 사용자의 편의성을 향상시킨 새로운 인 핸드 3D 모델링 시스템을 제안한다. 기존의 시스템은 사용자의 편의성이 낮은 문제점이 존재하여 물체를 손으로 들고 모델링을 진행하는 인 핸드 모델링 시스템이 연구되어 왔으나 손 제거를 위한 추가적인 장비가 필요하거나 특정 조건에서만 모델링이 가능한 문제가 발생하였다. 이에 본 논문에서는 자동 손 제거를 위한 접촉 상태 변화 감지 알고리즘과 정확한 정합을 위한 이상점 제어가 가능하고 색상정보를 추가적으로 이용하는 개선된 ICP 알고리즘을 제안한다. 제안된 알고리즘을 사용하면 추가적 장비나 어떠한 제한조건 없이 정확한 모델링이 가능하다. 본 논문에서는 실제 데이터를 이용한 실험을 통해 제안된 시스템을 활용하면 어떠한 제한 조건도 없는 일반적인 상황에서 정확한 모델링을 수행할 수 있음을 보였다.

단일 클래스 분류와 특징 선택에 기반한 향상된 이상 감지 (Improved Fault Detection Based on One-Class Classification and Feature Selection)

  • 조현우
    • 한국산학기술학회논문지
    • /
    • 제20권8호
    • /
    • pp.216-223
    • /
    • 2019
  • 생산 공정에서 발생되는 공정 이상을 적시에 감지하는 것은 생산 공정의 안전하고 일관된 조업 및 운영에 필수적인 요소 중 하나로서 반드시 필요하다. 예측되지 못하거나 적절하게 감지되지 못한 공정 이상은 전체 생산 공정과 공정에서 생산되는 최종 제품의 품질에 심각한 영향을 줄 수 있기 때문이다. 또한 이러한 상황은 공정 기능 불량과 고장으로 이어지게 된다. 이러한 공정 이상을 신뢰성 있게 적시에 검출하기 위해 본 연구에서는 새로운 단일 클래스 분류에 기반한 공정 이상 감지 기법을 제안한다. 본 연구의 제안된 방법은 잡음 필터링, 특징 선택, 비선형 표현 및 특이치 검출의 네단계로 구성된다. 본 연구에서는 시뮬레이션 공정의 측정치를 활용하여 제안된 방법의 성능을 평가하였다. 그 결과 제안된 공정 이상 탐지 기법이 신뢰할 수 있는 모니터링 결과를 산출하였으며 기존 비교 대상 방법들보다 평균 25.4% 향상된 성능을 보여 주었다. 또한 적합한 특징 선택을 통하여 보다 향상된 이상 감지 성능을 얻을 수 있었다.

회귀모형에서 이상치 검색을 이용한 로버스트 변수변환방법 (Robust Response Transformation Using Outlier Detection in Regression Model)

  • 서한손;이가연;윤민
    • 응용통계연구
    • /
    • 제25권1호
    • /
    • pp.205-213
    • /
    • 2012
  • 선형회귀모형에서 자료를 모형에 적합시킬 때 일반적으로 반응변수 변환을 시도하지만 적절한 변환함수의 결정은 몇개의 이상치들에 민감하게 반응한다는 것이 잘 알려져 있다. 이에 따라 이상치에 영향을 받지 않는 변수변환 방법들이 연구, 개발되고 있으나 최근에 Cheng (2005)에 의해 최소절사제곱추정치에 기반을 둔 절사 우도추정치 방법처럼 이상치의 숫자를 미리 정해야한다거나 많은 계산량이 필요하다는 단점들을 갖고 있다. 본 논문에서는 그와 같은 문제점을 해결하고 추정치의 강건성을 개선하는 새로운 방법을 제안하며 제안된 방법에서는 반응변수 변환에 따른 이상치 탐색법에 있어서 Hadi와 Simonoff (1993)가 제시한 단계적 절차를 응용, 적용한다.

실시간 비즈니스 프로세스 모니터링 방법론을 위한 확장 KNN 대체 기반 LOF 예측 알고리즘 (Extended KNN Imputation Based LOF Prediction Algorithm for Real-time Business Process Monitoring Method)

  • 강복영;김동수;강석호
    • 한국전자거래학회지
    • /
    • 제15권4호
    • /
    • pp.303-317
    • /
    • 2010
  • 본 논문에서는 KNN 대체와 LOF 알고리즘의 결합 모델을 확장하여 실시간 비즈니스 프로세스 모니터링을 위한 비정상 종료 예측 방법론을 제안하였다. 기존의 룰 기반 모니터링 방법론은 실시간 프로세스 진행 정도에 따른 비관측 정보에 기인하여 조기 경보 및 실시간 대응이 힘들다는 한계점을 안고 있다. 이를 해결하기 위하여 비관측 정보에 대한 가정 및 진행 중인 프로세스의 향후 경로 예측을 통해 종료 시점에서 예상되는 LOF를 추정하기 위한 알고리즘을 제안하였다. 이 알고리즘을 적용하여 실시간 비즈니스 프로세스 모니터링 과정에서 각 관측 시점마다 종료 시점에서의 결과를 예측함으로써, 전 시점에 걸친 추세를 살펴종료 패턴을 예측할 수 있다. 이를 통해 비즈니스 프로세스의 실시간 진척에 대한 정보를 가시화함으로써 기회 및 위협에 사전에 대응할 수 있게 하여 프로세스 관리 수준의 향상을 기대할 수 있을 것으로 예상된다.

증강현실에서 가려진 마커를 위한 Affine-SIFT 정합 점들을 이용한 마커 검출 기법 (Marker Detection by Using Affine-SIFT Matching Points for Marker Occlusion of Augmented Reality)

  • 김용민;박찬우;박기태;문영식
    • 전자공학회논문지CI
    • /
    • 제48권2호
    • /
    • pp.55-65
    • /
    • 2011
  • 본 논문은 증강현실 시스템에서 마커가 가려진 상황에서도 강건한 마커 검출을 위하여 지역적인 특징 점들을 이용하는 방법을 제안한다. 가려진 마커를 효율적으로 검출하기 위하여, 첫 번째 단계로 등록된 마커와 가려진 마커가 포함된 입력 영상을 Affine-SIFT (ASIFT, Affine-Scale Invariant Features Transform) 방법을 이용해 정합된 특징 점들을 검출한다. 두 번째 단계로 정합된 특징 점들의 이상치(Outlier)를 제거하기 위하여, 등록된 마커의 특징 점들에 주성분 분석(Principal Component Analysis)을 적용하고 제 1 주축과 제 2 주축으로 사영한 후 중심으로 부터의 거리에 대한 평균값을 타원의 장축과 단축으로 지정한다. 세 번째 단계로 마커의 기하학적인 왜곡을 추정하기 위하여 특징 점들이 이루는 Convex-hull 지점들을 다각형의 꼭짓점으로 정한다. 마지막 단계로, 입력영상에 정합된 특징 점들의 기하적인 왜곡의 변화를 추정함으로써 마커의 가려진 환경에 서도 강건한 마커 검출 결과를 얻을 수 있다.