• 제목/요약/키워드: Outlier test

검색결과 109건 처리시간 0.025초

A study on data mining techniques for soil classification methods using cone penetration test results

  • Junghee Park;So-Hyun Cho;Jong-Sub Lee;Hyun-Ki Kim
    • Geomechanics and Engineering
    • /
    • 제35권1호
    • /
    • pp.67-80
    • /
    • 2023
  • Due to the nature of the conjunctive Cone Penetration Test(CPT), which does not verify the actual sample directly, geotechnical engineers commonly classify the underground geomaterials using CPT results with the classification diagrams proposed by various researchers. However, such classification diagrams may fail to reflect local geotechnical characteristics, potentially resulting in misclassification that does not align with the actual stratification in regions with strong local features. To address this, this paper presents an objective method for more accurate local CPT soil classification criteria, which utilizes C4.5 decision tree models trained with the CPT results from the clay-dominant southern coast of Korea and the sand-dominant region in South Carolina, USA. The results and analyses demonstrate that the C4.5 algorithm, in conjunction with oversampling, outlier removal, and pruning methods, can enhance and optimize the decision tree-based CPT soil classification model.

특징점 추적을 통한 다수 영상의 고속 스티칭 기법 (Fast Stitching Algorithm by using Feature Tracking)

  • 박시영;김종호;유지상
    • 방송공학회논문지
    • /
    • 제20권5호
    • /
    • pp.728-737
    • /
    • 2015
  • 스티칭 기법은 여러 영상에서 추출한 특징점의 디스크립터를 생성하고, 특징점들간의 정합 과정을 통해 하나의 영상으로 만드는 것이다. 각각의 특징점은 128 차원의 정보를 가지고 있고, 특징점의 개수가 증가 할수록 데이터 처리 시간이 증가하게 된다. 본 논문에서는 비디오 영상을 입력 했을 때 고속 파노라마 생성을 위한 특징점 추출 및 정합 기법을 제안한다. 빠른 속도로 특징점 추출을 위해서 FAST(Features from Accelerated Segment Test) 기법을 사용한다. 특징점 정합과정은 기존의 방법과는 다른 새로운 방법을 제안한다. Mean shift를 통해 특징점이 포함된 영역을 추적하여 벡터(vector)를 구하고 이 벡터를 사용하여 추출한 특징점들을 정합하는데 사용한다. 마지막으로 이상점(outlier)을 제거하기 위해 RANSAC(RANdom Sample Consensus) 기법을 사용한다. 입력된 두 영상의 호모그래피(homography) 변환 행렬을 구하여 하나의 파노라마 영상을 생성한다. 실험을 통해 제안하는 기법이 기존의 기법보다 속도가 향상되는 것을 확인하였다.

Outlier Impact on the Power of Significance Test for Cronbach Alpha Reliability Coefficient

  • Yonghwan Um
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권5호
    • /
    • pp.179-187
    • /
    • 2023
  • 본 논문은 크론바흐 알파 신뢰계수의 유의성 검정에서 이상치가 검정력에 미치는 영향을 연구한 것이다. 표본 크기, 문항들의 수, 이상치의 수, 모집단의 크론바흐 알파 레벨의 네 개의 변수들에 변화를 주었다. 데이터 시물에이션을 위해 다변량 정규분포를 사용했고 균일분포로부터 이상치를 추출하여 사용했다. 크론바흐 알파 신뢰도의 유의성 검정을 위해 모수적 검정(F 검정)과 퍼뮤테이션 검정을 사용하였다. 결과적으로 퍼뮤테이션 검정의 검정력은 F검정의 검정력 보다 크거나 같았고, 두 검정의 검정력은 모두 이상치의 수가 많아질수록 감소하였으며 이러한 이상치의 영향은 모집단의 알파 레벨이 증가할수록 크게 나타났다.

L-모멘트법에 의한 극치강우의 빈도분석 (Frequency Analysis of Extreme Rainfall by L-Moments)

  • 맹승진;이순혁;김병준
    • 한국농공학회:학술대회논문집
    • /
    • 한국농공학회 2002년도 학술발표회 발표논문집
    • /
    • pp.225-228
    • /
    • 2002
  • This research seeks to derive the design rainfalls through the L-moment with the test of homogeneity, independence and outlier of data on annual maximum daily rainfall in 38 Korean rainfall stations. To select the fit appropriate distribution of annual maximum daily rainfall data according to rainfall stations, applied were Generalized Extreme Value (GEV), Generalized Logistic (GLO) and Generalized Pareto (GPA) probability distributions were applied. and their aptness was judged Dusing an L-moment ratio diagram and the Kolmogorov-Smirnov (K-S) test, the aptitude was judged of applied distributions such as GEV, GLO and GPA. The GEV and GLO distributions were selected as the appropriate distributions. Their parameters were estimated Targetingfrom the observed and simulated annual maximum daily rainfalls and using Monte Carlo techniques, the parameters of GEV and GLO selected as suitable distributions were estimated and. dDesign rainfallss were then derived, using the L-moment. Appropriate design rainfalls were suggested by doing a comparative analysis of design rainfall from the GEV and GLO distributions according to rainfall stations.

  • PDF

LH-모멘트의 적정 차수 결정에 의한 설계홍수량 추정 ( I ) (Estimation of Design Flood by the Determination of Best Fitting Order of LH-Moments ( I ))

  • 맹승진;이순혁
    • 한국농공학회지
    • /
    • 제44권6호
    • /
    • pp.49-60
    • /
    • 2002
  • This study was conducted to estimate the design flood by the determination of best fitting order of LH-moments of the annual maximum series at six and nine watersheds in Korea and Australia, respectively. Adequacy for flood flow data was confirmed by the tests of independence, homogeneity, and outliers. Gumbel (GUM), Generalized Extreme Value (GEV), Generalized Pareto (GPA), and Generalized Logistic (GLO) distributions were applied to get the best fitting frequency distribution for flood flow data. Theoretical bases of L, L1, L2, L3 and L4-moments were derived to estimate the parameters of 4 distributions. L, L1, L2, L3 and L4-moment ratio diagrams (LH-moments ratio diagram) were developed in this study. GEV distribution for the flood flow data of the applied watersheds was confirmed as the best one among others by the LH-moments ratio diagram and Kolmogorov-Smirnov test. Best fitting order of LH-moments will be derived by the confidence analysis of estimated design flood in the second report of this study.

ESTP 표지를 이용한 국내 소나무 집단의 유전변이 (Genetic Variation of Pinus densiflora Populations in South Korea Based on ESTP Markers)

  • 안지영;홍경낙;이제완;홍용표;강호덕
    • 한국자원식물학회지
    • /
    • 제28권2호
    • /
    • pp.279-289
    • /
    • 2015
  • 소나무의 유전다양성과 유전구조를 추정하기 위해 9개의 ESTP 표지를 13개 소나무 집단에 적용하였다. 소나무 집단의 유전다양성은 관찰된 대립유전자 수(A)가 2.2개, 유효 대립유전자 수(Ae)가 1.8개, 다형적 유전자좌 비율(P)이 98.8%, 이형접합도 관찰치(Ho)가 0.391, 이형접합도 기대치(He)가 0.402로 나타났다. 안강과 강릉 집단을 제외한 11개 집단이 하디-바인베르그 평형을 만족하였다. 집단간 유전분화도(FST)는 0.057으로, 동위효소나 nSSR 표지분석 결과보다 강하게 나타났다. 군집분석에서 집단의 유전적 거리와 지리적 분포간에 뚜렷한 연관성은 확인할 수 없었으며, 집단의 유전분화와 지리적 인접성도 상관이 없는 것으로 나타났다(Mantel 검증, r = 0.017, P = 0.344). 유전자좌에 대한 FST-outlier 분석을 실시한 결과, 빈도주의 방법에서는 FST 값이 신뢰하한 이하인 3개 유전자좌와 신뢰상한 이상인 3개 유전자좌가 특이값으로 추정되었고, 베이즈 방법에서는 3개 유전자좌들만 특이값으로 확인되었다. 두 방법에서 공히 특이값으로 판정된 3개 유전자좌(sams2+AluⅠ, sams2+RsaⅠ, PtNCS_p14A9+HaeⅢ)중 sams2 표지에서 유래된 2개 유전자좌는 balancing selection의 영향을 받는 것으로 추정되었다.

A Novel Network Anomaly Detection Method based on Data Balancing and Recursive Feature Addition

  • Liu, Xinqian;Ren, Jiadong;He, Haitao;Wang, Qian;Sun, Shengting
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권7호
    • /
    • pp.3093-3115
    • /
    • 2020
  • Network anomaly detection system plays an essential role in detecting network anomaly and ensuring network security. Anomaly detection system based machine learning has become an increasingly popular solution. However, due to the unbalance and high-dimension characteristics of network traffic, the existing methods unable to achieve the excellent performance of high accuracy and low false alarm rate. To address this problem, a new network anomaly detection method based on data balancing and recursive feature addition is proposed. Firstly, data balancing algorithm based on improved KNN outlier detection is designed to select part respective data on each category. Combination optimization about parameters of improved KNN outlier detection is implemented by genetic algorithm. Next, recursive feature addition algorithm based on correlation analysis is proposed to select effective features, in which a cross contingency test is utilized to analyze correlation and obtain a features subset with a strong correlation. Then, random forests model is as the classification model to detection anomaly. Finally, the proposed algorithm is evaluated on benchmark datasets KDD Cup 1999 and UNSW_NB15. The result illustrates the proposed strategies enhance accuracy and recall, and decrease the false alarm rate. Compared with other algorithms, this algorithm still achieves significant effects, especially recall in the small category.

Unity3D를 이용한 스트랩 다운 영상 추적기의 동역학 및 유도 법칙 알고리즘의 상호-시뮬레이션 방법에 관한 연구 (Study on Co-Simulation Method of Dynamics and Guidance Algorithms for Strap-Down Image Tracker Using Unity3D)

  • 마린미카엘;김태호;방효충;조한진;조영기;최용훈
    • 한국항공우주학회지
    • /
    • 제46권11호
    • /
    • pp.911-920
    • /
    • 2018
  • 본 연구에서는 스트랩 다운 영상 탐색기를 활용한 유도무기와 목표물 사이의 관측각을 효과적으로 추적할 수 있는 연구를 수행하였고 이를 시각적으로 시뮬레이션 가능한 테스트 베드를 구축하였다. 영상 정보를 이용하여 목표물 추적을 위한 Lucas Kanade의 Optical flow 알고리즘과 같은 희박 특징점 추적 알고리즘 구현 시 고성능의 특징점 분포를 유지시키는 법을 기술하였으며, 특징점 추적 문제를 특징점 관리의 개념으로 확장하여 연구하였다. 이를 구현하기 위해 Unity3D 엔진을 이용하여 시각 환경을 구성하고 OpenCV를 이용하여 영상 처리 시뮬레이션을 개발하였다. 상호-시뮬레이션을 위해 매틀랩(Matlab) 시뮬링크(Simulink)로 동적 시스템 모델링을 하였고, Unity3D를 이용한 시각 환경을 구성, OpenCV를 이용한 컴퓨터 비전 작업을 수행하였다.

Malicious Users Detection and Nullifying their Effects on Cooperative Spectrum Sensing

  • Prasain, Prakash;Choi, Dong-You
    • 한국IT서비스학회지
    • /
    • 제15권1호
    • /
    • pp.167-178
    • /
    • 2016
  • Spectrum sensing in cognitive radio (CR) has a great role in order to utilize idle spectrum opportunistically, since it is responsible for making available dynamic spectrum access efficiently. In this research area, collaboration among multiple cognitive radio users has been proposed for the betterment of detection reliability. Even though cooperation among them improves the spectrum sensing performance, some falsely reporting malicious users may degrade the performance rigorously. In this article, we have studied the detection and nullifying the harmful effects of such malicious users by applying some well known outlier detection methods based on Grubb's test, Boxplot method and Dixon's test in cooperative spectrum sensing. Initially, the performance of each technique is compared and found that Boxplot method outperforms both Grubb's and Dixon's test for the case where multiple malicious users are present. Secondly, a new algorithm based on reputation and weight is developed to identify malicious users and cancel out their negative impact in final decision making. Simulation results demonstrate that the proposed scheme effectively identifies the malicious users and suppress their harmful effects at the fusion center to decide whether the spectrum is idle.

3변수 및 4변수 Kappa 분포에 의한 설계홍수량 추정 (Estimation of Design Floods Using 3 and 4 Parameter Kappa Distributions)

  • 맹승진;김병준;김형산
    • 한국농공학회논문집
    • /
    • 제51권4호
    • /
    • pp.49-55
    • /
    • 2009
  • This paper is to induce design floods through L-moment with 3 and 4 parameter Kappa distributions including test of independence by Wald-Wolfowitz, homogeneity by Mann-Whitney and outlier by Grubbs-Beck on annual maximum flood flows at 9 water level gaging stations in Han, Nakdong and Geum Rivers of South Korea. After analyzing appropriateness of the data of annual maximum flood flows by Kolmogorov-Smirnov test, 3 and 4 Kappa distributions were applied and the appropriateness was judged. The parameters of 3 and 4 Kappa distributions were estimated by L-moment method and the design floods by water level gaging station was calculated. Through the comparative analysis using the relative root mean square errors (RRMSE) and relative absolute errors (RAE) calculated by 3 and 4 parameter Kappa distributions with 4 plotting position formulas, the result showed that the design floods by 4 parameter Kappa distribution with Weibull and Cunnane plotting position formulas are closer to the observed data than those obtained by 3 parameter Kappa distribution with 4 plotting position formulas and 4 parameter Kappa distribution with Hazen and Gringorten plotting position formulas.