• 제목/요약/키워드: Accuracy Statistics

검색결과 799건 처리시간 0.026초

오즈 곡선과 최적분류점 (Odds curve and optimal threshold)

  • 홍종선;오태규;오세현
    • 응용통계연구
    • /
    • 제34권5호
    • /
    • pp.807-822
    • /
    • 2021
  • 오즈 곡선으로 설명이 가능한 정확도 측도들을 살펴보고, 오즈 곡선의 성질을 바탕으로 대안적인 최대 사각형 정확도 측도를 제안한다. 다양한 확률분포함수와 실증예제를 고려하여 정확도 측도들에 대응하는 분류점을 구하고, 분류점을 측정하는 통계량들을 비교하면서 특징을 토론한다. 그러므로 ROC 곡선 등과 유사하게 오즈 곡선으로부터도 최적분류점들을 발견하고 설명할 수 있으며, 최대사각형 측도는 이진 분류모형의 성능을 향상시킬 수 있는 정확도 측도로 활용할 수 있다.

Assessing the Accuracy of Outlier Tests in Nonlinear Regression

  • Kahng, Myung-Wook;Kim, Bu-Yang
    • Communications for Statistical Applications and Methods
    • /
    • 제16권1호
    • /
    • pp.163-168
    • /
    • 2009
  • Given the specific mean shift outlier model, the standard approaches to obtaining test statistics for outliers are discussed. Accuracy of outlier tests is investigated using subset curvatures. These subset curvatures appear to be reliable indicators of the adequacy of the linearization based test. Also, we consider obtaining graphical summaries of uncertainty in estimating parameters through confidence curves. The results are applied to the problem of assessing the accuracy of outlier tests.

Alternative accuracy for multiple ROC analysis

  • Hong, Chong Sun;Wu, Zhi Qiang
    • Journal of the Korean Data and Information Science Society
    • /
    • 제25권6호
    • /
    • pp.1521-1530
    • /
    • 2014
  • The ROC analysis is considered for multiple class diagnosis. There exist many criteria to find optimal thresholds and measure the accuracy of diagnostic tests for k dimensional ROC analysis. In this paper, we proposed a diagnostic accuracy measure called the correct classification simple rate, which is defined as the summation of true rates for each classification distribution and expressed as a function of summation of sequential true rates for two consecutive distributions. This measure does not weight accuracy across categories by the category prevalence and is comparable across populations for multiple class diagnosis. It is found that this accuracy measure does not only have a relationship with Kolmogorov - Smirnov statistics, but also can be represented as a linear function of some optimal threshold criteria. With these facts, the suggested measure could be applied to test for comparing multiple distributions.

SUPPORT VECTOR MACHINE USING K-MEANS CLUSTERING

  • Lee, S.J.;Park, C.;Jhun, M.;Koo, J.Y.
    • Journal of the Korean Statistical Society
    • /
    • 제36권1호
    • /
    • pp.175-182
    • /
    • 2007
  • The support vector machine has been successful in many applications because of its flexibility and high accuracy. However, when a training data set is large or imbalanced, the support vector machine may suffer from significant computational problem or loss of accuracy in predicting minority classes. We propose a modified version of the support vector machine using the K-means clustering that exploits the information in class labels during the clustering process. For large data sets, our method can save the computation time by reducing the number of data points without significant loss of accuracy. Moreover, our method can deal with imbalanced data sets effectively by alleviating the influence of dominant class.

Index of Union와 다른 정확도 측도들 (Index of union and other accuracy measures)

  • 홍종선;최소연;임동휘
    • 응용통계연구
    • /
    • 제33권4호
    • /
    • pp.395-407
    • /
    • 2020
  • 최적분류점에 대한 대부분의 정확도 측도들은 두 종류의 누적분포함수와 확률밀도함수를 기반으로 정의하거나 또는 ROC 곡선과 AUC를 기반으로 정의하는 방법으로 구분하는데, Unal (2017)은 두 가지 방법을 혼합하여 누적분포함수와 AUC를 모두 고려하는 정확도 측도 Index of Union (IU) 통계량을 제안하였다. 본 연구에서는 IU 통계량을 포함한 열 개의 정확도 측도들을 여섯 종류의 범주로 구분하여 각 범주에 속하는 측도들을 비교하면서 IU의 장점을 연구한다. 다양한 정규혼합분포를 설정하여 각각의 측도들에 대응하는 최적분류점들을 구하고 각 분류점에 대응하는 제1종과 제2종 오류 그리고 두 종류의 오류합을 구해서 오류들의 크기를 비교하면서 분류정확도 측도들의 판별력을 비교하면서 IU의 성격과 특징을 탐색한다. 두 종류 분포들의 평균 차이가 증가할수록 IU 통계량의 제1종 오류와 오류합의 크기가 최고의 분류정확도를 갖는 제2범주의 정확도 측도의 오류에 수렴하는 것을 발견하였다. 그러므로 IU는 모형의 판별력을 평가하는 정확도 측도로 활용할 수 있다.

혼동행렬의 상관계수를 이용한 최적분류점 (Optimal threshold using the correlation coefficient for the confusion matrix)

  • 홍종선;오세현;최예원
    • 응용통계연구
    • /
    • 제35권1호
    • /
    • pp.77-91
    • /
    • 2022
  • 의학통계와 신용평가 분야에서 혼합분포함수를 판별하는 최적분류점 추정하기 위하여 판별력을 측정하는 다양한 정확도 측도들이 존재한다. 최근에 혼동행렬 빈도수로 표현되는 Matthews의 상관계수와 정밀도와 재현율의 조화평균인 F1 통계량의 정확도 측도들이 최적분류점을 추정하는데 연구되었다. 본 연구에서는 이런 정확도 측도들 중에서 표본크기에 의존하는 정확도 측도들은 두 표본크기 차이가 많은 경우에 최적분류점을 설정하는데 적절하지 않음을 발견한다. 그리고 대안적인 정확도 측도로 혼동행렬의 비율들의 함수인 상관계수를 정의하고, 이를 최대화하는 분류점을 최적분류점으로 추정하는 방법을 제안하고 이 방법의 유용성과 활용성에 대하여 토론한다.

표본 추출법에서 R-지수의 민감도에 관한 연구 (A study on sensitivity of representativeness indicator in survey sampling)

  • 이유진;신기일
    • 응용통계연구
    • /
    • 제30권1호
    • /
    • pp.69-82
    • /
    • 2017
  • R-지수(representativeness indicator)는 무응답이 발생했을 때 표본의 대표성을 나타내주는 지표이다. 표본의 대표성은 모수 추정의 정확성(accuracy)과 관계가 있으며 정확성은 편향(bias)와 관계가 있다. 따라서 표본의 대표성을 나타내는 R-지수가 높으면 대표성이 높아 편향이 없고 정확성이 높은 결과를 얻을 수 있다. R-지수는 일반화선형모형의 로짓 또는 프로빗 모형을 적합한 후 얻어진 경향 점수(propensity score)에 의해 계산된다. 본 논문에서는 R-지수와 이질적인 층별 응답률과의 관련성을 연구하였으며 편향, 제곱근 RMSE 등과 같은 비교통계량이 무응답에 얼마나 민감한지 등을 모의실험을 통하여 살펴보았다. 또한 변형된 2010년 경제총조사 자료를 이용하여 실제 자료분석도 실시하였다.

부분 AUC와 최적분류점들 (Partial AUC and optimal thresholds)

  • 홍종선;조현수
    • 응용통계연구
    • /
    • 제32권2호
    • /
    • pp.187-198
    • /
    • 2019
  • ROC와 CAP 곡선을 이용하여 다양한 정확도 측도를 바탕으로 최적분류점을 추정하는 많은 연구가 있다. 본 연구에서는 ROC와 CAP 곡선의 특정한 부분 면적을 나타내는 대안적인 통계량을 제안한다. 새롭게 정의된 부분 면적을 나타내는 통계량의 미분방정식을 이용하여 ROC와 CAP 함수와의 관계를 살펴보고, 다음으로는 ROC와 CAP 곡선에 대한 다양한 정확도 측도들의 조건에서의 최적분류점과의 관계를 유도한다. 혼합분포를 구성하는 두 종류의 분포함수를 다양한 정규분포로 가정하여 최적분류점을 설정하고, 다양한 정확도 측도들의 조건에서의 최적분류점에 대응하는 제1종과 제2종 오류의 크기를 탐색하고 토론한다.

Fixed-accuracy confidence interval estimation of P(X > c) for a two-parameter gamma population

  • Zhuang, Yan;Hu, Jun;Zou, Yixuan
    • Communications for Statistical Applications and Methods
    • /
    • 제27권6호
    • /
    • pp.625-639
    • /
    • 2020
  • The gamma distribution is a flexible right-skewed distribution widely used in many areas, and it is of great interest to estimate the probability of a random variable exceeding a specified value in survival and reliability analysis. Therefore, the study develops a fixed-accuracy confidence interval for P(X > c) when X follows a gamma distribution, Γ(α, β), and c is a preassigned positive constant through: 1) a purely sequential procedure with known shape parameter α and unknown rate parameter β; and 2) a nonparametric purely sequential procedure with both shape and rate parameters unknown. Both procedures enjoy appealing asymptotic first-order efficiency and asymptotic consistency properties. Extensive simulations validate the theoretical findings. Three real-life data examples from health studies and steel manufacturing study are discussed to illustrate the practical applicability of both procedures.

ROC와 CAP 곡선에서의 최적 분류점 (Optimal Threshold from ROC and CAP Curves)

  • 홍종선;최진수
    • 응용통계연구
    • /
    • 제22권5호
    • /
    • pp.911-921
    • /
    • 2009
  • 신용평가 연구에서 부도와 정상차주에 대한 판별력을 평가하는 방법으로 Receiver Operating Characteristic(ROC)와 Cumulative Accuracy Profile(CAP) 곡선을 사용한다. ROC 곡선에서 최적의 분류정확도를 갖는 분류점과 CAP 곡선에서 최대의 이익을 나타내는 분류점은 일반적인 정확도의 개념으로 정의된 동일한 성과를 가진 접선을 사용하여 구한다. 본 연구에서는 정확도의 대안적인 측도로 진실율을 제안하고, 이 진실율을 이용하여 ROC와 CAP 곡선에서 대안적인 최적의 분류점을 구한다. 대부분 실제 차주의 모집단에서 부도차주는 정상차주보다 훨씬 수가 적다. 이러한 경우에 진실율은 정확도보다 비용함수의 측면에서 더욱 효율적일 수 있다. 진실율을 이용하여 최적의 분류정확도를 나타내는 분류점과 최대의 이익을 의미하는 분류점에 대응하는 스코어는 동일하다는 것을 보였으며, 이 스코어는 부도와 정상 차주의 분포함수의 동일성을 검정하는 Kolmogorov-Smirnov 통계량에 대응하는 스코어와도 일치하는 것을 발견하였다.