• Journal of the Korean Data and Information Science Society
• /
• 제26권1호
• /
• pp.255-260
• /
• 2015

Among many optimal threshold criteria from ROC curve, the closest-to-(0,1) and amended closest-to-(0,1) criteria are considered. An ROC curve that passes close to the (0,1) point indicates that two models are well classified. In this case, the ROC curve is located far from the (1,0) point. Hence we propose two criteria: the farthest-to-(1,0) and amended farthest-to-(1,0) criteria. These criteria are found to have a relationship with the KolmogorovSmirnov statistic as well as some optimal threshold criteria. Moreover, we derive that a definition for the proposed criteria with more than two dimensions and with relations to multi-dimensional optimal threshold criteria.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제5권3호
• /
• pp.263-267
• /
• 2005

Building classifiers for financial real-world classification problems is often plagued by severely overlapping and highly skewed class distribution. New performance measures such as receiver operating characteristic (ROC) curve and area under ROC curve (AUC) have been recently introduced in evaluating and building classifiers for those kind of problems. They are, however, in-effective to evaluation of classifier's discrimination performance in a particular class of the classification problems that interests lie in only a local operating range of the classifier, In this paper, a new method is proposed that enables us to directly improve classifier's discrimination performance at a desired local operating range by defining and optimizing a partial area under ROC curve or domain-specific curve, which is difficult to achieve with conventional classification accuracy based learning methods. The effectiveness of the proposed approach is demonstrated in terms of fraud detection capability in a real-world fraud detection problem compared with the MSE-based approach.

• 응용통계연구
• /
• 제24권1호
• /
• pp.185-191
• /
• 2011

혼합분포를 가정한 신용평가 연구에서 ROC 곡선은 부도와 정상 차주의 판별력을 탐색하는데 유용한 그림이다. ROC 곡선을 개선하여 스코어를 파악할 수 있는 AROC 곡선을 수리적으로 분석하고, 정규분포를 적용하여 다양한 곡선의 형태를 파악한다. 최적분류점을 발견하는 다양한 분류정확도 통계량과 AROC 곡선의 관계를 발견하고, 두 분포의 분산이 동일한 경우에 AROC 곡선의 극소점으로 최적의 분류점을 추정할 수 있음을 발견한다.

• Communications for Statistical Applications and Methods
• /
• 제26권2호
• /
• pp.205-216
• /
• 2019

Diagnostic tests in medical fields detect or diagnose a disease with results measured by continuous or discrete ordinal data. The performance of a diagnostic test is summarized using the receiver operating characteristic (ROC) curve and the area under the curve (AUC). The diagnostic test is considered clinically useful if the outcomes in actually-positive cases are higher than actually-negative cases and the ROC curve is concave. In this study, we apply the stochastic ordering method in a Bayesian hierarchical model to estimate the proper ROC curve and AUC when the diagnostic test results are measured in discrete ordinal data. We compare the conventional binormal model and binormal model under stochastic ordering. The simulation results and real data analysis for breast cancer indicate that the binormal model under stochastic ordering can be used to estimate the proper ROC curve with a small bias even though the sample sizes were small or the sample size of actually-negative cases varied from actually-positive cases. Therefore, it is appropriate to consider the binormal model under stochastic ordering in the presence of large differences for a sample size between actually-negative and actually-positive groups.

• 응용통계연구
• /
• 제24권2호
• /
• pp.269-278
• /
• 2011

스코어 변수의 민감도와 특이도와의 관계로 표현한 ROC 곡선을 더욱 정확한 진단을 위하여 분포함수와 공변량을 고려한 연구가 많이 진행되었다. 공변량을 고려하는 회귀분석 방법을 사용하였으며 이때 분포함수를 정규분포로 가정하거나 잔차의 분포함수를 추정하여 ROC 분석을 하였다. 본 연구는 분포함수가 주어지지 않으며 진단에 영향을 주는 공변량을 모르는 일반적인 상황에서 논의하였다. 확률변수인 스코어와 두 개의 보모집단으로 구성된 신용평가 자료에 적합한 분포함수를 추정하기 위하여 여러 개의 정규분포가 혼합된 정규혼합분포를 사용하여 ROC 분석을 한다. 고전적인 비모수적이고 경험적인 ROC 곡선에 적합한지를 파악하기 위하여 AUC 통계량을 사용하여 비교하며, 본 연구에서 제안한 정규혼합분포를 이용한 ROC 곡선이 다른 방법으로 구한 ROC 곡선보다 적합함을 보였다.

• 분석과학
• /
• 제34권2호
• /
• pp.78-86
• /
• 2021

The objective of this study was to investigate urinary cut-off concentrations of quetiapine and risperidone for distinction between normal and abnormal/non-takers who were being placed on probation. Liquid chromatography-tandem mass spectrometric (LC-MS/MS) method was employed for determination of antipsychotic drugs in urine from mentally disordered probationers. The optimal cut-off values of antipsychotic drugs were calculated using receiver operating characteristic (ROC) curve analysis. The sensitivity and specificity of the method for the detection of antipsychotic drugs in urine were subsequently evaluated. The area under the ROC curve (AUC) was 0.927 for norquetiapine and 0.791 for 9-hydroxyrisperidone, respectively. These antipsychotic drugs are classified readily in the ROC curve analysis. The cut-off values for distinguishing regular and irregular/non-takers were 39.1 ng/mL for norquetiapine and 67.9 ng/mL for 9-hydroxyrisperidone, respectively. The results of this study suggest the cut-off values of quetiapine and risperidone were highly useful to distinguish regular takers from irregular/non-takers.

• 한국방사선학회논문지
• /
• 제10권8호
• /
• pp.645-652
• /
• 2016

본 연구는 통계적 속성에 기반한 질감특징값 분석을 바탕으로 뇌 전산화단층촬영 영상에서 정상과 뇌경색의 컴퓨터보조진단의 적용 가능성을 알아보고자 하였다. 실험은 질감특징값을 나타내는 6개의 파라미터를 이용한 질환인식률 평가와 ROC curve를 분석하였다. 그 결과 평균밝기 88%, 대조도 92%, 평탄도 94%, 균일도 88%, 엔트로피 84%의 높은 질환인식률을 나타내었다. 하지만 왜곡도의 경우 58%로 다소 낮은 질환 인식률을 나타내었다. ROC curve를 이용한 분석에서 각 파라미터의 곡선아래면적이 0.886(p=0.0001)이상을 나타내어 질환인식에 의미가 있는 결과로 나타났다. 또한 각 파라미터의 cut-off값 결정으로 컴퓨터보조진단을 통한 질환예측이 가능할 것으로 판단된다.

• Communications for Statistical Applications and Methods
• /
• 제19권4호
• /
• pp.629-638
• /
• 2012

We propose some methods to obtain optimal thresholds and classification functions by using various cutoff criterion based on the bivariate ROC curve that represents bivariate cumulative distribution functions. The false positive rate and false negative rate are calculated with these classification functions for bivariate normal distributions.

• 한국임상수의학회지
• /
• 제19권3호
• /
• pp.312-315
• /
• 2002

질병에 이환된 개체로부터 이환되지 않은 개체를 구분하기 위해 사용되는 대부분의 진단검사는 판별의 기준점 (cut-off value)을 필요로 한다. ROC (receiver operating characteristic) 곡선은 이러한 목적으로 흔히 사용되고 있으며 진단의 기준점을 다양하게 변화시킬 때 진단검사의 정확도 (민감도와 특이도)를 제시해주는 지표로 활용되고 있다. 저자들은 수의학관련 연구자들이 이 방법을 효과적으로 사용할 수 있도록 EXCEL에 내장된 비쥬얼 베이직으로 binormal ROC 곡선의 최대우도비를 계산해주는 프로그램을 작성하였다. 방사선 분야의 자료와 미생물학 자료를 예제로 들어 이 프로그램의 활용성을 높이고자 하였고 이 분야에 관심이 있는 연구자는 저자에게 연락하여 이 프로그램을 얻을 수 있다.

• 대한방사선기술학회지:방사선기술과학
• /
• 제32권2호
• /
• pp.147-151
• /
• 2009

ROC에 의한 의료영상을 평가하는 방법으로 지금까지는 5단계로 평가하는 평정확신도법이 일반적으로 사용되었다. 이 평정확신도법에서는 TPF나 FPF의 산출을 쉽게 구하는 것이 가능하나, 실험에 있어서 부드럽게 ROC곡선의 추정을 하기 위해서 관찰자에 대해 적당한 카테고리 배분이 요구되거나 또 짜여진 카테고리 배분을 위해 그 데이터가 무효해지는 경우가 많다. 이러한 문제를 해결하기 위해 또는 관찰실험 이외의 데이터에도 ROC해석의 응용이 가능해지도록 카테고리 분류가 되어 있지 않은 연속적으로 분포된 실험결과를 이용 ROC 해석을 행하는 방법인 연속확신도법이 보고 되었다. 하지만 국내에서는 의료영상의 평가에 연속확신도법을 적용한 예가 거의 없어서 흉부 디지털영상의 평가에 적용해 보았다. 그 결과 상용화된 프로그램에 의하여 부드러운 ROC곡선을 그릴 수 있었으며, 특성값을 쉽게 측정할 수 있어 디지털 의료영상의 평가에 적절히 사용될 수 있으리라 사료된다.