• 응용통계연구
• /
• 제32권4호
• /
• pp.593-605
• /
• 2019

ROC 곡선 아래 면적과 ROC 곡면 아래 부피를 이용하여 분류모형의 판별력을 측정하는 통계량인 AUC와 VUS에 관한 많은 연구가 있다. ROC 곡선을 구성하는 FPR과 TPR 모두에 제한을 두는 양방향 부분 AUC는 부분 AUC보다 더 효과적이고 정확하게 제안되었다. ROC 곡면에서도 부분 VUS 뿐만 아니라 세 방향 부분 VUS 통계량이 개발되었다. 본 연구에서는 ROC 곡선의 FPR과 TPR 모두에 제한된 두 개의 절단함수를 이용하여 확률 개념과 적분 표현으로 대안적인 AUC를 제안한다. 또한 이 AUC는 양방향 부분 AUC와 관계가 있음을 알 수 있다. ROC 곡면에서의 세 방향 부분 VUS도 절단함수를 이용하는 VUS와 관련되어 있음을 발견하였다. 그리고 이러한 대안적인 AUC와 VUS는 맨-휘트니 통계량으로 표현되고 추정된다. 정규분포와 확률표본을 기반으로 이들의 모수적인 추정 방법과 비모수적인 추정 방법을 탐색한다.

• 응용통계연구
• /
• 제33권5호
• /
• pp.541-553
• /
• 2020

Receiver operating characteristic (ROC) 곡선은 민감도와 특이도로 표현되며, ROC 곡선을 이용하는 최적분류점도 민감도와 특이도만을 반영하지만, 본 연구에서는 질병률과 효용을 추가하여 고려하는 기대효용함수를 연구한다. 특히 교차하는 ROC 곡선들의 area under the ROC curve (AUC) 값들이 유사한 경우에 특정한 부분의 부분 AUC를 비교해야 한다. 본 연구에서는 정의된 민감도 직선과 특이도 직선을 바탕으로 각각 높은 민감도와 특이도를 나타내는 부분 AUC를 제안한다. ROC 곡선들이 교차하고 동일한 AUC 값을 갖는 다양한 분포함수를 설정하여, 민감도 직선과 특이도 직선을 이용하여 구한 부분 AUC를 비교하면서 모형의 판별력을 향상시키는 방법을 제안한다.

• Journal of the Korean Data and Information Science Society
• /
• 제26권6호
• /
• pp.1367-1375
• /
• 2015

경시적자료의 분석으로 선형성장모형을 고려한다. 시간효과를 고려하는 모형과 임의효과를 추가하는 모형 그리고 가변수가 추가된 모형을 설정한다. 본 연구는 정규분포로 가정한 다양한 자료를 생성하고, 다양한 선형성장모형에 대하여 binormal ROC 곡선과 AUC 통계량을 여러 시점에서 구하여 비교 분석하였다. 공분산의 크기가 증가할수록 그리고 시간이 경과할수록 ROC 곡선은 다른 형태로 나타나며 AUC 값은 서서히 증가한다. 반대로 공분산이 작아질수록 시간이 경과함에 따라 AUC의 증가폭이 커진다. 임의효과모형에서 공분산이 양인 경우에 시간이 경과할수록 임의효과모형의 분산이 증가하며 AUC의 증가량은 시간효과모형의 AUC의 증가량보다 작다. 그리고 시간효과모형의 AUC의 증가량보다 임의효과모형의 증가량이 더 크다는 것을 탐색하였다.

• 응용통계연구
• /
• 제26권6호
• /
• pp.977-985
• /
• 2013

현실세계에는 두 가지 범주 이상으로 분류되는 경우가 많이 존재한다. 본 논문은 분류범주가 세 종류인 분류모형을 시각적으로 표현하는 방법인 ROC 곡면과 이 곡면 아래의 체적을 나타내는 VUS 통계량을 고려한다. 바젤 II에 기반한 부도확률에 관한 AUC 통계량의 판단기준을 ROC 곡면에서의 VUS에 대하여 확장하여, VUS에 의한 판별력 판단기준 13단계를 제안한다. 제안한 판단기준 각 단계에서의 VUS값에 대응하는 AUC, K-S 통계량 그리고 세 분포의 평균차이에 대한 범위를 탐색하고, 이들의 관계를 살펴봄으로써 VUS 통계량의 판별력 판단기준을 설정한다.

• Communications for Statistical Applications and Methods
• /
• 제17권2호
• /
• pp.275-292
• /
• 2010

동일 환자에게 적용된 2가지 진단검사의 정확성을 비교하기 위한 방법들 중에서 두개의 ROC곡선 아래 면적(AUC; Area Under Curve)의 차이는 주요한 잣대 중 하나이다. 본 연구에서는 AUC의 차이를 추정하는 방법으로 비모수적방법, 최대가능도법, 일반화추축량에 의한 방법, 붓스트랩방법의 4가지를 포함확률(coverage probability), 기대길이 (expected length) 측면에서 모의실험을 통하여 비교하였다.

• 응용통계연구
• /
• 제35권1호
• /
• pp.35-47
• /
• 2022

Receiver operating characteristic (ROC) 곡선은 이항 반응 자료에 대한 마커의 분류 예측력을 측정하기 위해 널리 적용되어왔으며 최근에는 생존 분석에서도 매우 중요한 역할을 하고 있다. 여러 가지 유형의 중도 절단과 원인 불명 등 다양한 종류의 결측 자료를 포함한 생존 자료 분석에서 마커의 사건 발생 여부에 대한 예측력을 판단하기 위해 기존의 통계량을 확장하였다. 생존 분석 자료는 각 시점에서의 사건 발생 여부로 이해할 수 있으며, 따라서 시점마다 ROC 곡선과 AUC를 구할 수 있다. 본 논문에서는 우중도 절단과 경쟁 위험 모형하에서 사용되는 다양한 방법론과 관련 R 패키지를 소개하고 각 방법의 특성을 설명하고 비교하였으며 이를 검토하기 위해 간단한 모의실험을 시행하였다. 또한, 프랑스에서 수집된 치매 자료의 마커 분석을 시행하였다.

• Communications for Statistical Applications and Methods
• /
• 제22권3호
• /
• pp.223-232
• /
• 2015

The area under the ROC curve (AUC), the volume under the ROC surface (VUS) and the hypervolume under the ROC manifold (HUM) are defined and interpreted with probability that measures the discriminant power of classification models. AUC, VUS and HUM are expressed with the summation and integration notations for discrete and continuous random variables, respectively. AUC for discrete two random samples is represented as the nonparametric Mann-Whitney statistic. In this work, we define conditional Mann-Whitney statistics to compare more than two discrete random samples as well as propose that VUS and HUM are represented as functions of the conditional Mann-Whitney statistics. Three and four discrete random samples with some tie values are generated. Values of VUS and HUM are obtained using the proposed statistic. The values of VUS and HUM are identical with those obtained by definition; therefore, both VUS and HUM could be represented with conditional Mann-Whitney statistics proposed in this paper.

• Journal of the Korean Data and Information Science Society
• /
• 제25권3호
• /
• pp.473-483
• /
• 2014

ROC 곡선과 ROC 곡면을 확장한 4차원 이상의 공간에서의 ROC 다면체는 시각적인 표현이 어렵기 때문에 활용하기 어려우나, ROC 다면체 아래 공간을 측정하는 HUM 통계량에 대하여는 AUC와 VUS 통계량을 기반으로 정의가 가능하고 값을 구할 수 있으므로 본 연구는 네 가지 범주의 분류모형의 판별력을 측정하는 확률을 정의하고 연구한다. 그리고 Basel II를 기반한 부도확률에 대한 AUC의 판별력 판단기준을 제안한 연구를 확장하여, 네 범주 분류모형의 판별력을 측정하는 HUM 통계량에 관한 판단기준을 13단계로 구분하여 제안하고 활용하는 방법을 설명한다. 다양한 분포함수에 대하여 얻은 HUM 값을 바탕으로 제안한 판단기준을 탐색하기 위하여 삼원구획그림을 활용하여 판단기준을 설명한다.

• 전자공학회논문지CI
• /
• 제45권6호
• /
• pp.179-186
• /
• 2008

본 논문에서는 베이지안 알고리즘이 불균형 데이터의 학습 시 나타나는 현상을 분석하고 성능 평가 방법을 비교하였다. 사전 데이터 분포를 가정하고 불균형 데이터 비율과 분류 복잡도에 따라 발생된 분류 문제에 대해 베이지안 학습을 수행하였다. 실험 결과는 ROC(Receiver Operator Characteristic)와 PR(Precision-Recall) 평가 방법의 AUC(Area Under the Curve)를 계사하여 불균형 데이터 비율과 분류 복잡도에 따라 분석되었다. 비교 분석에서 불균형 비율은 기 수행된 연구 결과와 같이 베이지안 학습에 영향을 주었으며, 높은 분류 복잡도로부터 나타나는 데이터 중복은 학습 성능을 방해하는 요인으로 확인되었다. PR 평가의 AUC는 높은 분류 복잡도와 높은 불균형 데이터 비율에서 ROC 평가의 AUC보다 학습 성능의 차이가 크게 나타났다. 그러나 낮은 분류 복잡도와 낮은 불균형 데이터 비율의 문제에서 두 측정 방법의 학습 성능의 차이는 미비하거나 비슷하였다. 이러한 결과로부터 PR 평가의 AUC는 클래스 불균형 문제의 학습 모델의 설계와 오분류 비용을 고려한 최적의 학습기를 결정하는데 도움을 줄 수 있다.

• Communications for Statistical Applications and Methods
• /
• 제29권5호
• /
• pp.533-545
• /
• 2022

Collection of data on several variables, especially in the field of medicine, results in the problem of measurement errors. The presence of such measurement errors may influence the outcomes or estimates of the parameter in the model. In classification scenario, the presence of measurement errors will affect the intrinsic cum summary measures of Receiver Operating Characteristic (ROC) curve. In the context of ROC curve, only a few researchers have attempted to study the problem of measurement errors in estimating the area under their respective ROC curves in the framework of univariate setup. In this paper, we work on the estimation of area under the multivariate ROC curve in the presence of measurement errors. The proposed work is supported with a real dataset and simulation studies. Results show that the proposed bias-corrected estimator helps in correcting the AUC with minimum bias and minimum mean square error.