• 제목/요약/키워드: ROC(Receiver operating characteristic)

검색결과 370건 처리시간 0.02초

Estimating the AUC of the MROC curve in the presence of measurement errors

  • G, Siva;R, Vishnu Vardhan;Kamath, Asha
    • Communications for Statistical Applications and Methods
    • /
    • 제29권5호
    • /
    • pp.533-545
    • /
    • 2022
  • Collection of data on several variables, especially in the field of medicine, results in the problem of measurement errors. The presence of such measurement errors may influence the outcomes or estimates of the parameter in the model. In classification scenario, the presence of measurement errors will affect the intrinsic cum summary measures of Receiver Operating Characteristic (ROC) curve. In the context of ROC curve, only a few researchers have attempted to study the problem of measurement errors in estimating the area under their respective ROC curves in the framework of univariate setup. In this paper, we work on the estimation of area under the multivariate ROC curve in the presence of measurement errors. The proposed work is supported with a real dataset and simulation studies. Results show that the proposed bias-corrected estimator helps in correcting the AUC with minimum bias and minimum mean square error.

Surveying and Optimizing the Predictors for Ependymoma Specific Survival using SEER Data

  • Cheung, Min Rex
    • Asian Pacific Journal of Cancer Prevention
    • /
    • 제15권2호
    • /
    • pp.867-870
    • /
    • 2014
  • Purpose: This study used receiver operating characteristic curve to analyze Surveillance, Epidemiology and End Results (SEER) ependymoma data to identify predictive models and potential disparity in outcome. Materials and Methods: This study analyzed socio-economic, staging and treatment factors available in the SEER database for ependymoma. For the risk modeling, each factor was fitted by a Generalized Linear Model to predict the outcome ('brain and other nervous systems' specific death in yes/no). The area under the receiver operating characteristic curve (ROC) was computed. Similar strata were combined to construct the most parsimonious models. A random sampling algorithm was used to estimate the modeling errors. Risk of ependymoma death was computed for the predictors for comparison. Results: A total of 3,500 patients diagnosed from 1973 to 2009 were included in this study. The mean follow up time (S.D.) was 79.8 (82.3) months. Some 46% of the patients were female. The mean (S.D.) age was 34.4 (22.8) years. Age was the most predictive factor of outcome. Unknown grade demonstrated a 15% risk of cause specific death compared to 9% for grades I and II, and 36% for grades III and IV. A 5-tiered grade model (with a ROC area 0.48) was optimized to a 3-tiered model (with ROC area of 0.53). This ROC area tied for the second with that for surgery. African-American patients had 21.5% risk of death compared with 16.6% for the others. Some 72.7% of patient who did not get RT had cerebellar or spinal ependymoma. Patients undergoing surgery had 16.3% risk of death, as compared to 23.7% among those who did not have surgery. Conclusion: Grading ependymoma may dramatically improve modeling of data. RT is under used for cerebellum and spinal cord ependymoma and it may be a potential way to improve outcome.

ROC 분석을 이용한 골격성 III급 부정교합의 수평계측방법간 비교연구 (COMPARATIVE STUDY ON THE HORIZOTAL MEASUREMENTS OF SKELETAL CLASS III MALOCCLUSION USING THE ROC ANALYSIS)

  • 최희영;장영일
    • 대한치과교정학회지
    • /
    • 제25권2호
    • /
    • pp.153-163
    • /
    • 1995
  • 본 연구는 III급 부정 교합을 판별하는데 있어, 수평 부조화의 진단에 이용되는 여러 진단 항목들의 진단학적 효율과 타당성을 ROC analysis로 비교하는데 그 목적이 있다. ROC(Receiver Operating Characteristic) analysis는 연속적으로 변하는 cut-off value에서의 sensitivity와 1-specificity에 의해 그려지는 곡선으로서 진단 방법의 타당성을 결정하고, 여러 진단 방법들을 비교하는 분석법으로 알려져 있다. 부정교합자 496명을 대상으로 측모 두부 X-선 계측사진과 진단모형을 이용하여, 진단모형 계측을 통해 부정교합군을 분류하였으며, 이중 III급 부정 교합자는 245명이었다. 측모 두부 X-선계측사진에서 16개의 계측항목을 선정하였으며, 이 계측항목들과 III급 부정교합의 관계를 알아보고자 각도 계측항목에서는 $1^{\circ}$ 간격으로, 선계측항목에서는 1mm의 간격으로 sensitivity와 specificity를 구해 ROC curve를 그렸다. 그리고, 이 계측항목들의 직접적인 비교를 위해 ROC curve 아래의 면적을 계산해냈다. 결과는 다음과 같다. 1. III급 부정교합을 판별하는데 있어, "Wits" appraisal이 다른 계측 항목에 비해 더 나은 진단 효율을 보였다. 2. AB plane angle, ANB angle, App-Bpp distance, AF-BF distance, APDI, N perpendicular to A 와 Pog to N perpendicular의 차이, maxillomandibular differential도 높은 진단 가치를 보였다. 3. 하악골의 위치를 평가하는 계측항목은 중정도의 진단 효율을 보였다. 4. 상악골에 대한 계측항목은 III급 부정교합의 판별에 대한 진단 가치가 낮았다.

  • PDF

Soft Set Theory Oriented Forecast Combination Method for Business Failure Prediction

  • Xu, Wei;Xiao, Zhi
    • Journal of Information Processing Systems
    • /
    • 제12권1호
    • /
    • pp.109-128
    • /
    • 2016
  • This paper presents a new combined forecasting method that is guided by the soft set theory (CFBSS) to predict business failures with different sample sizes. The proposed method combines both qualitative analysis and quantitative analysis to improve forecasting performance. We considered an expert system (ES), logistic regression (LR), and support vector machine (SVM) as forecasting components whose weights are determined by the receiver operating characteristic (ROC) curve. The proposed procedure was applied to real data sets from Chinese listed firms. For performance comparison, single ES, LR, and SVM methods, the combined forecasting method based on equal weights (CFBEWs), the combined forecasting method based on neural networks (CFBNNs), and the combined forecasting method based on rough sets and the D-S theory (CFBRSDS) were also included in the empirical experiment. CFBSS obtains the highest forecasting accuracy and the second-best forecasting stability. The empirical results demonstrate the superior forecasting performance of our method in terms of accuracy and stability.

디지털 X선영상 평가에서 연속확신도법 ROC의 적용 (The Use of Continuous Confidence Judgments in ROC of Digital Radiography)

  • 김학성;이인자;김성철
    • 대한방사선기술학회지:방사선기술과학
    • /
    • 제32권2호
    • /
    • pp.147-151
    • /
    • 2009
  • ROC에 의한 의료영상을 평가하는 방법으로 지금까지는 5단계로 평가하는 평정확신도법이 일반적으로 사용되었다. 이 평정확신도법에서는 TPF나 FPF의 산출을 쉽게 구하는 것이 가능하나, 실험에 있어서 부드럽게 ROC곡선의 추정을 하기 위해서 관찰자에 대해 적당한 카테고리 배분이 요구되거나 또 짜여진 카테고리 배분을 위해 그 데이터가 무효해지는 경우가 많다. 이러한 문제를 해결하기 위해 또는 관찰실험 이외의 데이터에도 ROC해석의 응용이 가능해지도록 카테고리 분류가 되어 있지 않은 연속적으로 분포된 실험결과를 이용 ROC 해석을 행하는 방법인 연속확신도법이 보고 되었다. 하지만 국내에서는 의료영상의 평가에 연속확신도법을 적용한 예가 거의 없어서 흉부 디지털영상의 평가에 적용해 보았다. 그 결과 상용화된 프로그램에 의하여 부드러운 ROC곡선을 그릴 수 있었으며, 특성값을 쉽게 측정할 수 있어 디지털 의료영상의 평가에 적절히 사용될 수 있으리라 사료된다.

  • PDF

부분 AUC와 최적분류점들 (Partial AUC and optimal thresholds)

  • 홍종선;조현수
    • 응용통계연구
    • /
    • 제32권2호
    • /
    • pp.187-198
    • /
    • 2019
  • ROC와 CAP 곡선을 이용하여 다양한 정확도 측도를 바탕으로 최적분류점을 추정하는 많은 연구가 있다. 본 연구에서는 ROC와 CAP 곡선의 특정한 부분 면적을 나타내는 대안적인 통계량을 제안한다. 새롭게 정의된 부분 면적을 나타내는 통계량의 미분방정식을 이용하여 ROC와 CAP 함수와의 관계를 살펴보고, 다음으로는 ROC와 CAP 곡선에 대한 다양한 정확도 측도들의 조건에서의 최적분류점과의 관계를 유도한다. 혼합분포를 구성하는 두 종류의 분포함수를 다양한 정규분포로 가정하여 최적분류점을 설정하고, 다양한 정확도 측도들의 조건에서의 최적분류점에 대응하는 제1종과 제2종 오류의 크기를 탐색하고 토론한다.

Poor Treatment Outcome of Neuroblastoma and Other Peripheral Nerve Cell Tumors May be Related to Under Usage of Radiotherapy and Socio-Economic Disparity: A US SEER Data Analysis

  • Cheung, Rex
    • Asian Pacific Journal of Cancer Prevention
    • /
    • 제13권9호
    • /
    • pp.4587-4592
    • /
    • 2012
  • Purpose: This study used receiver operating characteristic curve to analyze Surveillance, Epidemiology and End Results (SEER) neuroblastoma (NB) and other peripheral nerve cell tumors (PNCT) outcome data. This study found under usage of radiotherapy in these patients. Materials and methods: This study analyzed socio-economic, staging and treatment factors available in the SEER database for NB and other PNCT. For the risk modeling, each factor was fitted by a generalized linear model to predict the outcome (soft tissue specific death, yes/no). The area under the receiver operating characteristic curve (ROC) was computed. Similar strata were combined to construct the most parsimonious models. A random sampling algorithm was used to estimate the modeling errors. Risk of neuroendocrine (other endocrine including thymus as coded in SEER) death was computed for the predictors. Results: There were 5261 patients diagnosed from 1973 to 2009 were included in this study. The mean follow up time (S.D.) was 83.8 (97.6) months. The mean (SD) age was 18 (25) years. About 30.45% of patients were un-staged. The SEER staging has high ROC (SD) area of 0.58 (0.01) among the factors tested. We simplified the 4-layered risk levels (local, regional, distant, un-staged/others) to a simpler 3-tiered model with comparable ROC area of 0.59 (0.01). Less than 50% of PNCT patients received radiotherapy (RT) including the ones with localized disease. This avoidance of RT use occurred in adults and children. Conclusion: The high under-staging rate may have precented patients from selecting definitive radiotherapy (RT) after surgery. Using RT for, especially, adult PNCT patients is a potential way to improve outcome.

성격점수를 이용한 ROC-curve 기반 사상체질 분류 방법에 대한 연구 (A Study on Sasang Constitutional Classification Methods based on ROC-curve using the personality score)

  • 김호석;장은수;김상혁;유종향;이시우
    • 한국한의학연구원논문집
    • /
    • 제17권2호
    • /
    • pp.107-113
    • /
    • 2011
  • Objectives : Sasang typology is extensively studied for the Sasang constitution diagnosis objectification with various data, for example, questionaires, reference materials, etc and analyzed with the several statistical methods. In this study, we used ROC-curve (Receiver Operating Characteristic curve) analysis to diagnose Sasang constitution, which is a kind of epidemiologic research methods and is away from traditional statistical methods. Methods : We collected personality questionnaire which consists of 15 items, from 24 oriental medical clinics. We analyzed the sensitivity and specificity using ROC curve method based on the score of personality questionnaire and also investigated classification accuracy and cut-off value of Sasang constitution. Results : The AUC (area under the ROC curve) value was 0.508 (p=.5511) for Taeeumin, 0.629 (p<.0001) for Soeumin and 0.604(p<.0001) for Soyangin, respectively. so the classification accuracy for Soeumin was highest Soeumin for over 30 points and Soyangin for below 28 points respectively. Conclusions : We suggest that Taeeumin is not classified easily in the ROC-curve analysis. We may classify Soeumin and Soyangin but the accuracy of Sasang constitutional diagnosis is still low.

대응표본에서 AUC차이에 대한 신뢰구간 추정에 관한 고찰 (A Comparison of the Interval Estimations for the Difference in Paired Areas under the ROC Curves)

  • 김희영
    • Communications for Statistical Applications and Methods
    • /
    • 제17권2호
    • /
    • pp.275-292
    • /
    • 2010
  • 동일 환자에게 적용된 2가지 진단검사의 정확성을 비교하기 위한 방법들 중에서 두개의 ROC곡선 아래 면적(AUC; Area Under Curve)의 차이는 주요한 잣대 중 하나이다. 본 연구에서는 AUC의 차이를 추정하는 방법으로 비모수적방법, 최대가능도법, 일반화추축량에 의한 방법, 붓스트랩방법의 4가지를 포함확률(coverage probability), 기대길이 (expected length) 측면에서 모의실험을 통하여 비교하였다.

협동 센서 융합 기반 화자 성별 분류를 위한 무선 센서네트워크 개발 (A Development of Wireless Sensor Networks for Collaborative Sensor Fusion Based Speaker Gender Classification)

  • 권호민
    • 융합신호처리학회논문지
    • /
    • 제12권2호
    • /
    • pp.113-118
    • /
    • 2011
  • 본 논문에서는 무선센서네트워크에서 이루어지는 협동적 센서융합을 이용한 화자성별분류를 제안하였다. 센서노드들은 BER(Band Energy Ratio) 기반 음성활동검출을 수행함으로써 불필요한 입력 데이터는 제거하고 관련성이 높은 데이터만을 처리 및 경판정한다. 개별적 센서노드에서 생성된 경판정 값들은 융합센터로 송신되고 전역적 결정 융합을 구축하기 때문에 전력 소모를 줄이고 네크워크 자원을 절약한다. 화자성별분류를 위한 센서융합기법으로써 베이시안(Bayesian) 센서융합 및 전역적 가중결정융합가법들이 제안되었다. 베이시안 센서융합의 경우, 배치되는 센서노드 수 변화에 따른 ROC(Receiver Operating Characteristic) 커브의 동작점을 통해 개별 센서노드 레벨에서 얻어진 경판정 값들을 처리하고 최적의 분류 융합을 결정한다. 전역적 결정을 위한 가중치로써 BER 및 MCL(Mutual Confidence Level)을 채택하여 개별적 지역 경판정 값들을 효율적으로 결합 및 융합시킨다. 센서 노드의 수가 증가함에 따라 분류화 성능이 개선되어졌으며 특히 낮은 SNH(Signal to Noise Ratio) 환경에서 성능 개선폭이 더 높게 나타남을 실험적으로 확인하였다.