Interpretation of Receiver Operating Characteristics (ROC)

ROC(receiver operating characteristics) 해석

The purpose of this paper is to explain the making procedure and the usage of receiver operating characteristic (ROC) curve for interpretation of radiographic images. The conventional radiograms obtained after the creation of the lesions in the acrylic plates and were enhanced in color. The observer were informed of which tooth to examine, the 'a priori' probability of a lesion present and the approximate diameter of the lesions. The two groups of films were interpreted separately by the same observer using the same rating scale. The following rating scale was used: A; definitely no lesion, B; probably no lesion, C; not sure, D; probably a lesion, and E; definitely a lesion. In analysis, for each observer the diagnostic results in terms of true positive (TP) and false positive (FP) decisions were plotted on a graph. The lowest point on the graph represents the TP and FP when only decisions designated as E according to the rating scale are included. The next point shows the TP and FP values when diagnoses designated as D are added and so forth. By connecting such plot points, a receiver operating characteristic (ROC) curves is obtained. The area under the curve represents the diagnostic accuracy resulting from a diagnostic performance at pure chance level and a value of 1.0 at perfect performance. This method has been known as an useful method to detect the minute difference for each radiographic technic, each observer and for the different lesion depths.

1. 일반방사선사진과 칼라화한 방사선사진의 비교에서 각각 필름에서 진단을 시행할 때 ROC해석법에서는 true positive fraction (TPF), false positive fraction (FPF)를 매개변수로 하고 있으므로 우선 두가지 필름형태에 대해 각각 따로 다음과 같이 평가한다. 2. 판정기준 병변없다 A, 거의 없다 B, 모르겠다 C, 거의 있다 D, 있다 E 먼저 일반방사선사진에서 실제로 병소가 총있는 것이 50, 총없는 것이 50인데 위 판정기준 각각에 대해(equation omitted) 3. 곡선만들기 a.횡축은 FPF 종축은 TPF로 한 그래프를 plot를 한다. sensitivity 17/50 specificity 26/50 accuracy 43/100 b. 곡선만들기 프로그램을 이용하여 곡선을 만들시에는 TPF를 a에 입력하고 PFP를 b에 입력한다. 이 plot을 그릴 수 있는 프로그램은 http://www.members.tripod.co.kr/jdakim 또는 http://www.chosun.ac.kr/∼jdakim의 홈페이지내 공개자료실에서 다운 받으실 수 있습니다. (equation omitted) 이 프로그램에서 입력할 a, b의 값은 (equation omitted) 위와같이 입력하여 얻어진 일반방사선사진에서의 판독 결과 얻어진 곡선이 그래프에서 곡선이 된다. 이와 같은 커브를 컬러화한 사진 판독에서 똑같이 시행하여 ROC곡선(윗곡선)을 만든 다음 두 곡선을 비교하여 아래면적이 더 큰 쪽이 병소 판독에 우수하다고 결론짓는다.