• 제목/요약/키워드: receiver operating characteristics (ROC)

검색결과 99건 처리시간 0.026초

Comparison of Objective Functions for Feed-forward Neural Network Classifiers Using Receiver Operating Characteristics Graph

  • Oh, Sang-Hoon;Wakuya, Hiroshi
    • International Journal of Contents
    • /
    • 제10권1호
    • /
    • pp.23-28
    • /
    • 2014
  • When developing a classifier using various objective functions, it is important to compare the performances of the classifiers. Although there are statistical analyses of objective functions for classifiers, simulation results can provide us with direct comparison results and in this case, a comparison criterion is considerably critical. A Receiver Operating Characteristics (ROC) graph is a simulation technique for comparing classifiers and selecting a better one based on a performance. In this paper, we adopt the ROC graph to compare classifiers trained by mean-squared error, cross-entropy error, classification figure of merit, and the n-th order extension of cross-entropy error functions. After the training of feed-forward neural networks using the CEDAR database, the ROC graphs are plotted to help us identify which objective function is better.

임상진단 검사에서 ROC 곡선의 응용 (Application of Receiver Operating Characteristics (ROC) Curves for Clinical Diagnostic Tests)

  • Pak, Son-Il;Koo, Hee-Seung;Hwang, Cheol-Yong;Youn, Hwa-Young
    • 한국임상수의학회지
    • /
    • 제19권3호
    • /
    • pp.312-315
    • /
    • 2002
  • 질병에 이환된 개체로부터 이환되지 않은 개체를 구분하기 위해 사용되는 대부분의 진단검사는 판별의 기준점 (cut-off value)을 필요로 한다. ROC (receiver operating characteristic) 곡선은 이러한 목적으로 흔히 사용되고 있으며 진단의 기준점을 다양하게 변화시킬 때 진단검사의 정확도 (민감도와 특이도)를 제시해주는 지표로 활용되고 있다. 저자들은 수의학관련 연구자들이 이 방법을 효과적으로 사용할 수 있도록 EXCEL에 내장된 비쥬얼 베이직으로 binormal ROC 곡선의 최대우도비를 계산해주는 프로그램을 작성하였다. 방사선 분야의 자료와 미생물학 자료를 예제로 들어 이 프로그램의 활용성을 높이고자 하였고 이 분야에 관심이 있는 연구자는 저자에게 연락하여 이 프로그램을 얻을 수 있다.

ROC(receiver operating characteristics) 해석 (Interpretation of Receiver Operating Characteristics (ROC))

  • 김재덕
    • Imaging Science in Dentistry
    • /
    • 제30권3호
    • /
    • pp.155-158
    • /
    • 2000
  • 1. 일반방사선사진과 칼라화한 방사선사진의 비교에서 각각 필름에서 진단을 시행할 때 ROC해석법에서는 true positive fraction (TPF), false positive fraction (FPF)를 매개변수로 하고 있으므로 우선 두가지 필름형태에 대해 각각 따로 다음과 같이 평가한다. 2. 판정기준 병변없다 A, 거의 없다 B, 모르겠다 C, 거의 있다 D, 있다 E 먼저 일반방사선사진에서 실제로 병소가 총있는 것이 50, 총없는 것이 50인데 위 판정기준 각각에 대해(equation omitted) 3. 곡선만들기 a.횡축은 FPF 종축은 TPF로 한 그래프를 plot를 한다. sensitivity 17/50 specificity 26/50 accuracy 43/100 b. 곡선만들기 프로그램을 이용하여 곡선을 만들시에는 TPF를 a에 입력하고 PFP를 b에 입력한다. 이 plot을 그릴 수 있는 프로그램은 http://www.members.tripod.co.kr/jdakim 또는 http://www.chosun.ac.kr/∼jdakim의 홈페이지내 공개자료실에서 다운 받으실 수 있습니다. (equation omitted) 이 프로그램에서 입력할 a, b의 값은 (equation omitted) 위와같이 입력하여 얻어진 일반방사선사진에서의 판독 결과 얻어진 곡선이 그래프에서 곡선이 된다. 이와 같은 커브를 컬러화한 사진 판독에서 똑같이 시행하여 ROC곡선(윗곡선)을 만든 다음 두 곡선을 비교하여 아래면적이 더 큰 쪽이 병소 판독에 우수하다고 결론짓는다.

  • PDF

웨이블렛 패킷 변환과 Teager 에너지를 이용한 잡음 환경에서의 단일 채널 음성 판별 (A Single Channel Voice Activity Detection for Noisy Environments Using Wavelet Packet Decomposition and Teager Energy)

  • 구본응
    • 한국음향학회지
    • /
    • 제33권2호
    • /
    • pp.139-145
    • /
    • 2014
  • 본 논문에서는 WPD (Wavelet Packet Decomposition) 계수에 Teager 에너지를 적용한 특징 계수를 임계값 알고리듬에 적용하여 잡음에 강인한 VAD 알고리듬을 제안하였다. 임계값은 비음성 구간의 평균과 표준편차를 추산하여 설정하였다. TIMIT 음성과 NOISEX 잡음 데이터베이스를 사용한 실험 결과, 제안된 알고리듬이 기존의 대표적인 비교 대상 알고리듬보다 우수함을 보였다. 정확도는 SNR 10 dB부터 -10 dB까지 ROC (Receiver Operating Characteristics) 곡선을 사용하여 비교하였다.

MLP ANN 가뭄 예측 모형에 대한 ROC 평가 (ROC evaluation for MLP ANN drought forecasting model)

  • 정민수;김종석;장호원;이주헌
    • 한국수자원학회논문집
    • /
    • 제49권10호
    • /
    • pp.877-885
    • /
    • 2016
  • 본 연구에서는 기상학적 가뭄지수인 표준강수지수(Standardized Precipitation Index, SPI)를 이용하여 우리나라 전역에 대한 가뭄예측의 시공간적인 평가를 수행하였다. 또한 다층 퍼셉트론 인공신경망(Multi Layer Perceptron-Artificial Neural Network, MLP-ANN) 예측 기법을 이용하여 SPI(3), (6)에 대한 선행예보시간별 가뭄 예측을 실시하였다. 입력 자료는 기상청 산하의 59개 관측소에서 관측된 기상자료를 활용하였고, 관측자료 기간은 1976~2015년이다. 예측 모델의 성능평가는 기준점(Threshold)에 따른 가뭄 발생유무와 같은 이진분류 혼동행렬을 구성하여 Receiver Operating Characteristics (ROC) score와 조건부 확률에 따른 F score를 산정하여 예측 성능평가를 수행하였다. 예측성능에 대한 ROC 분석결과 다층 퍼셉트론 인공신경망(MLP-ANN) 모형을 적용한 가뭄예측성능이 매우 우수한 것으로 나타났으며, SPI (3)은 2개월, SPI (6)는 5개월 정도의 선행예측이 충분히 가능한 것으로 나타났다.

X-선 유방영상에서 텍스처 분석과 신경망을 이용한 군집성 미세석회화의 컴퓨터 보조검출 (Computer-Aided Detection of Clustered Microcalcifications using Texture Analysis and Neural Network in Digitized X-ray Mammograms)

  • 김종국;박정미
    • 대한의용생체공학회:의공학회지
    • /
    • 제19권1호
    • /
    • pp.1-8
    • /
    • 1998
  • X-선 유방영상에서 군집성 미세석회화는 유방암의 조기 검출에 중요한 징후로 이용된다. 본 논문은 X-선 유방영상에서 군집성 미세석회를 검출하여 그것의 위치를 표시하는 컴퓨터 보조 검출 방법을 제안한다. 제안된 검출방법의 구성도는 ROI9region of interest)선택, 필름흠제거, srdm(surrounding region dependence method), 분류기, 그리고 위치 표시로 구성되어 있다. SRDM은 이미 저자들에 의해 제안되었으며, 이것은 현재의 픽셀을 둘러싸고 있는 두 개의 영역에서의 2차 히스토그램에 근거한 통계적인 텍스처(texture)분석 방법이며 X-선 유방영상에서 군집성 미세석회화의 검출을 위해 제안되었다. 또한, 본 논문에서 제안된 필름흠 제거 필터의 효과는 ROC (receiver operating-characteristics) 분석에 의한 분류 성능 측면에서 평가되어진다. 정상조직(normal tissue)과 군집성 미세석회화를 포함한 조직을 분류하기 위해 3계층 backpropagation 신경망이 분류기로 이용되었다. 검출된 군집성 미세석회화의 위치와 적절한 표시를 함으로써 진단방사선의사에게 더 많은 주의를 상기시킬 수 있다

  • PDF

Image saliency detection based on geodesic-like and boundary contrast maps

  • Guo, Yingchun;Liu, Yi;Ma, Runxin
    • ETRI Journal
    • /
    • 제41권6호
    • /
    • pp.797-810
    • /
    • 2019
  • Image saliency detection is the basis of perceptual image processing, which is significant to subsequent image processing methods. Most saliency detection methods can detect only a single object with a high-contrast background, but they have no effect on the extraction of a salient object from images with complex low-contrast backgrounds. With the prior knowledge, this paper proposes a method for detecting salient objects by combining the boundary contrast map and the geodesics-like maps. This method can highlight the foreground uniformly and extract the salient objects efficiently in images with low-contrast backgrounds. The classical receiver operating characteristics (ROC) curve, which compares the salient map with the ground truth map, does not reflect the human perception. An ROC curve with distance (distance receiver operating characteristic, DROC) is proposed in this paper, which takes the ROC curve closer to the human subjective perception. Experiments on three benchmark datasets and three low-contrast image datasets, with four evaluation methods including DROC, show that on comparing the eight state-of-the-art approaches, the proposed approach performs well.

MODIS 위성영상 기반 ESI와 ROC 분석을 이용한 가뭄위험평가 (Drought Hazard Assessment using MODIS-based Evaporative Stress Index (ESI) and ROC Analysis)

  • 윤동현;남원호;이희진;홍은미;김태곤
    • 한국농공학회논문집
    • /
    • 제62권3호
    • /
    • pp.51-61
    • /
    • 2020
  • Drought events are not clear when those start and end compared with other natural disasters. Because drought events have different timing and severity of damage depending on the region, various studies are being conducted using satellite images to identify regional drought occurrence differences. In this study, we investigated the applicability of drought assessment using the Evaporative Stress Index (ESI) based on Moderate Resolution Imaging Spectroradiometer (MODIS) satellite images. The ESI is an indicator of agricultural drought that describes anomalies in actual and reference evapotranspiration (ET) ratios that are retrieved using remotely sensed inputs of Land Surface Temperature (LST) and Leaf Area Index (LAI). However, these approaches have a limited spatial resolution when mapping detailed vegetation stress caused by drought, and drought hazard in the actual crop cultivation areas due to the small crop cultivation in South Korea. For these reasons, the development of a drought index that provides detailed higher resolution ESI, a 500 m resolution image is essential to improve the country's drought monitoring capabilities. The newly calculated ESI was verified through the existing 5 km resolution ESI and historical records for drought impacts. This study evaluates the performance of the recently developed 500 m resolution ESI for severe and extreme drought events that occurred in South Korea in 2001, 2009, 2014, and 2017. As a result, the two ES Is showed high correlation and tendency using Receiver Operating Characteristics (ROC) analysis. In addition, it will provide the necessary information on the spatial resolution to evaluate regional drought hazard assessment and and the small-scale cultivation area across South Korea.

Prediction Model for Gastric Cancer via Class Balancing Techniques

  • Danish, Jamil ;Sellappan, Palaniappan;Sanjoy Kumar, Debnath;Muhammad, Naseem;Susama, Bagchi ;Asiah, Lokman
    • International Journal of Computer Science & Network Security
    • /
    • 제23권1호
    • /
    • pp.53-63
    • /
    • 2023
  • Many researchers are trying hard to minimize the incidence of cancers, mainly Gastric Cancer (GC). For GC, the five-year survival rate is generally 5-25%, but for Early Gastric Cancer (EGC), it is almost 90%. Predicting the onset of stomach cancer based on risk factors will allow for an early diagnosis and more effective treatment. Although there are several models for predicting stomach cancer, most of these models are based on unbalanced datasets, which favours the majority class. However, it is imperative to correctly identify cancer patients who are in the minority class. This research aims to apply three class-balancing approaches to the NHS dataset before developing supervised learning strategies: Oversampling (Synthetic Minority Oversampling Technique or SMOTE), Undersampling (SpreadSubsample), and Hybrid System (SMOTE + SpreadSubsample). This study uses Naive Bayes, Bayesian Network, Random Forest, and Decision Tree (C4.5) methods. We measured these classifiers' efficacy using their Receiver Operating Characteristics (ROC) curves, sensitivity, and specificity. The validation data was used to test several ways of balancing the classifiers. The final prediction model was built on the one that did the best overall.

Shape-Based Classification of Clustered Microcalcifications in Digitized Mammograms

  • Kim, J.K.;Park, J.M.;Song, K.S.;Park, H.W.
    • 대한의용생체공학회:의공학회지
    • /
    • 제21권2호
    • /
    • pp.137-144
    • /
    • 2000
  • Clustered microcalcifications in X-ray mammograms are an important sign for the diagnosis of breast cancer. A shape-based method, which is based on the morphological features of clustered microcalcifications, is proposed for classifying clustered microcalcifications into benign or malignant categories. To verify the effectiveness of the proposed shape features, clinical mammograms were used to compare the classification performance of the proposed shape features with those of conventional textural features, such as the spatial gray-leve dependence method and the wavelet-based method. Image features extracted from these methods were used as inputs to a three-layer backpropagation neural network classifier. The classification performance of features extracted by each method was studied by using receiver operating-characteristics analysis. The proposed shape features were shown to be superior to the conventional textural features with respect to classification accuracy.

  • PDF