• 제목/요약/키워드: Bias Tests

검색결과 167건 처리시간 0.024초

Effects of Expert-Determined Reference Standards in Evaluating the Diagnostic Performance of a Deep Learning Model: A Malignant Lung Nodule Detection Task on Chest Radiographs

  • Jung Eun Huh; Jong Hyuk Lee;Eui Jin Hwang;Chang Min Park
    • Korean Journal of Radiology
    • /
    • 제24권2호
    • /
    • pp.155-165
    • /
    • 2023
  • Objective: Little is known about the effects of using different expert-determined reference standards when evaluating the performance of deep learning-based automatic detection (DLAD) models and their added value to radiologists. We assessed the concordance of expert-determined standards with a clinical gold standard (herein, pathological confirmation) and the effects of different expert-determined reference standards on the estimates of radiologists' diagnostic performance to detect malignant pulmonary nodules on chest radiographs with and without the assistance of a DLAD model. Materials and Methods: This study included chest radiographs from 50 patients with pathologically proven lung cancer and 50 controls. Five expert-determined standards were constructed using the interpretations of 10 experts: individual judgment by the most experienced expert, majority vote, consensus judgments of two and three experts, and a latent class analysis (LCA) model. In separate reader tests, additional 10 radiologists independently interpreted the radiographs and then assisted with the DLAD model. Their diagnostic performance was estimated using the clinical gold standard and various expert-determined standards as the reference standard, and the results were compared using the t test with Bonferroni correction. Results: The LCA model (sensitivity, 72.6%; specificity, 100%) was most similar to the clinical gold standard. When expert-determined standards were used, the sensitivities of radiologists and DLAD model alone were overestimated, and their specificities were underestimated (all p-values < 0.05). DLAD assistance diminished the overestimation of sensitivity but exaggerated the underestimation of specificity (all p-values < 0.001). The DLAD model improved sensitivity and specificity to a greater extent when using the clinical gold standard than when using the expert-determined standards (all p-values < 0.001), except for sensitivity with the LCA model (p = 0.094). Conclusion: The LCA model was most similar to the clinical gold standard for malignant pulmonary nodule detection on chest radiographs. Expert-determined standards caused bias in measuring the diagnostic performance of the artificial intelligence model.

Efficacy, immunogenicity, and safety of COVID-19 vaccines in individuals with liver cirrhosis: a rapid review and meta-analysis

  • Faranak Salajegheh;Mohammad Rezaei Zadeh Rukerd;Mohsen Nakhaie;Zohreh-Al-Sadat Ghoreshi;Javad Charostad;Nasir Arefinia
    • Clinical and Experimental Vaccine Research
    • /
    • 제13권2호
    • /
    • pp.83-90
    • /
    • 2024
  • The emergence of coronavirus disease 2019 (COVID-19) vaccines has been a remarkable advancement. However, the efficacy, immunogenicity, and safety of these vaccines in individuals with liver cirrhosis require careful evaluation due to their compromised immune status and potential interactions with underlying liver disease. The present study aimed to evaluate the safety and efficacy of COVID-19 vaccines in liver cirrhosis patients. In the present study, we searched international databases, including Google Scholar, PubMed, Scopus, Embase, and Web of Science. The search strategy was carried out by using keywords and MeSH (Medical Subject Headings) terms. STATA ver. 15.0 (Stata Corp., USA) was used to analyze the data statistically. The analysis was performed using the randomeffects model. We also used the chi-square test and I2 index to calculate heterogeneity among studies. For evaluating publication bias, Begg's funnel plots and Egger's tests were used. A total of 4,831 liver cirrhosis patients with COVID-19 were examined from 11 studies. The rate of hospitalization in the patients with liver cirrhosis was 17.6% (95% confidence interval [CI], 9%-44%). The rate of fever in the patients with liver cirrhosis was 4.5% (95% CI, 0.9%-8.1%). The rate of positive neutralizing antibodies in the patients with liver cirrhosis was 82.5% (95% CI, 69.8%-95.1%). Also, the rates of seroconversion after the second vaccination in patients with liver cirrhosis and the control group were 96.6% (95% CI, 92.0%-99.0%), and 99.7% (95% CI, 99.0%-100.0%), respectively. COVID-19 vaccines have demonstrated promising efficacy, immunogenicity, and safety profiles in individuals with liver cirrhosis, providing crucial protection against COVID-19-related complications.

태양 엄폐법에 의한 연직 오존 분포 도출과 민감도 실험 (RETRIEVAL OF VERTICAL OZONE PROFILE USING SATELLITE SOLAR OCCULTATION METHOD AND TESTS OF ITS SCNSITIVITY)

  • 조희구;윤영준;박재형;이광목;요코다타쓰야
    • Journal of Astronomy and Space Sciences
    • /
    • 제15권1호
    • /
    • pp.119-138
    • /
    • 1998
  • 최근에 인공위성에 의한 대기 중의 미량 기체 관측이 활발하다. 따라서 이들 자료의 처리기법 개발이 매우 중요하다. 그러므로 이 연구에서는 인공위성에 의해 태양 엄폐범(太陽 掩蔽法: Solar Occultation Method)으로 관측한 대기 주연 경로(周緣 經路: limb path)의 접선 고도별 평균 투과율로부터 연직 오존 분포를 도출하고, 온도와 기압 오차의 민감도 오차의 민감도 실험을 하고자 한다. 여기에서 서울의 반전(Umkehr)관측에 의하여 구한 연평균 연직 오존분포로 계산된 평균 투과율을 인공위성으로부터 관측된 평균 투과율로 가정하였다. HALOE SIDS (Hallogen Occultation Experiment Simulated Instrument Data Set)의 연직 오존 자료를 초기치로 하고 온도와 기압의 연직 분포를 입력값으로 하여 대기 평균 투과율을 파장 $9.89{\mu}m$$10.02{\mu}m$ 사이에서 접선고도별로 계산했다. 관측 평균 투과율에 대하여 계산한 평균 투과율로부터 오존 분포 법으로 접선고도 10km에서 50km까지 매 3km마다 오존 농도를 도출하였다. 도출된 서울의 연직 오존 분포를 관측한 연직 오존 분포와 비교하였다. 이 결과에 의하면 전 고도에 걸쳐서 서울의 연직 오존 분포가 오차가 거의 없을 정도로 정확하게 도출되었다. 그리고 민감도 실험을 위하여 관측 평균 투과율에$\pm0.001$, 각 층의 온도에 $\pm3K$, 그리고 각 층에 기압의 $\pm3\%$의 강제 오차를 각각 주었다. 이들 각 오차는 ADEOS/ILAS 관측 오차에 근거하였다. 이들의 결과는 투과율 오차에 대하여 -6.5%에서 +6.9%, 온도 오차에 대하여 -9.5%에서 +10.5, 그리고 기압 오차에 대하여 -5.1%에서 +5.4%의 고도별 오존 량 오차가 각각 나타났다. 태양 엄폐 법에 의해 비교적 정확한 연직 오존 분포를 도출할 수 있었다. 이 도출 과정에서 특히 온도 관측이 중요함을 알 수 있었다.

  • PDF

DETECTION AND MASKING OF CLOUD CONTAMINATION IN HIGH-RESOLUTION SST IMAGERY: A PRACTICAL AND EFFECTIVE METHOD FOR AUTOMATION

  • Hu, Chuanmin;Muller-Karger, Frank;Murch, Brock;Myhre, Douglas;Taylor, Judd;Luerssen, Remy;Moses, Christopher;Zhang, Caiyun
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2006년도 Proceedings of ISRS 2006 PORSEC Volume II
    • /
    • pp.1011-1014
    • /
    • 2006
  • Coarse resolution (9 - 50 km pixels) Sea Surface Temperature satellite data are frequently considered adequate for open ocean research. However, coastal regions, including coral reef, estuarine and mesoscale upwelling regions require high-resolution (1-km pixel) SST data. The AVHRR SST data often suffer from navigation errors of several kilometres and still require manual navigation adjustments. The second serious problem is faulty and ineffective cloud-detection algorithms used operationally; many of these are based on radiance thresholds and moving window tests. With these methods, increasing sensitivity leads to masking of valid pixels. These errors lead to significant cold pixel biases and hamper image compositing, anomaly detection, and time-series analysis. Here, after manual navigation of over 40,000 AVHRR images, we implemented a new cloud filter that differs from other published methods. The filter first compares a pixel value with a climatological value built from the historical database, and then tests it against a time-based median value derived for that pixel from all satellite passes collected within ${\pm}3$ days. If the difference is larger than a predefined threshold, the pixel is flagged as cloud. We tested the method and compared to in situ SST from several shallow water buoys in the Florida Keys. Cloud statistics from all satellite sensors (AVHRR, MODIS) shows that a climatology filter with a $4^{\circ}C$ threshold and a median filter threshold of $2^{\circ}C$ are effective and accurate to filter clouds without masking good data. RMS difference between concurrent in situ and satellite SST data for the shallow waters (< 10 m bottom depth) is < $1^{\circ}C$, with only a small bias. The filter has been applied to the entire series of high-resolution SST data since1993 (including MODIS SST data since 2003), and a climatology is constructed to serve as the baseline to detect anomaly events.

  • PDF

좌골신경통 백서모델에서 침치료의 효과: 체계적 문헌고찰 및 메타분석 (Effect of Acupuncture on Sciatica in Rat Models: Systematic Review and Meta-analysis)

  • 윤예지;김수전;조재흥;김고운;송미연
    • 한방재활의학과학회지
    • /
    • 제30권1호
    • /
    • pp.79-93
    • /
    • 2020
  • Objectives While sciatic neuropathy is one of the common symptoms which have the lifetime incidence of 13~40%, still there is no consensus about the standardized and the most effective conservative treatment. In addition, the importance of systematic review and meta-analysis of preclinical are growing as they could suggest possible effective treatment strategy for future studies. Therefore, we conducted systematic review and meta-analysis to estimate analgesic effect of acupuncture on sciatica in rat models. Methods Systematic search was conducted for all controlled comparative preclinical trials which assessed analgesic effect of acupuncture in sciatica rat models. Database of PubMed, EMBASE, Web of Science, CNKI and 6 Korean databases were used. The primary outcome was pain, which is evaluated by stimulus behavior tests in rat models. We assessed the methodological quality with Systematic Review Centre for Laboratory Animal Experimentation's risk of bias tool. RevMan 5.3 was used for meta-analysis and subgroup analysis was conducted according to treatment site, acupuncture point, treatment period and frequency used in electroacupuncture. Results 14 studies were finally included following our inclusion criteria. The data from meta-analysis indicated that the acupuncture significantly improved the result values of behavior tests for pain evaluation, compared to no-treatment control group in animal models (standardized mean difference=4.43, 95% confidence interval 3.16 to 5.69, Z=6.84, p<0.00001; χ2=68.02, p<0.00001; I2=82%). The results of subgroup analysis indicate that acupuncture treatment of unilateral site, distal acupoints, longer treatment period and applying 2/100 Hz frequency in electroacupuncture could be more effective. Conclusions Systematic review and meta-analysis of animal studies are getting important for the future clinical studies and the improvement of heatlh care. Therefore the results of the study would provide evidence and better design for the forthcoming studies.

화상 환자에서 신속 순차 시각 제시를 이용한 주의깜빡임에 관한 예비연구 (A Preliminary Study of Attentional Blink of Rapid Serial Visual Presentation in Burn Patients with Posttraumatic Stress Disorder)

  • 김대희;전보라;서정훈;조용석;임해준;허준;김도헌;전욱;김종현;정명훈;최인근;이병철
    • 생물정신의학
    • /
    • 제17권2호
    • /
    • pp.79-85
    • /
    • 2010
  • Objectives : Trauma patients have attentional bias which enforces traumatic memories and causes cognitive errors. Understanding of such selective attention may explain many aspects of the posttraumatic stress disorder(PTSD) symptoms. Methods : We used the rapid serial visual presentation(RSVP) method to verify attentional blink in burn patients with PTSD. International affective picture system(IAPS) was used as stimuli and distracters. In the 'neutral test', patients have been presented series of pictures with human face picture as target stimuli. Each picture had 100ms interval. However the distance between target facial pictures was randomized and recognition of second facial picture accuracy was measured. In the 'stress test', the first target was stress picture which arouses patient emotions instead of the facial picture. Neutral and Stress tests were done with seven PTSD patients and 20 controls. In '85ms test' the interval was reduced to 85ms. The accuracy of recognition of second target facial picture was rated in all three tests. Eighty-five ms study was done with eighteen PTSD patients. Results : Attentional blinks were observed in 100-400ms of RSVP. PTSD patients showed increased recognition rate in the 'stress test' compared with the 'neutral test'. When presentation interval was decreased to 85 ms, PTSD patient showed decrease of attentional blink effect when target facial picture interval was 170ms. Conclusion : We found attentional blink effect could be affected by stress stimulus in burn patients. And attentional blink may be affected by stimulus interval and the character of stimulus. There may be some other specific mechanism related with selective attention in attentional blink especially with facial picture processing.

잔디 토양 분석의 해석 (Interpreting Soil Tests for Turfgrass)

  • 닉 크리스챤스;주영규;이정호
    • 아시안잔디학회지
    • /
    • 제20권2호
    • /
    • pp.223-235
    • /
    • 2006
  • 잔디 작물에 익숙하지 않은 토양 분석 실험실에서는 잔디 생육에 필요한 인에 대하여서는 과대평가를 하나, 칼륨에 대한 요구도는 대해서는 과소평가를 하는 경향이 있다. 그 이유는 부분적으로 잔디, 정원식물 및 농작물 사이에는 뿌리 발달의 차이가 있기 때문이다. 일반적으로 잔디는 토양으로부터 인을 흡수하는데 좀 더 효율적이기 때문에 인산질 비료에 대한 요구도가 적은 편이다. 작물 재배시에는 농작물의 생산량이 주목적이지만, 잔디밭 관리의 목적은 생산량이 아니기 때문에 근본적으로 칼륨요구 수준이 다르다. 최대의 엽조직 생산을 위해 요구되는 수준이상의 칼륨은 스트레스에 대한 내성을 증가시킬 수 있기 때문에 칼륨 시비 수준을 높일 경우 잔디밭에 유익하다. 또한 토양분석 실험에 대한 철학에도 차이가 있다. 어떤 연구소는 기본적인 양이온 치환의 용량 접근법(BCSR)을 선호하는 반면, 다른 연구소는 사용 가능한 성분의 충분양(SLAN)에 대한 컨셉을 사용한다. 연구소에 따라 이 두 가지 방법을 모두 사용할 수도 있다. BCSR 이론의 사용은 대부분 비료 살포 남용을 야기한다. 그리고 문제가 될만한 비료의 살포와 제품들은 때때로 양이온의 비율의 불균형을 예증하기 위해 사용된다. 토양 실험에 있어서의 BCSR 비율 이론의 유용성은 토양의 구성에 따라 달라질 수 있고 특히 모래로 조성된 지반에서 수행된 토양분석은 문제가 될 수 있다. 또 다른 토양 실험의 문제는 경기장 또는 골프장 그린에 사용된 모래지반이 유리된 칼슘 탄산염을 함유하고 있을 때 발생한다. pH7.0의 암모늄 초산염 추출액은 양이온 치환량의 측정과 양이온 비율의 측정을 한쪽으로 치우치게 할 수 있는 과다한 양의 칼슘을 용해한다. 용질의 pH를 8.1로 맞추는 것은 석회질 토양에서의 실험 절차의 정확성을 향상시킬 수 있다.

방사선 치료의 정도관리 및 선량측정에 이용되는 전리계의 성능평가 (Performance Evaluation of an Electrometer for Quality Control and Dosimetry in Radiation Therapy)

  • Kim, Chang-Seon;Kim, Chul-Yong;Park, Myung-Sun
    • 한국의학물리학회지:의학물리
    • /
    • 제11권2호
    • /
    • pp.123-130
    • /
    • 2000
  • 전리계의 성능은 방사선 선량측정의 정확도와 정밀도에 직접적으로 영향을 준다. 본 연구에서는 전리계의 성능을 유지하기 위한 정도관리의 항목들을 제시하고 구체적인 성능검사를 시행하고자 한다. 선정된 성능평가 항목들은 적절한 인가전압, 예열 및 고전압 후의 평형시간, 누설에 의한 상쇄 전류, 방사선 측정 전후의 영점이동 (배경전류), 장시간 안정성, 선형성, 외부조건의 영향 등이었다. 전리계에 연결된 자루가 단단한 전리함과 방사선원으로 스트론티움-90이 내장된 검사기가 성능검사용으로 이용되었다. 인가전압의 측정은 전리함의 입력단자에서 직접 측정하였고 평형시간의 측정은 전리계에 전원을 연결한 후와 인가전압을 바꾼 후 검사기에 연결된 전리함의 반응이 안정을 가져오는 시간으로 측정하였다. 누설은 전리계가 안정된 후 방사선을 조사하지 않은 상태에서 전리계의 측정값이 영점에서 이동하는 것으로 나타냈으며 배경전류는 안정된 전리계의 영점을 조정하고 전리계에 연결된 검사기에서 전리함을 10분 조사한 후 영점의 변화로 나타냈다. 장시간의 안정성 3개월에 걸쳐 측정되었으며 이때 검사기의 측정값을 온도-기압에 대한 보정을 한 후 그 값을 비교하였다. 선형성은 전리계에 연결된 전리함을 n번 연속하여 조사하여 그 전체의 측정값과 초기값을 n번 곱한 값을 비교하였다. 외부조건의 영향은 인위적으로 외부온도를 17-34 $^{\circ}C$ 로 변화시켜서 환경변화에 의한 전리계의 영점이동으로 나타냈다. 인가전압의 측정에서 명목상의 인가전압 300, 500V에 대한 측정값은 각각 2.5%와 5.8% 작게 나타났다. 전원을 연결한 후 전리계가 실제로 평형에 도달하는 시간은 20분으로 이는 전리계의 안정성 표시기보다 9분 지연되었으며 인가전압을 바꾼 경우에는 1분 이내에 평형에 도달하였다. 전리계의 누설의 측정에서 영점의 이동은 0.002(스케일)/15분이었고 10분 조사 후 영점의 이동은 발견되지 않았다. 전리계는 3개월 동안 99.4%의 안정성을 유지하였다. 스케일 영역 0.000-9.991 에서 전리계의 선형성에서의 이탈은 0.9% 이었다. 온도 범위 17 - 34 $^{\circ}C$ 에서 전리계의 영점이동은 0.2% 이내였다. 본 연구에서는 임상에서 사용하고 있는 전리계에 대한 성능을 평가하는 항목을 제시하고 이를 전리계의 정도관리에 이용하도록 하였다. 이러한 프로그램의 운용을 통하여 전리계에 의한 오차를 줄임으로써 방사선측정에서의 정확도와 정밀도를 향상시킬 수 있을 것으로 사료된다.

  • PDF

재한 몽골 합법·불법 이주노동자들의 직업만족도, 사회적 지지, 희망이 삶의 질에 미치는 영향: 희망의 매개효과와 체류자격의 조절효과를 중심으로 (The Effects of Job Satisfaction, Social Support and Hope on Life Quality of Mongolian Workers: Focusing on the Mediating Effects of Hope and the Moderating Effect of the Legal Status)

  • 신성자;미칠도칠 오통도람
    • 한국심리학회지 : 문화 및 사회문제
    • /
    • 제18권4호
    • /
    • pp.435-462
    • /
    • 2012
  • 본 연구는 '직업만족', '사회적지지' 그리고 '희망'이 '삶의 질'에 미치는 영향과, '희망'의 매개효과 그리고 '체류자격'(불법, 합법)의 조절효과를 검증해 보고자 하였다. 전국 10개 도시에 거주하는 453 명의 재한 몽골 이주노동자들(합법 체류자, 333명, 불법 체류자 120명)을 임의표집 방법으로 선정하여 설문조사(2011년 1월초-2월말)를 실시하였다. 분석방법은 구조방정식 모형을 통하여 변수들의 인과관계를 분석하였다. 매개효과는 편향수정 부트스트래핑(bias-corrected bootstrapping) 방법을 사용하여 분석하였고, 조절효과는 다집단분석(multi-group analysis)을 실시하여 검정하였다. 합법집단과 불법집단간의 주요 변인들의 차이를 비교하기 위해서 잠재평균 분석결과와 Cohen의 효과크기를 함께 제시하였다. 분석결과, 직업만족과 사회적 지지는 각각 희망 및 삶의 질에 정적 직접효과를 가졌다. 희망은 삶의 질에 정적 직접효과를 줄 뿐 만 아니라, 직업만족 또는 사회적 지지가 삶의 질에 미치는 긍정적 효과를 한 층 더 증폭시키는 매개역할을 하는 것으로 밝혀졌다. 두 집단의 각 경로에 체류자격의 조절효과는 유의미하지 않았다. 잠재평균 분석결과, 직업 만족, 사회적 지지, 희망에서는 합법 체류자와 불법 체류자 간에 유의미한 차이가 발견되지 않았지만, 합법 체류자의 삶의 질이 불법 체류자보다 유의하게 높았다. 체류자격 여부와 관계없이 직업만족, 사회적 지지 그리고 희망을 증진시키는 것이 이주노동자들의 삶의 질을 향상시키는데 매우 중요하다는 사실을 실증적으로 규명 규명하였고, 주요 발견점을 토대로 실천적, 정책적 함의를 논의하였다.

서브밴드 가중치를 적용한 스펙트럼 최소값 추적을 이용하는 수정된 IMCRA 기반의 음성 향상 기법 (Speech Enhancement Based on Modified IMCRA Using Spectral Minima Tracking with Weighted Subband Selection)

  • 박윤식;박규석;이상민
    • 대한전자공학회논문지SP
    • /
    • 제49권3호
    • /
    • pp.89-97
    • /
    • 2012
  • 본 논문에서는 잡음환경에서 음성 향상 (speech enhancement)을 위한 새로운 잡음전력 추정 방법을 제안한다. 음성 향상 알고리즘에 널리 적용되고 있는 IMCRA (improved minima controlled recursive averaging) 기법은 오염된 음성신호로부터 추정된 최소 전력 스펙트럼에 기반하여 잡음전력을 추정하는 기존의 방법을 개선하기 위해 간단한 음성 검출 알고리즘을 이용하여 대략적으로 음성 성분이 제거된 전력 스펙트럼에서 최소값을 추정함으로써 음성구간에서 발생할 수 있는 음성왜곡 문제점을 개선하였다. 하지만 비정상 잡음이나 신호 대 잡음 비 (SNR signal-to-noise ratio)가 낮은 환경에서는 음성 검출 성능이 저하되어 음성구간에서 음성왜곡이 발생되는 기존의 문제점이 여전히 발생된다. 따라서 제안된 방법에서는 향상된 잡음전력 추정을 위하여 기존의 IMCRA에서 추정된 최소 전력 스펙트럼에 대하여 스펙트럼 최소값 추적 (SMT, spectral minima tracking) 기법을 적용하고 IMCRA에 의한 최소값과 SMT에 의해 추정된 최소값을 서브밴드 (subband)에 따라 가중치를 적용하여 결합한다. 제안된 알고리즘은 기존의 방법과 주관적 및 객관적 음질평가 테스트를 통해 비교 평가한 결과 다양한 배경잡음 환경에서 향상된 성능을 보였다.