DOI QR코드

DOI QR Code

Contrast Media Side Effects Prediction Study using Artificial Intelligence Technique

인공지능 기법을 이용한 조영제 부작용 예측 연구

  • Sang-Hyun Kim (Department of Radiological Science, Shinhan University)
  • 김상현 (신한대학교 방사선학과)
  • Received : 2023.05.27
  • Accepted : 2023.06.30
  • Published : 2023.06.30

Abstract

The purpose of this study is to analyze the factors affecting the classification of the severity of contrast media side effects based on the patient's body information using artificial intelligence techniques to be used as basic data to reduce the degree of contrast medium side effects. The data used in this study were 606 examiners who had no contrast medium side effects in the past history survey among 1,235 cases of contrast medium side effects among 58,000 CT scans performed at a general hospital in Seoul. The total data is 606, of which 70% was used as a training set and the remaining 30% was used as a test set for validation. Age, BMI(Body Mass Index), GFR(Glomerular Filtration Rate), BUN(Blood Urea Nitrogen), GGT(Gamma Glutamyl Transgerase), AST(Aspartate Amino Transferase,), and ALT(Alanine Amiono Transferase) features were used as independent variables, and contrast media severity was used as a target variable. AUC(Area under curve), CA(Classification Accuracy), F1, Precision, and Recall were identified through AdaBoost, Tree, Neural network, SVM, and Random foest algorithm. AdaBoost and Random Forest show the highest evaluation index in the classification prediction algorithm. The largest factors in the predictions of all models were GFR, BMI, and GGT. It was found that the difference in the amount of contrast media injected according to renal filtration function and obesity, and the presence or absence of metabolic syndrome affected the severity of contrast medium side effects.

본 연구의 목적은 환자의 신체정보와 인공지능 기법을 활용하여 부작용에 영향을 미치는 인자들을 분석하고 조영제 부작용의 정도를 예측하여 이를 완화하는 기초자료로 활용되고자 한다. 연구에 사용한 데이터는 서울 소재 종합병원의 검진을 시행한 CT 검사 58,000건 중 조영제 부작용이 발생한 1,235건 중 과거력 조사에서 조영제 부작용이 없었던 606명의 검사자를 대상자로 하였다. 606개 샘플 중 70%는 훈련 셋으로 사용하고 나머지 30%는 검증을 위한 테스트 셋으로 사용하였다. 나이, BMI(Body Mass Index), GFR(Glomerular Filtration Rate), BUN(Blood Urea Nitrogen), GGT(Gamma Glutamyl Transgerase), AST(Aspartate Amino Transferase,), and ALT(Alanine Amiono Transferase)의 feature를 독립변수로 조영제 중증도를 목표변수로 사용하였다. AdaBoost, Tree, Neural network, SVM, Random foest 알고리즘을 통해 AUC(Area under curve), CA(Classification Accuracy), F1, Precision, Recall을 파악하였다. 분류 예측에 사용된 알고리즘 중 가장 높은 평가지표를 나타내 것은 AdaBoost와 Random Forest이다. 모든 모델의 예측에서 가장 큰 요인은 GFR, BMI, GGT 이였다. 이는 신장 여과 기능, 비만에 따라 주입되는 조영제 양의 차이와 대사증후군의 여부에 따라 조영제 부작용 중증도에 영향을 미치는 것을 알 수 있었다.

Keywords

Ⅰ. INTRODUCTION

컴퓨터단층촬영(Computed Tomography, CT) 조영제는 영상의 대조도를 높여주기 위해 조직 간의 X선 흡수 차를 증가시키는 유용한 검사 약물이다[1]. 조영제는 질병 판독의 정확성에 도움을 주지만 부작용으로 인한 피해도 있다. 최근에는 부작용을 낮추기 위해 저 농도의 비이온성 요오드화 조영제를 사용하며 많은 임상연구를 통해 안정성을 확보하여 사용하고 있다[2]. 조영제 부작용은 외부에 들어오는 이물질에 대하여 개체를 보호하고자 하는 면역 과민반응과 약제 자체와 무관한 증상과 화학 독성 반응으로 분류된다[3]. 조영제 과민반응 시간은 1시간 이내에 발생하는 즉시형과 일주일 이내에 발생하는 지연형으로 나눌 수 있으면 그 증상은 두드러기, 재채기, 가려움, 구역, 구토, 피부발진 등 경미한 반응과 심한 부종과 아나필락스 쇼크를 동반하는 심각한 증상을 보여 주고 심한 경우 생명을 위협하여 사망에 이르기도 한다[4,5].

문제는 조영제 부작용의 발생 예측이 어렵고 잠재적으로 심각한 증상을 일으킬 수 있어서 그 주의가 더 요한다[6]. 미국방사선학회(American College of Radiology, ACR), 중국방사선학회(Chinese Society of Radiology, CSR) 와 유럽비뇨기방사선학회(European Society of Urogenital Radiology) 등 많은 기관에서 조영제 부작용에 대한 환자의 불확실한 위험 요소를 통한 환자의 선별 및 평가에 대해서 정의하고 하였으나 완전히 임상적으로 정리되지 않은 상태이다[7]. 현재는 요오드화 조영제의 부작용 위험인자로는 연령, 천식, 당뇨, 심혈관계 등의 기저질환과 성분에 따라 계통별 조영제 부작용의 비례보고 비율과 임상 증상 빈도가 보고되고 있다[8].

조영제 부작용에 대한 예측에 관한 관심은 지속해서 이루어져 왔으나 위험은 여전히 존재하는 상태이다. 최근 인공지능 기법에 관한 관심이 커지고 있고 질병 예측 및 식별을 위한 연구에 널리 이용되고 있다. 데이터의 특징 패턴에 따라 예측 결과가 달라지고 있으며 질병과 관련된 분야에서 많이 활용되고 있으며 현재는 사진 하나로 피부암을 예측하거나 비말 분포를 예측해 감염병을 사전에 차단하거나 우울증 예측 및 모니터링도 개발 중이다[9].

본 연구는 지도학습방법 중 결괏값의 추정할 수 있는 알고리즘인 에이다부스트(Adaptive Boosting, AdaBoost) 의사결정나무(Decision tree analysis), 신경망(Neural network), 서포트벡터머신(Surpport vector machine, SVM), 랜덤포레스트(Random forest) 등을 이용하여 환자의 신체정보 중 연속형 데이터인 체질량지수(Body Mass Index, BMI), 나이, 사구체여과율(Glomerular Filtration Rate, GFR), 혈액요소질소(Blood Urea Nitrogen, BUN) 감마 글루타밀 펩티드 전이효소(Gamma Glutamyl Transgerase, GGT), 아스파르트산 아미노기 전이효소(Aspartate Amino Transferase, AST), 알라닌 아미노 전이효소(Alanine Amiono Transferase, ALT)등과의 관계성을 분석하여 부작용 중증도에 미치는 영향을 평가하고자 한다.

인공지능을 활용한 약물 부작용 예측 모델들은 선행연구가 있으나 현재 CT 조영제 부작용에 대해 국한된 연구는 없는 실정이다. 이에 환자의 신체정보와 인공지능 기법을 활용하여 부작용에 영향을 미치는 인자들을 분석하고 조영제 부작용의 정도를 예측하여 이를 완화하는 기초자료로 활용되고자 한다.

Ⅱ. MATERIAL AND METHODS

1. 대상 및 데이터

본 연구에 사용한 데이터는 서울 소재 종합병원의 검진을 시행한 CT 검사 58,000건 중 조영제 부작용이 발생한 1,235건 중 과거력 조사에서 조영제 부작용이 없었던 606명의 검사자를 대상자로 하였다. 606개 샘플 중 70%는 훈련 셋으로 사용하고 나머지 30%는 검증을 위한 테스트 셋으로 사용하였다. Table 1과 같이 나이, BMI, GFR, BUN, GGT, AST, ALT의 변수(feature)를 독립변수로 조영제 중증도를 목표변수로 사용하였다.

Table 1. Variable information and characters (n=606)

BSSHB5_2023_v17n3_423_t0001.png 이미지

중증도는 Ring과 Messner 등[10]에 의해 발표된 중증도 점수체계를 사용하여 Table 2와 같이 종속변수를 정했다.

Table 2. Severity of hypersensitivity reaction

BSSHB5_2023_v17n3_423_t0002.png 이미지

2. 예측모델 및 분석 방법

본 연구는 신체정보가 조영제 중증도에 미치는 영향을 예측하기 위해 Fig. 1과 같이 예측모델을 구성하였다. 모델 개발에 사용된 오픈 소프트웨어는 Orange 3. 26. 0을 사용하였으며 코딩없이 머신러닝과 데이터마이닝 기법을 적용할 수 있다. 신체정보 데이터 셋을 이용하여 에이다부스트, 의사결정나무, 신경망, 랜덤포레스트, 서포트벡터머신 알고리즘을 통해 곡선하면적(Area Under the Curve, AUC), 분류정확도(Classification Accuracy, CA), F1, 정밀도(Precision), 재현율(Recall)을 파악하였다. 본 연구는 목표변수가 있는 지도학습 방법(Supervised modeling) 으로 분류, 판별(Classification)과 추정(Estimation) 둘 다 가능한 알고리즘을 사용하였다.

BSSHB5_2023_v17n3_423_f0001.png 이미지

Fig. 1. Predicted model of contrast media side effects.

2.1. 에이다부스트(Adaboost)

에이다부스트는 Adaptive와 Boosting이 합쳐져 만들어진 단어이다. 작동방법은 약한 분류기들을 한 번에 하나씩 순차적으로 학습을 진행한 후 잘 분류해내지 못한 데이터들의 가중치(weight)를 높인다. 즉 예측 성능이 낮은 약한 분류기들을 조합하여 최종적으로 좋은 강한 분류기로 만드는 상호보완적(adaptive) 학습해 나간다. 이런 약한 분류기들을 모아 분류기를 만들었기에 boosting이 된다[11].

2.2. 의사결정나무(Decision tree)

의사결정나무는 주어진 입력 값들의 조합에 의사결정 규칙을 나무 구조로 나타내어 전체 자료를 몇 개의 소집단으로 분류하거나 예측을 수행한다. 데이터들의 속성을 기반으로 분할 기준을 판결하고 기준을 정하여 트리 형태로 분기하여 모델링을 한다. 예측력은 다른 지도학습 기법들보다 떨어지나 해석이 수월하다. 상위 노드로부터 하위노드로 트리구조를 형성하는 매 단계 변수와 기준값의 선택이 중요하며 나무의 분기점을 통해 시각적으로 확인할 수 있어 해석이 용이하다[12].

2.3. 신경망(Neural network)

신경망은 생물학 모델을 바탕으로 수학적으로 모델링 한 것이다. 수십 또는 수백 개의 계층(layer)을 가질 수 있으며 각 계층은 서로 다른 특징을 검출하며 여러 입력값을 받아서 일정값 이상이 되면 활성화되어 출력값을 내보낸다. 인공신경망은 다층 퍼셉트론의 조합이라고 할 수 있는데 퍼셉트론은 각 노드의 입력치와 가중치의 곱을 합하여 활성화 함수가 가지고 있는 임계치와 비교하며 임계치보다 크면 활성화되고 작으면 비활성화 된다. 단층 퍼셉트론에서 가중치와 임계치를 적절히 변경하면 상황에 맞는 적절한 의사결정을 내리게 되며 단층 퍼셉트론을 여러 개 조합하면 더욱 복잡한 문제를 판단할 수 있게 되면 이를 다층 퍼셉트론(MultiLayer Perceptron, MLP)라고 명한다[13].

2.4. 서포트벡터머신(Surpport vector machine)

퍼셉트론은 가장 단순하고 빠른 판별 함수 기반 분류 모형이지만 파별 경계선이 특별하게 존재하지 않는 특징이 있다. 주어진 데이터 집합을 바탕으로 새로운 데이터가 어느 카테고리에 속할 것인지 판단하는 비확률적 이진 선형 분류 모델로 2개의 집안을 멀리 분류시키는 최적의 초평면(hyperlane)을 찾는 데 중점을 둔다. 퍼셉트론 기반의 모형에 가장 안정적인 판별 경계선을 찾기 위한 제한 조건을 추가한 모형이라고 볼 수 있다[14].

2.5. 랜덤포레스트(Random forest)

의사결정나무의 과적합 한계를 극복하기 위하여 만들어졌으며 정확성, 단순성 및 유연성으로 인해 많이 사용되는 알고리즘 중 하나이다. 좋은 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 앙상블(ensemble)학습법으로 의사결정나무와 같은 분류자의 모음으로 구성된다. 그 예측을 집계하여 가장 인기 있는 결과를 찾아낸다. 가장 잘 알려진 앙상블 방법은 부트스트랩 집계 또는 부스팅(boosting)으로도 알려진 배깅(bagging)이다. 훈련 세트에서 무작위로 데이터를 복원 추출하여 랜덤 샘플을 만들고 개별 데이터 포인트가 한 번 이상 선택될 수 있는 중복을 허락한다[15].

Ⅲ. RESULT

1. 과민반응의 임상 양상

과민반응 증상에서 Table 3과 같이 두드러기(urticaria)가 417명 68.8%로 가장 높았으며 홍조(flushing)와 가려움증(iching)이 96명 16%로 그다음으로 많이 발생했다. 치료가 필요한 즉시형 과민반응 501명 83.7% 많은 부분을 찾지 하고 있으며 경과관찰만으로 호전된 경우가 99명 16.3%이었다. 지연형 과민반응의 경우 치료해야 하는 경우가 6명이었으며 경과관찰만으로 호전된 경우가 1명이었다.

Table 3. Aspects of contrast media side effects (n=606)

BSSHB5_2023_v17n3_423_t0003.png 이미지

2. 과민반응의 유형

과민반응에 대한 유형은 Table 4와 같이 Allergic 이상 반응이 533명 88%로 가장 많았으며 606명 신체정보가 정상인 경우는 277명이었으며 비정상이 329명으로 약간 우세하였다.

Table 4. Type of contrast media side effects (n=606)

BSSHB5_2023_v17n3_423_t0004.png 이미지

3. BMI 분류 예측률 검증

BMI 결과에서 AUC는 AdaBoost에서 0.790, CA는 AdaBoost와 Random Forest에서 0.701, F1은 AdaBoost에서 0.637, 정밀도값은 AdaBoost에서 0.706, 재현율값은 AdaBoost에서 0.710으로 가장 좋은 결과를 나타냈다.

Table 5. Prediction importance of BMI

BSSHB5_2023_v17n3_423_t0005.png 이미지

4. 나이 예측률 검증

나이 결괏값에서는 AUC는 Random Forest에서 0.694, CA는 AdaBoost와 Random Forest에서 0.696, F1은 AdaBoost에서 0.582, 정밀도값은 AdaBoost에서 0.756, 재현율값은 AdaBoost에서 0.696으로 가장 좋은 결과를 나타냈다.

Table 6. Prediction importance of Age

BSSHB5_2023_v17n3_423_t0006.png 이미지

5. GFR 분류 예측률 검증

GRF 결과에서 AUC는 AdaBoost에서 0.951, CA는 AdaBoost에서 0.820, F1은 AdaBoost에서 0.805, 정밀도값은 AdaBoost에서 0.818, 재현율값은 AdaBoost에서 0.820으로 가장 좋은 결과를 나타냈다.

Table 7. Prediction importance of GFR

BSSHB5_2023_v17n3_423_t0007.png 이미지

6. GGT 분류 예측률 검증

GGT 결과에서 AUC는 Tree에서 0.770, CA는 AdaBoost에서 0.717, F1은 AdaBoost에서 0.647, 정밀도값은 AdaBoost에서 0.782, 재현율값은 AdaBoost에서 0.717로 가장 좋은 결과를 나타냈다.

Table 8. Prediction importance of GGT

BSSHB5_2023_v17n3_423_t0008.png 이미지

7. AST 분류 예측률 검증

AST 결과에서 AUC는 Random Forest에서 0.709, CA는 AdaBoost에서 0.700, F1은 AdaBoost에서 0.599, 정밀도값은 AdaBoost에서 0.665, 재현율값은 AdaBoost에서 0.700으로 가장 좋은 결과를 나타냈다.

Table 9. Prediction importance of AST

BSSHB5_2023_v17n3_423_t0009.png 이미지

8. ALT 분류 예측률 검증

ALT 결과에서 AUC는 AdaBoost에서 0.702, CA는 AdaBoost에서 0.708, F1은 AdaBoost에서 0.614, 정밀도값은 AdaBoost에서 0.718, 재현율값은 AdaBoost에서 0.708로 가장 좋은 결과를 나타냈다.

Table 10. Prediction importance of ALT

BSSHB5_2023_v17n3_423_t0010.png 이미지

9. BUN 분류 예측률 검증

BUN 결과에서 AUC는 Random Forest에서 0.632, CA는 AdaBoost에서 0.689, F1은 Random Forest에서 0.566, 정밀도값은 AdaBoost에서 0.566, 재현율값은 AdaBoost에서 0.696로 가장 좋은 결과를 나타냈다.

Table 11. Prediction importance of BUN

BSSHB5_2023_v17n3_423_t0011.png 이미지

Ⅳ. DISCUSSION

조영제 과민반응이 기전은 아직 정확하게 밝혀진 것은 없으며 아나필락시스 쇼크의 발생에 대한 여러 가지 기전에 대해 논의되고 있으며 국내의 유해반응 신고 건수는 2007년 700건에서 2017년 18,631건으로 10년간 25배 가까이 늘어났다. 2008년 CHRAIAP (Cardarelli Hospital Radiocontrast Media and Anesthetic-Induced Anaphylaxis Prevention) Working Group에서 과민반응에 영향 요인과 전처치 약물요법에 대하여 제시하였으며[16] 방사선학 관련 학회를 중심으로 과민반응과 신장 기능 저하를 예방하는 전 처치 가이드라인을 제시해 왔다.

이렇듯 많은 노력을 하고 있지만, 여전히 많은 조영제 부작용이 발생하고 있고 최근 머신러닝과 딥러닝을 포함한 인공지능의 기술 발전을 통해 의학적으로 예측과 예방이 가능해지고 있어서 조영제 부작용 영역도 시도하여 환자의 안전에 이바지할 필요가 있다. 결괏값에서 모델 평가방법에 따른 신체정보 수치를 살펴보면 AUC는 GFR AdaBoost에서 0.951로 가장 높았다. AUC는 ROC curve의 밑면적으로 성능 평가에 있어서 1에 가까울수록 그래프가 왼쪽상단에 근접하므로 좋은 모델이 된다. AUC가 0.5미만이라면 가벨링(labeling) 혹은 알고리즘이 잘못 되었을 가능이 크다[17]. CA는 GFR AdaBoost에서 0.820으로 가장 높았으며 모델이 입력된 데이터에 대해 얼마나 정확하게 예측하는지를 나타내며 전체 표본의 편중을 고려할 필요가 있는 평가방법이다[18]. F1은 GFR AdaBoost에서 0.805로 가장 높았으며 사용하게 되는 이유는 정밀도, 재현율 모두 중요한데 두 값은 모두 높이는 것은 상충(Trade-off)관계로 어렵다. 상충관계 때문에 정밀도와 재현율은 불균형하게 되고 이 때문에 두값의 조화평균울 사용해서 F1점수를 나타낸다[19]. 정밀도값은 GFR AdaBoost에서 0.818로 가장 높았으며 모델의 예측값이 얼마나 정확하게 예측됐는가를 나타내는 지표로 모델이 정답이라고 예측한 것 중에서 실제로 정답인 수를 의미한다. 재현율값은 GFR AdaBoost에서 0.820으로 가장 높았으며 재현율은 민감도라고도 하며 실제값 중에서 모델이 검출한 실제값의 비율을 나타내는 지표이다[20]. 신체정보 중 예측치가 가장 높은 것은 GFR이며 BMI, GGT, ALT, AST, 나이, BUN 순서 이었다. GFR이 조영제 부작용의 중증도에 가장 높은 예측치가 나온 것은 신장의 기능을 평가할 수 있는 중요한 수치로 신장이 1분 동안에 깨끗하게 필터해주는 혈액양으로 일정 시간 동안 특정 물질을 제거할 수 있는 능력을 나타내므로 조영제의 배출과 관련이 있어서 높은 수치로 나왔다[21]. BMI도 높은 예측 수치를 나타내었는데 체질량지수는 비만도 계산으로 자신의 몸무게를 키의 제곱으로 나누는 것으로 저체중, 정상, 과체중, 비만을 판정한다. 이는 조영제 양은 체중에 비례하여 1~2.5 ml/kg을 주입하므로 비만도가 높을수록 조영제 양도 많이 투여되므로 조영제 부작용의 중증도가 높아질 수 있다[22]. GGT도 높은 수치에 해당하였는데 이는 GGT는 감마글루타밀 회로 과정 중 세포막을 통해 아미노산을 이동시키는 역할을 하고 여러 장기의 세포막에 존재하며 수치가 높을수록 대사증후군의 위험도가 증가하는 것으로 나타났다. 대사증후군이란 한 사람에게 고혈압, 고혈당, 혈중지질이상, 비만 등 심뇌혈관질환 및 당뇨병의 위험을 높이는 인자가 겹쳐 있는 상태를 말하므로 조영제 부작용의 중증도를 높일 수 있다. 간수치를 나타내는 AST, ALT는 비교적 수치가 낮았는데 AST, ALT는 아미노전달효소로 간 세포 내에 존재하는 효소로 간세포의 괴사, 파괴에 의한 혈중 유출로 나타난다.

본 연구에 사용된 머신러닝 모델 중 AdaBoost와 Random Forest는 높은 정확도를 보인 반면 SVM과 Neural Network는 낮은 정확도를 보였다. 이는 SVM 단점인 변수의 민감도가 반영된 결과이며 Neural Network는 설명력이 낮은 단점을 가지고 있다. 추후 테스트 데이터의 양을 늘리고 독립변수(feature)를 늘리면 정확도가 향상될 것으로 예상한다. 본 연구 결과가 조영제 부작용의 중증도 예측에 머신러닝 활용이 활발히 이용될 수 있는 기초자료로 활용될 것을 기대한다[23].

Ⅴ. CONCLUSION

본 연구는 목적은 첫째, 신체정보 자료를 기반으로 CT 검사 시 조영제 중증도를 분류할 수 있는 최적의 알고리즘을 찾고 둘째, 신체정보 중 중증도 분류에 영향을 주는 요인을 제시하여 기초자료로 사용하고자 하였으며 그 결과는 다음과 같다.

연구에 사용된 알고리즘은 AdaBoost, Tree, Neural network, SVM, Random forest이며 이 중 평가지표가 높은 것은 AdaBoost와 Random Forest이다. 각 모델의 예측에서 가장 큰 요인은 GFR, BMI, GGT 이었으며 이는 신장 여과 기능, 비만에 따른 조영제 양, 대사증후군 여부에 따라 조영제의 중증도가 달라진다는 것으로 예상된다. 또한 Neural network와 SVM은 데이터 전처리와 매개변수 설정을 보완하고 분석 시 변수들을 일정한 순서나 방식으로 넣은 것이 아니기 때문에 결과가 일정하지 않을 수 있으므로 이를 보완한다면 신뢰도 높은 알고리즘이 될 것으로 판단된다.

Acknowledgement

본 논문은 2022년도 신한대학교 학술연구비 지원을 받아 수행된 연구이다.

References

  1. J. E. Jacobs, B. A. Birnbaum, C. P. Langlotz, "Contrast media reactions and extravasation: Relationship to intra-venous injection rates", Radiology, Vol. 209, No. 2, pp. 411-416, 1998. http://dx.doi.org/10.1148/radiology.209.2.9807567 
  2. A. Rosado Ingelmo, I. Dona Diaz, R. Cabanas Moreno, M. C. Moya Quesada, C. Garcia-Aviles, I. Garcia Nunez, J. I. Martinez Tadeo, R. Mielgo Ballesteros, N. Ortega-Rodriguez, M. A. Padial Vilchez, L. Sanchez-Morillas, C. Vila Albelda, E. Moreno Rodilla, M. J. Torres Jaen, "Clinical practice guidelines for diagnosis and management of hypersensitivity reactions to Contrast Media", Journal of investigational allergology & clinical immunology, Vol. 26, No. 3, pp. 144-155, 2016. https://doi.org/10.18176/jiaci.0058 
  3. K. Brockow, C. Christiansen, G. Kanny, O. Clement, A. Barbaud, A. Bircher, P. DeWachter, J. L. Gueant, R. M. Rodriguez Gueant, C. Mouton-Faivre, J. Ring, A. Romano, J. Sainte-Laudy, P. Demoly, W. J. Pichler "Management of hypersensitivity reactions to iodinated contrast media", Allergy, Vol. 60, No. 2, pp. 150-158, 2005. http://dx.doi.org/10.1111/j.1398-9995.2005.00745.x 
  4. Michael A Bettmann, "Frequently asked questions: iodinated contrast agents", RadioGraphics, Vol. 24, No. 1, pp. 3-10, 2004. http://dx.doi.org/10.1148/rg.24si045519 
  5. M. J. Meth, H. I. Maibach, "Current understanding of contrast media reactions and implications for clinical management", Drug Safety, Vol. 29, No. 2, pp. 133-141, 2006. http://dx.doi.org/10.2165/00002018-200629020-00003 
  6. D. V. Smit, P. A. Cameron, T. H. Rainer, "Anaphylaxis presentations to an emergency department in Hong Kong: Incidence and predictors of biphasic reactions", Journal of Emergency Medicine, Vol. 28, No. 4, pp. 381-388, 2005. http://dx.doi.org/10.1016/j.jemermed.2004.11.028 
  7. S. M. Yu, D. K. Han, J. W. Hong, "Comparative Analysis of Death-Related Iodide Contrast Media due to Adverse Reactions of Contrast Media in Computed Tomography", Journal of Radiological Science and Technology, Vol. 44, No. 1, pp. 47-52, 2021. https://doi.org/10.17946/JRST.2021.44.1.47 
  8. J. M. Seong, N. K. Choi, J. Lee, Y. S. Chang, Y. J. Kim, B. R. Yang, X. M. Jin, J. Y. Kim, B. J. Park, "Comparison of the Safety of Seven Iodinated Contrast Media", Journal of Korean Medical Science, Vol. 28, No. 12, pp. 1703-1710, 2013. https://doi.org/10.3346/jkms.2013.28.12.1703 
  9. S. G. Baek, J. H. Park, S. H. Kang, H. J. Park, "A study on the development of severity-adjustied mortality prediction model for discharge patient with acute stroke using machine learning", Journal of the Korea Academia-Industrial cooperation Society, Vol. 19, No. 11, pp. 126-136, 2018. https://doi.org/10.5762/KAIS.2018.19.11.126 
  10. J. Ring, K. Messmer, "Incidence and severity of anaphylactoid reactions to colloid volume substitutes", Lancet (London, England), Vol. 309, No. 8009, pp. 466-469, 1977. https://doi.org/10.1016/s0140-6736(77)91953-5 
  11. J. H. Choi, H. G. Rye, "Analysis of occupational injury and feature importance of fall accidents on the construction sites using adaboost", Journal of the Architectural Institute of Korea Structure & Construction, Vol. 35, No. 11, pp. 155-162, 2019. https://doi.org/10.5659/JAIK_SC.2019.35.11.155 
  12. W. B. Son, J. M. Jang, "A Decision Tree Analysis-based Exploratory Study on the Effects of Using Smart Devices on the Expansion of Social Relationship", Informatization Policy, Vol. 26, No. 1, pp. 62-82, 2019. https://doi.org/10.22693/NIAIP.2019.26.1.062 
  13. J. S. Jung, J. W. Yoon, "Author identification using artificial neural network", Journal of the Korea Institute of Information Security and Cryptology, Vol. 26, No. 5, pp. 1191-1199, 2016. http://dx.doi.org/10.13089/JKIISC.2016.26.5.1191 
  14. H. I. Lim, "Design of similar software classification model through support vector machine", Journal of Digital Contents Society, Vol. 21, No. 3, pp. 569-577, 2020. http://dx.doi.org/10.9728/dcs.2020.21.3.569 
  15. P. J. Kim, "An Analytical study on automatic classification of domestic journal articles using random forest", Journal of the Korean Society for Information Management, Vol. 36, No. 2, pp. 55-77, 2019. http://dx.doi.org/10.3743/KOSIM.2019.36.2.057 
  16. G. Liccardi, G. Lobefalo, E. Di Florio, C. Di Iorio, L. Occhiochiuso, L. Romano, G. Savoia, R. M. Massa, G. D'Amato, "Strategies for the prevention of asthmatic, anaphylactic and anaphylactoid reactions during the administration of anesthetics and/or contrast media", Journal of Investigational Allergology and Clinical Immunology, Vol. 18, No. 1, pp. 1-11, 2008. 
  17. J. H. Kim, S. H. Shin, H. C. Kang, "A Case study on the use of ROC curve and AUC in the evaluation of discriminant model", Journal of The Korean Data Analysis Society, Vol. 20, No. 2, pp. 609-619, 2018. http://doi.org/10.37727/jkdas.2018.20.2.609 
  18. Y. M. Kang, S. Y. Ok, "Mobile User Task Prediction Models and Accuracy Evaluation Method", Journal of the Korea Institute Of Information and Communication Engineering, Vol. 11, No. 9, pp. 1742-1748, 2007.  https://doi.org/10.6109/JKIICE.2007.11.9.1742
  19. S. W. Choi, T. H. Ko, K. J. Hong, K. H. Kim, "Machine Learning-Based Prediction of Korean Triage and Acuity Scale Level in Emergency Department Patients", Healthcare Informatics Research, Vol. 25, No. 4, pp. 305-312, 2019. https://doi.org/10.4258/hir.2019.25.4.305 
  20. K. H. Kang, "Network Anomaly Detection Technologies Using Unsupervised Learning AutoEncoders", Journal of The Korea Institute of Information Security and Cryptology, Vol. 30, No. 4, pp. 617-629, 2020. http://doi.org/10.13089/JKIISC.2020.30.4.617 
  21. M. S. Kim, D C. Kweon, "Analysis of eGFR Calculator in Patients Undergoing Contrast Media Enhanced CT Examination", Journal of Radiation Industry, Vol. 13, No. 1, pp. 9-15, 2019. http://dx.doi.org/10.23042/radin.2019.13.1.9 
  22. Y. K. Kim, Y. M. Kim, "Optimization of protocol for injection of iodinated contrast medium in pediatric thoracic CT examination", Journal of the Korean Society of Radiology, Vol. 13, No. 6, pp. 879-887, 2019. http://dx.doi.org/10.7742/jksr.2019.13.6.879 
  23. D. H. Hong, "Comparison of CT exposure dose prddiction models using machine learning-based body measurement information", Journal of Radiological Science and Technology, Vol. 43, No. 6, pp. 503-509, 2020. https://doi.org/10.17946/JRST.2020.43.6.503