An Evaluation of the Use of Statistical Methods in the Journal of Tuberculosis and Respiratory Diseases

Background : The statistical analysis is an essential procedure ensuring that the results of researches are based on evidences rather than opinion. The purpose of this study is to evaluate which statistical techniques are used and whether these statistical methods are used appropriately or not in the journal of Tuberculosis and Respiratory Diseases. Materials and Methods : We reviewed 185 articles reported in the journal of Tuberculosis and Respiratory Diseases in 1999. We evaluated the validity of used statistical methods based upon the checklist that was developed on the basis of the guideline for statistical reporting in articles for medical journals by International Committee of Medical Journal Editors. Results : Among 185 articles, original articles and case reports were 110 (59.5%) and 61 (33.0%) respectively. In 112 articles excluding case reports and reviews, statistical techniques were used in 107 articles (95.5%). In 94 articles (83.9%) descriptive and inferential methods were used, while in 13 (11.6%) articles only descriptive methods were used. With the types of inferential statistical techniques, comparison of means was most commonly used (64/94, 68.1%), followed by contingency table (43/94, 45.7%) and correlation or regression (18/94, 19.1%). Among the articles in which descriptive methods were used, 83.2% (89/107) showed inappropriate central tendency and dispersion. In the articles in which inferential methods were used, improper methods were applied in 88.8% (79/89) and the most frequent misuse of statistical methods was inappropriate use of parametric methods (35/89, 39.3%). Only 14 articles (13.1%) were satisfactory in utilization of statistical methodology. Conclusion : Most of the statistical errors found in the journal were misuses of statistical methods related to basic statistics. This study suggests that researchers should be more careful when they describe and apply statistical methods and more extensive statistical refereeing system would be needed.

[결핵 및 호흡기질환] 게재 논문의 통계적 기법 활용에 대한 평가

배 경 : 의학연구에서는 표본자료로부터 의학적 의미를 찾아내고 그 결과를 일반화시키기 위하여 통계적 기법과 원리를 활용하게 된다. 현재까지 여러 국내 의학학술지를 대상으로 한 연구에서는 60-100%의 논문에서 통계적 오류가 있는 것으로 보고되었다. 본 연구는 [결핵 및 호흡기질환]에 게재된 논문에서의 통계적 기법의 활용 및 오류 실태를 파악하고자 하였다. 대상 및 방법 : 1999년에 발간된 총 12권의 [결핵 및 호흡기질환]에 게재된 논문 185편을 대상으로 하였다. 주요 평가영역은 연구유형, 통계적 기법의 활용현황 그리고 통계적기법 적용의 타당성 등이었으며, 국제의학학술지편집 위원회에서 제시한 통계적 서술 통일양식을 기초로 개발된 점검표를 활용하여 평가하였다. 평가는 연구자들간의 종합토의를 통해 합의를 도출하였다. 결 과 : 1) 논문을 연구유형에 따라 분류하면 원저 110편(59.5%), 증례보고 61편(33.0%), 종설 12편(6.5%), 기타 2편(1.1%) 순이었다. 증례보고와 종설을 제외한 112편의 논문 중 통계기법은 107편(95.5%)에서 활용되었으며 기술통계학적 기법만을 적용한 경우가 13편(11.6%), 그리고 추측통계학적 분석을 함께 활용한 경우가 94편(83.9%)이었다. 2) 추측통계학적 분석을 활용한 논문에서는 평균 2.0가지(범위 1-5개)의 통계기법을 적용하였으며, 집단간 평균값의 비교가 64편(68.1%), 비연속 변수의 분할표 분석이 43편(45.7%) 그리고 상관 및 회귀분석이 18편(19.1%)에서 사용되었다. 9편(9.6%)의 논문에서는 p-값을 제시했음에도 불구하고 어떤 분석기법을 이용했는지 제시하지 않았다. 3) 기술통계학적 기법을 적용하여 자료를 요약 제시한 107편의 논문 중 변수의 특성을 고려하지 않고 적절하지 못한 대표값 또는 산포도를 제시한 경우가 89편(83.2%)이었다. 4) 추측통계학적 기법을 활용한 94편의 논문 중 민감도와 특이도, 예측도 등 진단 통계만을 사용한 5편의 논문을 제외한 89편의 논문 중 79편(88.8%)에서 자료의 특성에 맞지 않는 분석기법을 적용하고 있었으며, 가장 흔한 오류는 정규성이 의심되는 변수에 모수적 검정기법을 적용한 경우였다(35편, 39.3%). 5) 전체적으로 통계적 기법이 활용된 107편의 논문 중 93편(86.9%)에서 중요한 통계적 오류가 관찰되었다. 결 론 : [결핵 및 호흡기질환] 게재논문 중 통계적 기법을 활용한 많은 논문에서 통계적 오류가 발견되고 있으며, 이는 대부분 기본적인 통계적 기법의 적용과 관련되어 있었다. 통계적 기법을 적용할 때 연구자의 보다 세심한 주의와 함께, 논문의 심사와 게재 과정에서 적절한 지침과 평가가 필요하리라 사료된다.