Statistical Errors in Papers Published in the Journal of the Korean Society for Therapeutic Radiology and Oncology

Purpose: To improve the quality of the statistical analysis of papers published in the Journal of the Korean Society for Therapeutic Radiology and Oncology (JKOSTRO) by evaluating commonly encountered errors. Materials and Methods: Papers published in the JKOSTRO from January 2006 to December 2007 were reviewed for methodological and statistical validity using a modified version of Ahn's checklist. A statistician reviewed individual papers and evaluated the list items in the checklist for each paper. To avoid the potential assessment error by the statistician who lacks expertise in the field of radiation oncology; the editorial board of the JKOSTRO reviewed each checklist for individual articles. A frequency analysis of the list items was performed using SAS (version 9.0, SAS Institute, NC, USA) software. Results: A total of 73 papers including 5 case reports and 68 original articles were reviewed. Inferential statistics was used in 46 papers. The most commonly adopted statistical methodology was a survival analysis (58.7%). Only 19% of papers were free of statistical errors. Errors of omission were encountered in 34 (50.0%) papers. Errors of commission were encountered in 35 (51.5%) papers. Twenty-one papers (30.9%) had both errors of omission and commission. Conclusion: A variety of statistical errors were encountered in papers published in the JKOSTRO. The current study suggests that a more thorough review of the statistical analysis is needed for manuscripts submitted in the JKOSTRO.

대한방사선종양학회지 게재 논문의 통계적 오류 현황

목 적: 본 연구는 대한방사선종양학회지 게재 논문의 통계 오류 현황을 파악하고 이에 근거한 문제 제기를 통해 학회지의 학술적 발전에 기여하고자 하였다. 대상 및 방법: $2006{\sim}2007$년 사이에 대한방사선종양학회지에 게재된 총 77편의 논문을 연구 대상으로 하였다. 각각의 논문에 적용된 통계 방법론의 적정성 평가는 통계점검표를 활용하였다. 통계점검표에는 연구의 종류, 통계 기법의 사용 범위, 각 논문에 적용된 통계 기법의 종류, 통계적 기법 적용의 타당성 항목이 포함되었다. 통계 오류는 '생략의 잘못'과 '시행의 잘못' 항목으로 나누었다. 한 논문에서 서로 다른 항목이 여러 가지 관찰된 경우 각각 횟수로 측정하였다. 같은 항목이 2회 이상 측정된 경우 1회로 횟수를 측정하였다. 통계 전문가가 개별 논문을 대상으로 통계점검표를 작성하였다. 일차 평가자가 방사선종양학 전문가가 아닌 것에서 올 수 있는 평가 오류가 있을 수 있으므로 개별 통계점검표는 간행위원회에서 한 차례 더 세부 점검을 하였다 작성된 통계점검표의 통계 분석은 SAS (version 9.0, SAS Institute, NC, USA) 소프트웨어를 이용하였고 빈도분석을 시행하여 각 항목의 빈도와 백분율을 산출하였다. 결 과: 총 77편 중 원문을 다운로드 할 수 없었던 4편을 제외한 73편의 게재 논문을 대상으로 평가하였다. 증례보고는 5편, 원저 논문은 58편이었다. 대상 논문 중 46편의 논문에서 통계적 추론을 사용하였고, 16편의 논문에서 단순한 기술통계를 사용했으며, 11편의 논문에서는 통계적 기법을 사용하지 않았다. 추론통계를 사용한 46편의 논문에서 사용된 추론통계의 횟수는 각각 분할표분석 17회(37.0%), 비교통계분석 23회(50.0%), 회귀분석 7회(15.2%), 상잔분석 5회(10.9%), 생존분석이 27회(58.7%)였다. 통계 기법을 활용하여 연구 결과를 분석할 때 통계적용의 오류가 없는 논문은 19%였다. '생략의 잘못'은 34편(50.0%)의 논문에서 총 50회 관찰되었다. '시행의 잘못'은 35편(51.5%)의 논문에서 총 47회 관찰되었다. '생략의 잘못'과 '시행의 잘못'이 모두 발견된 논문은 21편(30.9%)이었다. 결 론: 대한방사선종양학회지에 게재된 논문에서 통계 분석 과정의 다양한 영역에 걸쳐 크고 작은 통계적 오류가 있음을 확인하였다. 향후 대한방사선종양학회지 투고 논문의 심사과정에서 통계 오류에 관한 적절한 심사를 추가하는 것이 필요하다고 판단된다.