The Journal of the Korea Contents Association (한국콘텐츠학회논문지)

The Korea Contents Association (한국콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

Difference in Results according to Scorer and Test Date in Clinical Practice Test

진료수행 시험에서 채점자 및 시험 일자에 따른 결과 차이

  • Received : 2018.06.05
  • Accepted : 2018.08.07
  • Published : 2018.08.28
Download PDF
⟨ Previous Next ⟩

Abstract

The purpose of this study is to clarify the difference between the scoring results by scorer(doctors and standardization patients) and examination dates. A total of 101 students in the fourth grade of medical school participated in four clinical practice test. Students were randomly assigned to either day-1 or day-2, which was consisted of a standardized patient scoring set or a physician scoring set. Station checklists consisted of history taking, physical examination, patient education, physician-patient relationship and clinical courtesy. The achievement scores of each case and each domain were converted to the standard score, and the differences between groups were compared. Female students' achievement scores were significantly higher than male students' achievement scores in all domains. There was no significant difference between means by the standardized patients' group and doctors group. Day-2 group was significantly higher than day-1 group in both of history taking and physical examination domains. If the principles of checklist are clearly defined, the scorer status (either physician or standardized patients) does not determine the difference of students' practice test scores.

본 연구는 진료수행 시험 상황을 재연하여 실제 의사가 채점한 결과와 표준화 환자가 채점한 결과의 차이가 있는지, 첫째 날 응시한 학생과 정보가 노출된 둘째 날 응시한 학생의 점수 차이를 비교하고자 하였다. 의과대학 4학년 101명이 4가지 세트(본태성고혈압, 수면장애, 기분저하, 무월경)로 구성된 진료수행 시험에 응시하였다. 학생들은 첫째 날과 둘째 날 중 표준화환자 채점 세트와 의사 채점 세트로 구성된 평가 일정하나에 무작위로 배정되었다. 각 진료수행의 평가지침은 병력청취, 신체진찰, 환자교육, 환자의사관계, 진찰태도로 영역을 구분하여 구성하였다. 각 상황별, 영역별 성취점수를 표준점수로 변환하여 집단 간 차이를 비교하였다. 모든 영역에서 여학생의 성취점수가 남학생의 성취보다 유의하게 높았다(P=.001). 표준화 환자가 채점한 집단과 의사가 채점한 집단의 평균의 유의한 차이는 없었다(p=.425). 연속되는 시험일자 중 둘째 날 응시한 군이 병력청취와 신체진찰영역에서 유의한 차이를 보였다. 본 연구에서는 채점자의 신분에 따른 평가 결과에 차이가 없음을 다시 한 번 밝히면서 표준화 환자를 활용한 평가의 가능성을 확인하였다.

Keywords

References

  1. Y. H. Lee, J. H. Park, J. K. Ko, and H. B. Yoo, "The Change of CPX Scores according to Repeated CPX Scores according to Repeated CPXs," Korean J Med Educ., Vol.23, No.3, pp.193-202, 2011. https://doi.org/10.3946/kjme.2011.23.3.193
  2. H. S. Barrows, "An overview of the uses of standardized patients for teaching and evaluating clinical skills," Academic Medicine, Vol.68, No.6, pp.443-451, 1993. https://doi.org/10.1097/00001888-199306000-00002
  3. 이병국, "임상수행평가의 세계적 추세에 따른 표준화환자 프로그램의 토착화 방안 연구," 한국의학교육, 제12권, 제2호, pp.141-150, 2000.
  4. 박훈기, 이정권, 황환식, 이재웅, 최윤영, 김혁, 안동현, "객관구조화진료시험(OSCE)에서 교수와 표준화환자 사이의 점검표 채점 일치도," 한국의학교육, 제15권, 제2호, pp.141-150, 2003. https://doi.org/10.3946/kjme.2003.15.2.141
  5. 권복규, 김나진, 이순남. 어은경, 박혜숙, 이동현, 박미혜, 오지영, 한재진, 허정원, 유경하, "표준화환자를 이용한 임상수행능력평가시험(CPX)에서 교수와 표준화 환자의 결과 비교," 한국의학교육, 제17권, 제2호, pp.173-183, 2005. https://doi.org/10.3946/kjme.2005.17.2.173
  6. 박훈기, 이정권, 김승룡, 김경태, 박해영, "시험장복제(Duplication)가 객관적 구조적 임상 시험(OSCE)의 신뢰도에 미치는 영향," 한국의학교육, 제11권, 제1호, pp.37-52, 1999.
  7. P. J. Rutala, D. B. Witzke, E. O. Leko, J. V. Fulqiniti, and P. J. Taylor, "Sharing of information by students in an objective structured clinical examination," Arch Intern Med, Vol.151, pp.541-544, 1991. https://doi.org/10.1001/archinte.1991.00400030089016
  8. P. L. Stillman, H. L. Haley, A. I. Sutnick, M. M. Philbin, S. R. Smith, J. O'Donnell, and H. Pohl, "Is test security an issue in a multistation clinical assessment?: A preliminary study," Acad med, Vol.66, No.9, pp.25-27, 1991. https://doi.org/10.1097/00001888-199109001-00010
  9. N. V. Vu, M. L. Marcy, J. A. Colliver, S. J. Verhulst, T. A. Travis, and H. S. Barrows, "Standardized patient's accuracy in recording clnical performance check list items," Med Edu., Vol.26, pp.99-104, 1992. https://doi.org/10.1111/j.1365-2923.1992.tb00133.x
  10. R. G. Williams, J. S. Lloyd, and D. K. Simonton, "Sources of OSCE examination information and perceived helpfulness: a study of the grafevine," In I. R. Hart, R. M. Harden, and J. D. Marchais(eds.), Current developments in assessing clinical competence, Montreal: Can-Heal Publications, pp.363-370, 1992.
  11. 김종훈, 이기영, 유동미, 양은배, "진료수행평가에서 학생들 사이의 정보공유가 평가결과에 미치는 영향," 한국의학교육, 제18권, 제3호, pp.239-247, 2006. https://doi.org/10.3946/kjme.2006.18.3.239
  12. 박훈기, 권오정, "진료수행평가(CPX: Clinical Performance Examination)에서 정보공유가 시험성적에 미치는 영향," 한국의학교육, 제17권, 제2호, pp.185-195, 2005. https://doi.org/10.3946/kjme.2005.17.2.185
  13. G. Furman, J. A. Colliver, and A. Galofre, "Effects of student gender, standardized-patient gender in a single case using a male and a female standarized patient," Acad Med, Vol.68, No.4, pp.301-303, 1993. https://doi.org/10.1097/00001888-199304000-00019
  14. K. A. Chambers, J. R. Boulet, and G. E. Furman, "Are interpersonal skills ratings influenced by gender in a clinical skills assessmant using standardized patients?," Advances in Health Sciences Education, Vol.6, No.3, pp.231-241, 2001. https://doi.org/10.1023/A:1012606419116
  15. 김종훈, 이기영, 유동비, 양은배, "진료수행평가에서 증례 유형과 표준화 환자 성별이 학생 성적에 미치는 영향," 한국의학교육, 제19권, 제1호, pp.23-29, 2007. https://doi.org/10.3946/kjme.2007.19.1.23
  16. 안덕선, 임형, 김경성, "예과 입학성적, 졸업 총평점, 의사 국가고시간의 상관관계 및 성별 비교에 관한 연구," 한국의학교육, 제12권, 제1호, pp.91-96. 2000.
  17. 김하원, 고희선, 이무송, 남주현, 김원동, 이재담, "일개 의과대학에서 입학 시 특성에 따른 의예과 학업성취도에 대한 연구," 한국의학교육, 제14권, 제2호, pp.257-268, 2002.
  18. N. Heine, K. Garman, P. Wallace, R. Bartos, and A. Richards, "An analysis of standardized patient checklist errors and effect on student scores," Med Edu, Vol.37, No.2, pp.99-104, 2003. https://doi.org/10.1046/j.1365-2923.2003.01416.x