A Study on Judgement of Optimal SPRT for Learning Estimation

학습 평가를 위한 최적의 SPRT 판정에 관한 연구

  • 전미란 (동명대학교 컴퓨터미디어공학과) ;
  • 오암석 (동명대학교 컴퓨터미디어공학과)
  • Published : 2009.08.30

Abstract

A potential advantage of computer-based education is individualized instruction. In this regard, issues regarding how to evaluate individual learners fast and accurately in order to implement customized instruction program and to open education are raised. In this study, we suggest through a simulation study a way to reach an optimal decision by complementing the insufficient point of the way of the decision of the existing SPRT(Sequential Probability Ratio Testing) in which the number of questions in a test decreases while decision on pass or fail is relatively exact. For the purpose, the data of the examinees obtained from actual tests were used in this study and we present that simulation to verify the accuracy of decision and Multilevel SPRT decision standard for initial set point for optimal SPRT decision and evaluate the ground of the same through simulation.

컴퓨터 기반 교육의 잠재적인 이점은 개별화 교습이다. 결국 수준별 교육과정의 운영과 열린 교육의 실천을 위하여 어떻게 학습자 개개인에 대해서 신속하고 정확하게 평가할 수 있는가에 대한 문제가 제기된다. 본 연구에서는 평가를 위한 문항 수가 두드러지게 감소하면서 반면에 합격과 불합격 판정이 비교적 정확한 기존의 SPRT(Sequential Probability Ratio Testing) 판정 방법에 대한 문제점을 보완하여 보다 최적의 판정을 내릴 수 있는 방안을 시뮬레이션 연구를 통하여 제안한다. 이를 위하여 실제 측정에 의해서 얻어진 피험자 자료를 활용하여 SPRT판정의 정확도 검증을 위한 시뮬레이션과 최적의 SPRT판정을 위한 초기 설정치와 다단계 (Multilevel) SPRT 모형 및 판정 기준을 제시하고 시뮬레이션을 통하여 타당성을 알아본다.

Keywords

References

  1. 범수균과 오암석, "멀티미디어가 지원되는 SPRT 시스템 설계 및 구현," 멀티미디어학회논문지, 제5권, 제6호, pp. 638-644, 2002.
  2. 김영환, 손미, 정희태, 김영진, “SPRT형 CAT의 판정에 대한 학습자의 풀이시간 자신감의 영향,” Korean Association for Educational Information and Broadcasting, 제8권, 제4호, pp. 93-117, 1997.
  3. 김영환, 손미, "컴퓨터를 활용한 적응적 개별학습 성취도 검사의 제작과 활용을 위한 표준화 지침 개발 및 효과 연구," 한국방송연구회, 제3권, pp. 109-130, 1997.
  4. 박성익, 최정임, "CAI 코스웨어, 교수자료 개발을 위한 교수설계의 원리와 적용," 교육과학사, 1995.
  5. 김영환. "컴퓨터에 의한 적응적 평가 프로그램의 교육적 활용," 전국학교컴퓨터교육연구회소식지, 제14호. 1994.
  6. 성태제, "컴퓨터 이용검사와 컴퓨터 능력 적응 검사," 교육평가연구, 제5권, 제1호, pp. 73-97. 1992.
  7. Frick. T., "The Indiana Testing System (ITS, Version 1.0)," Department of Instructional Systems Technoloy, School of Education, Indiana University, Bloomington, 1986.
  8. Kingsbury G. & Weiss D., "A Comparision of IRT-Based Adaptive Mastery Testing and Sequential Mastery Testing Procedure," in New Horizons in Testing, Weiss D.(ed.), Academic Press, New Yourk, PP. 257-283, 1983.
  9. Spary J. & Reckase M., "Comparison of SPRT and Sequential Bayes Procedures for Classifying Examinees into two Categories Using a Computerized Test," Journal of Education and Behavioral Statistics. Vol.21, No.4, pp. 405-414, 1996. https://doi.org/10.3102/10769986021004405
  10. Theodore W., "Bayesian Adaption During Compter-based Tests and Computer-guide Practice Exercises," Educational Computing Research, Vol.5, No.1, 1989.
  11. Wald A. "Sequential Analysis", Wiley, New York, NY: Wiley., 1947.