Journal of the Korean Society of Earth Science Education (대한지구과학교육학회지)

The Korean Society of Earth Science Education (대한지구과학교육학회)
권호 표지
DOI QR코드

DOI QR Code

What Pre-service Elementary School Teachers Focus on When Developing Assessment Items: Focusing on the Unit 'Weather and Our Lives'

초등 예비교사가 평가 문항 제작 시 주목하는 것은 무엇인가? : 날씨와 우리 생활 단원을 중심으로

  • Received : 2024.07.24
  • Accepted : 2024.08.22
  • Published : 2024.08.30
Download PDF
⟨ Previous Next ⟩

Abstract

Summative assessment provides information on how well students have achieved learning objectives, making the development of high-quality assessment items essential for accurate evaluation. This is one of the competencies that teachers must possess. This study aims to analyze summative assessment items created by pre-service elementary teachers, examining their intentions and the difficulties encountered in the item development process. The study involved 45 second-year students enrolled in an elementary teacher training university. They were grouped into teams of three and tasked with developing ten items, documenting the purpose of each item, the answer key, and the challenges faced during item creation. The collected summative assessment items were analyzed using a two-dimensional purpose classification table that includes Klopfer's taxonomy of educational objectives. The intentions behind the summative assessments and the difficulties faced during item development were inductively organized and analyzed through qualitative data analysis. The results revealed that pre-service elementary teachers adequately reflected scientific content elements but did not evenly cover assessment domains. The most challenging aspect for them was adjusting the difficulty level. Although they considered most factors that should be taken into account during item development, these considerations were not reflected in the actual items. These findings suggest that knowledge and experience are crucial in developing summative assessment items, and systematic lectures are necessary for pre-service elementary teachers.

총괄평가는 학생들이 학습목표를 얼마나 잘 달성했는지에 대한 정보를 제공하므로, 정확한 평가를 위해서는 우수한 평가 문항을 개발해야 하며 이는 교사가 갖추어야 할 역량 중 하나이다. 본 연구는 초등 예비교사들이 총괄평가 문항을 분석하고 출제 의도와 문항 개발 과정의 어려움을 분석하고자 한다. 연구는 초등교사 양성 대학에 재학 중인 2학년 학생 45명을 대상으로 실시되었다. 3인 1조로 10개 문항을 개발하도록 하였고, 문항의 출제의도, 답안지, 문항 개발시 어려웠던 점을 작성하도록 요구하였다. 수집된 자료 중 총괄평가 문항은 Klopfer의 교육 목표 분류 체계가 포함된 이원목적분류표에 따라 평가 문항을 분석하였고, 총괄평가 출제 의도와 평가 문항 개발 시 어려웠던 점은 질적 자료 분석과정을 거쳐 귀납적으로 정리·분석하였다. 연구결과, 초등 예비교사들은 과학 내용 요소는 골고루 반영하고 있었으나, 문항 평가 영역에서는 골고루 반영하지 못했다. 가장 어려워했던 점은 난이도 조절이었다. 출제 의도에서는 문항 개발 시 고려해야 할 사항을 거의 대부분 고려하였으나 실제 개발된 문항에는 반영되지 않았다. 이러한 결과로부터 총괄평가 문항개발에는 지식과 경험이 중요하며 초등 예비교사들에게 체계적인 강의가 필요하다는 것을 제언한다.

Keywords

References

  1. 교육부(2014). 초등학교 과학 6-1 교사용 지도서. 한국과학창의재단 국정도서편찬위원회.
  2. 교육부(2015). 과학과 교육과정. 교육부 고시 제205-74호.
  3. 권재술(1984). Klopfer의 과학교육 목표 분류의 본질과 문제점. 과학교육논총, 9, 67-72.
  4. 김상달, 이용섭, 최성봉(2005). Klopfer의 교육 목표 분류에 따른 제7차 교육과정의 중학교 과학 교육 목표 분석-7학년을 중심으로, 한국지구과학교육학회지, 26(7), 640-651.
  5. 김신영(2002). 현장교사의 평가전문성 연구. 교육평가연구, 15(1), 67-85.
  6. 김신영(2012). 교사의 학생평가와 성취평가제. 교육평가연구, 25(4), 655-677.
  7. 김정훈, 박영신(2012). 중등 예비 과학교사들의 지구과학영역 탐구문제 개발 능력 분석. 한국지구과학회지, 33(3), 294-305.
  8. 노태희, 이재원, 강석진, 강훈식(2015). 중등 과학교사의 과학 평가 실태와 지향. 한국과학교육학회지, 35(4), 725-733. https://doi.org/10.14697/JKASE.2015.35.4.0725
  9. 박현주(2016). 중학교 과학교사의 지필평가의 역할 및 실태에 대한인식 조사. 교사교육연구, 55(3), 389-398. https://doi.org/10.15812/TER.55.3.201609.389
  10. 손연아, 윤지현, 맹희주(2018). 대학교 전공 계열별 교수자들의 학습 평가 목적에 대한 인식과 수업 유형에 따른 평가 방법 활용 현황. 교육문화연구, 24(3), 5-24. https://doi.org/10.24159/JOEC.2018.24.3.5
  11. 임성만(2017). '지층과 화석'단원에 대해 초등 예비 교사가 개발한 평가 문항 분석. 학습자중심교과교육연구, 17(7), 129-146.
  12. 정은영, 최원호(2014). 우리나라 초.중.고등학교 과학과의 평가 실태. 과학교육연구지, 38(1), 168-181. https://doi.org/10.21796/JSE.2014.38.1.168
  13. 최현숙, 김중복(2013). 예비 물리 교사들의 학생평가 문항 제작 수행 수준 조사 - 형성 평가를 위한 선다형 물리 개념 검사 문항 분석 중심으로. 과학교육연구지, 37(3). 458-475. https://doi.org/10.21796/JSE.2013.37.3.458
  14. Abell, S. K., & Siegel, M. A. (2011). Assessment literacy: What science teachers need to know and be able to do. In D. Corrigan, J. Dillon, & R. Gunstone (Eds.), The professional knowledge base of science teaching (pp. 205-221). London, UK: Springer.
  15. Agu, N. N., Onyekuba, C., & Anyichie, A. C. (2013). Measuring teachers' competencies in constructing classroom-based tests in Nigerian secondary schools: Need for a test construction skill inventory. Educational Research and Reviews, 8(8), 431.
  16. Annan, J. K. (2020). Preparing globally competent teachers: A paradigm shift for teacher education in Ghana. Education Research International, 2020(1), 8841653.
  17. Carless, D. (2015). Exploring learning-oriented assessment processes. Higher Education, 69(6), 963-976. https://doi.org/10.1007/s10734-014-9816-z
  18. Chen, H., & Chen, J. (2016). Retrofitting non-cognitive-diagnostic reading assessment under the generalized DINA model framework. Language Assessment Quarterly, 13(3), 218-230. https://doi.org/10.1080/15434303.2016.1210610
  19. DeLuca, C., & Klinger, D. A. (2010). Assessment literacy development: Identifying gaps in teacher candidates' learning. Assessment in Education: Principles, Policy & Practice, 17(4), 419-438. https://doi.org/10.1080/0969594X.2010.516643
  20. Ebinye, P. O. (2001). Problems of testing under the continuous assessment programme. Journal of Qualitative Education, 4(1), 12-19.
  21. Engelsen, K. S., & Smith, K. (2014). Assessment literacy. In Designing assessment for quality learning (pp. 91-107). Dordrecht: Springer Netherlands.
  22. Gareis, C., & Grant, L. W. (2015). Teacher-made assessments: How to connect curriculum, instruction, and student learning. Routledge.
  23. Kinyua, K., & Okunya, L. O. (2014). Validity and reliability of teacher-made tests: Case study of year 11 physics in Nyahururu district of Kenya. African Educational Research Journal, 2(2), 61-71.
  24. Krathwhol, D. R. (2002). A revision of Bloom's taxonomy. Theory into Practice, 41(4), 212-219. https://doi.org/10.1207/s15430421tip4104_2
  25. Lam, R. (2015). Language assessment training in Hong Kong: Implications for language assessment literacy. Language Testing, 32(2), 169-197. https://doi.org/10.1177/0265532214554321
  26. O'Malley, P. (2010). Students evaluation: Steps for creating teacher-made test. In Assessment Group Conference-School programme. Maryland: Kennedy Krieger Institute.
  27. Onyechere, I. (2000). New face of examination malpractice among Nigerian youths. The Guardian Newspaper July 16.
  28. Osterlind, S. J. (2002). Constructing test items: Multiple-choice, constructed response, performance, and other formats. New York: Kluwer Academic Publishers.
  29. Quaigrain, K., & Arhin, A. K. (2017). Using reliability and item analysis to evaluate a teacher-developed test in educational measurement and evaluation. Cogent Education, 4(1), 1301013.
  30. Quansah, F., & Amoako, I. (2018). Attitude of Senior High School (SHS) teachers towards test construction: Developing and validating a standardised instrument. Research on Humanities and Social Sciences, 8(1), 25-30.
  31. Siegel, M. A., & Wissehr, C. (2011) Preparing for the plunge: Preservice teachers' assessment literacy. Journal of Science Teacher Education, 22(4), 371-391. https://doi.org/10.1007/s10972-011-9231-6
  32. West, K. I. (2005). Japanese high school mathematics teacher competence in real world problem solving and its implication for the use of modeling to improve Japanese mathematics education. Columbia University.
  33. Xu, Y., & Liu, Y. (2009). Teacher assessment knowledge and practice: A narrative inquiry of a Chinese college EFL teacher's experience. Tesol Quarterly, 43(3), 492-513. https://doi.org/10.1002/j.1545-7249.2009.tb00246.x