A Study on Validity, Reliability and Practicality of a Concept Map as an Assessment Tool of Biology Concept Understandings

The purpose of this study was to investigate the validity, reliability and practicality of a concept map as an assessment tool in the context of biology concept learning. Forty undergraduate students participated in concept mapping, and the maps were scored by preservice science teachers, using one of three different scoring methods, that is, concept map scoring methods developed by Burry-Stock, Novak & Gowin and McClure & Bell. Two scorers were assigned to each scoring method. As far as the validity of the assessment methods was concerned, two of the three methods were found to be very valid, while Burry-Stock's scoring method was shown little valid. As far as the internal consistency of the methods was concerned, considerably high consistencies were shown between every pair of scorers, judging from high correlation coefficients between the pair of scorers for each scoring method. It took from 1.13 minutes to 3.70 minutes to assess a map at the average. It showed that concept mapping could be used in school classrooms with the limited resources of time and people. These findings suggest that the concept mapping can be an appropriate tool for assessing biology concept understandings.

생물 개념 이해의 평가 도구로서 개념도의 타당도, 신뢰도 그리고 현실 적용 가능성에 대한 연구

본 연구는 개념도 채점 방법의 타당도, 신뢰도 그리고 평가 도구로서 개념도의 현실 적용가능성을 알아보는데 목적이 있다. Burry-Stock의 채점 방법, Novak과 Gowin의 채점 방법, McClure와 Bell의 채점 방법을 모두 사용했고, 각 채점 방법에 대해 2명의 채점자를 배정하였다. 채점자는 지방 국립 사범대 과학교육학부 4학년 학생들이었다. Burry-Stock의 채점 방법을 제외하고는 과제의 제시 유형에 상관없이 두 채점자간의 정수 차이가 크지 않았고, 점수 차이가 통계학적으로도 유의하지 않았다. Novak과 Gowin과 McClure와 Bell의 채점 기준을 따를 때 개념도는 타당도가 높은 평가 도구인 것으로 나타났다. Burry-Stock의 채점 방법은 개념을 주고 개념도를 만들도록 한 과제를 위해 개발된 것인 만큼 그 유형의 과제를 가지고 개념도를 만들도록 했을 때는 타당도가 있었다. 각각 3가지 채점 방법에 따른 Pearson의 단순 적률상관 계수를 이용하여 채점자간 신뢰도롤 분석한 결과 신뢰도는 $.449{\sim}.975$의 범위였다. Novak과 Gowin의 채점 방법을 사용할 때는 .94 이상의 높은 일치도를 보여주었다. McClure와 Bell의 채점 방법 또한 환경 오염에서 .816의 비교적 높은 상관 관계를 보여 주었다. 채점자들이 개념도률 채점하는데 걸린 시간은 최소 1.13분에서 최대 3.70분까지 소요되었다. 본 연구 결과 개념도가 생물 개념 평가 도구로서 타당도 신뢰도 그리고 현실적용 가능성이 충분히 있다고 사료된다. 작성하는데 필요한 시간은 평균 29분이었다(n=40. S.D=5.10). 채점자들이 40개의 개념도를 채점하는데 필요한 시간을 기록하였다. Table 5는 각 평가 방법에 따른 개념도 채점에 평균 소요 시간을 나타낸 것이다. 전체적으로 1.13분에서 3.70분까지 소요되었다. 채점자에 따라 채점 시간에서 차이를 보였다.