• 한국과학교육학회지
• /
• 제42권2호
• /
• pp.239-252
• /
• 2022

이 연구는 초등학생 과학 탐구과제에서 관찰되는 수행의 특징을 분석하여 채점기준을 개발하기 위하여 수행되었다. 이를 위하여 초등학교 5학년 학생 75명의 과학 탐구활동보고서의 특징을 분석하고, 그 특징을 과학탐구 과정 요소와 역량 요소에 대한 이론 및 개념과 연계하여 체크리스트형 채점기준을 개발하였다. 개발된 채점기준을 활용하여 채점자 11인이 350여 개 과제를 교차채점하여 데이터를 생성하였으며, 그 결과는 다음과 같다. 첫째, 채점데이터는 피험자, 채점자, 채점항목의 3개 국면을 고려한 다국면 Rasch모형에 적합하였으며, 22개 채점항목들의 적합도가 양호하였다. 둘째, 낮은 수행수준에서 관찰가능한 특성은 과제에서 명시적으로 요구하는 질문에 답하거나, 사전에 학습한 과학적 개념을 활용하여 대상 혹은 현상을 관찰하는 것인 반면, 높은 수행수준에서는 주어진 자료 이외의 추가자료를 탐색하거나 자신의 실험과정을 성찰하는 것이었다. 학생 수행 특성 분석에 근거한 채점기준표의 유용성과 활용을 위한 향후 과제가 논의되었다.

• 인지과학
• /
• 제19권3호
• /
• pp.223-255
• /
• 2008

본 논문에서 우리는 문장의 문법성과 텍스트의 어휘 응집성 측정을 위주로 하는 영어 작문 자동평가시스템을 소개하려고 한다. 문법 검사를 위해서는 링크 파서를 사용하고 어휘 연쇄를 측정하기 위해서는 로제 시소러스를 사용한다. 자동 평가 시스템의 채점 신뢰도를 측정하기 위해서 자동 채점과 수동 채점의 결과를 통계적으로 비교한다. 카파 통계와 다국면 Rasch 모형에 따른 분석 결과 자동 채점은 수동 채점과 유사성이 크며 수동 채점과 비교해서 신뢰성에 특별한 문제가 없다는 결론을 내리게 된다. 본 연구의 가장 큰 의의는 다양한 종류의 기술과 도구를 바탕으로 신뢰할 만한 수준의 영작문 자동 평가 시스템을 개발했다는 것이다. 평가 대상이 문장 단위를 넘어 선 텍스트 단위이며, 단어나 문법 등의 형식적 측면만 검사하는 것이 아니라 내용적 측면도 평가한다.