• 한국지구과학회지
• /
• 제26권6호
• /
• pp.511-523
• /
• 2005

본 연구에서는 한국 지구과학 올림피아드 문항의 질 향상 방안을 모색하고자 1회와 2회 예선 및 본선 문항을 다양한 측면에서 분석하였다. 문항 분석을 위해 내적 및 외적 문항 분류틀을 구안하여 적용하였다. 고전 검사이론을 적용하여 문항의 난이도와 변별도, 상관계수, 그리고 신뢰도를, 일반화가능도 이론을 적용하여 일반화가능 도를 각각 추정하였다. 문항 분류틀 적용 결과는 다음과 같다: (1) 내용 차원에서는 지질 영역과 천문 영역에, 지식 및 탐구과정 차원에서는 자료 분석 및 해석에 집중되는 경향을 보였다. 또한 맥락 차원에서는 거의 대부분의 문항이 교과서적인 상황을 토대로 한 것이었다. (2) 요구 사고 수준에서 예선과 본선간의 차이를 발견할 수 없었다. (3) 문항 표현 범주에서는 그림의 사용 비율이 가장 높았고, 문항 유형 범주에서는 예선은 선다형과 단답형의 비율이, 본선은 서술형의 비율이 높았다. 또한 문항 형식 범주에서는 중학부와 예선은 단독형의 비율이 높고, 고교부와 본선은 복합형의 비율이 높았다. 문항을 분석한 결과는 다음과 같다: (1) 중학부는 대체로 난이도가 낮고, 변별도는 적절하였다. 그러나 고교부는 일반고와 과학고간에 상당한 차이가 있었다. (2) 중학부는 대기 영역과 총점과의 상관이, 고교부는 천문 영역과 총점과의 상관이 가장 높았다. (3) 양호한 문항이 가장 많은 일반고부의 문항 내적 일관성신뢰도와 일반화가능도가 가장 높았다. (4) 일반 고는 출제된 문항 수로 적정 수준의 일반화가능 도에 도달되나, 중학부나 과학고는 출제된 문항보다 2배 이상 많은 문항수가 필요한 것으로 나타났다.

• 대한화학회지
• /
• 제54권3호
• /
• pp.329-337
• /
• 2010

본 연구는 과학 교사들에게 교과서에 실린 문항에 대한 관심을 높일 뿐 아니라 교과서 문항을 효과적으로 사용할 수 있는 기초 자료를 제공하고자 고등학교 화학II 교과서 8종의 단원 평가 문항을 블룸의 개정된 교육목표 분류틀에 따라 분석하였다. 연구 결과 블룸의 인지 영역에 따른 분류에서는 '이해(44.7%)'에 해당하는 문항이 가장 많았고, '적용(29.9%)', '지식(15.6%)', '분석(9.5%)' 순이었으며 이러한 결과는 일반화학 교재의 단원 평가 문항 분석 결과인 '적용', '분석', '이해' 순으로 되어 있는 것과 뚜렷한 차이를 보였다. 특히 '평가'에 해당하는 문항은 전체 화학II 교과서에서 단 한 문제도 발견되지 않았으며 '종합(0.3%)'에 해당하는 문항도 거의 찾아볼 수 없었다. 한편 '적용'에 해당하는 문항의 대부분이 특정한 계산을 요하는 '양적인 수행'이었으며 '이해' 및 '양적인 수행'에 해당하는 문항의 비율은 분석된 총 문항의 70%에 이르렀다.

• 과학교육연구지
• /
• 제38권3호
• /
• pp.670-690
• /
• 2014

이 연구는 고등학교 생명 과학 I의 지필평가 실태를 조사하기 위하여 일반계 고등학교 10개교를 임의로 선정하여 2013학년도 생명 과학 I의 문제지 33부(선택형 문항 690개, 서답형 문항 162개)를 분석하였다. 문항에 대해서는 Bloom의 신 교육목표 분류체계의 틀과 국가수준 학업성취도 평가의 과학과 평가틀에 근거하여 분류하였다. 선택형 문항의 경우 실제 정답률과 이원목적분류표에 제시된 난이도를 비교하였고, 서답형 문항의 경우 문항유형에 따른 문항 수와 배점을 비교하였다. 서답형 문항 중 서술형 문항에 대해서는 반응의 허용 정도, 자료 제시 여부, 출제 형식에 따라 구분하였다. 지필평가 문항 분석 결과, 서답형 문항의 비율이 19.0%로 선택형 문항의 비율(81.0%)보다 낮았다. Bloom의 신 교육목표 분류체계에 의한 분석 결과, 지식 차원에서 '개념적 지식'에 해당되는 문항이, 인지과정 차원에서 '이해하다'에 해당되는 문항이 많았다. 국가수준 학업성취도 평가의 과학과 평가틀에 의한 분석에서 '지식' 영역에 해당되는 문항이 '탐구' 영역에 해당되는 문항보다 약 9배 많았다. 선택형 문항에서 이원목적분류표에 제시된 난이도와 실제 정답률을 비교한 결과, 일치하는 비율은 41.5%였다. 서답형 문항의 유형에 따른 문항 수의 비율을 비교한 결과, 단답형 문항의 비율이 34.0%였고, 그리기 문항은 '세포와 생명의 연속성' 단원에서 주로 출제가 되었다. 서술형 문항에서 반응의 허용 정도에 따라 분류한 결과, 모두 '응답 제한형'에 해당되었고, 그 중 '내용범위 제한형'(67.3%)에 해당되는 문항이 가장 많았다. 그리고 자료 제시여부에 따라 분류한 결과 '자료 제시형'(65.4%)에 해당되는 문항이, 출제 형식에 따라 분류한 결과 '지식 서술형'(80.4%)에 해당되는 문항이 가장 많았다. 이 연구 결과를 통하여 학교 현장에서 '탐구' 영역에 해당되는 문항을 더 많이 출제할 필요가 있으며, 서술형 문항의 실제적 비중을 높이면서, 다양한 유형으로 출제할 필요가 있다고 생각된다.

• 한국교육논총
• /
• 제38권1호
• /
• pp.29-39
• /
• 2017

본 연구는 2009 개정 과학과 교육과정에 근거한 중학교 과학 교과서의 산염기 및 산화 환원 단원의 문항을 블룸의 교육목표 분류틀을 이용하여 분석한 것이다. 분석 결과 모든 출판사의 교과서 문항에서는 지식 영역의 요소가 가장 많이 나타났으며, 이해, 적용, 분석, 종합, 평가 순으로 그 요소는 적게 나타났다. 그리고 출판사에 따라 각 문항에 나타난 인지 영역의 하위 영역이 골고루 포함되지 않았다. 그래서 학교에서는 다양한 출판사의 교과서 단원평가 문항을 참조하여 수업에 이용할 필요가 있다.

• 한국초등수학교육학회지
• /
• 제5권1호
• /
• pp.19-36
• /
• 2001

본 연구는 수학 지필 평가를 효과적으로, 그리고 평가의 목적을 구현하기 위해 적절한 방법으로 시행하기 위하여 해결해야 할 문제를 알아보고 이에 대한 해결 방안을 탐색해 보고자 한 것이다. 이를 위하여 주로 교육성취도 평가 연구와 제 3차 수학 과학 성취도 국제 비교 반복 연구, 영재 판별 검사 등 최근에 이루어진 평가의 실제를 분석하였다. 분석의 기준은 평가 틀, 결과 해석, 문항의 제시 형식에 따른 문항 곤란도, 국제 편가 문항의 번역 등의 네 가지이다. 평가 틀과 관련하여 최근 들어 강조되고 있는 통합적인 성격의 문항에 대한 분류가 필요하다는 점을 주장하였으며, 결과 해석과 관련하여 전형적인 이원 분류에서 이용되는 행동 영역에 대한 결과 해석이 그리 잘 이루어지지 않고 있어 결과 해석에서 의미를 줄 수 있는 평가 틀에 대한 고려가 필요함을 주장하였다. 또한, 문항 곤란도를 결정하는 여러 조건과 소재에 대한 문제를 논함으로써 교육과정의 성취도를 평가할 때 보다 명시적인 기준에 대한 논의가 필요함을 주장하였으며, 국제 평가에서 번역 과정에서 생길 수 있는 문제를 지적함으로써 이에 대한 신중한 연구가 필요함을 주장하였다.

• 과학교육연구지
• /
• 제44권1호
• /
• pp.38-49
• /
• 2020

본 연구의 목적은 고등학교 물리 I '시공간과 우주' 단원의 지필평가 문항과 교과서 목표가 인지영역과 내용영역에서 어느 정도 유사한지를 분석하기 위한 것이었다. 9개의 고등학교에서 출제한 지필고사 문제지와 평가원에서 출제한 문항 중에서 물리 I의 첫번째 단원인 '시공간과 우주'에 해당하는 문항들을 분석하였다. 문항의 분석기준으로 교육과정 성취기준에 제시된 내용영역들과 교과서에 진술된 목표들을 사용하여 살펴보기 위해 성취기준에 따라 내용영역을 11개로 분류하였고, 인지영역 수준은 지식, 이해, 적용의 틀로 각각 분류하였다. 결론적으로 학교에서 출제된 문항에서는 적용능력을 평가하는 문항의 비율이 낮았으며, 내용영역간 분포에도 불균형이 나타났다. 비율차 지수를 통한 비교에서는 교과서에 제시된 학습목표와 학교 출제 문항은 유사성이 매우 높았지만, 교과서 목표와 평가원 출제 문항을 비교하였을 때는 유사성이 낮았다. 이상을 바탕으로 평가문항의 타당성을 높이기 위한 몇 가지 제언을 하였다.

• 대한화학회지
• /
• 제56권4호
• /
• pp.491-499
• /
• 2012

2009 개정 교육과정의 화학 I 교육과정에서의 교육목표를 교과서의 학습목표 및 평가 문항에서 얼마나 반영하였는지에 대하여 Klopfer의 분류틀을 이용하여 조사하였다. 연구대상은 2009 개정 화학과 교육과정, 해설서, 4종의 화학 I 교과서이었다. 연구결과는 다음과 같다. 첫째, 2009 개정 교육과정의 화학I 교육목표는 Klopfer의 과학목표 분류체계의 모든 영역을 포함하고 있다. 둘째, 화학 I 교과서의 학습목표에 기술된 행동목표는 지식과 이해가 높은 비중을 차지하고 있는 반면, 과학적 탐구과정, 과학 지식과 과학 방법의 적용, 조작적 기능, 태도와 흥미, 지향에 관한 목표는 상대적으로 소홀하게 다루어지고 있다. 셋째, 화학 I 교과서의 단원종합문항의 평가 행동목표의 빈도는 지식과 이해에 집중되어 있다. 따라서 교과서 집필 시 교육과정의 다양한 교육목표를 반영한 학습목표의 진술이 필요하다. 학습 목표 및 평가 문항이 인지적인 면에 편중되어 진술하고 있으므로 학생들의 창의적인 사고를 위해 학습목표의 진술을 다양화하는 노력이 필요하다. 또한 교과서 학습목표와 평가문항목표의 일관성이 요구된다.

• 한국학교수학회논문집
• /
• 제20권4호
• /
• pp.387-404
• /
• 2017

본 연구에서는 최근 4개년(2014~2017학년도)의 수학교과내용학 기출문항 가운데 확률과 통계학 문항을 분석 대상 문항으로 분류하고, 수학과 임용시험 문항 분석틀을 기반으로 분류된 문항을 분석하였다. 그 결과 첫째, 확률과 통계학 교육과정의 정상화를 유도하기 위하여 4개 평가영역이 고르게 출제되어야 한다. 둘째, 통합적 사고, 종합 분석적인 사고 평가가 이루어져야 한다. 셋째, 수학적 사고력과 논리적 역량을 측정할 수 있는 문항 발문이 사용되어야 한다. 넷째, 문항 수에 의한 출제 비율은 7.7%~10.0%이고, 배점에 따른 비율은 이 보다 낮은 5.0%~7.5% 사이로 출제되었다. 다섯째, 적정난이도 안정화 정책을 유지하고 있다. 여섯째, 확률과 통계학은 귀납적 관점의 문제해결력 측정을 해야 한다는 결론과 시사점을 얻었다.

• 한국체육학회지인문사회과학편
• /
• 제58권1호
• /
• pp.295-308
• /
• 2019

본 연구는 청소년의 비만율이 증가하는 현 상황에서 건강신념모형을 적용하여 청소년 비만예방척도를 개발하고 선행연구에서 구축된 통합적 타당도의 틀로 분석하고 근거를 제시하고자 하였다. 이 연구에서는 Messick(1995)의 통합적 타당도, Benson(1998)의 강력한 구인타당도 프로그램 틀, Wolfe와 Smith(2007a, 2007b)가 제안한 Rasch 모형의 통합적 타당도 구현방안을 종합적으로 반영할 수 있도록 개발된 통합적 타당도 분석 틀(서은철, 2015)을 수정하여, 실제영역의 3단계를 분석하여 건강신념모형을 적용한 청소년 비만예방척도의 타당도 증거를 제시하였다. 연구대상은 서울-경기지역 12개 고등학교에서 1801명을 표집하였으며, 통합적 타당도 분석 틀의 적용을 위해 표본1에 902명(남:464명, 여:438명)과 표본2에 899명(남:464명, 여:435명)으로 무선 분류하였다. 자료처리는 SPSS 23.0과 WINSTEPS 4.30(Linacre, 2018)을 사용하였다. 연구결과 실제영역 1단계에서 개발된 청소년 비만예방척도는 5영역(민감성, 심각성, 유익성, 장애성, 건강동기) 33문항이었다. 2단계에서는 자료의 적합성(일차원성 검증, global fit statistic)을 확인, Rasch 모형의 문항적합도 검증에서 2개 문항이 삭제되었다. 3단계에서는 Rasch 부분점수모형을 적용하여 단계 조정값에 문제가 있는 3개 문항이 삭제되었다.

• 한국콘텐츠학회논문지
• /
• 제17권10호
• /
• pp.472-482
• /
• 2017

본 연구에서는 최근 7개년(2011~2017학년도)의 수학교과내용학 기출문항 가운데 이산수학 문항을 분석대상 문항으로 분류하고, 수학과 임용시험 문항 분석틀을 기반으로 분류된 문항을 분석하였다. 그 결과 첫째, 한국교육과정평가원이 제시한 이산수학 평가 영역 및 평가 내용 요소가 고르게 출제될 필요가 있다. 둘째, 인지적 방법의 활용에 대한 전략적 지식인 메타인지적 지식(Metacognitive Knowledge)을 측정하는 문항도 출제되어야 한다. 셋째, 이산수학의 출제 비중은 문항 수로는 비율이 3.8%~6.8%이고, 배점에 따른 비율은 이 보다 낮은 2.2%~6.3% 사이로 출제되었다. 넷째, 모든 문항이 평가 목표에 적합하고 교육과정을 성실하게 이행한 예비 수학교사라면 해결 할 수 있도록 적정한 난도가 유지된 것으로 분석된다. 다섯째, 임용시험 문항과 각 사범대학 수학교육과에 개설된 이산수학 교육과정의 세는 방법, 점화관계와 생성함수, 그래프 등의 내용요소가 일치하고 있어 예비 교사의 학습 동기 부여에 기여하고 있다는 결론과 시사점을 얻었다.