• 제목/요약/키워드: multiple choice item

검색결과 81건 처리시간 0.022초

과학 영재 선발 도구로서 지필 검사의 적합성 탐색을 위한 질적 및 양적 문항 분석 (Qualitative and Quantitative Analysis of Paper-Pencil Test Items for Exploring its Appropriateness as a Selection Tool of the Gifted in Science)

  • 이기영;동효관;홍준의;김현경;조봉제
    • 한국과학교육학회지
    • /
    • 제28권1호
    • /
    • pp.32-46
    • /
    • 2008
  • 이 연구에서는 과학 영재 선발 도구로 사용된 지필검사(기초 지식 및 탐구 능력 검사, 창의성 검사) 문항의 질적 특성과 양적 특성을 살펴봄으로써 타당하고 신뢰로운 영재 선발 도구로서 지필검사의 적합성을 탐색하는데 필요한 기초자료를 얻고자 하였다. 문항의 질적 특성을 분석하기 위해 내적 및 외적 문항 분석틀을 구안하여 적용하였으며, 문항의 양적 특성과 질적 특성의 연관성을 분석하였다. 연구 결과, 다수의 문항이 중학교 교육 과정을 벗어난 속진 맥락으로 출제되어 내용 타당도에 문제가 있는 것으로 분석되었다. 또한 출제되는 내용이나 맥락에서 교과별 및 연도별로 상당한 차이가 있어 검사 도구의 안정성에도 문제가 있는 것으로 나타났다. 기초 지식 및 탐구 능력 검사의 경우는 지식이 차지하는 비율이 가장 높으며, 탐구 과정 중에서는 자료 해석 및 분석에 치중됨으로써 고른 탐구 능력을 측정하고 있지 못한 것으로 드러났다. 창의성 검사에서는 대다수의 문항이 발산적 사고나 연관적 사고보다는 수렴적 사고를 주로 측정하고 있는 것으로 나타났다. 한편, 분석된 대부분의 문항이 그래프보다는 그림이나 표를 이용하여 표현되는 것으로 나타났으며, 문항 유형에서는 서술형보다는 선다형이나 단답형의 비율이 훨씬 높았다. 문항의 변별도는 두 검사 모두 양호하였으나, 문항별 난이도 편차는 매우 큰 것으로 나타났다. 교과 간 및 검사도구 간 상관은 매우 낮았으며, 신뢰도 또한 낮은 것으로 나타났다. 또한 난이도는 낮아 쉬운 문제였지만 변별도가 양호한 유형의 문항이 가장 많았으며, 속진 맥락의 문항이 심화 맥락에 비해 변별도가 더 양호한 것으로 나타났다. 이와 같은 분석 결과들은 영재 교육 기관에서 학생 선발에 적합한 지필 검사 도구를 개발하는 데 기초 자료로 활용될 수 있을 것이다.

한국형 다중지능 진단도구의 타당화 (Validation of Korean Diagnostic Scale of Multiple Intelligence)

  • 문용린;유경재
    • 교육심리연구
    • /
    • 제23권3호
    • /
    • pp.645-663
    • /
    • 2009
  • 이 연구는 기존의 다중지능 검사의 문제점을 극복하고, H. Gardner의 다중지능에 관한 심리측정 원리들을 반영하여 개발한 한국형 다중지능 진단도구의 타당화 연구이다. 검사는 유아용, 초등학교 저학년용, 초등학교 고학년용, 중학생용, 고등학생용, 총 5종의 검사로 구성되었고, 검사의 형식은 검사시행 시점까지의 성취를 재는 선택형 문항, 능력을 재는 진위문항, 능력과 흥미를 재는 자기보고식 리커르트 척도 문항의 3가지 형식으로 구성하였다. H. Gardner의 심리측정에 대한 제언에 따라, 지능의 핵심요소에 대한 재검토, 지능들 간의 중복성 및 위계성 여부에 대한 검토, 지능 간 편파적이지 않은 문항 구성, 검사형식의 다양화 등을 지향했고, 특히 본 검사에서는 능력과 흥미와 성취를 포괄적으로 측정하고자 했다. 1, 2차 예비검사와 본검사를 통해 최종 표준화검사를 제작했고, 총 5585명의 연구대상을 연령별, 성별, 지역별로 구분하여 표집하고, 이를 통해 규준점수를 추출하여, 연령별 상대적 비교를 할 수 있도록 하였다. 검사의 타당화를 위하여, 수검행동 관찰, 평균, 표준편차, 정답률, 신뢰도, 하위지능검사들 간의 상관, 지능별 진로선택의 평균순위에 대한 Kruskal-Wallis 검증 등의 분석을 하였다. 하위지능 간 상관분석 결과, 본 검사는 지능 간 독립성 가정을 지지했고, 지능별 진로선택에 관한 비모수 통계검증 결과, 다중지능이 진로선택의 계열과 대체로 관련이 있음을 확인할 수 있었다. 본 연구는 언어와 논리수학 능력에 유리하던 종래의 검사들과 달리, 지능별로 문항이 공평하도록 노력했고, 객관화할 수 있는 능력문항과 규준점수를 개발한 것, 능력과 흥미와 성취 점수들 간의 비교를 통한 교육적 처방 및 상담을 위한 방편을 마련한 것에서 시사점을 찾을 수 있다. 그러나 검사시행의 현실적인 제약으로 문항수가 적게 개발되어, 요인분석이나 서로 다른 형식의 검사간의 상관분석 등을 하지 못한 데에는 한계가 있다. 따라서 향후 문항 수를 늘려 전체 검사를 두 차례로 나누어 시행하는 연구를 하면 요인분석 및 기타 여러 타당화 증거들을 보완할 수 있을 것이다.

기초공통개념으로서 에너지에 대한 3~9학년 학생들의 문항 반응 분석 (Item Response Analysis of Energy as a Cross-Cutting Concept for Grades 3 to 9)

  • 김영민;강남화;강훈식;맹승호;이준기
    • 한국과학교육학회지
    • /
    • 제36권6호
    • /
    • pp.815-833
    • /
    • 2016
  • 이 연구에서는 기초공통개념으로서 에너지에 대한 학습발달과정연구의 기초 자료를 제공하기 위하여 3~9학년 학생들의 평가 문항 응답 결과를 분석하였다. 검사 문항은 전기 회로, 낙하 물체의 역학적 에너지, 물질의 상태 변화, 용해 현상, 생물체의 생명 현상, 먹이 사슬, 태양과 지구의 복사평형, 및 물의 순환계에서 에너지에 대한 이해를 조사하는 순위 선다형 문항으로 구성되었다. 학생들의 응답 결과는 학년별, 선택지 수준별 응답 빈도에 따라 교차분석을 실시하였고, Rasch 모델을 적용한 문항반응 분석으로서 Wright map 및 DIF 분석을 수행하였다. 연구 결과, 8가지 주제들에 대하여 에너지 이해의 발달과정은 현상과 에너지의 관련성을 인식하거나 에너지의 종류를 파악, 에너지의 이동과 전달을 인식, 에너지가 다른 형태로 전환 및 변환됨을 인식, 에너지의 보존을 인식하는 순서로 진행된다는 경험적 근거를 확보할 수 있었다. 전체 학년에 걸쳐서 공통적으로 8개 주제에 대하여 에너지 보존에 대한 이해가 부족하였다. 학년이 높아짐에 따라 에너지의 전달과 전환에 대한 이해 수준은 주제들마다 다소 차이가 있었다. Rasch 모델을 적용한 문항 반응을 분석한 결과 학생들은 다른 현상의 에너지에 비해 용해 현상의 에너지를 가장 쉬운 과제로 인식하였고 물의 순환 과정에서 에너지 이해를 가장 어려운 과제로 인식하였다. 이 연구의 결과는 에너지의 관점에서 각 주제들이 초중등 과학 교육과정의 어느 학년에, 몇 번째 단원에 어떤 방식으로 배치되어야 할 것인지는 경험적인 연구 자료로서 활용될 수 있으며, 새 과학 교육과정의 내용 체계를 구성할 때 고려할 수 있는 중요한 시사점이 될 수 있었다.

대학수학능력시험 수리 영역 출제 체제에 관한 고찰 (On the Setting of Mathematics Test in the CSAT)

  • 남진영
    • 대한수학교육학회지:학교수학
    • /
    • 제13권1호
    • /
    • pp.89-105
    • /
    • 2011
  • 대학수학능력시험은 1993년 시행된 1994학년도 수능 이래 크고 작은 변화를 거듭하여 왔다. 2012학년도 수능에서도 수리 영역은 적용되는 교육과정이 달라짐에 따라 출제 범위 등에 변화가 있을 예정이다. 전 영역에 2009년 개정 교육과정이 적용되는 2014학년도 수능에서는 더 큰 변화가 예상된다. 2014학년도 수능 체제 개편을 앞두고, 본 논문에서는 제7차 교육과정이 적용되었던 2005학년도~2011학년도 수능 수리영역의 결과를 분석하고, 이를 토대로 하여 수리 영역 출제 체제에 관한 제언을 하고자 한다. 첫째, 수험생들의 시험 부담 경감 및 학습 동기 고취를 위하여 더 쉽게 출제하고, 이에 따라 문항 수 및 배점을 재구성할 필요가 있다. 둘째, 선발고사로서의 변별력 확보와 시험의 신뢰성, 타당성 제고를 위하여 단답형 문항의 비율을 늘릴 필요가 있다. 셋째, 한 문항 내에 하위 문항을 출제하여 상황 파악에 소요되는 시간은 줄이고 주어진 상황을 다각도에서 심도 있게 탐구하도록 할 필요가 있다. 넷째, 요령과 기술에 의한 득점이 가능해진 특정 유형의 문항 출제를 지양하고 새로운 문항 유형을 개발하여야 한다.

  • PDF

학업성취도 평가에서 답지 반응률 분포 그래프를 활용한 중학생의 수학과 학업 특성 분석 (An Analysis about the Features of Mathematical Learning of Middle School Students through the Distribution Graphs of the Responses Percentages in National Assessment of Educational Achievement)

  • 조윤동;이광상
    • 대한수학교육학회지:수학교육학연구
    • /
    • 제25권1호
    • /
    • pp.1-19
    • /
    • 2015
  • 이 글은 국가수준 학업성취도 평가에 출제된 선다형 문항을 분석하여 교육과정이나 교수 학습, 평가에 개선할 여지가 있는지를 탐색하는 것에 목적을 두고 있다. 이를 위해 답지 반응률 분포 그래프를 이용하여 문항 전체뿐만 아니라 특정 답지가 담고 있는 내용에 대하여 학생들이 어떠한 특성을 보이는지를 분석할 것이다. 이러한 분석은 전체 집단의 평균 정답률과 변별도, 부분 집단별 평균 답지 반응률과 같은 기술통계치보다 많은 정보를 제공해 준다. 왜냐하면 학생들의 능력에 따른 반응의 변화가 잘 드러나기 때문이다. 이러한 방식의 문항 분석으로부터 소인수 개념이나 소인수분해, 속도와 같은 비, 일차함수의 개념, 원뿔의 부피, 입체도형의 성질, 공사건과 전사건의 확률 등에 대해서 시사점을 얻고 있다.

차별문항기능 기법의 응용 : 교육 및 심리검사의 번안과정에서 (Application of Differential Item Functioning to Test Adaptation)

  • 손원숙
    • 한국조사연구학회:학술대회논문집
    • /
    • 한국조사연구학회 2002년도 춘계학술대회 발표논문집
    • /
    • pp.8-34
    • /
    • 2002
  • 이 연구의 주된 목적은 외국의 교육 및 심리검사를 번안하여 사용하는 경우, 번안된 검사와 原 검사간의 평형성 (equivalence)을 경험적으로 측정하기 위하여 차별문항기능기법을 응용하는 것이다. 즉, 평형성이라는 것은 타당한 그룹비교를 위한 하나의 전제조건으로서 이런 평형성이 확립되지 않은 채 번안된 검사들의 무분별한 사용은 바람직하지 않다. 서로 다른 접근법을 가지고 있는 두 개의 차별문항기능기법, 로지스틱 판별분석과 SIBTEST가 상호보완적인 목적으로 이용되었고, 최선의 대응변수를 모색하려는 시도로서 다변량 대응기법과 순환적인 정화기법이 사용되었다. 5개의 하위척도를 가진 외향성 척도 중 3개의 척도에서는 적은 수의 차별기능문항을 발견하였으나, 나머지 2개의 척도에서는 반 이상의 문항에서 차별기능을 추출하였다 마지막으로, 대응변수의 선택에 대한 문제들이 논의되고 있다.

  • PDF

비교 연구를 통한 그리드 메뉴의 효율성 평가 (Comparative Robustness and Efficiency of the Grid Menu)

  • 정홍인
    • 디자인학연구
    • /
    • 제18권3호
    • /
    • pp.191-198
    • /
    • 2005
  • 컴퓨터 시스템에서 화면상의 복수의 항목 중에서 특정 항목을 선택하고 실행하기 위해 가장 널리 사용되는 도구가 메뉴인데 정보량이 급격하게 증가하면서 동적 메뉴와 같은 새로운 메뉴가 많이 개발되고 있다. 본 연구에서는 실험을 통해 풀다운(pull-down) 메뉴, 피시아이(fisheye) 메뉴, 그리드(grid) 메뉴의 객관적 수행도(수행시간, 오류)와 사용자의 주관적 평가(단순성, 사용 효율성, 친근성, 전반적 선호도)를 비교분석 하였다. 중간 수준의 메뉴 항목이나 작은 화면을 고려하여 개발된 그리드 메뉴는 메뉴 항목의 수가 중간 수준(50개)이나 많은 수준(100개)일 때, 풀다운 메뉴와 피시아이메뉴보다 수행시간에 있어 효율적인 것으로 나타났다. 메뉴항목의 수와 수행시간 사이에는 모든 메뉴가 비례관계를 보였으나 그리드 메뉴가 가장 둔감하게 반응하였다. 풀다운 메뉴와 그리드 메뉴는 피시아이 메뉴에 비해 보다 간단하고, 친근하고, 효율적인 것으로 평가되었으며 42.3 퍼센트의 피험자가 그리드 메뉴가 메뉴들 중에서 가장 우수하다고 평가하였다. 결론적으로 그리드 메뉴는 메뉴 항목의 수가 적거나 중간 정도의 수준일 때 효율적인 디자인 대안으로 선정될 수 있을 것으로 판단되며 모바일 기기에서의 효율성을 살펴보기 위해선 보다 심도 깊은 연구가 요구된다.

  • PDF

머신러닝을 활용한 프로그래밍언어 객관식 문제의 난이도 조정에 대한 연구 (A study on the difficulty adjustment of programming language multiple-choice problems using machine learning)

  • 김은정
    • 한국산업정보학회논문지
    • /
    • 제27권2호
    • /
    • pp.11-24
    • /
    • 2022
  • LMS 기반의 온라인 평가를 위해 출제되는 문제들은 교수자가 직접 출제하거나 또는 카테고리별로 나뉘어진 문제은행에서 난이도에 따른 자동 출제 방식을 주로 이용한다. 이중에서 난이도에 따른 자동출제 방식은 평가자들에게 출제되는 문제가 서로 다를수 있기 때문에 무엇보다 객관적이고 효율적인 방법으로 문제의 난이도를 관리하는 것이 중요하다. 본 논문에서는 문제의 정답률뿐만 아니라 해당 문제를 해결하는데 사용된 소요시간을 같이 고려한 난이도 재조정 알고리즘을 제시한다. 이를 위해 머신러닝의 로지스틱 회귀 분류 알고리즘을 이용하였으며, 학습모델의 예측 확률값을 기반으로 기준 임계값을 설정하여 각 문항별 난이도 재조정에 활용하였다. 그 결과 정답률에만 의존한 문항별 난이도에 많은 변화가 일어남을 확인할 수 있었다. 또한 조정된 난이도의 문제를 이용하여 그룹별 평가를 수행한 결과, 정답률 기반의 난이도 문제에 비해서 대부분의 그룹에서 평균 점수가 향상됨을 확인할 수 있었다.

중학생과 고등학생의 과학적 소양 평가 (An Assessment of the Scientific literacy of Secondary School Students)

  • 정영란;최진미
    • 한국과학교육학회지
    • /
    • 제27권1호
    • /
    • pp.9-17
    • /
    • 2007
  • This study sets out to assess the scientific literacy of secondary school students and to describe their differences according to gender, grade, course. This study involved 112 middle school students and 213 high school students. Their scientific literacy was measured by the Scientific Literacy Test designed by Manhart (1997). A 70-item multiple-choice test was used to assess their scientific literacy. The constructs of science factor included 36 items making up physical science, life science, and earth science subtests. The social aspects of science factor consisted of 34 items in nature of scientific inquiry/knowledge, science as a human endeavor, science and technology, and societal perspectives. A two-way analysis of variance (ANOVA) and t-test were conducted using the SPSS program. The scientific literacy score of the middle school students was 45.17. There was no significant difference according to gender but boys tended to perform better than girls on both the constructs of science factor and the social aspects of science factor. The scientific literacy score of the high school students was 51.79. There was no significant difference according to gender. But, boys tended to perform better than girls on the constructs of science factor. Girls tended to perform better than boys on the social aspects of science factor. The students taking a course on natural science got statistically higher scores than the students taking a course on humanities. The high school students got statistically higher scores than the middle school students.

인지갈등 상황 제시유형에 따른 고등학생들의 역학 개념 변화 (The Change of High School Students' Mechanics Conceptions by the Types of Cognitive Conflict Situations)

  • 이채은;이경호;김지나;권재술
    • 한국과학교육학회지
    • /
    • 제21권4호
    • /
    • pp.697-709
    • /
    • 2001
  • 학생들의 개념 변화을 촉진하기 위하여 인지갈등상황을 제시하는 것이 필요하다는 주장이 여러 연구자들에 의하여 제기 되어왔다. 본 연구자들은 문헌 분석을 통하여 인지갈등을 유발할 수 있는 상황은 크게 세가지로 구분할 수 있었다. 이 연구의 목적은 이들 세가지 상황이 학생들의 과학개념 변화에 미치는 영향의 차이를 알아보는 것이었다. 연구 대상으로 참여한 학생은 경기도 소재의 인문 고등학교 2학년 72명이다. 갈등상황으로 체험을 제시할 때 직접 실험할 수 있는 인원의 한계성 때문에 한 반에 26명씩 선정하였다. 먼저 역학의 중요 개념에 대한 여섯 가지 문항을 이용하여 학생들의 사전 개념을 조사한 후, 갈등상황을 현상, 논리, 체험 등 3가지로 나누어 제시하고 수업을 한 다음 사후 검사를 실시하였다. 개념 변화의 지속성을 보기 위해서 1주일 후와 1개월 후에 같은 문항으로 검사를 실시하였다. 이 검사 결과를 바탕으로 각 문항별 응답 유형을 분석하여 학생들의 개념이 과학적으로 변화하였는지 조사하였다. 연구결과, 각 문항에서 과학적 개념으로 변화되는 학생 수는 체험제시 집단이 다른 두 집단에 비하여 많았으며 그 다음은 현상제시 집단이었다. 제시 특성별로 보면, 근운동을 통한 강한 체험이 가능한 문항에서는 체험제시의 효과가 높게 나타났으며 다른 문항들에서도 체험이나 시각적으로 명확하게 관찰이 가능한 정도에 따라 논리제시에 비하여 체험제시와 현상제시가 개념변화에 효과적인 것으로 나타났다. 따라서 학생들의 과학개념 변화를 위해서는 개념특성에 맞는 적절한 갈등상황을 제시해야 한다고 본다. 또한, 효과적인 개념 변화를 위해 갈등상황을 제시할 때, 모든 문항에 대해 현상이나 논리, 체험제시 중 어느 하나가 더 효과적이라고 구별하기보다는 문항의 종류와 갈등상황 제시의 특성, 학습자의 상태 등을 고려하여 제시해야 한다고 본다.

  • PDF