• 한국과학교육학회지
• /
• 제40권3호
• /
• pp.253-269
• /
• 2020

본 연구는 2015 개정 과학과 교육과정에 제시된 성취기준에 기초하여 현대물리 개념지식에 대한 예비 물리교사의 이해를 진단할 수 있는 개념 진단지를 개발하고 타당도와 신뢰도를 확인하였다. Messick(1995)의 분류에 따른 5가지 타당도 중 검사내용에 기초한 타당도는 일련의 전문가 내용타당도 검사로 진행하여 확인한 후 24문항의 설문용 현대물리 개념 진단지를 구성하였다. 국내 15개 사범대학의 467명의 예비 물리교사에게 개발된 현대물리 개념 진단지를 적용하여 문항의 신뢰도와 Messick(1995)의 나머지 4가지 타당도를 확인하였다. 실제에 기초한 타당도는 Rasch 모형이 적용된 통계분석방법으로 문항적합도(MNSQ)를 확인한 결과, 23문항이 적합한 수준으로 나타났다. 이중 오타가 발생한 문항을 제외한 22문항에 대하여 내적구조에 기초한 타당도 분석을 하여 개발된 현대물리 개념 진단지의 일차원성을 확인하였다. 일반화에 기초한 타당도 확인 결과에 따르면 개발된 개념 진단지가 집단특성에 대해 독립적이라고 판단된다. 양자역학 수강 여부에 따른 검사점수의 t-검증 결과, 유의미한 차이가 나타났으며, 이를 외적준거에 기초한 타당도 확인으로 활용하였다. Cronbach alpha 및 Rasch 모형 분석에서의 피험자 신뢰도와 문항신뢰도 값은 검사자료가 적합한 수준의 신뢰도를 갖는다는 보여주었다. 또한 고전검사이론에 의한 문항분석 결과, 양호한 문항난이도를 보여주었으며 문항변별도는 두 문항이 준거값을 벗어났으나 다른 나머지 문항들은 양호한 값을 보여주었다. 양류상관계수는 한 문항을 제외한 나머지에 대해서 양호한 값을 나타내었다. KR-20과 Ferguson's delta 값 역시 검사지가 양호하다는 것을 보여주었다. 마지막으로 문항반응 이론에 의한 문항난이도(추정치)를 Rasch 모형 분석으로 추정하였으며, 이 값들은 피험자 집단 특성에 영향을 받지 않을 것으로 판단된다.

• 대한감각통합치료학회지
• /
• 제13권2호
• /
• pp.31-41
• /
• 2015

목적 : 본 연구의 목적은 만 3~5세 아동의 감각처리 문제를 선별할 수 있는 아동감각처리척도(Sensory Processing Scale for Children: SPS-C)를 개발하여 타당도를 검증하는 것이다. 연구방법 : 아동감각처리척도를 개발한 뒤, 만 3~5세 아동 138명의 보호자를 대상으로 평가를 시행하였다. 평가도구의 구성타당도를 검증하기 위해 수집된 자료를 대상으로 라쉬분석을 통해 단일차원모형의 적합성과 평정척도의 적합성을 분석하였다. 결과 : 라쉬분석 결과 총 56개 항목 중 6개 항목(10.7%)이 부적합한 것으로 나타났다. 또한 평정척도 분석 결과 5점 척도보다 3점 척도가 더 적합한 것으로 나타났다. 결론 : 본 연구를 통해 아동감각처리척도의 구성타당도를 검증하였으며, 추후 연구에서는 최종적으로 수정 보완된 한국형 감각처리척도를 대상으로 신뢰도와 기타 타당도 검증을 하여야 할 것이다.

• 한국과학교육학회지
• /
• 제36권1호
• /
• pp.177-190
• /
• 2016

이 연구는 '지구의 운동과 태양계' 학습 발달과정의 타당성을 2가지 측면에서 검증하고자 하였다: 첫 번째는 구인 타당도로서 학생들이 학습하는 동안에 본 연구의 학습 발달과정에서 설정한 가설적인 발달 경로에 따라 실제로 학생들의 발달이 나타나는가를 조사하였다. 두 번째는 결과 타당도로서 학습 발달과정에 기반한 적응적 교수활동이 대부분의 학생들에게 향상된 학습효과를 산출하는가를 조사하였다. 이를 위해 서울, 강원, 광주 지역 소재 6개 초등학교에서 5학년 학생 373명과 교사 17명이 연구에 참여하였다. 초등학교 5학년의 태양계와 별 단원에서 지구의 운동과 태양계 관련 내용을 포함하는 적응적 교수활동을 개발하고, 교수활동 사전과 사후에 순위 선다형 문항(13개)으로 구성된 검사지를 투입하여 그 결과를 비교 분석하였다. 구인 타당도를 알아보기 위해 실험군 학생들을 대상으로 사전과 사후의 수준 변화를 분석한 결과, 약 64%에 해당하는 학생들이 적응적 교수활동에 의해 가설적으로 설정한 경로를 따라 발달하는 것으로 나타났으며, 사전/사후 검사 결과를 Rasch 모델로 적용한 분석 결과도 이를 뒷받침하였다. 결과 타당도를 알아보기 위해 실험군과 대조군의 사전검사를 공변량으로 한 공변량분석(ANCOVA)을 실시한 결과, 실험군 학생들의 수준 향상이 대조군 학생들의 경우에 비해 비해 통계적으로 유의미하게 높은 것으로 나타났으며(F=30.819, p=0.000), 실험군이 대조군보다 정적(+) 수준 변화 경향이 더 뚜렷하게 나타났다. 또한, Rasch 모델을 적용하여 결과 타당도를 검증한 결과, 실험군이 대조군보다 학생 능력치 상승이 더 높게 나타났으며, 이러한 차이는 통계적으로 유의미한 것으로 분석되었다(F=11.632, p=0.001).

• 한국과학교육학회지
• /
• 제42권2호
• /
• pp.239-252
• /
• 2022

이 연구는 초등학생 과학 탐구과제에서 관찰되는 수행의 특징을 분석하여 채점기준을 개발하기 위하여 수행되었다. 이를 위하여 초등학교 5학년 학생 75명의 과학 탐구활동보고서의 특징을 분석하고, 그 특징을 과학탐구 과정 요소와 역량 요소에 대한 이론 및 개념과 연계하여 체크리스트형 채점기준을 개발하였다. 개발된 채점기준을 활용하여 채점자 11인이 350여 개 과제를 교차채점하여 데이터를 생성하였으며, 그 결과는 다음과 같다. 첫째, 채점데이터는 피험자, 채점자, 채점항목의 3개 국면을 고려한 다국면 Rasch모형에 적합하였으며, 22개 채점항목들의 적합도가 양호하였다. 둘째, 낮은 수행수준에서 관찰가능한 특성은 과제에서 명시적으로 요구하는 질문에 답하거나, 사전에 학습한 과학적 개념을 활용하여 대상 혹은 현상을 관찰하는 것인 반면, 높은 수행수준에서는 주어진 자료 이외의 추가자료를 탐색하거나 자신의 실험과정을 성찰하는 것이었다. 학생 수행 특성 분석에 근거한 채점기준표의 유용성과 활용을 위한 향후 과제가 논의되었다.

• 과학교육연구지
• /
• 제41권3호
• /
• pp.382-404
• /
• 2017

이 연구에서는 2015년 국가수준 학업성취도 평가(NAEA)의 서답형 문항을 이용하여 중학교 과학 교과의 8개 핵심 개념에 대한 학습발달과정을 탐색하고자 하였다. 이를 위해 2015년 실시된 NAEA 서답형 8개 문항에 대한 중학교 3학년 7,390명의 응답 결과를 전산으로 입력하고 입력된 답안을 분석하여 수준별로 유형화하는 과정을 거쳤다. 이 과정을 마친 후 각 평가 구인별로 5개 수준을 설정하여 구인구성도를 작성하였다. 이 연구에서의 구인구성도는 발달 기반의 루브릭 형식으로 작성되었는데, 전체 학생들의 답안에 대해 수준을 부여하는 준거로 활용되었다. 또한, 평가 결과로 얻은 학생들의 점수를 평가 구인에 대한 성취 수준과 연결하기 위하여 통계적 해석으로 응답자의 점수나 성취 정도를 측정하는 Rasch 모델을 적용하였다. 마지막으로, Rasch 모델 적용 결과를 반영하여 구인구성도를 수정한 예비 학습발달과정을 작성하였다. 이 연구는 NAEA의 서답형 문항을 활용하여 학습발달과정 개발 가능성을 탐색하였다는 데 의의가 있다. 하지만, 이 연구에서 작성된 예비 학습발달과정이 개별 학생들 대상으로 종적으로 추적한 것이 아니므로 여전히 가설적이며 추론적이다. 그러므로 반복적인 연구 과정을 통해 지속적으로 수정 및 보완될 필요가 있다.

• 중환자간호학회지
• /
• 제15권3호
• /
• pp.37-50
• /
• 2022

Purpose : This study aimed to examine the item characteristics of the Korean version of the intensive care experience questionnaire (K-ICEQ) using the Rasch analysis model of the item response theory. Methods : In this methodological study, the validity of the scale was examined, and a secondary analysis was conducted using cohort data of patients who were discharged from the intensive care units (ICU). Data from 891 patients who responded to the K-ICEQ upon ICU discharge were analyzed. The WINSTEP program was used to analyze item characteristics, including item difficulty, fit indices, appropriateness scale, and separation reliability. Results : The difficulty level of all 26 items of the K-ICEQ was appropriate, and the fit indices of the 25 items, except for item 18, were good. The 5-point scale of the K-ICEQ was not appropriate in the three subscales. The item separation reliability was good in all subscales, but did not meet the criteria in terms of respondents. Conclusion : The results of examining the item characteristics of the K-ICEQ revealed a good degree of difficulty, fitness, and item separation reliability. To increase the validity of the K-ICEQ, we suggest the rearrangement of the overall item order, modification of the item description of the "recall of experience" subscale, and reduction of the scale response level.

• 과학교육연구지
• /
• 제41권1호
• /
• pp.16-35
• /
• 2017

이 연구에서는 공과대학생들의 공학 창의성이 성별, 학년, 공학교육인증 참여 여부와의 관련성을 살펴보고자 하였다. 구체적인 연구목적을 살펴보면 첫째, Rasch 분석을 사용하여 연구에 사용된 공학 창의성 검사도구의 타당도와 신뢰도를 확인하였으며, 둘째, 삼원분산분석을 사용하여 성별, 학년별, 공학교육인증 참여 유부별로 공학 창의성의 수준을 비교하였다. 셋째, 공학 창의성 요소간의 상관관계를 확인하였으며, 넷째, 잠재집단분석(poLCA)을 활용하여 공학 창의성에 따라 구분되는 잠재집단들을 규명하고, 규명된 잠재집단과 성별, 학년별, 공학교육인증 참여가 관계가 있는지 살펴보았다. 연구에는 2098명의 공과대학 재학생이 참여하였으며, 4개의 하위 구인으로 이루어진 공학 창의성 검사도구를 활용하여 자료를 수집하였다. 라쉬 분석결과 공학 창의성 검사도구의 타당성과 신뢰성을 확인할 수 있었다. 또한 삼원분산분석 결과 공학창의성은 성별에 따라 유의미한 차이를 나타냈으며, 학년의 경우 창의적 인지 외의 모든 구인에서 유의미한 차이가 나타났으며, 공학교육인증제 프로그램은 공학 창의성의 선택 여부는 유의미한 차이가 타나나지 않았다. 상관관계 분석 결과 공학 창의성 요소들은 상호 통계적으로 유의미한 관계가 있는 것으로 확인되었다. 마지막으로 공학 창의성 요소를 근거로 잠재집단을 확인한 결과, 공과대학 학생들에게는 3가지의 공학 창의성 잠재집단이 발견되었으며, 1학년과 여학생일수록 공학 창의성이 가장 낮은 잠재집단에 소속될 확률이 높았다. 이러한 연구 결과를 바탕으로 공과대학생들의 창의성 교육에 대해 논의해보고자 한다.

• 재활복지
• /
• 제18권4호
• /
• pp.315-330
• /
• 2014

본 연구는 뇌성마비 아동을 대상으로 감각프로파일(Sensory Profile)의 구성타당도를 검증하는데 목적이 있다. 만 3~10세 뇌성마비 아동 87명의 감각처리기능을 평가하기 위해 보호자를 대상으로 동의 후에 평가용지와 평가지침서를 우편 또는 방문을 통해 작성하도록 하여 자료를 수집하였다. 수집된 자료는 타당도를 검증하기 위해 Winstep 3.81을 통해 라쉬분석을 실시하여 항목과 대상자의 적합성, 항목의 난이도, 평정척도의 적합성, 대상자와 항목의 분리신뢰도를 분석하였다. 연구결과, 87명의 뇌성마비 아동 중에 4명의 아동이 부적합 대상자로 나타났다. 부적합한 대상자를 제외한 83명의 대상자로 항목의 적합도를 분석한 결과, 15개 항목이 부적합 판정을 받았다. 항목의 난이도에 대한 분석결과에서는 뇌성마비 아동의 감각처리능력에 비해 낮은 난이도의 평가항목들로 구성되어 있어 높은 평가항목이 필요한 것으로 나타났다. 감각프로파일의 평정척도 분석결과에서는 5점 척도보다는 3점 척도가 더 적합한 것으로 나타났다. 또한 3점 척도의 항목과 대상자에 대한 분리신뢰도는 0.90 이상 값으로 우수한 수준으로 분석되었다. 본 연구 결과를 토대로 난이도가 높은 새로운 평가항목의 개발과 3점 척도의 점수체계 변환으로 타당도가 검증된 감각프로파일의 임상적 적용이 필요할 것으로 생각된다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제18권2호
• /
• pp.239-250
• /
• 2004

수학적 힘의 함양과 문제해결력의 신장을 위한 수학교육에서 확률영역은 중요한 학습소재임에도 불구하고, 확률영역은 어려운 것으로 고착되었다. 이 연구에서는 학생들이 확률영역의 어떤 부분을 어려워하고 이해하기 힘들어하는지를 구체적 문항분석을 통하여 알아봄으로서 교수-학습의 기초자료를 제공하고자한다. 이를 위하여, 지난 10년간 출제되었던 대학수학능력시험의 확률영역 16문항을 고등학교 학생 220명에게 실시하고, 고전검사이론과 문항반응이론울 적용하여 그 결과를 분석하였다. 고전검사이론에서는 신뢰도와 변별도를 측정하였고, 문항반응이론에서는 Rasch 1-모수 문항반응모형에 근거한 BIGSTEP을 사용하여 내적타당도와 난이도를 측정하였다.

• 한국과학교육학회지
• /
• 제36권3호
• /
• pp.509-517
• /
• 2016

학생들의 진화에 대한 대안개념(목적론, 용불용설 등)이 과학사에서 나타나는 설명의 발전 형태와 유사하다는 연구는 있었다. 하지만 과학사적으로 설명의 발달과정을 반영하여 부분점수를 주는 평가방식은 활용되지 않았다. 이 연구의 목적은 창조론에서 자연선택까지 과학사적 발달과정을 반영하여 부분점수를 주는 방법을 제안하고 이 방법이 타당한지에 대한 양적인 증거를 수집하는 것이다. 이 연구는 과학사에 근거하여 진화개념검사도구의 학생응답을 순위선다형점수로 변환하고 부분채점모형의 라쉬모델분석을 포함한 통계적 방법으로 새로운 평가방식이 타당한지 확인하였다. 또한 개념발달이 인간, 동물, 문항의 상황에 따라 다른지 확인하였다. Ha(2007)가 개발한 검사도구를 활용하여 1711명의 초, 중, 고등학생과 비전공, 전공생물 교사를 대상으로 생성한 자료를 통하여 분석하였다. 창조론, 목적, 의도, 용불용설, 자연선택에 0점에서 4점씩 부분점수로 제시한 평가방법은 Cronbach alpha를 통한 내적일관성 신뢰도, 라쉬분석의 MNSQ값 등 통한 문항적합도를 확인한 결과 타당한 것으로 확인되었다. 초등학생과 중학생들의 개념수준은 의도에서 용불용설 단계에, 고등학생부터 용불용설 이후의 단계로 개념발달이 이루어지고 있었다. 진화설명의 발달 과정은 인간, 동물, 식물에 따라 차이가 나타남을 확인할 수 있었다. 이 연구는 과학사와 학생들의 개념발달이 유사하다는 기존의 주장에 새로운 양적증거를 추가하고, 진화개념 평가를 위한 새로운 분석방법을 제안한다.