• 한국지구과학회지
• /
• 제38권3호
• /
• pp.222-238
• /
• 2017

이 연구의 목적은 지구과학 탐구에서 통합 탐구 기능에 대한 학생들의 학습발달과정을 탐색하는 것이다. 이를 위해 과학 탐구 기능 발달과정 관련 문헌의 조사를 통해 '탐구 설계', '자료 수집', '자료 해석', 그리고 '결론 도출'을 발달 변인으로 설정하고, 각각에 대한 가설적 학습발달과정(HLP)을 4개 수준으로 개발하였다. 또한, 통합 탐구 기능에 대한 학생들의 학습발달과정을 조사하기 위한 도구로 3가지 지구과학 탐구 과제를 개발하였는데, 이들은 학생들이 주어진 문제 인식에서 출발하여 결론 도출에 이르기까지의 통합 탐구 기능을 포함하는 가설-연역적 탐구이다. 중학생, 고등학생, 대학생 총 126명을 대상으로 각각 개발된 지구과학 탐구 과제를 수행하게 한 후 HLP를 토대로 개별 학생들의 통합 탐구 기능을 요소별로 평가하였다. 또한, 학생들의 평가 자료를 Rasch 모델에 적용하여 HLP에 대한 타당화 과정을 거쳤다. 마지막으로, 분석 결과를 근거로 HLP를 수정 보완하여 경험적 학습발달과정을 개발하였다. 이 연구는 학생들의 통합 탐구 기능의 발달에 영향을 주는 요인들을 규명함으로써 지구과학 탐구 수업에서 학생들의 통합 탐구 기능을 효과적으로 향상시키기 위한 스캐폴딩 방안을 찾는데 도움을 줄 수 있을 뿐만 아니라, 지구과학 탐구 수업에 대한 교사들의 PCK를 향상시키는데 필요한 시사점을 제공한다.

• 한국과학교육학회지
• /
• 제42권2호
• /
• pp.239-252
• /
• 2022

이 연구는 초등학생 과학 탐구과제에서 관찰되는 수행의 특징을 분석하여 채점기준을 개발하기 위하여 수행되었다. 이를 위하여 초등학교 5학년 학생 75명의 과학 탐구활동보고서의 특징을 분석하고, 그 특징을 과학탐구 과정 요소와 역량 요소에 대한 이론 및 개념과 연계하여 체크리스트형 채점기준을 개발하였다. 개발된 채점기준을 활용하여 채점자 11인이 350여 개 과제를 교차채점하여 데이터를 생성하였으며, 그 결과는 다음과 같다. 첫째, 채점데이터는 피험자, 채점자, 채점항목의 3개 국면을 고려한 다국면 Rasch모형에 적합하였으며, 22개 채점항목들의 적합도가 양호하였다. 둘째, 낮은 수행수준에서 관찰가능한 특성은 과제에서 명시적으로 요구하는 질문에 답하거나, 사전에 학습한 과학적 개념을 활용하여 대상 혹은 현상을 관찰하는 것인 반면, 높은 수행수준에서는 주어진 자료 이외의 추가자료를 탐색하거나 자신의 실험과정을 성찰하는 것이었다. 학생 수행 특성 분석에 근거한 채점기준표의 유용성과 활용을 위한 향후 과제가 논의되었다.

• 한국전문물리치료학회지
• /
• 제20권3호
• /
• pp.89-99
• /
• 2013

The purposes of this study were: 1) to show the item difficulty hierarchy of walking/moving construct of the International Classification of Functioning, Disability and Health-Activity Measure (ICF-AM), 2) to evaluate the item-level psychometrics for model fit, 3) to describe the relevant physical activity defined by level of activity intensity expressed as Metabolic Equivalent of Tasks (MET), and 4) to explore what extent the empirical activity hierarchy of the ICF-AM is linked to the conceptual model based on the level of energy expenditure described as MET. One hundred and eight participants with lower extremity impairments were examined for the present study. A newly created activity measure, the ICF-AM using an item response theory (IRT) model and computer adaptive testing (CAT) method, has a construct on walking/moving construct. Based on the ICF category of walking and moving, the instrument comprised items corresponding to: walking short distances, walking long distances, walking on different surfaces, walking around objects, climbing, and running. The item difficulty hierarchy was created using Winstep software for 20 items. The Rasch analyses (1-parameter IRT model) were performed on participants with lower extremity injuries who completed the paper and pencil version of walking/moving construct of the ICF-AM. The classification of physical activity can also be performed by the use of METs that is often preferred to determine the level of physical activity. The empirical item hierarchy of walking, climbing, running activities of the ICF-AM instrument was similar to the conceptual activity hierarchy based on the METs. The empirically derived item difficulty hierarchy of the ICF-AM may be useful in developing MET-based activity measure questionnaires. In addition to convenience of applying items to questionnaires, implications of the finding could lead to the use of CAT method without sacrificing the objectivity of physiologic measures.

• 한국과학교육학회지
• /
• 제40권3호
• /
• pp.253-269
• /
• 2020

본 연구는 2015 개정 과학과 교육과정에 제시된 성취기준에 기초하여 현대물리 개념지식에 대한 예비 물리교사의 이해를 진단할 수 있는 개념 진단지를 개발하고 타당도와 신뢰도를 확인하였다. Messick(1995)의 분류에 따른 5가지 타당도 중 검사내용에 기초한 타당도는 일련의 전문가 내용타당도 검사로 진행하여 확인한 후 24문항의 설문용 현대물리 개념 진단지를 구성하였다. 국내 15개 사범대학의 467명의 예비 물리교사에게 개발된 현대물리 개념 진단지를 적용하여 문항의 신뢰도와 Messick(1995)의 나머지 4가지 타당도를 확인하였다. 실제에 기초한 타당도는 Rasch 모형이 적용된 통계분석방법으로 문항적합도(MNSQ)를 확인한 결과, 23문항이 적합한 수준으로 나타났다. 이중 오타가 발생한 문항을 제외한 22문항에 대하여 내적구조에 기초한 타당도 분석을 하여 개발된 현대물리 개념 진단지의 일차원성을 확인하였다. 일반화에 기초한 타당도 확인 결과에 따르면 개발된 개념 진단지가 집단특성에 대해 독립적이라고 판단된다. 양자역학 수강 여부에 따른 검사점수의 t-검증 결과, 유의미한 차이가 나타났으며, 이를 외적준거에 기초한 타당도 확인으로 활용하였다. Cronbach alpha 및 Rasch 모형 분석에서의 피험자 신뢰도와 문항신뢰도 값은 검사자료가 적합한 수준의 신뢰도를 갖는다는 보여주었다. 또한 고전검사이론에 의한 문항분석 결과, 양호한 문항난이도를 보여주었으며 문항변별도는 두 문항이 준거값을 벗어났으나 다른 나머지 문항들은 양호한 값을 보여주었다. 양류상관계수는 한 문항을 제외한 나머지에 대해서 양호한 값을 나타내었다. KR-20과 Ferguson's delta 값 역시 검사지가 양호하다는 것을 보여주었다. 마지막으로 문항반응 이론에 의한 문항난이도(추정치)를 Rasch 모형 분석으로 추정하였으며, 이 값들은 피험자 집단 특성에 영향을 받지 않을 것으로 판단된다.

• 한국전문물리치료학회지
• /
• 제20권4호
• /
• pp.22-31
• /
• 2013

The aim of the present study was to compare measurement precisions of the Oswestry Back Pain Disability Questionnaire (ODQ) and a computer adaptive testing (CAT) method. The ODQ has been regarded as one of the most reliable condition-specific measure for back pain for decades. Cross-sectional study was carried out with two independent convenient samples from two out-patient rehabilitation clinics for back pain ($n_1=42$) and non-back pain group ($n_2=42$). Participants were asked to fill out the ODQ and CAT of International Classification of Functioning, Disability and Health-Activity Measure (ICF-AM). A series of Rasch analyses were performed to calculate person ability measures. The CAT measures had greater relative precision in discriminating the groups than did the ODQ measure in comparisons of the relative precision. The CAT measure appears to be more effective than did the ODQ measure in terms of measurement precision. By administering test items calibrated in a way, CAT measures using item response theory may promise a means with measurement precision as well as efficiency.

• 한국과학교육학회지
• /
• 제36권1호
• /
• pp.177-190
• /
• 2016

이 연구는 '지구의 운동과 태양계' 학습 발달과정의 타당성을 2가지 측면에서 검증하고자 하였다: 첫 번째는 구인 타당도로서 학생들이 학습하는 동안에 본 연구의 학습 발달과정에서 설정한 가설적인 발달 경로에 따라 실제로 학생들의 발달이 나타나는가를 조사하였다. 두 번째는 결과 타당도로서 학습 발달과정에 기반한 적응적 교수활동이 대부분의 학생들에게 향상된 학습효과를 산출하는가를 조사하였다. 이를 위해 서울, 강원, 광주 지역 소재 6개 초등학교에서 5학년 학생 373명과 교사 17명이 연구에 참여하였다. 초등학교 5학년의 태양계와 별 단원에서 지구의 운동과 태양계 관련 내용을 포함하는 적응적 교수활동을 개발하고, 교수활동 사전과 사후에 순위 선다형 문항(13개)으로 구성된 검사지를 투입하여 그 결과를 비교 분석하였다. 구인 타당도를 알아보기 위해 실험군 학생들을 대상으로 사전과 사후의 수준 변화를 분석한 결과, 약 64%에 해당하는 학생들이 적응적 교수활동에 의해 가설적으로 설정한 경로를 따라 발달하는 것으로 나타났으며, 사전/사후 검사 결과를 Rasch 모델로 적용한 분석 결과도 이를 뒷받침하였다. 결과 타당도를 알아보기 위해 실험군과 대조군의 사전검사를 공변량으로 한 공변량분석(ANCOVA)을 실시한 결과, 실험군 학생들의 수준 향상이 대조군 학생들의 경우에 비해 비해 통계적으로 유의미하게 높은 것으로 나타났으며(F=30.819, p=0.000), 실험군이 대조군보다 정적(+) 수준 변화 경향이 더 뚜렷하게 나타났다. 또한, Rasch 모델을 적용하여 결과 타당도를 검증한 결과, 실험군이 대조군보다 학생 능력치 상승이 더 높게 나타났으며, 이러한 차이는 통계적으로 유의미한 것으로 분석되었다(F=11.632, p=0.001).

• 한국과학교육학회지
• /
• 제34권8호
• /
• pp.703-718
• /
• 2014

이 연구에서는 지구, 지구 - 달 계, 태양계, 그리고 은하와 우주를 포함하는 천체의 구조와 운동을 종합한 천문 시스템(astronomical systems)의 학습 발달과정(learning progressions)을 조사하기 위하여, 순위 선다형 평가 문항을 개발하고 이를 초등/중학생들에게 적용한 검사 결과에 기반하여 학습 발달과정 해석의 타당성 검증의 근거를 제시하였다. 연구의 과정은 '구인특화, 평가문항 개발, 평가결과 기술, 측정 모델'로 이루어진 4 단계의 구인 모델링 방식(construct modeling approach)에 기반하여 진행되었다. 천문 시스템의 내용적 평가 구인으로 천체의 운동과 구조를 선정하였고, 탐구실행적 평가 구인으로 공간적 사고와 시스템 사고와 같은 천문학적 사고를 선정하였다. 이 연구에서 개발된 순위 선다형 평가 문항들은 천문 시스템에 대한 학습 발달과정을 조사하기 위한 검사 도구로서 적절하였다. 즉, item fit 분석 결과는 학생들의 문항 반응 결과가 Rasch 모델로 측정한 결과와 부합하였다. 그리고 Wright map 분석 결과는 이 연구의 평가 문항들이 천문시스템에 대한 학생들의 가설적 발달 경로를 조사하는데 매우 효과적임을 보여주었다. 학습 발달과정의 하위 정착점에서 학생들은 천체들의 위치와 운동 방향의 변화를 지구에서 보는 관점에서 2차원 평면으로 해석하는 공간적 사고 수준을 보였으며, 지구-달 계의 모델에서 천체의 위치와 변화를 부정확하게 연결하거나, 태양계 행성들과 은하수에 대한 단순한 패턴을 인식하는 시스템 사고 수준을 보였다. 학습발달과정의 중간 단계에서 학생들은 우주에서 내려다 본 지구 및 지구-달 계, 태양계의 모델을 근거로 천체의 운동을 해석하는 공간적 사고의 수준을 나타냈으며, 천체의 구조를 구성하는 요소들을 이 모델들과 연관시키는 시스템 사고를 보였다. 학습 발달과정의 상위 정착점에서 학생들은 우주에서 내려다 본 관점에서 형성된 천체의 운동 모델을 지구에서 바라 본 관점에서 얻은 자료와 서로 연관시키는 관점 전환의 공간적 사고를 지구의 운동, 지구-달 계의 운동, 태양계 행성의 운동, 은하와 우주의 운동에 적용할 수 있었다. 또한 상위 정착점에 도달한 학생들은 천문 시스템의 설명 모델을 구성하는 하위 요소들 간의 상호연관성을 파악하고 이를 설명 모델에 적용할 수 있는 시스템 사고를 나타냈다.

• 한국과학교육학회지
• /
• 제36권1호
• /
• pp.29-43
• /
• 2016

미국과 유럽의 여러 국가에서 과학의 학문 내 핵심 개념을 중심으로 과학 교육과정을 재구성하려는 노력이 시도되고 있으며 그 중 대표적인 변화가 학습발달과정을 이용한 교육과정을 설계하는 것이다. 학습발달과정은 과학의 핵심 개념과 과학적 활동과정을 논리적이며 단계적으로 정교하게 기술한 틀로서 학생이 학습하는 동안 연속적이며 체계적으로 확립되어 가는 이해의 과정을 설명한다. 미국의 차세대과학기준(NGSS)에서 제시한 생명과학 핵심 개념 중 하나인 생태계에 관하여 학습발달과정을 개발하고 개발된 학습발달과정을 평가하고자 하였다. 이를 위해 학습발달과정에 대한 문헌 연구를 통해 개발 절차를 Development, Assessment, Analysis, Amendment의 네 단계로 설정하고 순차적이며 반복적인 과정을 통해 생태계에 관한 학습발달과정을 개발하였다. 그리고 개발된 학습발달과정의 분석 결과 학습 발달과정에 기반을 둔 평가는 학생의 능력을 파악하는데 신뢰할 수 있는 정보를 제공한다는 결론을 도출하였다. 이를 통해 학습발달과정의 개발 과정에 효과적인 방법으로 핵심 성취기준을 이용한 Framework의 개발, OMC 문항 형식과 Rasch 모델을 이용한 평가와 분석 과정을 제안한다. 또한 경험적으로 검증된 학습발달과정을 이용하여 교육 내용, 교육 방법, 교육 평가가 연계된 교육과정 강화 방안을 제안한다. 국내 학습발달과정에 대한 연구가 부족한 시점에 이 연구를 통해 제안된 학습발달과정 개발 절차를 활용하여 학습발달과정의 개발에 수월성을 제공하고, 개발된 학습발달과정의 적용으로 교육과정의 표준과 방향을 제시할 수 있을 것이다.

• 영재교육연구
• /
• 제17권1호
• /
• pp.1-26
• /
• 2007

본 연구의 목적은 중학교 수학 영재를 수학 창의적 문제해결력 검사로 판별할 때, 유창성만을 기준으로 수학 창의적 문제해결력을 채점하는 방식의 신뢰도와 타당도를 검증하는데 있다. 이를 위해서 수학영역에서의 직관적 통찰능력, 정보의 조직화 능력, 추론능력, 일반화 및 적용능력, 추상화능력, 공간화/시각화 능력, 반성적 사고력을 요구하는 문항들로 구성된 검사를 개발했다. 고급한 수학적 사고력을 요구하며 정답이 하나인 폐쇄적인 수학문항 10개와 다양한 답이 가능한 개방적인 수학 문항 5개를 영재교육기관의 교육대상자 선발과정에 지원한 중학교 1학년 1,032명에게 실시했다. 교사들은 각 문제에 대해 타당한 답을 제시한 빈도로 유창성을 채점했다. 학생들의 반응을 Rasch의 1모수 문항반응모형을 기반으로 한 BIGSTEPS로 분석했다. 문항반응 분석결과, 유창성만으로 측정한 창의성을 기준으로 한 영재교육대상자 선발의 신뢰도, 타당도, 난이도, 변별도가 모두 양호한 것으로 나타났다. 특히 덜 정의되고, 덜 구조화되고, 신선한 문제일수록 영재교육대상자 선발과정에 지원한 학생들의 수학 창의적 문제해결력을 평가하는데 양호한 문제임이 확인되었다. 이 검사는 영재교육원 지원생들이 영재학급 지원생들보다 창의적 문제해결력에서 더 우수함을 확인해주었다. 이로써 유창성만을 기준으로 수학 창의적 문제해결력을 채점하는 방식이 효율적이며, 타당하고 신뢰로울 수 있음을 확인해 주었다.

• 한국지구과학회지
• /
• 제41권3호
• /
• pp.291-306
• /
• 2020

이 연구에서는 다층 서답형 문항을 이용하여 태양계 구조에 대한 학습 발달과정을 개발하고 그 타당성을 검증하고자 하였다. 이를 위해 Wilson(2005)이 제안한 구인 모델링 방식을 적용하여 '태양계 구성원', '태양계 행성의 크기와 거리의 경향성', '태양계 모델링'을 발달 변인(progress variables)으로 설정하고 각각에 대한 다층 서답형 문항을 개발하여 검사지로 구성하였다. 개발된 문항을 초등학교 5학년 150명을 대상으로 '태양계와 별' 단원 수업의 사전 및 사후에 적용하였다. 평가 결과를 기술하기 위해 각각의 평가 문항에 대한 학생 응답을 범주화 하는 과정을 거쳤으며, 이범주들을 구인별로 5개 수준으로 분류하였다. Rasch 모델의 부분점수 모형을 적용하여 작성된 Wright map을 분석함으로써 학생들의 응답 결과를 기반으로 작성된 학습 발달과정의 수준이 적절한지 검토하였다. 또한, 수업 전후 학생들의 수준 변화를 추적함으로써 학습 발달과정에서 설정한 가설적인 경로의 타당성을 검증하였다. 연구 결과는 다음과 같다: 다층 서답형 문항을 이용한 상향식 연구방법으로 초등학교에 적용할 수 있는 태양계 구조에 대한 경험적 학습 발달과정을 정교하게 설정할 수 있었다. 그리고 학습 발달과정의 구인 타당도가 높게 나타나며 학생들의 발달이 학습 발달과정을 따라 변화하는 것으로 나타났다.