• 한국수학교육학회지시리즈A:수학교육
• /
• 제47권4호
• /
• pp.487-503
• /
• 2008

In this paper, descriptive assessment method for middle school mathematics was evaluated by developing a framework for designing and grading problems for descriptive assessment and analyzing the effectiveness of the problems. The new descriptive assessment problems were developed by reviewing the current 7th National Mathematics Curriculum of Korea and aligned mathematics textbooks to define a set of problem design principles and evaluation framework for the assessment strategy. The developed problems were first pilot tested and then revised based on the feedback from the test. The final version was field tested by 100 students in 7th grade middle school. After the field test, the problems were graded by two middle school math teachers and one math education researcher to determine the overall correlation between graders and also to analyze effectiveness of the evaluation framework of the test. This result of this study is expected to assist in the further development of descriptive problems and grading framework by providing a reference work for teachers to better understand the process and the limitations of executing the new assessment strategy.

• Journal of the Korean Academy of Child and Adolescent Psychiatry
• /
• 제5권1호
• /
• pp.54-69
• /
• 1994

본 연구에서는 아동용 Luria-Nebraska 신경심리 검사(LNNB-C)에 대한 한국 표준화 연구의 일부로, 한국판 LNNB-C를 제작하고 각 척도별 신뢰도 및 뇌손상 진단을 위한 규준을 산출하였다. 한국판 LNNB-C를 제작하고 신뢰도 및 뇌손상 진단을 위한 척도별 T점수를 산출하기 위해, 규준 집단으로 서울과 춘천에 거주하는 8세에서 12세 범위의 정상 아동 147명(남아 74명, 여아 73명)이 본 연구에 참여하였고, 신뢰도 검증을 위해 포함된 임상 집단에는 뇌손상 아동이 19명, ADHD 아동이 16명, 그리고 소아정신과 장애 아동이 16명이었다. 한국판 LNNB-C의 채점자간 채점의 일치도는 96.3%로 매우 높은 펴이었고, 본 연구에서 산출된 각 척도들에 대한 신뢰도 계수 ${\alpha}$의 범위는 .91에서 .51로, 미국의 연구 결과와 유사한 내적 일치도를 보여주었다. 뇌손상 진단을 위한 규준을 산출하기 위하여, 정상 규준 집단의 척도별 원점수 평균과 표준편차를 사용하여 각 척도점수를 평균이 50이고 표준편차가 10인 T-점수로 전환하였다. 주어진 연령에서 정상으로 간주될 수 있는 연령별 평균 LNNB-C 척도점수를 예측하기 위해, 규전 집단의 LNNB-C 11개 임상 척도에 대한 평균 T점수를 산출한 후, 이렇게 산출된 평균 T점수와 연령을 종속 변인과 독립 변인으로 하여, 주어진 연령에서 기대되는 정상 아동의 평균 T점수(임계 수준)를 예측하는 직선 회귀 방정식을 산출하였다. 이때 11개의 임상 척도와 1개의 병리 척도중에서 임계 수준을 넘어서는 척도의 수가 3개 이상일 때 뇌손상을 시시하는 것으로 해석된다. 마지막으로, 한국판 LNNB-C 문항 제작상의 어려움과 LNNB-C 척도 수행상에서 한국 규준 집단과 미국 규준 집단의 아동들이 보인 문화적인 차이에 대해 논의하였다.

• 한국과학교육학회지
• /
• 제28권2호
• /
• pp.139-149
• /
• 2008

본 연구에서는 과학 영재 학생들의 과학적 문제발견 능력을 측정하기 위해 타당도와 신뢰도가 높은 검사 도구를 개발하였다. 먼저, 과학적 문제발견 능력에 대한 조작적 정의를 바탕으로 5개의 하위 평가 요소(적절성, 융통성, 독창성, 정교성, 가치 판단)를 선정하였으며 평가 기준을 구안하였다. 개발된 검사 도구는 내용 및 평가 기준에 대해 과학교육 전문가의 타당도 검증을 거친 후 과학 고등학교 학생들에게 투입되었으며, 채점 결과를 바탕으로 구인 타당도를 검증받았다. 또한 채점자간 신뢰도는 대체로 높게 나타났으며, 문항 난이도 와 변별도 역시 적절한 것으로 나타났다. 앞으로 과학적 문제발견 능력에 대한 합의된 정의를 도출해내어야 하며 평가의 객관성을 확보하기 위한 더 나은 방안을 강구해야 한다.

• 한국가정과교육학회지
• /
• 제23권3호
• /
• pp.69-90
• /
• 2011

본 연구는 중학교 기술 가정 교과 의생활 영역을 중심으로 타당도 신뢰도 높은 서술형 평가 문항을 개발하여, 이를 학생들에게 적용해보고, 평가 결과를 분석해보는 것에 목적을 두었다. 이를 위해 평가할 내용을 분석하고, 평가 문항을 설계 개발하여 평가를 실시한 후 그 결과를 분석하였다. 목표 이원분류표와 평가 영역 및 평가 목표 설정을 토대로 서술형 평가 문항 초안을 작성하였고, 채점 기준표와 예시답안을 함께 작성하였다. 전문가 검토와 예비 검사를 거쳐, 최종적으로 서술형 평가 문항 총 23개를 완성하였으며, 이를 중학교 2학년 2개 학급 총 65명을 대상으로 본 검사를 시행하고 분석하였다. 본 연구의 결과, 서술형 평가 문항의 타당도는 각 문항별로 비교적 높게 나타났다. 채점자간 신뢰도는 세 채점자간에 강한 상관관계가 있는 것으로 나타나 개발된 평가 문항은 타당하고 신뢰할 만한 문항이라고 할 수 있다. 반면, 개발된 서술형 평가 문항에 대한 학업 성취도는 전반적으로 낮았다. 즉, 알고 있는 지식을 자신의 언어로 표현해서 서술하는 것과 정확하고 구체적인 답안을 작성하는 것을 힘들어했다. 또한 서술형 평가에 대해 비교적 긍정적으로 인식하고 있었으나, 서술하는 것에 대한 어려움, 학습량의 증가 등이 학생들에게 서술형 평가를 부담스러워 하는 것으로 인식하였다. 따라서 서술형 평가 방식을 통한 학생들의 평가가 보다 효율적이고 변별력 있게 시행되기 위해서는 서술형 평가를 위한 별도의 학습이나 훈련이 반드시 필요하다고 볼 수 있다. 이를 위해 앞으로 학생들은 수업시간을 통해서 교과 내용과 관련된 교과서 이외의 다양한 자료를 접해보고, 주어진 문제의 해결 방법에 대해 자신의 생각을 정리해보며, 사고를 확장시키고, 이를 글로 서술하여 표현해보는 연습이 요구된다. 그러므로 서술형 평가가 학교 현장에서 공정하고 객관성 있게 시행되기 위해서는 타당도 신뢰도 높은 평가 문항의 개발이 더욱 활발히 이루어져야 하고, 평가 문항의 개발과 관련된 교사들의 자발적이고 적극적인 연수와 연찬을 제안해 본다.

• 한국수학교육학회지시리즈C:초등수학교육
• /
• 제16권3호
• /
• pp.229-250
• /
• 2013

본 연구의 목적은 최근 영재 선발을 위해서 도입된 관찰 추천 선발제도에서 교사 관찰 추천서의 활용도를 높이기 위하여 현재 영재 선발전형의 일환으로 제출되는 교사 관찰 추천서를 분석하고 적절한 평가 모형을 개발하여 교사 관찰 추천서의 객관성 확보 방안을 마련하는 것이다. 연구 대상은 2012년 D광역시 소재 D대학부설 영재교육원 선발의 1차 전형에 통과한 초등수학영재 60명에 대한 교사 관찰 추천서이다. 연구 결과 교사 관찰 추천서에 나타난 수학 영재행동특성으로 구체적인 사례보다는 피상적인 진술을 하는 경향이 많았으며, 연구자가 고안한 교사 관찰 추천서의 분석 틀에 따라 빈도분석을 한 결과 특정 문항에 집중되는 경향을 보였다. 이는 관찰하고 서술하기 용이한 부분이 있는 반면 그렇지 못한 부분이 있거나 영재의 특성으로 판단하지 않았다는 것을 보여준다. 따라서 관찰 추천을 하기에 앞서 학생의 영재행동특성을 서술할 수 있는 좀 더 세분화된 교사 관찰 추천서 양식의 개발 및 영재의 관찰 추천과 관련된 교사연수가 체계적으로 이루어져야 한다는 것을 보여준다. 또한 교사 관찰 추천서에 나타난 영재행동특성에 대해서 Rubric 모형을 적용하여 점수화한 값을 기반으로 한 채점자간의 신뢰도는 1차 채점 시에는 상관계수가 .641이었고, 채점 과정에 대한 협의를 거친 후 3주 후에 실시한 2차 채점 시에는 .732로 다소 상승하였다. 이는 1차 채점 이후에 협의과정을 거치면서 채점자간의 엄격성을 조정하였으며, 서술형이기에 나타날 수 있는 다양한 상황에서의 세부적인 판단 기준을 세우고, 새롭게 나타난 상황에 대한 점수 부여의 합의점을 찾았기 때문이라고 볼 수 있다. 즉, 초등수학영재 판별을 위해서는 적절한 모형의 개발만큼이나 평가 모형에 대한 채점자들의 엄밀한 이해와 적용이 필요하다는 것을 시사한다.

• 대한화학회지
• /
• 제45권4호
• /
• pp.370-376
• /
• 2001

본 연구에서는 서술형 검사를 이용하여 고등학생의 문제 해결 전략 수행 능력을 측정하고, 논리적 사고력과 전략 수행 능력 사이의 관계를 조사하였다. 서울시에 소재한 두 고등학교에서 4학급(N=187)을 선정한 후, 전략 수행 능력 검사와 논리적 사고력 검사를 실시하였다. 전략 수행 능력의 채점틀은 7개 하위 범주-문제의 조건 파악, 관련 법칙 회상, 하위 목표 설정, 물리량 유도, 수리적 수행, 논리적 전개, 검토-로 구성하였다. 채점에 대한 신뢰도는 분석자간 일치도 .92로 확인하였다. 연구 결과, 학생들의 조건 파악 능력과 수리적 수행 능력은 비교적 높으나, 하위 목표 설정 능력과 검토 능력은 저조한 것으로 조사되었다. 전략 수행 능력 검사의 전체 점수 및 하위 범주별 점수는 논리적 사고력과 유의미한 상관을 나타내었다.

• 대한지역사회작업치료학회지
• /
• 제10권2호
• /
• pp.63-72
• /
• 2020

목적 : 본 연구는 운동발달을 평가하고, 발달성협응장애를 판별할 수 있는 운동성 평가도구인 Movement Assessment Battery for Children-2(MABC-2)을 활용하기 위해 6시간의 교육과정을 통하여 작업치료사의 평가역량이 향상될 수 있는지를 규명하고자 하였다. 연구방법 : 본 연구에 MABC-2를 임상에서 사용하길 희망하는 작업치료사 33인이 참여하였다. MABC-2 전문가 2인이 교육 참여자들에게 6시간의 교육을 실시하였다. 이론 강의(2시간)는 MABC-2 소개와 운동평가도구의 연구동향, 실습강의(4시간)는 MABC-2 평가항목 소개, 녹화된 평가 장면 관찰, 도구를 사용하여 직접 평가실습을 경험한 후 준비된 사례영상을 보고 채점과 결과분석을 실시하였다. 교육의 효과를 검증하기 위해 모든 교육과정을 마친 후 MABC-2의 전문가 1인과 교육에 참여한 작업치료사 33명이 동시에 평가동영상 샘플을 보면서 평가지에 원점수를 기록하였다. 이중 운동성 평가도구의 경험이 없는 23인의 자료를 활용해 평가자간 신뢰도를 산출하여 교육의 효과성을 검증하였다. 결과 : 본 연구에 참여한 작업치료사는 평균 5년 3개월의 경력을 지닌 30세 이상의 여성으로 약 70%의 교육생은 MABC-2 외에 국내에서 사용 중인 운동성 평가도구를 임상에 적용해 본 경험이 없었다. MABC-2 전문가가 제공한 교육을 받은 작업치료사들과 전문가 간의 ICC 결과는 .95이상으로 높은 평가자간 신뢰도가 확보되었다(p<.001). 결론 : 이론과 실습으로 구성된 6시간의 교육과정에 참여한 작업치료사의 평가자간 신뢰도가 .95이상으로 나타났으며, 운동기술 평가도구를 적절하게 활용할 수 있는 평가역량이 향상되었다. 이를 통하여 MABC-2에 관한 특정한 교육을 제공할 경우 작업치료사가 새로운 평가도구를 적절하게 활용할 수 있으며, 이를 통해 평가와 관련한 직무능력을 향상시킬 수 있을 것으로 판단된다.

• 한국지구과학회지
• /
• 제24권3호
• /
• pp.150-159
• /
• 2003

본 연구에서는 지구과학 지식과 창의력을 동시에 적용해야 해결할 수 있는 지구과학 창의력을 평가할 수 있는 문항의 개발 방법을 제시하고자 하였다. R&D과정을 거친 본 연구의 결과는 첫째, 조작적 정의를 통해 창의력과 과학창의력간의 인지능력 차이를 명료화하였고 둘째, 과학창의력을 구성하는 하위 요소들 중에서 문항 개발이 가능하다고 판단된 유창성, 융통성, 정교성, 독창성을 선정하여 각각에 대한 조작적 정의를 내린 후 각 요소들에 대한 평가와 채점의 준거를 제시하였다. 셋째, 평가도구의 구비 조건인 타당도, 신뢰도, 변별도, 난이도를 검증하기 위하여 3번의 현장검증을 실시하였으며, 본 연구에서 개발한 지구과학창의력 평가도구는 각 하위 요소별로 2문항씩 총 8문항으로 구성되어 있다. 넷째, 문항합치도 지수 평균은 .99, 문항 내적 합치도 지수인 Cronbach ${\alpha}$값은 .79, 각 문항별 평가자간 신뢰도는 0.78,각 하위 요소별 평가자간 신뢰도는 0.75, 변별도 지수인 점이연상관 지수는 .19, 문항 난이도 지수는 .00이었다. 이와 같이 평가도구의 구비조건들이 허용 범위 내에 있는 것으로 볼 때 본 연구에서 개발한 지구과학 창의력 평가도구는 유용한 것으로 판단할 수 있다.

• 한국심리학회지 : 문화 및 사회문제
• /
• 제22권3호
• /
• pp.455-485
• /
• 2016

이 연구의 주된 목적은 가족형태별로 중년 성인의 노부모 부양인식과 관련 변인에서의 차이를 분석하는데 있다. 분석대상은 평균 45세의 중년 성인 1,258명(남 601, 여 657; 핵가족 1,111, 대가족 147)이었다. 측정도구의 양적 문항 신뢰도는 Cronbach α=.67~.95이었고, 질적문항의 채점자간 신뢰도는 95.1%, Kappa 계수는 .95이었다. 분석 결과, 첫째, 가족형태별로 학력에 차이가 있었으나, 가정경제수준, 직업, 사회계층, 맞벌이 여부에서는 차이가 없었다. 둘째, 가족형태별로 가족관계와 심리특성에서 유의한 차이가 있었다. 핵가족보다 대가족 중년 성인이 자녀에게 정서적 지원과 자녀를 위한 희생 및 은퇴 후 자녀에 대한 기대를 더 많이 하였다. 또한 대가족 중년 성인이 자기효능감 및 행복 수준이 높았다. 셋째, 가족형태별로 노부모 부양행동에서 유의한 차이가 있었다. 대가족 중년 성인이 부모님께 드리는 용돈, 부모님과 식사 횟수, 대화시간, 효도 마음, 노부모 부양행동이 더 많았다. 넷째, 가족형태별로 노부모 부양인식을 살펴본 결과, 핵가족과 대가족 중년 성인 모두, 노부모 부양의 좋은 방법으로 마음 편하게 해 드림을, 노부모 부양할 때 어렵고 힘든 점으로 의견차이 및 경제적 문제를, 노부모 부양할 때 가장 좋은 점으로 자녀교육에 도움이 됨 및 가정화목을 지적하였다. 이러한 결과에 토대하여 후속 연구를 위한 시사점이 논의되었다.

• 한국심리학회지 : 문화 및 사회문제
• /
• 제23권2호
• /
• pp.295-332
• /
• 2017

이 연구는 자기효능감 수준별 성인의 스트레스, 사회적 지원과 대처의 차이를 규명하는데 주된 목적이 있다. 분석대상은 초, 중, 고등학생 자녀를 둔 성인 899명(남 399, 여: 500)이었다. 자유반응문항에 대한 채점자간 신뢰도는 93.4%, Kappa 계수는 .920이었으며, 양적 측정변인의 신뢰도는 α=.87~.92이었다. 분석결과, 첫째, 성인의 스트레스 생활사건으로 경제적 어려움이 가장 대표적이고 그 다음으로 자녀 양육, 직장 업무 등이 포함되었는데, 자기효능감 하집단이 상집단보다 경제적 어려움을 많이 지적하였다. 자기효능감 수준별 스트레스 증상에서 유의한 차이가 있었는데, 자기효능감 하집단이 상집단보다 스트레스 증상이 강하였다. 둘째, 스트레스 상황에서 사회적 지원 제공자는 가족이 가장 대표적이었고, 이외에 자기자신, 친구 등의 순서로 포함되었는데, 자기효능감 상집단은 가족의 지원을 가장 많이 받는 반면에, 하집단은 사회적 지원 없이 자기자신이 해결하는 경우가 가장 많았다. 자기효능감 수준별 인간관계에서 유의한 차이가 있었는데, 자기효능감 상집단이 하집단보다 부모자녀관계와 부부관계 및 직장상사관계에서 갈등이 적었다. 셋째, 스트레스 상황에서 사회적 지원 유형으로는 정서적 지원이 가장 대표적이었으며, 그 다음으로 도움 없음, 조언 등이 포함되었는데, 자기효능감하집단은 상집단보다 도움없음이, 상집단은 하집단보다 조언의 비율이 상대적으로 높았다. 자기효능감 수준별 정서적 지원에서 유의한 차이가 있었는데, 자기효능감 상집단이 하집단보다 배우자나 직장상사로부터 정서적 지원을 많이 받았다. 넷째, 스트레스 상황에서 대처방법으로 자기조절, 직접적 문제 해결, 없음 등이 부각되었는데, 자기효능감 상집단은 직접적 문제 해결이, 하집단은 대처방법 없음이 가장 많았다. 자기효능감 수준별 스트레스 대처에서 유의한 차이가 있었는데, 자기효능감 상집단이 하집단보다 스트레스 대처를 더 잘 하였다.