• 대한지리학회지
• /
• 제49권4호
• /
• pp.615-632
• /
• 2014

본 연구는 서답형 문항의 채점에서 평가의 객관성, 타당성, 신뢰성을 보장하기 위해 가장 중요한 주제의 하나인 블러핑 문제를 탐구한 것이다. 먼저 연구자는 블러핑의 개념과 주요 유형을 선행 연구를 바탕으로 이론적 수준에서 정리하였다. 다음으로, 한국지리 교과의 주요 용어를 사례로 학습자의 블러핑 전략과 유형을 실증적으로 분석해 보았다. 기존의 연구 보고와 비교할 때, 본 연구에서 밝혀진 전체 학생들의 평균적 블러핑율은 상당히 낮은 것으로 나타났다. 그러나, 남녀 학생의 블러핑율이 유사하다는 점, 최고 성적 집단의 블러핑율이 가장 낮았다는 점은 기존의 연구 보고와 유사하였다. 블러핑의 실제 유형은 크게 '발문의 반복 서술형', '기존 지식 편중형', '추상적 개념 활용형', '채점자 공감 유도형'의 네 가지로 구분되었다. 분석 결과를 토대로 보다 타당성과 신뢰성이 있는 서답형 문항 채점을 위해 몇 가지 시사점 및 과제를 다음과 같이 제안하였다. 첫째, 블러핑과 학생들의 성별 및 학령, 학습 성적 및 지적 수준, 학습자의 학습 스타일 등과의 관계에 대해 지속적인 연구가 필요하다. 둘째, 블러핑 유형과 사례 분석 내용이 포함된 서답형 문항 채점 매뉴얼 개발 보급 및 채점 관련 연수가 확대되어야 한다. 셋째, 일반적인 블러핑 유형 외에 지리 영역의 특수한 블러핑 유형을 탐구하는 실증적인 후속 연구가 요구된다.

• 대한치과의사협회지
• /
• 제58권5호
• /
• pp.284-291
• /
• 2020

This study analyzed the change in the rater reliability based on the student's practice evaluation process conducted at Yonsei University College of Dentistry. Through this, we suggest the significance of the rater calibration training in the student's practical evaluation of dental college. Nine professors from the department of Conservative Dentistry, Yonsei University College of Dentistry, analyzed the results of class II restoration cases twice in 2017 and once in 2018. Intra Class Correlation (ICC) which is a statistic used to determine the consistency of raters with three or more scores, was also calculated. ICC values increased as raters participated in rater calibration meetings and grading experiences. This shows that the rater reliability is related to the grading experience and feedback from calibration meeting. Based on the results of previous studies that grading experiences and rater calibration training can cause a meaningful change in rater behavior, we propose to conduct rater calibration training to ensure the evaluator reliability.

• 인지과학
• /
• 제27권2호
• /
• pp.221-245
• /
• 2016

동료평가 (peer assessment)란 통상 교수자가 주관하는 평가를 학생들로 하여금 서로에 대해 하도록 하는 활동을 가리킨다. 동료평가는 고등교육에서 글쓰기를 훈련시키기 위한 도구 혹은 배운 지식을 적용하거나 확장하는 학습 활동을 위한 도구로 사용된다. Park(2016)은 최근 동료평가를 예습 활동의 한 부분으로 확장하는 방안을 제안하였다. 학생들은 매주의 수업에 앞서 스스로 공부하고, 공부한 내용을 바탕으로 하여 대답할 수 있는 질문에 대해 한 페이지 글을 쓰고 다른 학생들의 글을 평가하였다. 본 연구에서는, 이 시스템을 S 대학의 학부수업에 두 학기에 걸쳐 적용한 결과가 분석되었다. 학생들 간의 채점 신뢰도와, 학생들의 채점 결과와 교수자에 의한 최종 보고서 평가 간의 상관이 분석되었다. 매주의 동료평가에서 학생들이 부여한 점수간의 신뢰도는 그리 높지 않았지만, 이들이 누적된 점수와 교수가 평가한 기말 보고서 점수간의 상관은 두 수업 모두에서 유의미하게 높았다. 논의에서는 이 결과를 바탕으로 대학에서 예습을 위한 동료평가의 결과를 성적에 반영하는 방안의 확장 가능성이 다루어졌다.

• 한국가정과교육학회지
• /
• 제21권1호
• /
• pp.35-49
• /
• 2009

본 연구의 목적은 제7차 교육과정 중학교 3학년과 2007 개정 교육과정 중학교 주생활 관련 단원의 수행평가를 위해 학습자 참여 분석적 루브릭 개발 수업이 학습동기에 미치는 영향을 살펴보는데 있다. 루브릭 개발 수업은 개별 수행과제로 연구보고서법을 활용하여 '내가 살고 싶은 집'의 루브릭을 개발하는 것으로, 루브릭을 개발하는 과정은 정의, 개발, 평가 단계를 거쳐 이루어졌다. 루브릭 개발 수업이 학습동기에 미치는 영향을 살펴보기 위해 중학교 3학년 한 학급씩 실험집단과 통제집단으로 선정하여 독립변인은 루브릭 제시방식으로 종속변인은 학습동기로 하여 총 2차시에 걸쳐 실험이 이루어졌고 사잔 사후 동기검사를 실시하였다. '내가 살고 싶은 집'의 루브릭은 '주거공간의 기본 조건에 대한 개념의 정확성', '적용방법의 적합성', '보고서 제출 마감일 준수'의 3가지 평가항목에 따라 채점기준이 A, B, C 또는 A, B, C, D 척도로 채점기준을 기술하였다. 채점자 간 신뢰도는 모두 높게 나타났다. 루브릭의 개발수업이 학습동기에 미치는 영향을 살펴본 결과 주의집중과 관련성에는 영향을 주지 않았으나 자신감과 만족감에는 긍정적인 영향을 주었다. 개방형 질문의 내용분석 결과에서도 루브릭 개발 수업이 학생의 자신감과 만족감에 긍정적 영향을 미쳤다는 것을 알 수 있었다.

• 한국수학교육학회지시리즈C:초등수학교육
• /
• 제16권3호
• /
• pp.229-250
• /
• 2013

본 연구의 목적은 최근 영재 선발을 위해서 도입된 관찰 추천 선발제도에서 교사 관찰 추천서의 활용도를 높이기 위하여 현재 영재 선발전형의 일환으로 제출되는 교사 관찰 추천서를 분석하고 적절한 평가 모형을 개발하여 교사 관찰 추천서의 객관성 확보 방안을 마련하는 것이다. 연구 대상은 2012년 D광역시 소재 D대학부설 영재교육원 선발의 1차 전형에 통과한 초등수학영재 60명에 대한 교사 관찰 추천서이다. 연구 결과 교사 관찰 추천서에 나타난 수학 영재행동특성으로 구체적인 사례보다는 피상적인 진술을 하는 경향이 많았으며, 연구자가 고안한 교사 관찰 추천서의 분석 틀에 따라 빈도분석을 한 결과 특정 문항에 집중되는 경향을 보였다. 이는 관찰하고 서술하기 용이한 부분이 있는 반면 그렇지 못한 부분이 있거나 영재의 특성으로 판단하지 않았다는 것을 보여준다. 따라서 관찰 추천을 하기에 앞서 학생의 영재행동특성을 서술할 수 있는 좀 더 세분화된 교사 관찰 추천서 양식의 개발 및 영재의 관찰 추천과 관련된 교사연수가 체계적으로 이루어져야 한다는 것을 보여준다. 또한 교사 관찰 추천서에 나타난 영재행동특성에 대해서 Rubric 모형을 적용하여 점수화한 값을 기반으로 한 채점자간의 신뢰도는 1차 채점 시에는 상관계수가 .641이었고, 채점 과정에 대한 협의를 거친 후 3주 후에 실시한 2차 채점 시에는 .732로 다소 상승하였다. 이는 1차 채점 이후에 협의과정을 거치면서 채점자간의 엄격성을 조정하였으며, 서술형이기에 나타날 수 있는 다양한 상황에서의 세부적인 판단 기준을 세우고, 새롭게 나타난 상황에 대한 점수 부여의 합의점을 찾았기 때문이라고 볼 수 있다. 즉, 초등수학영재 판별을 위해서는 적절한 모형의 개발만큼이나 평가 모형에 대한 채점자들의 엄밀한 이해와 적용이 필요하다는 것을 시사한다.

• 기술혁신학회지
• /
• 제12권3호
• /
• pp.614-637
• /
• 2009

국가연구개발사업의 투자효율성을 높이기 위해서는 무엇보다도 평가시스템이 잘 갖춰져야 한다. 왜냐하면 혹시라도 특정 평가자에 의해 평가결과가 왜곡 된다면 정부가 바라는 최적의 연구팀을 선정하지 못할 것이고, 이로 인해 바람직한 연구성과를 기대하기 어려울 것이기 때문이다. 현행 국가연구개발사업 평가과정에서는 특정 평가자의 편견(특이치)을 차단하기 위해 대부분 최고/최저점 제외방식을 사용하고 있다. 그러나 우리가 관례적으로 사용하고 있는 이 방식에 한계가 있을 수 있다. 따라서 본 연구에서는 실증분석을 통해 이 방식이 갖고 있는 한계에 대한 문제점을 도출하고, 이를 보완할 수 있는 현실적 대안을 제시함으로써 국가연구개발사업 평가제도의 신뢰성 제고 방안을 모색하였다. 이러한 결과들은 피 평가자들의 평가결과에 대한 수용도 제고 및 국가연구개발사업 효율성 증진에 기여할 수 있을 것이다. 또한 순위결정의 방법론 측면에서 다양한 분야에 도움을 줄 것으로 기대된다.

• 한국심리학회지 : 문화 및 사회문제
• /
• 제22권4호
• /
• pp.487-522
• /
• 2016

이 연구의 주된 목적은 한국 청소년의 스트레스 경험에 관련된 지각을 살펴보고, 스트레스 상황에서의 사회적 지원을 분석하는데 있다. 이를 위해 학교급별로 스트레스 생활사건과 증상, 사회적 지원 제공자와 유형을 살펴보았다. 분석대상은 청소년 952명(초 219, 중 280, 고 212, 대 241)이었다. 스트레스 증상의 신뢰도는 Cronbach α계수 .88, 질적 분석에 대한 채점자 간 신뢰도는 89.6%, Kappa계수가 .87이었다. 분석결과는 다음과 같다. 첫째, 청소년의 가장 대표적인 스트레스 생활사건은 학업이었으며, 그 다음으로 진로/취업, 가족관계, 친구관계, 역량부족, 경제적 어려움의 순서로 나타났다. 학업 스트레스는 고등학생이, 진로/취업 스트레스는 대학생이 가장 높았다. 둘째, 청소년의 스트레스 증상은 학교급별로 차이가 있었는데, 고등학생이 가장 높고 초등학생이 가장 낮았다. 셋째, 사회적 지원 제공자로 친구가 가장 대표적이었으며, 그 다음으로 자기자신, 부모, 교사, 형제자매, 선후배의 순서로 나타났다. 초등학생에서 대학생으로 됨에 따라 친구 및 선후배의 지원이 증가했으나, 부모의 지원은 감소했다. 넷째, 사회적 지원 유형으로 정서적 지원이 가장 대표적이었고, 그 다음으로 없음, 조언, 직접적 문제해결, 대화의 순서였다. 모든 학교급별에서 정서적 지원을 가장 많이 받았으며, 초등학생에서 대학생으로 됨에 따라 조언은 증가했고, 직접적 문제해결은 감소했다.

• 대한지역사회작업치료학회지
• /
• 제10권2호
• /
• pp.63-72
• /
• 2020

목적 : 본 연구는 운동발달을 평가하고, 발달성협응장애를 판별할 수 있는 운동성 평가도구인 Movement Assessment Battery for Children-2(MABC-2)을 활용하기 위해 6시간의 교육과정을 통하여 작업치료사의 평가역량이 향상될 수 있는지를 규명하고자 하였다. 연구방법 : 본 연구에 MABC-2를 임상에서 사용하길 희망하는 작업치료사 33인이 참여하였다. MABC-2 전문가 2인이 교육 참여자들에게 6시간의 교육을 실시하였다. 이론 강의(2시간)는 MABC-2 소개와 운동평가도구의 연구동향, 실습강의(4시간)는 MABC-2 평가항목 소개, 녹화된 평가 장면 관찰, 도구를 사용하여 직접 평가실습을 경험한 후 준비된 사례영상을 보고 채점과 결과분석을 실시하였다. 교육의 효과를 검증하기 위해 모든 교육과정을 마친 후 MABC-2의 전문가 1인과 교육에 참여한 작업치료사 33명이 동시에 평가동영상 샘플을 보면서 평가지에 원점수를 기록하였다. 이중 운동성 평가도구의 경험이 없는 23인의 자료를 활용해 평가자간 신뢰도를 산출하여 교육의 효과성을 검증하였다. 결과 : 본 연구에 참여한 작업치료사는 평균 5년 3개월의 경력을 지닌 30세 이상의 여성으로 약 70%의 교육생은 MABC-2 외에 국내에서 사용 중인 운동성 평가도구를 임상에 적용해 본 경험이 없었다. MABC-2 전문가가 제공한 교육을 받은 작업치료사들과 전문가 간의 ICC 결과는 .95이상으로 높은 평가자간 신뢰도가 확보되었다(p<.001). 결론 : 이론과 실습으로 구성된 6시간의 교육과정에 참여한 작업치료사의 평가자간 신뢰도가 .95이상으로 나타났으며, 운동기술 평가도구를 적절하게 활용할 수 있는 평가역량이 향상되었다. 이를 통하여 MABC-2에 관한 특정한 교육을 제공할 경우 작업치료사가 새로운 평가도구를 적절하게 활용할 수 있으며, 이를 통해 평가와 관련한 직무능력을 향상시킬 수 있을 것으로 판단된다.

• 한국심리학회지 : 문화 및 사회문제
• /
• 제23권2호
• /
• pp.295-332
• /
• 2017

이 연구는 자기효능감 수준별 성인의 스트레스, 사회적 지원과 대처의 차이를 규명하는데 주된 목적이 있다. 분석대상은 초, 중, 고등학생 자녀를 둔 성인 899명(남 399, 여: 500)이었다. 자유반응문항에 대한 채점자간 신뢰도는 93.4%, Kappa 계수는 .920이었으며, 양적 측정변인의 신뢰도는 α=.87~.92이었다. 분석결과, 첫째, 성인의 스트레스 생활사건으로 경제적 어려움이 가장 대표적이고 그 다음으로 자녀 양육, 직장 업무 등이 포함되었는데, 자기효능감 하집단이 상집단보다 경제적 어려움을 많이 지적하였다. 자기효능감 수준별 스트레스 증상에서 유의한 차이가 있었는데, 자기효능감 하집단이 상집단보다 스트레스 증상이 강하였다. 둘째, 스트레스 상황에서 사회적 지원 제공자는 가족이 가장 대표적이었고, 이외에 자기자신, 친구 등의 순서로 포함되었는데, 자기효능감 상집단은 가족의 지원을 가장 많이 받는 반면에, 하집단은 사회적 지원 없이 자기자신이 해결하는 경우가 가장 많았다. 자기효능감 수준별 인간관계에서 유의한 차이가 있었는데, 자기효능감 상집단이 하집단보다 부모자녀관계와 부부관계 및 직장상사관계에서 갈등이 적었다. 셋째, 스트레스 상황에서 사회적 지원 유형으로는 정서적 지원이 가장 대표적이었으며, 그 다음으로 도움 없음, 조언 등이 포함되었는데, 자기효능감하집단은 상집단보다 도움없음이, 상집단은 하집단보다 조언의 비율이 상대적으로 높았다. 자기효능감 수준별 정서적 지원에서 유의한 차이가 있었는데, 자기효능감 상집단이 하집단보다 배우자나 직장상사로부터 정서적 지원을 많이 받았다. 넷째, 스트레스 상황에서 대처방법으로 자기조절, 직접적 문제 해결, 없음 등이 부각되었는데, 자기효능감 상집단은 직접적 문제 해결이, 하집단은 대처방법 없음이 가장 많았다. 자기효능감 수준별 스트레스 대처에서 유의한 차이가 있었는데, 자기효능감 상집단이 하집단보다 스트레스 대처를 더 잘 하였다.