본 연구는 서답형 문항의 채점에서 평가의 객관성, 타당성, 신뢰성을 보장하기 위해 가장 중요한 주제의 하나인 블러핑 문제를 탐구한 것이다. 먼저 연구자는 블러핑의 개념과 주요 유형을 선행 연구를 바탕으로 이론적 수준에서 정리하였다. 다음으로, 한국지리 교과의 주요 용어를 사례로 학습자의 블러핑 전략과 유형을 실증적으로 분석해 보았다. 기존의 연구 보고와 비교할 때, 본 연구에서 밝혀진 전체 학생들의 평균적 블러핑율은 상당히 낮은 것으로 나타났다. 그러나, 남녀 학생의 블러핑율이 유사하다는 점, 최고 성적 집단의 블러핑율이 가장 낮았다는 점은 기존의 연구 보고와 유사하였다. 블러핑의 실제 유형은 크게 '발문의 반복 서술형', '기존 지식 편중형', '추상적 개념 활용형', '채점자 공감 유도형'의 네 가지로 구분되었다. 분석 결과를 토대로 보다 타당성과 신뢰성이 있는 서답형 문항 채점을 위해 몇 가지 시사점 및 과제를 다음과 같이 제안하였다. 첫째, 블러핑과 학생들의 성별 및 학령, 학습 성적 및 지적 수준, 학습자의 학습 스타일 등과의 관계에 대해 지속적인 연구가 필요하다. 둘째, 블러핑 유형과 사례 분석 내용이 포함된 서답형 문항 채점 매뉴얼 개발 보급 및 채점 관련 연수가 확대되어야 한다. 셋째, 일반적인 블러핑 유형 외에 지리 영역의 특수한 블러핑 유형을 탐구하는 실증적인 후속 연구가 요구된다.
This study analyzed the change in the rater reliability based on the student's practice evaluation process conducted at Yonsei University College of Dentistry. Through this, we suggest the significance of the rater calibration training in the student's practical evaluation of dental college. Nine professors from the department of Conservative Dentistry, Yonsei University College of Dentistry, analyzed the results of class II restoration cases twice in 2017 and once in 2018. Intra Class Correlation (ICC) which is a statistic used to determine the consistency of raters with three or more scores, was also calculated. ICC values increased as raters participated in rater calibration meetings and grading experiences. This shows that the rater reliability is related to the grading experience and feedback from calibration meeting. Based on the results of previous studies that grading experiences and rater calibration training can cause a meaningful change in rater behavior, we propose to conduct rater calibration training to ensure the evaluator reliability.
동료평가 (peer assessment)란 통상 교수자가 주관하는 평가를 학생들로 하여금 서로에 대해 하도록 하는 활동을 가리킨다. 동료평가는 고등교육에서 글쓰기를 훈련시키기 위한 도구 혹은 배운 지식을 적용하거나 확장하는 학습 활동을 위한 도구로 사용된다. Park(2016)은 최근 동료평가를 예습 활동의 한 부분으로 확장하는 방안을 제안하였다. 학생들은 매주의 수업에 앞서 스스로 공부하고, 공부한 내용을 바탕으로 하여 대답할 수 있는 질문에 대해 한 페이지 글을 쓰고 다른 학생들의 글을 평가하였다. 본 연구에서는, 이 시스템을 S 대학의 학부수업에 두 학기에 걸쳐 적용한 결과가 분석되었다. 학생들 간의 채점 신뢰도와, 학생들의 채점 결과와 교수자에 의한 최종 보고서 평가 간의 상관이 분석되었다. 매주의 동료평가에서 학생들이 부여한 점수간의 신뢰도는 그리 높지 않았지만, 이들이 누적된 점수와 교수가 평가한 기말 보고서 점수간의 상관은 두 수업 모두에서 유의미하게 높았다. 논의에서는 이 결과를 바탕으로 대학에서 예습을 위한 동료평가의 결과를 성적에 반영하는 방안의 확장 가능성이 다루어졌다.
본 연구의 목적은 제7차 교육과정 중학교 3학년과 2007 개정 교육과정 중학교 주생활 관련 단원의 수행평가를 위해 학습자 참여 분석적 루브릭 개발 수업이 학습동기에 미치는 영향을 살펴보는데 있다. 루브릭 개발 수업은 개별 수행과제로 연구보고서법을 활용하여 '내가 살고 싶은 집'의 루브릭을 개발하는 것으로, 루브릭을 개발하는 과정은 정의, 개발, 평가 단계를 거쳐 이루어졌다. 루브릭 개발 수업이 학습동기에 미치는 영향을 살펴보기 위해 중학교 3학년 한 학급씩 실험집단과 통제집단으로 선정하여 독립변인은 루브릭 제시방식으로 종속변인은 학습동기로 하여 총 2차시에 걸쳐 실험이 이루어졌고 사잔 사후 동기검사를 실시하였다. '내가 살고 싶은 집'의 루브릭은 '주거공간의 기본 조건에 대한 개념의 정확성', '적용방법의 적합성', '보고서 제출 마감일 준수'의 3가지 평가항목에 따라 채점기준이 A, B, C 또는 A, B, C, D 척도로 채점기준을 기술하였다. 채점자 간 신뢰도는 모두 높게 나타났다. 루브릭의 개발수업이 학습동기에 미치는 영향을 살펴본 결과 주의집중과 관련성에는 영향을 주지 않았으나 자신감과 만족감에는 긍정적인 영향을 주었다. 개방형 질문의 내용분석 결과에서도 루브릭 개발 수업이 학생의 자신감과 만족감에 긍정적 영향을 미쳤다는 것을 알 수 있었다.
본 연구의 목적은 최근 영재 선발을 위해서 도입된 관찰 추천 선발제도에서 교사 관찰 추천서의 활용도를 높이기 위하여 현재 영재 선발전형의 일환으로 제출되는 교사 관찰 추천서를 분석하고 적절한 평가 모형을 개발하여 교사 관찰 추천서의 객관성 확보 방안을 마련하는 것이다. 연구 대상은 2012년 D광역시 소재 D대학부설 영재교육원 선발의 1차 전형에 통과한 초등수학영재 60명에 대한 교사 관찰 추천서이다. 연구 결과 교사 관찰 추천서에 나타난 수학 영재행동특성으로 구체적인 사례보다는 피상적인 진술을 하는 경향이 많았으며, 연구자가 고안한 교사 관찰 추천서의 분석 틀에 따라 빈도분석을 한 결과 특정 문항에 집중되는 경향을 보였다. 이는 관찰하고 서술하기 용이한 부분이 있는 반면 그렇지 못한 부분이 있거나 영재의 특성으로 판단하지 않았다는 것을 보여준다. 따라서 관찰 추천을 하기에 앞서 학생의 영재행동특성을 서술할 수 있는 좀 더 세분화된 교사 관찰 추천서 양식의 개발 및 영재의 관찰 추천과 관련된 교사연수가 체계적으로 이루어져야 한다는 것을 보여준다. 또한 교사 관찰 추천서에 나타난 영재행동특성에 대해서 Rubric 모형을 적용하여 점수화한 값을 기반으로 한 채점자간의 신뢰도는 1차 채점 시에는 상관계수가 .641이었고, 채점 과정에 대한 협의를 거친 후 3주 후에 실시한 2차 채점 시에는 .732로 다소 상승하였다. 이는 1차 채점 이후에 협의과정을 거치면서 채점자간의 엄격성을 조정하였으며, 서술형이기에 나타날 수 있는 다양한 상황에서의 세부적인 판단 기준을 세우고, 새롭게 나타난 상황에 대한 점수 부여의 합의점을 찾았기 때문이라고 볼 수 있다. 즉, 초등수학영재 판별을 위해서는 적절한 모형의 개발만큼이나 평가 모형에 대한 채점자들의 엄밀한 이해와 적용이 필요하다는 것을 시사한다.
국가연구개발사업의 투자효율성을 높이기 위해서는 무엇보다도 평가시스템이 잘 갖춰져야 한다. 왜냐하면 혹시라도 특정 평가자에 의해 평가결과가 왜곡 된다면 정부가 바라는 최적의 연구팀을 선정하지 못할 것이고, 이로 인해 바람직한 연구성과를 기대하기 어려울 것이기 때문이다. 현행 국가연구개발사업 평가과정에서는 특정 평가자의 편견(특이치)을 차단하기 위해 대부분 최고/최저점 제외방식을 사용하고 있다. 그러나 우리가 관례적으로 사용하고 있는 이 방식에 한계가 있을 수 있다. 따라서 본 연구에서는 실증분석을 통해 이 방식이 갖고 있는 한계에 대한 문제점을 도출하고, 이를 보완할 수 있는 현실적 대안을 제시함으로써 국가연구개발사업 평가제도의 신뢰성 제고 방안을 모색하였다. 이러한 결과들은 피 평가자들의 평가결과에 대한 수용도 제고 및 국가연구개발사업 효율성 증진에 기여할 수 있을 것이다. 또한 순위결정의 방법론 측면에서 다양한 분야에 도움을 줄 것으로 기대된다.
이 연구의 주된 목적은 한국 청소년의 스트레스 경험에 관련된 지각을 살펴보고, 스트레스 상황에서의 사회적 지원을 분석하는데 있다. 이를 위해 학교급별로 스트레스 생활사건과 증상, 사회적 지원 제공자와 유형을 살펴보았다. 분석대상은 청소년 952명(초 219, 중 280, 고 212, 대 241)이었다. 스트레스 증상의 신뢰도는 Cronbach α계수 .88, 질적 분석에 대한 채점자 간 신뢰도는 89.6%, Kappa계수가 .87이었다. 분석결과는 다음과 같다. 첫째, 청소년의 가장 대표적인 스트레스 생활사건은 학업이었으며, 그 다음으로 진로/취업, 가족관계, 친구관계, 역량부족, 경제적 어려움의 순서로 나타났다. 학업 스트레스는 고등학생이, 진로/취업 스트레스는 대학생이 가장 높았다. 둘째, 청소년의 스트레스 증상은 학교급별로 차이가 있었는데, 고등학생이 가장 높고 초등학생이 가장 낮았다. 셋째, 사회적 지원 제공자로 친구가 가장 대표적이었으며, 그 다음으로 자기자신, 부모, 교사, 형제자매, 선후배의 순서로 나타났다. 초등학생에서 대학생으로 됨에 따라 친구 및 선후배의 지원이 증가했으나, 부모의 지원은 감소했다. 넷째, 사회적 지원 유형으로 정서적 지원이 가장 대표적이었고, 그 다음으로 없음, 조언, 직접적 문제해결, 대화의 순서였다. 모든 학교급별에서 정서적 지원을 가장 많이 받았으며, 초등학생에서 대학생으로 됨에 따라 조언은 증가했고, 직접적 문제해결은 감소했다.
목적 : 본 연구는 운동발달을 평가하고, 발달성협응장애를 판별할 수 있는 운동성 평가도구인 Movement Assessment Battery for Children-2(MABC-2)을 활용하기 위해 6시간의 교육과정을 통하여 작업치료사의 평가역량이 향상될 수 있는지를 규명하고자 하였다. 연구방법 : 본 연구에 MABC-2를 임상에서 사용하길 희망하는 작업치료사 33인이 참여하였다. MABC-2 전문가 2인이 교육 참여자들에게 6시간의 교육을 실시하였다. 이론 강의(2시간)는 MABC-2 소개와 운동평가도구의 연구동향, 실습강의(4시간)는 MABC-2 평가항목 소개, 녹화된 평가 장면 관찰, 도구를 사용하여 직접 평가실습을 경험한 후 준비된 사례영상을 보고 채점과 결과분석을 실시하였다. 교육의 효과를 검증하기 위해 모든 교육과정을 마친 후 MABC-2의 전문가 1인과 교육에 참여한 작업치료사 33명이 동시에 평가동영상 샘플을 보면서 평가지에 원점수를 기록하였다. 이중 운동성 평가도구의 경험이 없는 23인의 자료를 활용해 평가자간 신뢰도를 산출하여 교육의 효과성을 검증하였다. 결과 : 본 연구에 참여한 작업치료사는 평균 5년 3개월의 경력을 지닌 30세 이상의 여성으로 약 70%의 교육생은 MABC-2 외에 국내에서 사용 중인 운동성 평가도구를 임상에 적용해 본 경험이 없었다. MABC-2 전문가가 제공한 교육을 받은 작업치료사들과 전문가 간의 ICC 결과는 .95이상으로 높은 평가자간 신뢰도가 확보되었다(p<.001). 결론 : 이론과 실습으로 구성된 6시간의 교육과정에 참여한 작업치료사의 평가자간 신뢰도가 .95이상으로 나타났으며, 운동기술 평가도구를 적절하게 활용할 수 있는 평가역량이 향상되었다. 이를 통하여 MABC-2에 관한 특정한 교육을 제공할 경우 작업치료사가 새로운 평가도구를 적절하게 활용할 수 있으며, 이를 통해 평가와 관련한 직무능력을 향상시킬 수 있을 것으로 판단된다.
이 연구는 자기효능감 수준별 성인의 스트레스, 사회적 지원과 대처의 차이를 규명하는데 주된 목적이 있다. 분석대상은 초, 중, 고등학생 자녀를 둔 성인 899명(남 399, 여: 500)이었다. 자유반응문항에 대한 채점자간 신뢰도는 93.4%, Kappa 계수는 .920이었으며, 양적 측정변인의 신뢰도는 α=.87~.92이었다. 분석결과, 첫째, 성인의 스트레스 생활사건으로 경제적 어려움이 가장 대표적이고 그 다음으로 자녀 양육, 직장 업무 등이 포함되었는데, 자기효능감 하집단이 상집단보다 경제적 어려움을 많이 지적하였다. 자기효능감 수준별 스트레스 증상에서 유의한 차이가 있었는데, 자기효능감 하집단이 상집단보다 스트레스 증상이 강하였다. 둘째, 스트레스 상황에서 사회적 지원 제공자는 가족이 가장 대표적이었고, 이외에 자기자신, 친구 등의 순서로 포함되었는데, 자기효능감 상집단은 가족의 지원을 가장 많이 받는 반면에, 하집단은 사회적 지원 없이 자기자신이 해결하는 경우가 가장 많았다. 자기효능감 수준별 인간관계에서 유의한 차이가 있었는데, 자기효능감 상집단이 하집단보다 부모자녀관계와 부부관계 및 직장상사관계에서 갈등이 적었다. 셋째, 스트레스 상황에서 사회적 지원 유형으로는 정서적 지원이 가장 대표적이었으며, 그 다음으로 도움 없음, 조언 등이 포함되었는데, 자기효능감하집단은 상집단보다 도움없음이, 상집단은 하집단보다 조언의 비율이 상대적으로 높았다. 자기효능감 수준별 정서적 지원에서 유의한 차이가 있었는데, 자기효능감 상집단이 하집단보다 배우자나 직장상사로부터 정서적 지원을 많이 받았다. 넷째, 스트레스 상황에서 대처방법으로 자기조절, 직접적 문제 해결, 없음 등이 부각되었는데, 자기효능감 상집단은 직접적 문제 해결이, 하집단은 대처방법 없음이 가장 많았다. 자기효능감 수준별 스트레스 대처에서 유의한 차이가 있었는데, 자기효능감 상집단이 하집단보다 스트레스 대처를 더 잘 하였다.
본 웹사이트에 게시된 이메일 주소가 전자우편 수집 프로그램이나
그 밖의 기술적 장치를 이용하여 무단으로 수집되는 것을 거부하며,
이를 위반시 정보통신망법에 의해 형사 처벌됨을 유념하시기 바랍니다.
[게시일 2004년 10월 1일]
이용약관
제 1 장 총칙
제 1 조 (목적)
이 이용약관은 KoreaScience 홈페이지(이하 “당 사이트”)에서 제공하는 인터넷 서비스(이하 '서비스')의 가입조건 및 이용에 관한 제반 사항과 기타 필요한 사항을 구체적으로 규정함을 목적으로 합니다.
제 2 조 (용어의 정의)
① "이용자"라 함은 당 사이트에 접속하여 이 약관에 따라 당 사이트가 제공하는 서비스를 받는 회원 및 비회원을
말합니다.
② "회원"이라 함은 서비스를 이용하기 위하여 당 사이트에 개인정보를 제공하여 아이디(ID)와 비밀번호를 부여
받은 자를 말합니다.
③ "회원 아이디(ID)"라 함은 회원의 식별 및 서비스 이용을 위하여 자신이 선정한 문자 및 숫자의 조합을
말합니다.
④ "비밀번호(패스워드)"라 함은 회원이 자신의 비밀보호를 위하여 선정한 문자 및 숫자의 조합을 말합니다.
제 3 조 (이용약관의 효력 및 변경)
① 이 약관은 당 사이트에 게시하거나 기타의 방법으로 회원에게 공지함으로써 효력이 발생합니다.
② 당 사이트는 이 약관을 개정할 경우에 적용일자 및 개정사유를 명시하여 현행 약관과 함께 당 사이트의
초기화면에 그 적용일자 7일 이전부터 적용일자 전일까지 공지합니다. 다만, 회원에게 불리하게 약관내용을
변경하는 경우에는 최소한 30일 이상의 사전 유예기간을 두고 공지합니다. 이 경우 당 사이트는 개정 전
내용과 개정 후 내용을 명확하게 비교하여 이용자가 알기 쉽도록 표시합니다.
제 4 조(약관 외 준칙)
① 이 약관은 당 사이트가 제공하는 서비스에 관한 이용안내와 함께 적용됩니다.
② 이 약관에 명시되지 아니한 사항은 관계법령의 규정이 적용됩니다.
제 2 장 이용계약의 체결
제 5 조 (이용계약의 성립 등)
① 이용계약은 이용고객이 당 사이트가 정한 약관에 「동의합니다」를 선택하고, 당 사이트가 정한
온라인신청양식을 작성하여 서비스 이용을 신청한 후, 당 사이트가 이를 승낙함으로써 성립합니다.
② 제1항의 승낙은 당 사이트가 제공하는 과학기술정보검색, 맞춤정보, 서지정보 등 다른 서비스의 이용승낙을
포함합니다.
제 6 조 (회원가입)
서비스를 이용하고자 하는 고객은 당 사이트에서 정한 회원가입양식에 개인정보를 기재하여 가입을 하여야 합니다.
제 7 조 (개인정보의 보호 및 사용)
당 사이트는 관계법령이 정하는 바에 따라 회원 등록정보를 포함한 회원의 개인정보를 보호하기 위해 노력합니다. 회원 개인정보의 보호 및 사용에 대해서는 관련법령 및 당 사이트의 개인정보 보호정책이 적용됩니다.
제 8 조 (이용 신청의 승낙과 제한)
① 당 사이트는 제6조의 규정에 의한 이용신청고객에 대하여 서비스 이용을 승낙합니다.
② 당 사이트는 아래사항에 해당하는 경우에 대해서 승낙하지 아니 합니다.
- 이용계약 신청서의 내용을 허위로 기재한 경우
- 기타 규정한 제반사항을 위반하며 신청하는 경우
제 9 조 (회원 ID 부여 및 변경 등)
① 당 사이트는 이용고객에 대하여 약관에 정하는 바에 따라 자신이 선정한 회원 ID를 부여합니다.
② 회원 ID는 원칙적으로 변경이 불가하며 부득이한 사유로 인하여 변경 하고자 하는 경우에는 해당 ID를
해지하고 재가입해야 합니다.
③ 기타 회원 개인정보 관리 및 변경 등에 관한 사항은 서비스별 안내에 정하는 바에 의합니다.
제 3 장 계약 당사자의 의무
제 10 조 (KISTI의 의무)
① 당 사이트는 이용고객이 희망한 서비스 제공 개시일에 특별한 사정이 없는 한 서비스를 이용할 수 있도록
하여야 합니다.
② 당 사이트는 개인정보 보호를 위해 보안시스템을 구축하며 개인정보 보호정책을 공시하고 준수합니다.
③ 당 사이트는 회원으로부터 제기되는 의견이나 불만이 정당하다고 객관적으로 인정될 경우에는 적절한 절차를
거쳐 즉시 처리하여야 합니다. 다만, 즉시 처리가 곤란한 경우는 회원에게 그 사유와 처리일정을 통보하여야
합니다.
제 11 조 (회원의 의무)
① 이용자는 회원가입 신청 또는 회원정보 변경 시 실명으로 모든 사항을 사실에 근거하여 작성하여야 하며,
허위 또는 타인의 정보를 등록할 경우 일체의 권리를 주장할 수 없습니다.
② 당 사이트가 관계법령 및 개인정보 보호정책에 의거하여 그 책임을 지는 경우를 제외하고 회원에게 부여된
ID의 비밀번호 관리소홀, 부정사용에 의하여 발생하는 모든 결과에 대한 책임은 회원에게 있습니다.
③ 회원은 당 사이트 및 제 3자의 지적 재산권을 침해해서는 안 됩니다.
제 4 장 서비스의 이용
제 12 조 (서비스 이용 시간)
① 서비스 이용은 당 사이트의 업무상 또는 기술상 특별한 지장이 없는 한 연중무휴, 1일 24시간 운영을
원칙으로 합니다. 단, 당 사이트는 시스템 정기점검, 증설 및 교체를 위해 당 사이트가 정한 날이나 시간에
서비스를 일시 중단할 수 있으며, 예정되어 있는 작업으로 인한 서비스 일시중단은 당 사이트 홈페이지를
통해 사전에 공지합니다.
② 당 사이트는 서비스를 특정범위로 분할하여 각 범위별로 이용가능시간을 별도로 지정할 수 있습니다. 다만
이 경우 그 내용을 공지합니다.
제 13 조 (홈페이지 저작권)
① NDSL에서 제공하는 모든 저작물의 저작권은 원저작자에게 있으며, KISTI는 복제/배포/전송권을 확보하고
있습니다.
② NDSL에서 제공하는 콘텐츠를 상업적 및 기타 영리목적으로 복제/배포/전송할 경우 사전에 KISTI의 허락을
받아야 합니다.
③ NDSL에서 제공하는 콘텐츠를 보도, 비평, 교육, 연구 등을 위하여 정당한 범위 안에서 공정한 관행에
합치되게 인용할 수 있습니다.
④ NDSL에서 제공하는 콘텐츠를 무단 복제, 전송, 배포 기타 저작권법에 위반되는 방법으로 이용할 경우
저작권법 제136조에 따라 5년 이하의 징역 또는 5천만 원 이하의 벌금에 처해질 수 있습니다.
제 14 조 (유료서비스)
① 당 사이트 및 협력기관이 정한 유료서비스(원문복사 등)는 별도로 정해진 바에 따르며, 변경사항은 시행 전에
당 사이트 홈페이지를 통하여 회원에게 공지합니다.
② 유료서비스를 이용하려는 회원은 정해진 요금체계에 따라 요금을 납부해야 합니다.
제 5 장 계약 해지 및 이용 제한
제 15 조 (계약 해지)
회원이 이용계약을 해지하고자 하는 때에는 [가입해지] 메뉴를 이용해 직접 해지해야 합니다.
제 16 조 (서비스 이용제한)
① 당 사이트는 회원이 서비스 이용내용에 있어서 본 약관 제 11조 내용을 위반하거나, 다음 각 호에 해당하는
경우 서비스 이용을 제한할 수 있습니다.
- 2년 이상 서비스를 이용한 적이 없는 경우
- 기타 정상적인 서비스 운영에 방해가 될 경우
② 상기 이용제한 규정에 따라 서비스를 이용하는 회원에게 서비스 이용에 대하여 별도 공지 없이 서비스 이용의
일시정지, 이용계약 해지 할 수 있습니다.
제 17 조 (전자우편주소 수집 금지)
회원은 전자우편주소 추출기 등을 이용하여 전자우편주소를 수집 또는 제3자에게 제공할 수 없습니다.
제 6 장 손해배상 및 기타사항
제 18 조 (손해배상)
당 사이트는 무료로 제공되는 서비스와 관련하여 회원에게 어떠한 손해가 발생하더라도 당 사이트가 고의 또는 과실로 인한 손해발생을 제외하고는 이에 대하여 책임을 부담하지 아니합니다.
제 19 조 (관할 법원)
서비스 이용으로 발생한 분쟁에 대해 소송이 제기되는 경우 민사 소송법상의 관할 법원에 제기합니다.
[부 칙]
1. (시행일) 이 약관은 2016년 9월 5일부터 적용되며, 종전 약관은 본 약관으로 대체되며, 개정된 약관의 적용일 이전 가입자도 개정된 약관의 적용을 받습니다.