• 제목/요약/키워드: 동료평가 정확도

검색결과 8건 처리시간 0.037초

동료평가 정확도 향상 방안의 비교: 평가 기준에 대한 학생들 간 토론 대 전문가 평가 사례 제시 (Student Discussion or Expert Example? How to Enhance Peer Assessment Accuracy)

  • 박정애;박주용
    • 인지과학
    • /
    • 제30권4호
    • /
    • pp.175-197
    • /
    • 2019
  • 고차적 사고를 요구하는 글쓰기는 배운 지식을 활용하고 발전시키게 한다. 학습 장면에서 글쓰기를 더 많이 활용하기 위해서는 동료평가를 도입하는 동시에 동료평가의 정확도를 높일 필요가 있다. 본 연구에서는 동료평가의 정확도를 높이는 방안으로, 평가 기준에 대해 학생들끼리 토론하게 하거나 전문가의 평가를 참고하도록 하는 두 방안을 탐색하였다. 대학생 150명을 대상으로 한 실험 결과, 동료평가 후 전문가의 평가를 참고했던 집단이 평가했던 글을 다시 평가할 때는 평가 정확도가 향상되었지만, 새로운 글을 평가할 때는 향상되지 않았다. 반면에, 동료평가 후 평가 기준에 대하여 토론을 진행했던 집단은 평가했던 글을 다시 평가할 때는 평가 정확도가 향상되지 않았지만, 새로운 글을 평가할 때는 향상됨을 발견하였다. 또한 토론 집단의 경우 평가 기준에 대한 토론에서 총 발언 수가 많아질수록 평가 정확도가 높아졌다. 이상의 결과는 평가 기준에 대한 토론에서 적극적이고 자발적인 논의가 활발할수록 이후 동료평가의 정확도가 향상됨을 시사한다.

국가연구개발사업 계량평가 도입 효용성에 대한 실증적 분석- 세계수준의 연구중심대학(WCU)육성사업을 중심으로 - (Practical Analysis of Developed Bibliometric Indicators for Evaluation of National R&D Programs - Case Study of World Class University Program -)

  • 조우현;우정표;송충한
    • 기술혁신학회지
    • /
    • 제13권3호
    • /
    • pp.494-512
    • /
    • 2010
  • 전 세계적으로 융복합 지향적 연구활동이 강화됨에 띠라 연구분야의 다양성과 새로운 연구분야의 개척은 물론 국가간 협력을 통한 연구가 활발히 진행되고 있다. 이러한 새로운 형태의 연구가 계속 발굴되고 있는데 반해 그 연구를 정확히 평가하고 객관적으로 검증하는 방법에는 한계가 있는 현실이다. 동료평가(peer Review)만으로는 정확한 연구과제 평가가 제한적이라는 인식이 확대되고 있으나 이를 보완할 객관적인 평가방법의 제사는 아직 실증적으로 검증되지 못하고 있다. 따라서 본 논문에서는 최근 새롭게 추진된 국가연구개발사업에 동료평가와 신규 계량지표에 의한 평가를 적용하여 그 결과의 반영비율 및 상관도를 측정하였다. 그 결과 계량지표의 적용이 실증적으로 유의미한 결과를 갖는 것으로 분석되었다.

  • PDF

동료평가 시스템에서의 상황맥락 요인과 평가행동 (Contextual Factors and Rating Behavior in the Peer Evaluation System)

  • 박종혁
    • 한국컴퓨터정보학회논문지
    • /
    • 제17권3호
    • /
    • pp.175-183
    • /
    • 2012
  • 본 연구는 동료평가 시스템의 활용도 제고 방안을 모색하기 위한 목적으로 수행되었다. 동료평가는 신뢰성과 타당성을 확보함에도 불구하고 평가 참여자의 측정치 왜곡 등 부정확한 평가결과로 폭넓게 활용되지 못하고 있다. 최근의 성과평가 연구에서는 평가가 이루어지는 프로세스에 대한 이해를 도모하기 위해 조직차원의 상황맥락에 주목하고 있다. 본 연구는 평가행동에 영향을 미치는 상황맥락요인으로 평가 자신감 및 평가 타당성을, 개인 성격 특성으로 자기모니터링을 채택하고 평가행동에 미치는 영향을 검증하였다. 445명의 학생을 대상으로 자료를 수집하여 가설을 검증한 결과, 평가 자신감 및 평가 타당성은 정확한 평가행동을 유인함이, 또한 자기모니터링은 조절효과를 가짐이 검증되었다. 기타 시사점 및 향후 연구를 위한 제언도 포함하였다.

고등학교 논의기반 탐구 과학수업에서 학생 평가활동이 주장과 증거 형성에 미치는 영향 (Impact of Student Assessment Activities on Claim and Evidence Formation in High School Argument-Based Inquiry)

  • 이선우;남정희
    • 대한화학회지
    • /
    • 제62권3호
    • /
    • pp.203-213
    • /
    • 2018
  • 이 연구는 논의기반 탐구 과학수업에서 학생 평가활동이 고등학생들의 주장과 증거 형성에 어떠한 영향을 미치는지 알아보고자 하였다. 이를 위해 인문계 고등학교 1학년 166명을 대상으로 논의기반 탐구 과학수업을 실시하였으며, 실험집단 학생(84명)들은 모둠의 주장과 증거에 대한 평가 기회를 제공받았고 비교집단 학생(82명)들은 이 단계를 생략하였다. 학생 평가활동이 학생들의 주장과 증거 형성에 미치는 영향 알아보기 위해 학생들이 작성한 주장과 증거 그리고 학생 평가활동의 결과를 분석하였으며, 인터뷰와 설문조사를 통해 학생 평가활동의 타당성과 활용정도를 알아보았다. 연구 결과, 논의활동에서 증거를 형성하는 능력이 비교집단보다 실험집단이 통계적으로 유의미하게 높게 나타났으며, 실험집단 학생들이 비교집단 학생들보다 더 정확하고 충분한 증거를 제시하는 것으로 나타났다. 또한 실험집단 학생들은 평가활동을 통해 주장에 대한 증거가 적절한지, 증거가 충분한지, 제시된 증거 자료는 정확한지 대해 평가하며 지속적으로 평가결과를 피드백으로 활용하였음을 알 수 있었다. 학생들은 평가 결과가 대체적으로 타당하다고 인식하고 있으며, 평가 결과를 다음 활동에 반영하여 다양한 증거를 제시하는 능력이 향상되었다고 인식하고 있음을 알 수 있었다. 이를 통해 논의기반 탐구 과학수업에서 학생 평가활동이 학생들의 주장과 증거를 형성할 때 주장의 타당성과 정당성을 높이는 증거 형성에 효과적이라는 것을 알 수 있다.

자유학기제 과학과 평가에서 과학 교사가 겪는 어려움과 해결방안 (Science Teachers' Difficulties and Solutions of Free Semester Science Assessment)

  • 김유라;최애란
    • 대한화학회지
    • /
    • 제63권3호
    • /
    • pp.166-182
    • /
    • 2019
  • 본 연구에서는 자유학기제 과학과 평가를 실행하면서 과학 교사들이 겪은 어려움과 이에 대한 해결 방안을 알아보았다. 본 연구는 자유학기제 과학과 수업 및 평가 경험이 있는 과학 교사 15명을 편의 표집하여 설문과 개인 면담을 실시하였다. 본 연구 참여 과학 교사들은 평가 주체 영역에서의 어려움으로 학생 자기평가 학생 동료평가시 정확한 평가 불가능을 가장 많이 언급하였고 이를 해결하기 위한 방안으로 구체적인 평가 항목 제시, 학생의 평가 능력 향상을 위한 연습 기회 제공 등을 제시하였다. 또한, 평가 내용 영역에서 객관적인 평가 기준 부족으로 인한 정의적 영역 평가 어려움을 해결하기 위하여 평가 실시 전 학생에게 평가 기준 제시, 교사 간 협의를 통한 기준 선정 등을 제시하였다. 평가 방법 영역의 수행 평가시 어려움으로 관련 자료 및 평가 도구 개발 보급 미흡을 가장 많이 선택하였다. 평가 결과 영역 중 피드백을 제공하는 과정에서의 어려움으로 많은 수의 학생에게 피드백을 해야 하는 부담을 가장 많은 교사들이 선택하였고, 교사 1인당 학생 수 감소 또는 교사의 수업 시수 감소 등의 해결 방안이 제시되었다. 평가 결과 서술식 기재의 어려움으로 가장 많은 교사들이 언급한 학생의 특성 파악의 어려움을 해결하기 위하여 교사 1인당 학생 수 감소와 행정 업무 경감 등의 해결 방안이 제시되었다. 자유학기제 과학과 평가를 위한 교과 협의회에서는 과정 중심 평가에 대한 동료 교사의 이해 부족과 소극적 태도로 인한 어려움이 언급되었는데 꾸준한 토론과 평가에 대한 교사의 인식 개선이 해결 방안으로 제시되었으며 자유학기제 과학과 평가를 위한 연수 관련 어려움으로 학생 수 과다 및 시간 부족으로 연수 내용의 현장 적용의 어려움이 언급되었다. 자유학기제 과학과 평가에서 겪는 어려움을 해결하기 위한 교사 스스로의 노력뿐 아니라 제도적 지원이 함께 이루어졌을 때 자유학기제 과학과 평가의 성공적 운영을 기대할 수 있을 것으로 사료된다.

고등학교 과제 연구 수업에서 탐구 문제 도출 과정 탐색 (Exploring the Development of Research Questions from High School Research Project)

  • 이지선;김성원
    • 한국과학교육학회지
    • /
    • 제38권3호
    • /
    • pp.319-329
    • /
    • 2018
  • '과제 연구'는 토론과 조사를 거쳐 특정 과학 과제를 선정하여 실험실습을 수행하고 결론을 도출하여 보고서를 작성하는 일련의 연구 과정을 체험하기 위한 과목이다. 이때 가치 있는 과학적 탐구 문제를 발견하는 것은 연구의 시작이라고도 할 수 있으며 그 중요성이 지속적으로 강조되어 왔다. 본 연구에서는 고등학교 과제연구 수업에서 학생들의 탐구 문제 도출을 돕기 위한 다양한 전략을 마련하여 단계별로 적용하였다. 각 과정을 거치며 학생들의 탐구 문제가 어떻게 발전해 가는지 구체적으로 살펴보았다. 수업은 (1)개방적 문제 탐색, (2)문헌 연구 및 자료 검색, (3)탐구 문제의 변형 및 확장, (4)탐구문제의 공유 및 평가, (5)최종 선정 및 연구 계획서 작성 단계로 이루어져 있다. 이를 경기도에 위치한 일반고등학교 과제 연구 수업에 12차시 동안 적용하였다. 총 13명의 학생들은 3-4명씩 4개의 조를 이루어 연구를 수행하였다. 학생들의 연구 과정이 담긴 포트폴리오 및 연구 계획서를 수집하여 탐구 문제의 도출 과정을 조사하였다. 그 결과 학생들이 제시한 탐구 문제는 수업의 각 과정을 거치며 점차 구체화되었다. 또한 각 조가 도출한 탐구 문제는 수업의 각 단계에 따라 유사한 특징을 나타내었다. 개방적 문제 탐색 단계에서 관심주제를 확인하고 문헌 연구 및 자료 검색을 통해 실현 가능한 과학적 탐구 문제를 제시하기 시작했다. 탐구 문제의 변형 및 확장을 통해 탐구 문제와 관련된 다양한 변인을 찾을 수 있었으며 이를 동료들에게 공유하고 연구 계획서를 작성하면서 탐구 문제를 정확하고 구체적으로 서술할 수 있었다. 탐구 문제 도출을 돕기 위한 전략을 다양하게 투입함으로써 탐구 문제의 여러 가지 측면을 발전시키고 학생이 주도적으로 탐구 문제를 도출하도록 도울 수 있었다.

대학도서관 사서의 직무스트레스 측정 도구 개발 (Development of Work Stress Measurement Tool for Academic Librarians)

  • 이종윤;조현양
    • 한국문헌정보학회지
    • /
    • 제47권3호
    • /
    • pp.181-205
    • /
    • 2013
  • 이 연구는 대학도서관 사서들이 업무수행 과정에서 받고 있는 직무스트레스를 보다 정확하게 측정할 수 있는 척도를 개발하고자, 실증연구를 통하여 기존의 국내 외 대표적 직무스트레스 척도를 분석하여 종합하고, 질적 연구방법 중 심층면접법을 도입하여 대학도서관 사서가 가지고 있는 특징적인 스트레스 요인을 추적하였다. 또한 두 척도를 종합한 직무스트레스 척도의 신뢰도와 타당도에 대한 분석을 실행하였다. 그 결과 '동료관계 갈등요인', '상하관계 갈등요인', '업무보상 평가요인', '감정노동 요인', '물리적 환경요인', '고용안정성', '심리적 직무요구요인', '의사결정 및 책임요인', '업무복잡성 요인', '업무경계 갈등요인', 그리고 '신체적 직무요구요인' 등 11개 요인, 46개 문항으로 구성된 사서를 위한 직무스트레스 척도가 개발되었다.

멘델 유전에 대한 중학교 과학교사의 PCK 사례 연구 (A Case Study of the PCK of Middle School Science Teachers on the Mendelian Genetics)

  • 송미란;김성하
    • 과학교육연구지
    • /
    • 제38권3호
    • /
    • pp.718-736
    • /
    • 2014
  • 이 연구는 멘델 유전에 대한 중학교 과학교사의와 이의 PCK 형성에 영향을 주는 요인을 조사하고자 하였다. 연구 대상은 생물교육을 전공한 5년 이상의 교육경력을 가진 중학교 과학교사 두 명으로 하였으며, 멘델 유전과 관련한 5차시의 수업 관찰, 교사의 반구조화된 면담, 교사 질문지, Content Representation, Pedagogical and Professional-experience Repertoire 등을 통해 자료를 수집하였다. 수집한 자료는 PCK의 구성요소인 과학교수 지향, 과학교육과정에 대한 지식과 신념, 학습자에 대한 지식과 신념, 과학교수전략에 대한 지식과 신념, 과학평가에 대한 지식과 신념 관점에서 분석하였다. 두 교사의 멘델 유전에 대한 PCK를 알아본 결과, 학생들이 과학교과를 통해 과학적 탐구과정을 학습함으로써 과학적 사고와 합리적으로 문제를 해결하는 능력을 기를 수 있고, 교사는 학생들이 그러한 능력을 습득할 수 있도록 조력자 역할을 해야 한다는 과학교수지향을 평소에 가진 것으로 나타났으나 수업 실제에서는 두 교사 모두 강의 중심 지향으로 나타났다. 과학교육과정의 목표와 관련 개념 및 지도 내용을 잘 인식하고 있었으나 학생들의 탐구방법 습득 및 탐구능력 향상을 위한 두 교사의 노력은 수업 실제에서 충분히 발현되지 못하였다. 그리고 학생들이 멘델 유전을 매우 어려워하기 때문에 쉽고 자세히 가르쳐야 한다고 인식하고 있으며 멘델 유전에 대한 기본 개념 및 연계된 개념을 정확히 이해하고 적용할 수 있도록 지도하였다. 또한 학생들의 선개념과 오개념을 파악하여 오개념 교정전략과 과학사를 이용한 교수 전략 등을 통해 학생들의 학습효과를 높이고자 하였고, 학습자의 인지적 영역 중 단순한 행동 영역에 대한 평가만 이루어졌다. 두 교사의 멘델 유전에 대한 PCK 형성 요인으로는 교사의 개인적 특성 및 노력, 교과서 및 지도서, 교수 경험, 학습자로서의 경험, 학교 상황, 동료교사와의 상호작용, 대학교육 과정 등이 있었다. 이 중 두 교사는 자신의 학습자로서의 경험과 과학적 탐구심이 강한 개인적 특성 및 보다 나은 수업을 위한 교사의 노력이 PCK 형성에 가장 큰 영향을 주었다고 하였다. 이러한 결과를 통해 교사의 PCK가 수업 실제에서 충분히 발현될 수 있도록하는 교사교육에 대한 설계가 필요하고, 교사들에게 지속적인 자기 연수와 전문성을 개발할 수 있는 기회를 제공하여 그에 따른 보상을 통해 교사들의 PCK를 발달시킬 수 있도록 해야 한다는 것을 시사한다.

  • PDF