• 감성과학
• /
• 제11권4호
• /
• pp.553-564
• /
• 2008

본 연구에서는 일반화가능도 이론을 이용하여 폴리그라프 검사에 사용된 관련 질문의 개수와 반복측정 횟수 (차트의 수), 채점자 수가 폴리그라프 검사의 신뢰도에 미치는 영향을 평가하였다. 검찰청에서 형사피의자를 대상으로 Backster ZCT를 사용한 폴리그라프 검사자료 중 31명의 폴리그라프 검사자료를 표본추출하였으며, 31명의 검사자료를 13명의 채점자가 수치적 채점방법을 이용하여 채점한 점수에 대하여 일반화가능도 이론을 적용하여 분석하였다. 분석결과, 피검사자의 변량성분이 43.97%로 가장 컸으며, 다음으로 잔여오차변량성분이 16.84%, 피검사자와 반복측정 횟수의 상호작용오차변량성분이 12.17%, 피검사자와 반복측정 횟수, 관련 질문 개수의 삼원상호작용오차변량성분이 10.31%였으며, 나머지 변량성분은 모두 7% 미만이었다. 관련 질문의 개수와 반복측정 횟수, 채점자의 수에 따른 일반화가능도 계수를 산출한 결과, 바람직한 일반화가능도 계수인 0.80 이상을 보이는 조건은 관련 질문 2개 이상과 반복측정 3회 이상, 채점자 2명 이상의 조합인 것으로 나타났다.

• Communications for Statistical Applications and Methods
• /
• 제1권1호
• /
• pp.206-214
• /
• 1994

본 논문은 1994학년도 부터 부활된 대학별고사 실시에 따른 문항분석, 표준 점수제 그리고 검사동등화의 문제점을 지적하기 위하여 교육측정이론의 기본 개념을 소개하는데 있다. 대학별고사의 타당성과 신뢰성을 보장받기 위하여는 양질의 문항제작이 우선하여야하며, 이를 위하여 문항분석은 종전에 사용하던 고전검사이론 보다는 문항반응이론을 이용하는 것이 바람직하다. 문항반응이론에 의한 문항분석은 피험자 집단의 특성에 의하여 문항특성이 달리 분석되지 않는 특징을 지니고 있기 때문이다. 문항이 논술형일 경우 채점자간 신뢰도와 채점자 내 신뢰도를 간과하여서는 안될 것이다. 다양한 선택과목을 채택하는 대학별 고사에서 입학 사정을 위하여 원점수를 사용하거나, 표준점수 혹은 검사동등화 방법을 이용하고 있으나 이는 교육측정이론에 위배된다. 다른 과목에 대한 인가의 능력을 상대비교 할 수 없으며, 표준점수와 검사동등화는 동일 능력에 대한 상대비교를 위한 방법이다. 특히 검사동등화는 동일 특성, 공정성, 모교집단 불변성, 대칭성을 전제한다. 표준점수제에 의하여 수험생들의 다른 능력을 상대 비교하는 방법은 다른 능력이 점수로 표현되기 때문에 가능하나 그 점수가 무엇을 의미하는 가를 분석할 때는 교육평가의 기본 철학에도 위배된다.

• 한국가정과교육학회지
• /
• 제32권3호
• /
• pp.135-159
• /
• 2020

본 연구는 교육과정, 수업, 평가의 일체화를 강조하고 있는 교육의 변화 속에서 2015 개정 가정과 교육과정에서 수업과 평가를 연계할 수 있는 서술형 평가 문항을 개발하는 것에 목적을 두었으며 연구의 내용은 다음과 같다. 첫째, 평가계획 수립 단계에서는 평가기준에 제시된 평가 영역 중 서술형 평가에 적합한 14개의 성취기준이 분석되었으며 총 29개 문항의 내용요소를 포함하여 문항요소를 개발하였다. 둘째, 평가도구 개발 단계에서는 서술형 문항의 구조에 알맞은 문항을 사전개발하고, 문항에서 활용할 자료, 채점기준의 제시 방법을 각 문항에 맞게 선택하였다. 셋째, 답안 및 채점기준표 작성 단계에서는 채점기준과 부분점수별 예시 답안을 채점기준표로 작성하고 평가목표와 채점 항목, 항목별 배점을 검토하였다. 넷째, 전문가 검토 및 수정·보완 단계에서는 개발된 문항과 답안들은 전문적 교과학습공동체 교사들과 함께 문항 구성요소, 평가목표의 구체화, 출제 의도의 구현 여부, 채점 결과에 대하여 예비검토와 상호검토를 거쳐 수정·보완하였다. 본 연구는 서술형 평가 문항과 채점기준 개발을 위한 기초 연구로 활용될 수 있으며, 이를 통해 교사의 평가 전문성에 대한 인식변화를 도모하고 추후 학습자의 지식 적용능력을 높이기 위한 서술형 문항개발 연구에 도움이 될 수 있을 것이다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제4권1호
• /
• pp.45-56
• /
• 2015

본 연구에서는 문맥 정보를 함께 고려해야만 인식할 수 있는 단어 오류에 대하여 오류 인식 방법과 수정 후보 생성 방법을 제안한다. 이 문제는 기존의 영어권에서 이미 많이 다룬 연구 주제이다. 본 연구에서는 영어 자동채점 시스템에서 사용하도록 특화된 방법을 제안한다. 문맥 정보를 고려한 단어 오류 검사에서는 자주 혼동되어 사용되는 단어집합(confusion set)을 활용한다. 비영어권 사용자의 작문 특성을 반영하기 위해 기존의 영어권에서 구축한 혼동집합 이외에 자동으로 혼동집합을 구축하여 실험해 보았다. 또한 품사 중의성으로 인해 기존의 구문오류 검사기가 다루지 못하는 오류를 정의하고 오류 인식과 오류수정 후보를 생성하는 방법을 제안한다. 실제 한국어가 모국어이면서 초/중급 작문 수준의 수험생들이 작성한 영어 문장에 대해 평가해 본 결과, 약 70.48%의 f1 값을 얻어 기존의 영어권 결과에 비해 뒤지지 않는 성능을 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.545-547
• /
• 2013

최근 대학 강의가 대형화 함에 따라 기존 교수방법으로는 출석체크, 퀴즈, 시험 등의 평가과정에서 발생하는 오버헤드를 피하기 어렵게 되었다. 교수는 대형강의에서 시행하는 퀴즈/시험 등에 따른 채점/평가에 대해서 상당한 부담감을 느끼며, 강의 중 교수-학생 상호작용/feedback 등을 시도하기도 어려운 상황이다. 이러한 문제를 해결하기 위해서, 본 연구에서는 대형강의 추세에 따른 적합한 교수법/교수지원도구(tool) 연구를 수행하였다. 대형강의에서 퀴즈/시험의 채점 및 평가에 소요되는 오버헤드를 감소시키는 방법을 고안하며, 대형강의에서 스마트폰을 활용하여 학생들과 실시간으로 상호작용할 수 있는 도구를 개발하였다. 특히, 본 연구에서는 HTML5 기술을 활용함으로써, 학생들이 소지한 스마트폰의 플랫폼에 독립적으로 설치과정의 번거로움 없이 활용할 수 있도록 하였다.

• 대한수학교육학회지:학교수학
• /
• 제5권1호
• /
• pp.1-25
• /
• 2003

본 연구는 창의성 신장을 위한 새로운 수학 교육 평가 방안의 하나로 학교에서 사용될 수 있는 수행평가 방안에 대해 논의한다. 먼저 수행평가의 의미와 필요성을 살펴보고, 수행평가 유형과 채점방법에 대해 논의한 다음 필수·학습 상황에서의 활용방안을 제시한다. 이어서, 초등학교와 중학교에서 활용될 수 있는 수행평가의 종류별 예시 문항과 채점 기준을 소개하며. 각 문항에 대한 성취도 평가 결과를 제시한다. 각 과제에는 내용영역, 평가목표, 평가절차, 준비물, 문항의 특징, 평가상 유의점, 체점 기준표 등을 제시하여 수학교육 현장에서 직접 사용하거나 응용할 수 있도록 한다.

• 한국수학교육학회지시리즈A:수학교육
• /
• 제63권2호
• /
• pp.165-186
• /
• 2024

학교 현장과 대규모 평가에서 서술형 문항 도입을 지원하기 위한 방안 중 하나로 인공지능 기반의 자동 채점 기술이 주목받고 있음에도 불구하고, 수학 교과에서는 타 교과에 비해 이에 대한 기초 연구가 부족한 상황이다. 이에 본 연구는 중학교 1학년 수학 서술형 문항 두 개를 대상으로 랜덤 포레스트 알고리즘을 활용하여 자동 채점 모델을 개발하고 그 성능을 평가하였다. 연구 결과, 두 문항에 대한 최종 모델의 평가요소별 정확도는 각각 0.95-1.00, 0.73-0.89의 범위로 나타났으며, 이는 타 교과에 비해 상대적으로 높은 수준이다. 데이터의 양을 고려한 평가 범주 설정의 중요성을 확인하였으며, 수학 교육전문가에 의한 텍스트 전처리와 데이터 특성에 맞는 벡터화 방법의 선택이 모델의 성능 및 해석 가능성을 향상시키는 데 기여하였다. 또한, 현실적 한계로 인해 균형적인 데이터 수집이 어려운 상황에서 오버샘플링이 성능을 보완하는 유용한 방법임을 확인하였다. 교육적 활용도를 높이기 위해, 랜덤 포레스트 기반 모델에서 도출된 특성 중요도를 활용하여 피드백과 같이 교수-학습에 유용한 정보를 생성하는 추가 연구가 필요하다. 본 연구는 수학 서술형 자동 채점에 관한 기초 연구로서 의미가 있으며, 인공지능 전문가와 수학교육 전문가 간의 긴밀한 협력을 통해 다양한 후속 연구가 진행될 필요가 있다.

• 한국산학기술학회논문지
• /
• 제12권1호
• /
• pp.318-326
• /
• 2011

본 연구는 절차기술의 객관구조화 진료시험(Objective Structured Clinical Examination)에서 표준화환자가 평가자의 역할을 수행할 수 있는지 알아보기 위해 신뢰도를 평가하는데 그 목적이 있다. 시험의 주제는 남성 도뇨관삽관과 창상드레싱 2가지로 정하고, 2년 이상의 객관구조화 진료시험 채점 경력이 있는 표준화환자와 교수 각 4명을 2명씩 짝을 지워 한 주제 당 표준화환자 그룹과 교수 그룹이 동시에 채점하게 하였다. 표준화환자들에게는 술기의 정의, 방법, 주의점, 후유증에 대한 교육이 이루어졌으며 동영상이 포함된 강의, 교수의 시연 후 표준화환자가 직접 실습해보고 교수로부터 되먹임을 받는 순서로 총 8시간( 주제당 4시간)의 교육이 시행되었다. 8명의 평가자 모두 객관구조화 진료시험 전날 모여 기존의 동영상자료를 이용한 가상 채점으로 1시간동안 채점 표준화를 이루었다. 채점표는 체크리스트 14문항과 총괄평가 1문항으로 이루어졌다. 한 학생당, 주제당 5분간의 시험 후 2분간의 평가가 이루어졌다. 표준화환자와 교수간의 분석은 GENOVA program을 이용하였다. 연구 결과 주제 전체에서 G상수는 0.839, 평가자의 신뢰도는 0.946으로 매우 높았다. 표준화환자그룹과 교수그룹 사이의 평가자간 일치도는 체크리스트에서 0.949, 총괄평가에서 0.908이었다. 따라서 적절한 교육이 선행되어진다면 표준화환자도 절차기술의 객관화진료시험에 신뢰할 만한 평가자로 이용되어질 수 있을 것이다.

• 정보처리학회논문지A
• /
• 제12A권6호
• /
• pp.539-546
• /
• 2005

최근 인터넷 사용자가 급증하면서 원격교육의 발전과 함께 평가에서도 원격을 이용한 방법이 많이 사용되고 있다. 하지만 현재까지는 자연언어처리의 어려움으로 객관식이나 단답식 평가가 주류를 이루고 있다. 본 논문에서는 서술형 주관식 문제의 빠르고 공정한 지능형 채점을 위하여, 다양한 언어 지식을 활용하였다. 이를 위하여, 가공되지 않은 말뭉치에서 의미커널을 구축하고, 수험자가 작성한 답안과 이미 구축된 정답을 벡터로 구성하여 이 답안간의 유사도를 의미커널을 통해 계산하여 정답여부를 자동으로 판단하도록 하였다. 의미커널을 구축하기 위하여 벡터 공간 모델에 기반한 은닉 의미 분석을 이용하였으며, 또한 한글 워드넷을 이용하여 답안의 정보부족 문제를 줄여보고자 하였다. 실험을 위하여 3000 문항의 주관식 문제를 구축하였으며, 의미커널의 구축을 위하여 38,727개의 신문기사를 모아 말뭉치로 구성하고 75,175개의 색인어를 추출하였다. 의미커널에 기반한 자동 채점 시스템으로 실제 수험자에 의하여 작성된 답안을 채점한 결과, 출제자가 실제로 채점한 결과를 기준으로 하여 최고 0.894의 상관관계를 얻을 수 있었다

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 1998년도 춘계학술발표논문집
• /
• pp.296-301
• /
• 1998

본 논문에서는 클라이언트/서버 환경에서 교사가 평가 문제를 스스로 관리하는 동시에, 웹 상에서 학생들에게 학습 내용을 테스트하여 학생들의 학습 능력 수준을 손쉽게 파악할 수 있도록 하는 대화형 학생 평가 시스템을 개발하였다. 본 논문에서 구현한 시스템은 과목별 채점 결과를 학급별과 개인별로 통계 처리하여 보여주며, 또한 과목 주제별로 정답 비율을 통계 처리함으로써 학생 개개인 수준을 분석하는데 편리하도록 설계되어 있다. 또한 학생들에게는 웹 상에서 푼 문제에 대한 자신의 채점 결과와 문제 풀이 부분을 즉시 볼 수 있도록 하여 재학습 및 보충학습의 효과를 얻을 수 있도록 하였다. 이로써 교사는 학생 수준에 적합한 교수·학습 방법으로 학생들을 개별 지도할 수 있어 기존의 교사 주도적이고 획일화된 주입식 교육 방식의 문제점을 해결하고자 하였으며, 학생 역시 자신의 수준에 적합한 교육 내용을 제공받을 수 있어 학습 의욕을 향상시킬 수 있다.