• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2014년도 추계학술발표대회
• /
• pp.909-912
• /
• 2014

최근 자연어 처리 분야에서는 한국어로 작성된 서답형 문항을 자동으로 채점하기 위한 시스템을 개발하기 위한 연구가 꾸준히 진행되고 있다. 2013년도에는 답안 정규화, 채점 기준 작성 및 편집, 자동 채점 및 채점 후처리 작업 등 자동 채점 프로세스를 수행할 수 있는 시스템을 설계 및 개발하였다. 본 논문은 2013년도에 개발된 자동 채점 시스템의 문제점을 분석하고 채점자가 보다 편리하게 채점을 수행할 수 있도록 추가 및 개선한 기능과 이를 구현하기 위해 이용한 자연어 처리 기술을 소개한다.

• 한국가정과교육학회지
• /
• 제32권3호
• /
• pp.135-159
• /
• 2020

본 연구는 교육과정, 수업, 평가의 일체화를 강조하고 있는 교육의 변화 속에서 2015 개정 가정과 교육과정에서 수업과 평가를 연계할 수 있는 서술형 평가 문항을 개발하는 것에 목적을 두었으며 연구의 내용은 다음과 같다. 첫째, 평가계획 수립 단계에서는 평가기준에 제시된 평가 영역 중 서술형 평가에 적합한 14개의 성취기준이 분석되었으며 총 29개 문항의 내용요소를 포함하여 문항요소를 개발하였다. 둘째, 평가도구 개발 단계에서는 서술형 문항의 구조에 알맞은 문항을 사전개발하고, 문항에서 활용할 자료, 채점기준의 제시 방법을 각 문항에 맞게 선택하였다. 셋째, 답안 및 채점기준표 작성 단계에서는 채점기준과 부분점수별 예시 답안을 채점기준표로 작성하고 평가목표와 채점 항목, 항목별 배점을 검토하였다. 넷째, 전문가 검토 및 수정·보완 단계에서는 개발된 문항과 답안들은 전문적 교과학습공동체 교사들과 함께 문항 구성요소, 평가목표의 구체화, 출제 의도의 구현 여부, 채점 결과에 대하여 예비검토와 상호검토를 거쳐 수정·보완하였다. 본 연구는 서술형 평가 문항과 채점기준 개발을 위한 기초 연구로 활용될 수 있으며, 이를 통해 교사의 평가 전문성에 대한 인식변화를 도모하고 추후 학습자의 지식 적용능력을 높이기 위한 서술형 문항개발 연구에 도움이 될 수 있을 것이다.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
• /
• pp.181-185
• /
• 2016

최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다. 이런 점을 해결하기 위해 해외의 사례를 참고하여 국내에서도 서답형 문항에 자동채점 시스템을 적용하는 연구를 진행하고 있다. 본 논문에서는 2014년도에 개발된 '한국어 문장 수준 서답형 문항 자동채점 시스템'의 성능분석을 바탕으로 언어 처리 기능과 자동채점 성능을 개선한 2015년도 자동채점 시스템을 간략하게 소개하고, 각 자동채점 시스템의 성능을 비교 분석한다. 성능 분석 대상으로는 2014년도 국가수준 학업성취도평가의 서답형 문항을 사용했다. 실험 결과, 개선한 시스템의 평균 완전 일치도와 평균 정확률이 기존의 시스템보다 각각 9.4%p, 8.9%p 증가했다. 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 보완한 2015년 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
• /
• pp.181-185
• /
• 2016

최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다. 이런 점을 해결하기 위해 해외의 사례를 참고하여 국내에서도 서답형 문항에 자동채점 시스템을 적용하는 연구를 진행하고 있다. 본 논문에서는 2014년도에 개발된 '한국어 문장 수준 서답형 문항 자동채점 시스템'의 성능분석을 바탕으로 언어 처리 기능과 자동채점 성능을 개선한 2015년도 자동채점 시스템을 간략하게 소개하고, 각 자동채점 시스템의 성능을 비교 분석한다. 성능 분석 대상으로는 2014년도 국가수준 학업성취도평가의 서답형 문항을 사용했다. 실험 결과, 개선한 시스템의 평균 완전 일치도와 평균 정확률이 기존의 시스템보다 각각 9.4%p, 8.9%p 증가했다. 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 보완한 2015년 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.

• 한국과학교육학회지
• /
• 제22권2호
• /
• pp.398-409
• /
• 2002

본 연구는 개념도 채점 방법의 타당도, 신뢰도 그리고 평가 도구로서 개념도의 현실 적용가능성을 알아보는데 목적이 있다. Burry-Stock의 채점 방법, Novak과 Gowin의 채점 방법, McClure와 Bell의 채점 방법을 모두 사용했고, 각 채점 방법에 대해 2명의 채점자를 배정하였다. 채점자는 지방 국립 사범대 과학교육학부 4학년 학생들이었다. Burry-Stock의 채점 방법을 제외하고는 과제의 제시 유형에 상관없이 두 채점자간의 정수 차이가 크지 않았고, 점수 차이가 통계학적으로도 유의하지 않았다. Novak과 Gowin과 McClure와 Bell의 채점 기준을 따를 때 개념도는 타당도가 높은 평가 도구인 것으로 나타났다. Burry-Stock의 채점 방법은 개념을 주고 개념도를 만들도록 한 과제를 위해 개발된 것인 만큼 그 유형의 과제를 가지고 개념도를 만들도록 했을 때는 타당도가 있었다. 각각 3가지 채점 방법에 따른 Pearson의 단순 적률상관 계수를 이용하여 채점자간 신뢰도롤 분석한 결과 신뢰도는 $.449{\sim}.975$의 범위였다. Novak과 Gowin의 채점 방법을 사용할 때는 .94 이상의 높은 일치도를 보여주었다. McClure와 Bell의 채점 방법 또한 환경 오염에서 .816의 비교적 높은 상관 관계를 보여 주었다. 채점자들이 개념도률 채점하는데 걸린 시간은 최소 1.13분에서 최대 3.70분까지 소요되었다. 본 연구 결과 개념도가 생물 개념 평가 도구로서 타당도 신뢰도 그리고 현실적용 가능성이 충분히 있다고 사료된다. 작성하는데 필요한 시간은 평균 29분이었다(n=40. S.D=5.10). 채점자들이 40개의 개념도를 채점하는데 필요한 시간을 기록하였다. Table 5는 각 평가 방법에 따른 개념도 채점에 평균 소요 시간을 나타낸 것이다. 전체적으로 1.13분에서 3.70분까지 소요되었다. 채점자에 따라 채점 시간에서 차이를 보였다.

• 한국과학교육학회지
• /
• 제40권3호
• /
• pp.321-336
• /
• 2020

본 연구는 실제 교실에서 이루어진 학생의 과학 논증과정을 기계학습을 활용한 자동 채점에 적용함으로써, 논증 자동 채점의 가능성 및 개선 방향을 탐색한다. 분자 구조에 대한 고등학생의 과학 논증수업 중 발생한 2,605개의 모든 발화를 대상으로 연구를 진행하였다. 지도 학습을 위해 5가지의 논증 요소로 발화를 분류하였고, 분류된 발화를 대상으로 텍스트 전처리를 수행하였다. 전처리된 학생 발화를 활용하여 서포트 벡터 머신, 의사결정나무, 랜덤 포레스트, 인공신경망의 기계 학습 방법으로 자동 채점 모델을 구성하였다. 불용어 처리가 되지 않은 학생 발화를 활용한 자동 채점의 결과 랜덤 포레스트의 정확도는 65.96%, kappa는 0.5298의 유미한 결과를 얻었다. 불용어 처리를 수행한 학생 발화를 활용한 새로운 채점 모델의 결과 채점의 정확도가 크게 변화하지 않음에도 논증 발화 중 과학 용어 및 논증 요소의 담화표지가 채점 모델의 분류 기준이 되는 결과를 얻었다. 또한 인간 전문가의 논증 채점 과정을 분석하여 얻어진 전문가 형태소를 자동 채점 모델에 생성 규칙 알고리즘으로 적용하였다. 그 결과 의사결정나무에서 반박에 대한 재현율(recall)이 21.74% 증가하였다. 이에 본 연구 결과는 과학 교육 연구에서 기계 학습 및 논증에 대한 자동 채점의 활용 가능성과 연구 방향성을 제안하였다.

• 한국ITS학회 논문지
• /
• 제16권5호
• /
• pp.109-120
• /
• 2017

자동차 운전면허 시험에서 객관적인 평가가 중요하다. 특히 도로 주행시험은 실제 도로에서 운전능력, 규칙준수, 상황판단능력 등을 종합적으로 시험하는 것이다. 이를 위하여 본 논문에서는 GPS와 센서 데이터 및 기기조작 정보를 활용하여 운전면허 시험의 자동채점시스템을 제안한다. 자동채점 시스템은 차량탑재장치, 채점용단말, 데이터 제어장치, 데이터 저장 및 처리를 위한 서버로 구성되어 있다. 차량탑재장치는 차량에 설치된 센서 데이터를 수집한다. 채점 단말은 차량탑재장치로부터 받은 데이터를 활용하여 기준에 따라 자동채점 한다. 또한 이동 중에 GPS 오차로 인하여 차량이 도로를 벗어나 표현되므로 지도매칭 기법과 경로이탈 및 복귀 알고리즘을 적용하였다. 이 시스템은 기존 시험 채점 방식과 달리 자동 채점이 가능하며, 시험 결과에서 정확한 차량위치 표시와 GPS 음영지역을 벗어났을 때 10초 이내로 경로 복귀를 하였다. 이 시스템은 도로 주행 교육에도 활용될 수 있을 것으로 기대된다.

• 컴퓨터교육학회논문지
• /
• 제21권6호
• /
• pp.105-115
• /
• 2018

서술형 문항은 수준 높은 사고능력 평가에 적합하나 채점이 쉽지 않다. 동일한 채점기준을 적용하더라도 채점자마다 서로 다른 채점을 할 수 있으므로 객관적인 채점 시스템이 필요하다. 그렇지만 채점 시스템을 구축하기 위해서는 표현 언어인 한국어 분석이 전제되어야 한다. 특히 서술형 문항의 답변은 단문형태가 아닌 복문이 내포된 복합 문장으로 표현되기 때문에 복합문의 한국어 분석이 이루어져야 한다. 본 연구는 이와 같은 서술형 문항의 자동 채점을 위해 한국어의 복합문을 구문의미 분석하는 시스템을 개발하고 시스템의 성능을 분석하였다. 이 시스템은 의미속성 사전을 활용하여 대상 구문의 의미적 제한조건을 검사하고 적합한 피수식 대상을 선별하여 구문의미분석을 실행한다. 실험 데이터에 대해 93%의 정확률을 얻어 제안한 시스템이 효과있음을 알 수 있었다. 본 연구의 시스템은 서술형 문항 채점에 활용할 수 있고 한국어 처리의 응용영역에 활용할 수 있을 것으로 기대된다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제28권4호
• /
• pp.553-571
• /
• 2014

근래 수학의 학습에서 수학의 내용뿐만 아니라 수학적 과정을 평가할 수 있는 문항의 중요성에 대한 인식이 확산되고 있다. 본 연구에서는 수학의 내용과 더불어 수학적 과정 즉, 수학적 의사소통, 추론, 문제해결을 명시적인 평가요소로 포함하는 서술형 문항으로서 '수학적 과정 문항'이라는 개념을 제안하고, 수학적 과정 문항의 제작을 위한 예시 평가기준과 문항 및 채점기준 개발을 통해 서술형 문항을 활용한 수학적 과정 평가 방안을 논의한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
• /
• pp.109-110
• /
• 2023

본 논문에서는 교육현장에서 서술평평가를 자동화하기 위한 시스템을 제안한다. 제안 시스템은 장문의 응답에서 단어를 추출하여 단어 간 네트워크를 생성하고 정답 네트워크와 비교를 통해 평가를 실시한다. 기존의 키워드 방식은 네트워크 관점에서 노드를 기준으로 채점하는 것이라면, 제안 시스템은 엣지를 기준으로 채점하게 되어 학습자의 답변에서 지식의 관계성을 채점할 수 있어 학습자에게 유용한 피드백을 줄 수 있을 것으로 기대한다.