• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2014년도 제49차 동계학술대회논문집 22권1호
• /
• pp.117-118
• /
• 2014

정보통신기술, 멀티미디어 기술 및 관련 소프트웨어 등을 이용하여 형성된 가상의 공간(Cyber-Space)에서 교수자와 학습자 간의 수업이 이뤄지는 사이버대학에서 학생들의 성적관리를 위한 원격시험 주관식 시험문제 자동채점 시스템을 연구하였다.

• 융합신호처리학회논문지
• /
• 제12권3호
• /
• pp.169-175
• /
• 2011

본 논문에서는 Gray Scale과 이미지 분할 방법을 이용하여 OMR 답안지에 대한 자동 채점처리 시스템을 구현하였다. 제안한 방법은 취득된 이미지를 이용하여 Gray Scale과 이미지 분할 방법으로 객관식 선다형 답란의 OMR 데이터를 추출하였다. 또한 뒷면의 단답식 서답형 답란의 On-Line 채점을 할 수 있도록 하는 시스템을 개발하여 실제로 구현하였다. 그 결과 단답식 서답형을 채점하는 채점교사들은 자유롭게 주어진 기간내에 시간과 장소에 구애를 받지 않고 채점을 완료 할 수 있었고, 객관식 선다형의 채점은 추가로 OMR 판독기에 의한 처리를 하지 않아 시간적으로 많은 이점이 있었다. 향후 단답식 서답형의 경우에도 이미지처리를 활용하여 자동 채점을 하게 된다면 각 급 학교 및 국가에서 시행하는 대량의 답안지의 채점업무를 보다 효율적으로 수행할 수 있을 것으로 본다.

• 실천공학교육논문지
• /
• 제15권1호
• /
• pp.193-198
• /
• 2023

본 논문은 파이썬 프로그래밍 교육에서 단원별 연습문제의 타당성을 분석하였다. 단원별로 제시되는 연습문제는 온라인 학습 시스템을 통해 제시되고 학생 각자가 답안 코드를 업로드하여 자동으로 채점된다. 한학기 동안 진행되는 파이썬 교육을 통해, 학생들의 중간시험점수, 기말시험 점수 그리고 각 단원별 연습문제 점수 등 데이터가 수집된다. 수집된 데이터들을 통해, 자동채점 연습문제들의 타당도를 분석하여 단원별 연습문제들을 개선할 수 있다. 본 논문에서는 자동 채점 연습문제들의 타당도를 분석하기 위해, Orange 머신러닝 도구를 사용하였다. 파이썬 과목에서 수집된 데이터를 전체, 상위권 그리고 하위권 그룹별로 4가지 분석을 실시하고 종합적으로 비교한다. 파이썬 단원별 연습문제 점수들로부터 학생의 최종 성적을 예측하는 머신러닝 모델의 예측 정확도로부터 단원별 자동채점 연습문제의 출제 타당도를 분석하였다.

• 한국수학교육학회지시리즈A:수학교육
• /
• 제63권2호
• /
• pp.165-186
• /
• 2024

학교 현장과 대규모 평가에서 서술형 문항 도입을 지원하기 위한 방안 중 하나로 인공지능 기반의 자동 채점 기술이 주목받고 있음에도 불구하고, 수학 교과에서는 타 교과에 비해 이에 대한 기초 연구가 부족한 상황이다. 이에 본 연구는 중학교 1학년 수학 서술형 문항 두 개를 대상으로 랜덤 포레스트 알고리즘을 활용하여 자동 채점 모델을 개발하고 그 성능을 평가하였다. 연구 결과, 두 문항에 대한 최종 모델의 평가요소별 정확도는 각각 0.95-1.00, 0.73-0.89의 범위로 나타났으며, 이는 타 교과에 비해 상대적으로 높은 수준이다. 데이터의 양을 고려한 평가 범주 설정의 중요성을 확인하였으며, 수학 교육전문가에 의한 텍스트 전처리와 데이터 특성에 맞는 벡터화 방법의 선택이 모델의 성능 및 해석 가능성을 향상시키는 데 기여하였다. 또한, 현실적 한계로 인해 균형적인 데이터 수집이 어려운 상황에서 오버샘플링이 성능을 보완하는 유용한 방법임을 확인하였다. 교육적 활용도를 높이기 위해, 랜덤 포레스트 기반 모델에서 도출된 특성 중요도를 활용하여 피드백과 같이 교수-학습에 유용한 정보를 생성하는 추가 연구가 필요하다. 본 연구는 수학 서술형 자동 채점에 관한 기초 연구로서 의미가 있으며, 인공지능 전문가와 수학교육 전문가 간의 긴밀한 협력을 통해 다양한 후속 연구가 진행될 필요가 있다.

• 대한음성학회:학술대회논문집
• /
• 대한음성학회 2004년도 춘계 학술대회 발표논문집
• /
• pp.239-242
• /
• 2004

An automatic pronunciation correction system provides users with correction guidelines for each pronunciation error. For this purpose, we propose a speech recognition system which automatically classifies pronunciation errors when Koreans speak a foreign language. In this paper, we also propose machine scoring methods for automatic assessment of pronunciation quality by the speech recognizer. Scores obtained from an expert human listener are used as the reference to evaluate the different machine scores and to provide targets when training some of algorithms. We use a log-likelihood score and a normalized log-likelihood score as machine scoring methods. Experimental results show that the normalized log-likelihood score had higher correlation with human scores than that obtained using the log-likelihood score.

• 한국수학교육학회지시리즈A:수학교육
• /
• 제63권2호
• /
• pp.187-207
• /
• 2024

본 연구에서는 GPT-4 기반의 ChatGPT를 활용한 서술형 평가 문항의 자동 채점 가능성을 탐색하기 위해 교사와 GPT-4 기반의 ChatGPT의 채점 결과를 비교, 분석하였다. 이를 위해 학생평가지원포털에 있는 고등학교 1학년 순열과 조합 단원에서 3개의 서술형 문항을 선정하였다. 문항 1, 2는 문제 해결 전략이 1가지인 문항이고, 문항 3은 문제 해결 전략이 2가지 이상인 문항이었다. 8년 이상의 교육 경력이 있는 교사 2명이 학생 204명의 답안을 채점하고, GPT-4 기반의 ChatGPT의 채점 결과와 비교하였다. 문항별로 Few-Shot-CoT, SC, 구조화, 반복 프롬프트 기법 등을 활용하여 채점을 위한 프롬프트를 구성하였고, 이를 GPT-4 기반의 ChatGPT에 입력하여 채점하였다. 채점 결과, 문항 1, 2는 교사의 채점 결과와 GPT-4의 채점 결과 사이에 강한 상관관계를 충족하였다. 문제 해결 전략이 2가지인 문항 3은 먼저 채점 전 학생 답안을 문제 해결전략별로 분류하는 프롬프트를 GPT-4 기반의 ChatGPT에 입력하여 답안을 분류하였다. 이후 유형별로 채점 프롬프트를 적용하여 GPT-4 기반의 ChatGPT에 입력하여 채점하였고, 채점 결과 역시 교사의 채점 결과와 강한 상관관계가 나타났다. 이를 통해 프롬프트 엔지니어링을 활용한 GPT-4 모델이 교사의 채점을 보조할 수 있는 가능성을 확인하였으며 본 연구의 한계점 및 향후 연구 방향을 제시하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2013년도 추계학술대회
• /
• pp.173-176
• /
• 2013

본 논문은 자동출제 및 채점 시스템이 HTML 및 XML 기반으로 작성된 시스템에서 문제시 되고 있는 오프라인에서 출제된 문제를 편리하게 자동으로 등록하는 방법, 출제된 문제의 편리한 관리, 문항의 병합문제등과 PC와 모바일 기기를 이용하여 장소에 제한받지 않고 시험에 응시가 가능한 시스템을 연구한다. 서버 시스템은 문제 등록 및 실시간 문항병합, 난이도조정 등 시험에 필요한 시스템을 구축한다. 클라이언트에서는 서버와의 통신을 이용하여 모바일 기기 및 PC에서 시험 응시에 필요한 View프로그램, 답안에 대한 전송 처리를 연구한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2014년도 추계학술대회
• /
• pp.370-372
• /
• 2014

본 연구는 자동출제 및 채점 시스템이 HTML 및 XML 기반으로 작성된 시스템에서 문제시 되고 있는 오프라인에서 출제된 문제를 편리하게 자동으로 등록하는 방법, 출제된 문제의 편리한 관리, 문항의 병합문제등과 PC와 모바일 기기를 이용하여 장소에 구해받지 않고 시험에 응시가 가능한 시스템을 연구한다. 서버 시스템은 문제 등록 및 실시간 문항병합, 난이도조정 등 시험에 필요한 시스템을 구축한다. 클라이언트에서는 서버와의 통신을 이용하여 모바일 기기 및 PC에서 시험 응시에 필요한 View프로그램, 답안에 대한 전송 처리를 연구한다.

• 대한음성학회지:말소리
• /
• 제49호
• /
• pp.95-105
• /
• 2004

An automatic pronunciation correction system provides learners with correction guidelines for each mispronunciation. For this purpose we develope a speech recognizer which automatically classifies pronunciation errors when Koreans speak a foreign language. In order to develope the methods for automatic assessment of pronunciation quality, we propose a language model based score as a machine score in the speech recognizer. Experimental results show that the language model based score had higher correlation with human scores than that obtained using the conventional log-likelihood based score.

• 한국과학교육학회지
• /
• 제41권3호
• /
• pp.203-220
• /
• 2021

이 연구는 과학적 논증 담화에 대한 자동 채점의 성능 개선 방향을 탐색하였으며, 자동 채점 모델을 활용하여 논증 담화의 양상과 패턴을 분석하였다. 이를 위해 과학적 논증 수업에서 발생한 학생 발화를 대상으로 논증 수준을 평가하는 자동 채점을 수행하였다. 이 자동 채점의 데이터셋은 4가지 단위의 논증 피처와 논증 수준 평가틀로 구성되었다. 특히, 자동 채점에 논증 패턴을 반영하기 위하여 논증 클러스터와 n-gram을 활용하였다. 자동 채점 모델은 3가지의 지도 학습 기법으로 구성되었으며, 그 결과 총 33개의 자동 채점 모델이 구성되었다. 자동 채점의 결과, 최대 85.37%, 평균 77.59%의 채점 정확도를 얻었다. 이 과정에서 논증 담화의 패턴이 자동 채점의 성능을 개선하는 주요한 피처임을 확인하였다. 또한, 의사결정 나무와 랜덤 포레스트의 모델을 통하여 과학적 논증 수준에 따른 논증의 양상과 패턴을 분석하였다. 이를 통하여 주장, 자료와 함께 정당화가 체계적으로 구성된 과학적 논증과 자료에 대한 활발한 상호작용이 이루어진 과학적 논증이 논증 수준의 발달을 이끈다는 점 등을 확인하였다. 이와 같은 자동 채점 모델의 해석은 논증 패턴을 분석하는 새로운 연구 방법을 제언하는 것이다.