• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2016년도 제54차 하계학술대회논문집 24권2호
• /
• pp.339-340
• /
• 2016

함정 함포 사격 채점은 사격함에서 발사한 탄을 타겟을 예인하고 있는 함정에서 관찰하여 이루어 진다. 채점은 함정을 운용하는 승조원의 기량 평가와 관련 있기 때문에 공정성이 중요하다. 명중 여부는 타겟 주위에 발생하는 물보라를 관측하여 결정하는데, 물보라의 경우 사격 이후 수 초 내에 없어져서 예인함의 인원이 육안으로만 관찰해서는 공정한 채점을 할 수 없다. 캠코더등의 영상기록장치를 이용하여 사격을 기록하고 컴퓨터비전을 활용하여 채점의 공정성을 높일 수 있다. 본 논문에서는 컴퓨터 시스템을 활용하여 함정 사격 채점 시스템을 구현할 때 시스템이 갖추어야 할 기능과 컴퓨터비젼의 활용방법 및 함정에 설치되어 있는 전투체계 시스템을 활용하는 방법에 대하여 알아보고 실제로 시스템을 구현해 본다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제22권5호
• /
• pp.218-224
• /
• 2016

본 논문은 컴퓨터 기반의 자동 채점 시스템을 실용적으로 활용할 수 있도록 자연어 처리 기술을 이용하여 채점 기준표 작성 과정을 쉽게 하고 수작업 채점 비용의 절감 및 채점 기간을 단축시키는 방법을 제안한다. 자동 채점의 기준이 되는 정답 템플릿은 학생들이 작성한 답안들로부터 쉽고 편리하게 작성할 수 있도록 하였으며, 채점 정확도를 향상시키고 채점 오류를 최소화하여 신뢰도를 높이고자 하였다. 수작업 채점 대신에 자동채점 시스템을 도입하였을 때 그 효용성을 검증하기 위하여 2014년도 국가수준 학업성취도 평가의 사회과목 답안에 대해 자동 채점을 수행하였다.

• 컴퓨터교육학회논문지
• /
• 제10권5호
• /
• pp.61-69
• /
• 2007

주관식 평가는 객관식보다 높은 수준의 인지 능력을 측정할 수 있으나 채점의 객관성과 신뢰성의 문제, 그리고 한국어 처리의 어려움으로 기피하여 왔다. 본 논문은 이와 같은 문제를 해결하기 위해 한국어의 구문정보와 격의미 정보를 이용하여 주관식 문제의 답안을 채점하는 시스템을 설계, 구현하였다. 이 시스템은 채점의 시간과 노력을 덜고 채점의 객관성을 획득할 수 있다. 시스템의 실험 결과 75%에 달하는 성공률을 얻을 수 있었고 본 시스템을 이용하여 학생의 답지 가운데 정답에 해당하는 답지를 찾는 정보검색의 관점에서 시스템을 평가한 결과 단어추출방법을 이용한 시스템보다 재현율과 정확률의 개선을 얻을 수 있었다. 이 시스템은 앞으로 주관식 채점 방법의 기초가 될 것으로 기대된다.

• 한국과학교육학회지
• /
• 제36권3호
• /
• pp.389-397
• /
• 2016

이 연구는 기계 번역을 활용하여 영어기반서술형 평가의 자동채점모델을 한국어 응답에 적용하는 방법의 효용감을 조사하기 위하여 이루어졌다. 이 연구를 위하여 예비생물교사 128명이 4문항으로 구성된 자연선택개념평가도구에 응답한 512개의 서술형응답을 활용하였다. 서술형응답은 한글맞춤법을 교정한 것과 교정하지 않은 학생들이 작성한 그대로의 응답 두 가지를 구글번역으로 번역하였다. 8가지 과학적 개념과 비과학적 개념을 채점하는 자동채점모델을 통해 생성한 4096개의 예측자료의 정확도를 독립적으로 수행한 전문가 채점자료와 비교하는 방법으로 확인하였다. 그 결과 컴퓨터로 채점한 점수와 전문가 채점점수의 평균값의 문항별 분포는 유의미한 차이가 없었다. 평균값을 활용하여 생성한 통계치들은 전문가 채점자료를 통하여 생성한 자료들과 유의미한 차이가 없었다. 학생별 점수의 Pearson 상관관계 계수를 확인한 결과 과학적 개념 점수는 0.848, 비과학적 개념 점수는 0.776이었다. 언어적으로 단순한 개념의 경우 채점자간 일치도 (kappa)가 0.8이상이었다. 이 결과는 기계 번역과 영어기반 서술형 평가의 자동채점모델이 우리나라 학생들의 자연선택개념문항을 채점하는데 유용한 방법이 될 수 있음을 보여준다.

• 인지과학
• /
• 제26권2호
• /
• pp.147-165
• /
• 2015

서답형 문항은 학생들의 종합적인 사고력을 평가할 수 있다는 장점이 있으나, 채점 비용이 많이 들고 채점자의 주관이 개입될 수 있다는 단점이 있다. 이런 단점을 개선하기 위해 영어권에서는 자동채점 시스템을 개발하여 사용하고 있으나, 한국어의 경우에는 아직 여전히 연구 단계에 있다. 본 논문에서는 준지도학습 방법을 이용한 한국어 서답형 문항의 채점 시스템을 제안한다. 제안된 시스템은 모범답안을 초기 모델로 학생답안의 일부를 채점하고 그 결과를 이용해서 점진적으로 학생답안의 채점을 늘려가는 준지도학습 방법을 이용한다. 제안된 시스템을 평가하기 위해서 2013학년도 학업성취도 평가의 국어 및 사회 과목의 서답형 문항을 사용했다. 채점 시간과 일관성에 관해서 매우 좋은 결과를 얻었다. 그 결과 채점 시간을 크게 단출할 수 있었으며 다양한 채점 방법을 적용하여 객관성을 확보한다면 현장에서 바로 적용할 수 있을 것으로 기대된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2004년도 춘계학술발표대회
• /
• pp.965-968
• /
• 2004

기존의 주관식 문제 채점 보조 시스템은 자연어 처리의 어려움으로 인해 채점의 자동화가 어려워 전자우편 등을 통하여 채점자에게 채점 의뢰를 하는 수준이었다. 본 논문에서는 이러한 문제점을 해결하기 위하여 문제 공간을 벡터 공간으로 정의하고 벡터를 구성하는 각 자질간의 상관관계를 고려한 방법을 적용하였다. 먼저 학습자가 답안을 작성할 때 동의어 사용을 한다는 가정하에 출제자가 여러 개의 모범 답안을 작성하고 이들 답안을 말뭉치에 첨가하여 구성한 다음 형태소 분석기를 통하여 색인을 추출한다. 그리고 학습자가 작성한 답안 역시 색인을 추출한 다음, 이들 색인들을 각 자질로 정의한 벡터를 구성한다. 이렇게 구성된 벡터들을 이용하여 답안들간 유사도 측정을 하고, 유사도 범위에 따라 답안을 자동으로 정답과 오답으로 분류하려는 시스템을 제안한다. 170 문항의 주관식 문제을 제안된 방법으로 실험하여, 기존 모델에 비해 성능과 신뢰성 향상을 이룰 수 있었다.

• 컴퓨터교육학회논문지
• /
• 제6권3호
• /
• pp.207-216
• /
• 2003

일선학교에서 평가는 주로 객관식 평가를 하여왔다. 주관식 평가는 객관식보다 높은 수준의 인지 능력을 측정할 수 있으나 채점의 객관성과 신뢰성의 문제로 기피하여 왔다. 본 논문은 주관식 평가를 위해 주관식 문제 채점 모형을 제안하고 유의어 사전을 이용한 채점 시스템을 설계, 구현하였다. 제안된 시스템은 주관식 문제의 다양한 유형을 처리할 수 있도록 하고 시스템의 사용법을 알지 못하는 교사라도 쉽게 이를 이용할 수 있는 편리성을 제공하였다. 이 시스템을 통해 채점의 시간과 노력을 덜고 채점의 객관성을 획득할 수 있다. 시스템의 실험 결과 시스템 채점이 교사 채점의 최고와 최저 사이에 오는 경우가 73%에 달하는 결과를 얻을 수 있었다. 앞으로 본 연구가 주관식 문제 채점 방법 연구의 기반이 될 것으로 기대된다.

• 한국과학교육학회지
• /
• 제41권3호
• /
• pp.203-220
• /
• 2021

이 연구는 과학적 논증 담화에 대한 자동 채점의 성능 개선 방향을 탐색하였으며, 자동 채점 모델을 활용하여 논증 담화의 양상과 패턴을 분석하였다. 이를 위해 과학적 논증 수업에서 발생한 학생 발화를 대상으로 논증 수준을 평가하는 자동 채점을 수행하였다. 이 자동 채점의 데이터셋은 4가지 단위의 논증 피처와 논증 수준 평가틀로 구성되었다. 특히, 자동 채점에 논증 패턴을 반영하기 위하여 논증 클러스터와 n-gram을 활용하였다. 자동 채점 모델은 3가지의 지도 학습 기법으로 구성되었으며, 그 결과 총 33개의 자동 채점 모델이 구성되었다. 자동 채점의 결과, 최대 85.37%, 평균 77.59%의 채점 정확도를 얻었다. 이 과정에서 논증 담화의 패턴이 자동 채점의 성능을 개선하는 주요한 피처임을 확인하였다. 또한, 의사결정 나무와 랜덤 포레스트의 모델을 통하여 과학적 논증 수준에 따른 논증의 양상과 패턴을 분석하였다. 이를 통하여 주장, 자료와 함께 정당화가 체계적으로 구성된 과학적 논증과 자료에 대한 활발한 상호작용이 이루어진 과학적 논증이 논증 수준의 발달을 이끈다는 점 등을 확인하였다. 이와 같은 자동 채점 모델의 해석은 논증 패턴을 분석하는 새로운 연구 방법을 제언하는 것이다.

• 한국과학교육학회지
• /
• 제40권3호
• /
• pp.321-336
• /
• 2020

본 연구는 실제 교실에서 이루어진 학생의 과학 논증과정을 기계학습을 활용한 자동 채점에 적용함으로써, 논증 자동 채점의 가능성 및 개선 방향을 탐색한다. 분자 구조에 대한 고등학생의 과학 논증수업 중 발생한 2,605개의 모든 발화를 대상으로 연구를 진행하였다. 지도 학습을 위해 5가지의 논증 요소로 발화를 분류하였고, 분류된 발화를 대상으로 텍스트 전처리를 수행하였다. 전처리된 학생 발화를 활용하여 서포트 벡터 머신, 의사결정나무, 랜덤 포레스트, 인공신경망의 기계 학습 방법으로 자동 채점 모델을 구성하였다. 불용어 처리가 되지 않은 학생 발화를 활용한 자동 채점의 결과 랜덤 포레스트의 정확도는 65.96%, kappa는 0.5298의 유미한 결과를 얻었다. 불용어 처리를 수행한 학생 발화를 활용한 새로운 채점 모델의 결과 채점의 정확도가 크게 변화하지 않음에도 논증 발화 중 과학 용어 및 논증 요소의 담화표지가 채점 모델의 분류 기준이 되는 결과를 얻었다. 또한 인간 전문가의 논증 채점 과정을 분석하여 얻어진 전문가 형태소를 자동 채점 모델에 생성 규칙 알고리즘으로 적용하였다. 그 결과 의사결정나무에서 반박에 대한 재현율(recall)이 21.74% 증가하였다. 이에 본 연구 결과는 과학 교육 연구에서 기계 학습 및 논증에 대한 자동 채점의 활용 가능성과 연구 방향성을 제안하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제5권11호
• /
• pp.527-534
• /
• 2016

최근 정보화 사회에서는 단순 암기보다는 문제 해결 능력과 종합적인 사고력을 바탕으로 창의적인 생각을 할 수 있는 인재를 요구한다. 이에 따라 교육과정도 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점자의 주관에 의존하여 채점이 진행되기 때문에, 채점 결과의 일관성을 확보하기 어렵다는 단점이 있다. 이런 점을 해결하기 위해 해외에서는 기계학습을 이용한 자동채점 시스템을 채점 도구로 사용하고 있다. 한국어는 영어와 언어학적으로 다른 분류에 속하므로 영어권에서 사용하는 자동채점 시스템을 한국어에 그대로 적용할 수 없다. 따라서 한국어 체계에 맞는 자동채점 시스템의 개발이 필요하다. 본 논문에서는 기계학습 분류기의 예측확률과 만장일치 방법을 사용한 한국어 서답형 문항 자동채점 시스템을 소개하고, 자동채점 시스템을 이용한 채점 결과와 교과 전문가의 채점 결과를 비교하여 자동채점 시스템의 실용성을 검증한다. 본 논문의 실험을 위해 2014년 국가수준 학업성취도 평가의 국어, 사회, 과학 교과의 서답형 문항을 사용했다. 평가 척도로 피어슨 상관계수와 카파계수를 사용했다. 채점자가 개입했을 때와 개입하지 않았을 때의 상관계수 모두 0.7 이상으로 강한 양의 상관관계를 보였다. 이는 자동채점 시스템이 교과 전문가가 채점한 결과와 유사한 방향으로 답안에 점수를 부여한 것이므로 자동채점 시스템을 채점 보조도구로서 충분히 사용할 수 있을 것이다.