• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.113-118
• /
• 2023

딥러닝을 이용한 언어 모델은 다양한 분야에서 사용되고 있는데, 그 중 교육 분야에선 꾸준히 시험 문항을 자동으로 생성하려는 요구가 존재해 왔다. 그러나 빈칸 추론 문항, 그 중에서도 어구 단위 빈칸 추론 문항은 학습 및 평가 목적으로 널리 쓰이고 있지만, 이를 자동 생성하려는 연구는 상대적으로 드물다. 이에 본 연구에선 masked language modeling (MLM)을 이용한 난이도 조절이 가능한 어구 단위 빈칸 추론 문항 생성 시스템을 제안한다. 본 시스템은 정답 생성 모델의 attention 정보에 따라 지문 내 중요한 어구를 삭제해 오답을 생성하고, 동시에 어구의 삭제 비율을 조절함으로써 더 쉽거나 더 어려운 오답을 만들어낼 수 있다. 평가 결과, 제안한 시스템은 기존 접근법보다 정답과의 유사도가 최고 28.3% 낮았고, 또한 난이도 설정에 따라 쉬운 오답이 어려운 오답에 비해 유사도가 15.1% 낮아, 더 정답과 먼 뜻의 오답을 생성해내었다.

• The Mathematical Education
• /
• v.61 no.4
• /
• pp.581-595
• /
• 2022

The purpose of this study is to specify the procedure for making item models based on ontology models using automatic item generation in the mathematics subject through the CAFA system, and to explore the generated item instances. As an illustration for this, an item model was designed as a part of formative assessment based on the content characteristics, including concepts and calculations, and process characteristics, including application, using the representative values and the measures of dispersion in Mathematics of the 9th grade based on the evaluation criteria achievement standards. The item types generated in one item model were a best answer type, a correct answer type, a combined-response type, an incomplete statement type, a negative type, a true-false type, and a matching type. It was found that HTML, Google Charts, TTS, figures, videos and so on can be used as media. The implications of the use of digital evaluation based on automatic item generation were suggested in the aspects of students, pre-service teachers, general teachers, and special education, and the limitations of this study and future research directions were presented.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.05a
• /
• pp.187-190
• /
• 2018

최근 프로그래밍 교육에서 학생들의 학습 성취도를 빠르고 정확하게 평가하기 위하여 자동 채점 시스템을 사용한다. 강의를 통해 습득한 이론적인 지식을 이해하기 위해 직접 코드를 작성하는 실습이 진행되는 프로그래밍 교육에서 효과적이기 때문이다. 현재 실습에 필요한 실습문항의 대부분은 강사가 직접 생성해야 한다. 특히 강의내용을 바탕으로 예제 소스코드를 이해하여 빈 칸에 알맞은 코드를 작성하는 실습은 강사가 직접 빈 칸에 해당되는 부분을 예제 코드에서 지정해줘야 하는 추가적인 작업이 필요하다. 이러한 빈 칸 채우기 문항은 일반적으로 빈 칸이 고정된 행태이기 예문에 학생들이 답안을 공유하기 쉽다. 이를 막기 위해서 강사는 유사한 내용의 빈 칸 채우기 문항을 추가적으로 생성해야 한다. 하지만 대부분의 자동 채점 시스템은 이를 지원하지 않거나 강사에게 빈 칸을 직접 지정하도록 하는 경우가 대부분이다. 따라서 본 논문에서는 이러한 문제를 해결하는 빈 칸 채우기 문항 자동생성기법을 제안하고 적용 사례를 보인다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.04a
• /
• pp.649-652
• /
• 2017

프로그래밍 교육에서 실습교육은 소스 코드를 직접 작성해보는 과정을 통해 이론적인 지식을 보완할 수 있는 매우 중요한 과정이다. 따라서 대부분의 프로그래밍 교과과정은 실습교육을 포함하고 있다. 그러나 실습교육을 통해 학습 성취도를 평가하는 일은 시간과 비용이 많이 소모되는 작업이다. 그래서 많은 교육기관에서는 평가를 효율적으로 하기 위해 자동 평가 시스템을 운용하고 있다. 자동 평가 시스템은 학생들의 실습 결과를 정확하고 신속하게 평가하는데 효과적이다. 그러나 실습교육에 필요한 실습문항은 대부분의 경우 교사가 수작업으로 생성하며 이 과정에서 많은 인적 시간적 비용이 발생하게 된다. 이러한 문제를 해결하기 위해서 문항 생성을 자동화하려는 연구가 진행되고 있으나 아직까지 초기 단계이며 새로운 문항을 생성하지 못하는 등의 제약 사항이 많아 적용하기에 무리가 있다. 따라서 본 논문에서는 하나의 문항으로부터 다양한 문항들을 변형하여 생성할 수 있는 방법을 제안하고 이를 지원하는 프로그래밍 실습용 문항 생성기의 구조를 설계한다.

• Journal of Science Education
• /
• v.47 no.2
• /
• pp.211-224
• /
• 2023

The purpose of this study is to suggest how to investigate the reliability of the assessment, which consists of items generated by automatic item generation using empirical example data. To achieve this, we analyzed the illustrative assessment data by applying the multivariate generalizability theory, which can reflect the design of responding to different items for each student and multiple error sources in the assessment score. The result of the G-study showed that, in most designs, the student effect corresponding to the true score of the classical test theory was relatively large after residual effects. In addition, in the design where the content domain was fixed, the ranking of students did not change depending on the item types or items. Similarly, in the design where the item format was fixed, the difficulty showed little variation depending on the content domains. The result of the D-study indicated that the original assessment data achieved a sufficient level of reliability. It was also found that higher reliability than the original assessment data could be obtained by reducing the number of items in the content domains of operation, geometry, and probability and statistics, or by assigning higher weights to the domains of letters and formulas, and function. The efficient measurement conditions presented in this study are limited to the illustrative assessment data. However, the method applied in this study can be utilized to determine the reliability and to find efficient measurement conditions for the various assessment situations using automatic item generation based on measurement traits.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.05a
• /
• pp.1404-1407
• /
• 2007

본 논문에서는 객관식 문항을 난이도에 따라 자동으로 생성하는 방법을 고안하여, 학습자 수준에 적합하도록 다양하고 동적인 형태로 문항 제시를 할 수 있는 시스템을 제안하였다. 이를 위해서는 주어진 문장에서 형태소 분석을 통해 키워드를 추출하고, 각 키워드에 대하여 워드넷의 계층적 특성에 따라 의미가 유사한 후보 단어를 제시한다. 의미 유사 후보 단어를 제시할 때, 워드넷에서의 어휘간 유사도 측정 방법을 사용함으로써 생성된 문항의 난이도를 사용자가 원하는 수준으로 조정할 수 있도록 하였다. 단어의 의미 유사도는 동의어를 의미하는 수준 0에서 거의 유사도를 찾을 수 없는 수준 9 까지 다양하게 제시할 수 있으며, 이를 조절함으로써 문항의 전체 난이도를 조절할 수 있다. 후보 어휘들의 의미 유사도 측정을 위해서, 본 논문에서는 두 가지 방법을 사용하여 구현하였다. 첫째는 단순히 두 어휘의 워드넷 상에서의 거리만을 고려한 것이고 둘째는 두 어휘가 워드넷에서 차지하는 비중까지 추가적으로 고려한 것이다. 이러한 방법을 통하여 실제 출제자가 기존에 출제된 문제를 토대로 보다 다양한 내용과 난이도를 가진 문제 또는 문항을 보다 쉽게 출제하게 함으로써 출제에 소요되는 비용을 줄일 수 있었다.

• The KIPS Transactions:PartA
• /
• v.15A no.2
• /
• pp.125-134
• /
• 2008

We implemented a system being able to suggest example sentences for multiple choice tests, considering the level of students. To build the system, we designed an automatic method for sentence generation, which made it possible to control the difficulty degree of questions. For the proper evaluation in the multiple choice tests, proper size of question pools is required. To satisfy this requirement, a system which can generate various and numerous questions and their example sentences in a fast way should be used. In this paper, we designed an automatic generation method using a linguistic resource called WordNet. For the automatic generation, firstly, we extracted keywords from the existing sentences with the morphological analysis and candidate terms with similar meaning to the keywords in Korean WordNet space are suggested. When suggesting candidate terms, we transformed the existing Korean WordNet scheme into a new scheme to construct the concept similarity matrix. The similarity degree between concepts can be ranged from 0, representing synonyms relationships, to 9, representing non-connected relationships. By using the degree, we can control the difficulty degree of newly generated questions. We used two methods for evaluating semantic similarity between two concepts. The first one is considering only the distance between two concepts and the second one additionally considers positions of two concepts in the Korean Wordnet space. With these methods, we can build a system which can help the instructors generate new questions and their example sentences with various contents and difficulty degree from existing sentences more easily.

• Annual Conference on Human and Language Technology
• /
• 2014.10a
• /
• pp.247-250
• /
• 2014

국내에서 거주하는 외국인들을 대상으로 한 여러 정책들이 만들어지고 있다, 그에 따른 한국어 교육의 수요는 증가하고 있지만 그에 적합한 한국어 교육시스템의 자동화 및 발전은 미약하다. 본 논문에서는 사전예문과 획득이 용이한 말뭉치를 가공하여 적절한 수준의 문제를 자동으로 생성하는 방법을 제안한다. 자동문제생성에서는 말뭉치와 사전 예문에서 문제와 보기문항을 생성하고, 보기 리스트를 생성한다. 웹문서 검색빈도를 이용하여 생성된 보기리스트의 적합성을 분석하여 정제된 보기 리스트를 획득한다. 얻어진 보기들을 임의로 선택하여 출력함으로써 사용자들이 다양한 문제를 접할 수 있도록 한다.

• Journal of the Korea Society of Computer and Information
• /
• v.14 no.2
• /
• pp.201-209
• /
• 2009

According to previous researches about online evaluation in many e-Learning contents, it took too much time and effort to generate test questions for formative or achievement tests using a database as an item pool. Furthermore, it is hard to measure accomplishment of learners for each unit through overall tests provided by existing e-learning contents. In this paper, to efficiently cope with problems described above, the item pool based on Item Form was transformed into Interaction Date Model in Run-Time Environment of SCORM2004. And the contents for the math concepts and principles that students would learn from regular classroom were developed in accordance with SCORM. In addition, Confidence Factor Function was used to take an objective view in measuring the accomplishment of learners through the items automatically generated by LMS(Learning Management System).

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04b
• /
• pp.699-701
• /
• 2000

기존의 대부분 웹기반 문항평가시스템의 경우 CGI나 자바 스트립트를 이용한 너무나 순차적이며 제한된 평가문항들만 제시함으로써 학습에 흥미도가 떨어지고 학습자 주도의 창의적인 학습을 저해하는 요인이 되었다. 본 논문에서는 저작도구 PASS2000의 웹연동 방법을 통하여 학습자가 보다 흥미를 느끼고 학습자 수준에 적합한 동적인 다양한 형태의 평가문항 제시와 학습자가 제시된 문항에 대한 학습후에는 자동채점이 가능하며 즉각적인 결과확인이 가능하도록 하였다. 아울러 학습한 평가문항들을 문항평가지 형태로 출력하여 지속적이고 반복적인 개별화 학습을 할 수 있도록 하였다. 이는 장차 보편화될 원격교육시스템에서 학생들의 학습이해능력을 평가할 수 있는 원격 웹기반 문항평가시스템을 구현하여, 언제 어디서나 시간과 공간의 제한을 받지 않고 학습할 수 있는 체제가 되도록 하는데 있다.