A study on the difficulty adjustment of programming language multiple-choice problems using machine learning

For the questions asked for LMS-based online evaluation the professor directly set exam questions, or use the automatic question-taking method according to the level of difficulty using the question bank divided by category. Among them, it is important to manage the difficulty of questions in an objective and efficient way, above all, in the automatic question-taking method according to difficulty. Because the questions presented to the evaluators may be different. In this paper, we propose an difficulty re-adjustment algorithm that considers not only the correct rate of a problem but also the time taken to solve the problem. For this, a logistic regression classification algorithm was used of machine learning, and a reference threshold was set based on the predicted probability value of the learning model and used to readjust the difficulty of each item. As a result, it was confirmed that there were many changes in the difficulty of each item that depended only on the existing correct rate. Also, as a result of performing group evaluation using the adjustment difficulty problem, it was confirmed that the average score improved in most groups compared to the difficulty problem based on the percentage of correct answers.

머신러닝을 활용한 프로그래밍언어 객관식 문제의 난이도 조정에 대한 연구

LMS 기반의 온라인 평가를 위해 출제되는 문제들은 교수자가 직접 출제하거나 또는 카테고리별로 나뉘어진 문제은행에서 난이도에 따른 자동 출제 방식을 주로 이용한다. 이중에서 난이도에 따른 자동출제 방식은 평가자들에게 출제되는 문제가 서로 다를수 있기 때문에 무엇보다 객관적이고 효율적인 방법으로 문제의 난이도를 관리하는 것이 중요하다. 본 논문에서는 문제의 정답률뿐만 아니라 해당 문제를 해결하는데 사용된 소요시간을 같이 고려한 난이도 재조정 알고리즘을 제시한다. 이를 위해 머신러닝의 로지스틱 회귀 분류 알고리즘을 이용하였으며, 학습모델의 예측 확률값을 기반으로 기준 임계값을 설정하여 각 문항별 난이도 재조정에 활용하였다. 그 결과 정답률에만 의존한 문항별 난이도에 많은 변화가 일어남을 확인할 수 있었다. 또한 조정된 난이도의 문제를 이용하여 그룹별 평가를 수행한 결과, 정답률 기반의 난이도 문제에 비해서 대부분의 그룹에서 평균 점수가 향상됨을 확인할 수 있었다.