Design of Programming Failure Feedback System Based on Control Flow of Test Case to Support Programming Training

프로그래밍 훈련 지원을 위한 테스트케이스의 제어흐름에 기반한 프로그래밍 실패 피드백 시스템 설계

Abstract

Programming judge systems for programming training support are typically built on the Web, where the examiners uploads a programming problem, which the student reads and submits an answer to the problem. The judge system executes the submitted answer of source code to provide feedback such as pass, failure, and error messages. Students who receive the feedback except for the pass continues debugging the source code until they are judged to pass. We developed an online judge system to support programming training and analyzed answers submitted by the students and found that many of the students who were not judged to pass that test did not know exactly where they were wrong but continued to solve the problem. The current judge system generally feeds runtime error messages back to students. However, with only runtime error message, it is difficult for student who train to find the wrong part of the answer. Therefore, in this paper, we propose a system that provides the feedback of programming failure by analyzing the control flow of the test cases used in the source code submitted by the student. The proposed system helps students find the wrong parts more quickly by feeding back the paths where faults in the control flow may exist. In addition, we show that this system is applicable to the answer source code that the actual student submitted.

프로그래밍 훈련 지원을 위한 프로그래밍 채점시스템은 일반적으로 웹 상에 구축되어 출제자는 프로그래밍 문제를 업로드하고 이를 학습자가 열람하고 문제에 대한 답안을 제출한다. 프로그래밍 채점시스템은 제출된 답안 소스코드를 실행하여 통과, 실패, 에러 메시지 등의 피드백을 제공한다. 통과를 제외한 피드백을 받은 학습자는 통과 판정받을 때까지 계속해서 소스코드를 디버깅한다. 본교에서 프로그래밍 훈련 지원을 위해 온라인 채점시스템을 자체 개발하였고 학생들이 제출한 답안을 분석한 결과 통과 판정을 받지 못한 학생들 중 다수가 자신이 틀린 부분을 정확하게 모른 채 계속해서 문제를 푼다는 사실을 확인하였다. 현재 프로그래밍 채점시스템은 주로 런타임 에러 메시지 위주로 피드백을 수행한다. 하지만 이러한 정보만으로는 프로그래밍 훈련을 하는 학습자들은 제출한 답안의 틀린 부분을 찾아내기가 어렵다. 따라서 본 논문에서는 학습자가 제출한 소스코드에 사용된 테스트케이스의 제어흐름을 분석한 결과를 프로그래밍 실패에 대한 피드백으로 제공하는 시스템을 제안한다. 제안한 시스템은 제어흐름 상의 결함이 존재할 수 있는 경로를 피드백하여 학습자들이 틀린 부분을 보다 빠르게 찾을 수 있게 도와준다. 또한 실제 학습자가 제출한 답안 소스코드를 예로 들어 본 시스템이 적용 가능함을 보인다.

Fig. 1. The General Process of Using Judge System

Fig. 2. The Control Flow Graphs of the Answer Source Codes

Fig. 3. The Possible Control Flow Graphs of the ‘If Statement’ Problem of the Table 3

Fig. 4. The Answer Source Code of the ‘If Statement’ Problem of the Table 3 with Faults

Fig. 5. The Feedback of Programming Failure Based on the Control Flow Graph

Fig. 6. The Execution Paths of the 1^st Submitted Answer

Fig. 7. The Source Code Feedback of the 1^st Submitted Answer

Fig. 8. The Execution Paths of the 2^nd Submitted Answer

Fig. 9. The Source Code Feedback of the 2^nd Submitted Answer

Fig. 10. The Execution Paths of the Final Submitted Answer

Fig. 11. The Source Code Feedback of the Final Submitted Answer

Table 1. Analysis Result of Students’ Submission History

Table 2. Feedback Contents of Online Judge Systems

Table 3. The Problem of ‘If Statement’ for Training