Annual Conference of KIPS (한국정보처리학회:학술대회논문집)

  • 2024.10a
  • /
  • Pages.445-446
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

A study on programming problem solution generation and test case verification using ChatGPT

ChatGPT를 활용한 프로그래밍 문제의 정답 생성 및 테스트 케이스 검증 연구

  • Do-Hyun Lee (Dept. of Artificial Intelligence, Chonnam University) ;
  • Ye-Na Choi (Dept. of Artificial Intelligence Convergence, Chonnam University) ;
  • Mi-Soo Kim (Dept. of Artificial Intelligence Convergence, Chonnam University)
  • 이도현 (전남대학교 인공지능학부) ;
  • 최예나 (전남대학교 인공지능융합학과) ;
  • 김미수 (전남대학교 인공지능융합학과)
  • Published : 2024.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

인공지능과 자연어 처리 기술 발전으로 ChatGPT는 프로그래밍 분야에서도 활용될 수 있다. ChatGPT로 생성한 문제를 학습 도구로 사용하기 위해 테스트 케이스의 정확성을 검증하는 것은 필수적이다. 본 연구는 ChatGPT를 통해 프로그래밍 문제, 정답 코드, 테스트 케이스를 생성하고 이들의 정확성을 평가하고자 한다. 생성된 테스트 케이스의 정확성을 높이기 위해, 본 연구에서는 5번의 반복적인 테스트 케이스 생성 및 검증 과정을 거쳐 최종적으로 87.8%의 정확성을 달성했다. 이는 ChatGPT를 통한 프로그래밍 학습의 신뢰도를 높일 수 있음을 보여준다.

Keywords

Acknowledgement

본 연구는 과학기술정보통신부 및 정보통신기획평가원의 소프트웨어중심대학사업(2021-0-01409)과 과학기술정보통신부 및 정보통신기획평가원의 인공지능융합혁신인재양성사업(IITP-2023-RS-2023-00256629), 대학ICT연구센터사업(IITP-2024-RS-2024-00437718)의 연구 결과로 수행되었음

References

  1. ChatGPT. https://openai.com/blog/chatgpt
  2. Tian, Haoye, et al. "Is ChatGPT the Ultimate Programming Assistant-How Far Is It?" arXiv preprint arXiv:2304.11938, 2023.
  3. YANG, Boyang, et al. "CREF: An LLM-Based Conversational Software Repair Framework for Programming Tutors" In: Proceedings of the 33rdACM SIGSOFT International Symposium on Software Testing and Analysis, 2024, p. 882-894.
  4. Lo, Chung Kwan. "What Is the Impact of ChatGPT on Education? A Rapid Review of the Literature" Education Sciences, 13.4: 410. 2023.
  5. LeetCode. https://leetcode.com
  6. OUYANG, Long, et al. "Training language models to follow instructions with human feedback" Advances in neural information processing systems, 35: 27730-27744. 2022.