한국정보처리학회:학술대회논문집 (Annual Conference of KIPS)

한국정보처리학회 (Korea Information Processing Society)
권호 표지

자동화된 피드백을 통한 코드 생성 LLM 성능 향상 전략

Strategies for Enhancing Code Generation LLM Performance through Automated Feedback

  • 유미선 (서울대학교 전기정보공학부, 서울대학교 반도체 공동연구소) ;
  • 백윤흥 (서울대학교 전기정보공학부, 서울대학교 반도체 공동연구소)
  • Miseon Yu (Dept. of Electrical and Computer Engineering and Inter-University Semiconductor Research Center(ISRC), Seoul National University) ;
  • Yunheung Peak (Dept. of Electrical and Computer Engineering and Inter-University Semiconductor Research Center(ISRC), Seoul National University)
  • 발행 : 2024.10.31
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

최근 몇 년간 대규모 언어 모델(LLM)은 자연어 처리(NLP) 분야에서 인간의 언어를 이해하고 생성하는 능력으로 큰 주목을 받아왔다. 초기에는 텍스트 생성, 번역, 질의응답 시스템과 같은 작업에 주로 사용되었으나, 최근에는 코드 생성과 같은 복잡한 기술 작업에도 응용되고 있다. 그러나 LLM 이 생성한 코드는 문법적 오류, 논리적 결함, 실행 불가능한 문제 등 다양한 문제점을 포함할 수 있다. 이러한 문제를 해결하기 위해 LLM 이 스스로 코드를 검증하고 개선할 수 있는 자동화 피드백 시스템이 주목받고 있다. 본 논문에서는 코드 생성 LLM 의 성능을 향상시키기 위한 주요 자동화 피드백 메커니즘들을 분석한다. 이러한 자동화 피드백 시스템은 소프트웨어 개발 과정을 자동화하고 최적화하는 데 중요한 역할을 할 수 있으며, 향후 연구에서는 이 시스템의 정교화 및 코드 생성 분야에서의 확장 가능성에 대한 탐구가 필요할 것이다.

키워드

과제정보

이 논문은 2024년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(RS-2023-00277326). 이 논문은 2024 년도 BK21 FOUR 정보기술 미래인재 교육연구단에 의하여 지원되었음. 이 논문은 2024년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임 (IITP-2023-RS-2023-00256081). 본 연구는 반도체 공동연구소 지원의 결과물임을 밝힙니다. 이 논문은 2024 년도 정부(산업통상자원부)의 재원으로 한국산업기술기획평가원의 지원을 받아 수행된 연구임.(No. RS-2024-00406121, 자동차보안취약점기반 위협분석시스템개발(R&D)). 이 논문은 2024년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구 결과임(No.RS-2024-00438729, 익명화된 기밀실행을 이용한 전주기적 데이터 프라이버시 보호 기술 개발)

참고문헌

  1. Thomas Dohmke. 2023. GitHub Copilot X: the AI-powered Developer Experience. https://github.blog/2023-03-22-github-copilot-x-the-ai-powered-developerexperience/.
  2. Liangming Pan, et al. Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies. arXiv. 2023.
  3. Xinyun Chen, et al. Teaching large language models to self-debug. ICLR. 2024.
  4. Kexun Zhang, et al. ALGO: Synthesizing Algorithmic Programs with LLM-Generated Oracle Verifiers. NeurIPS. 2023.
  5. Hung Le, et al. CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning. NeurIPS. 2022.