DOI QR코드

DOI QR Code

Application of Llama2 LLM and prompting in Financial QA

Llama2 LLM과 prompting을 통한 Financial QA 풀이

  • NaKyung Lee (Dept. of Rural System Engineering, Seoul National University) ;
  • Kyung Seo Ki (Dept. of Intelligence and Information, Seoul National University) ;
  • Gahgene Gweon (Dept. of Intelligence and Information, Seoul National University)
  • 이나경 (서울대학교 지역시스템공학과 ) ;
  • 기경서 (서울대학교 융합과학기술대학원 지능정보융합전공) ;
  • 권가진 (서울대학교 융합과학기술대학원 지능정보융합전공)
  • Published : 2023.11.02

Abstract

본 논문에서는 RLHF 기반의 오픈소스 LLM인 llama-2-13b model을 FinQA task에 적용하여 그 성능을 확인해 보았다. 이때, CoT, few-shot과 같은 다양한 prompting 기법들을 적용해보며 어떤 방법이 가장 효과적인지 비교했다. 그 결과, 한 번(total)에 task를 수행한 경우 few-shot 예시를 2개 사용했을 때보다 3개 사용했을 때, subtask로 나누어 수행한 경우 prompt로 답(simple)만 제시했을 때보다 CoT 형식으로 주었을 때, 각각 24.85%의 정확도로 가장 높은 성능을 보였다.

Keywords

Acknowledgement

이 성과는 2020년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. NRF-2020R1C1C1010162).