한국정보처리학회:학술대회논문집 (Proceedings of the Korea Information Processing Society Conference)

한국정보처리학회 (Korea Information Processing Society)
권호 표지
DOI QR코드

DOI QR Code

Llama2 LLM과 prompting을 통한 Financial QA 풀이

Application of Llama2 LLM and prompting in Financial QA

  • 이나경 (서울대학교 지역시스템공학과 ) ;
  • 기경서 (서울대학교 융합과학기술대학원 지능정보융합전공) ;
  • 권가진 (서울대학교 융합과학기술대학원 지능정보융합전공)
  • NaKyung Lee (Dept. of Rural System Engineering, Seoul National University) ;
  • Kyung Seo Ki (Dept. of Intelligence and Information, Seoul National University) ;
  • Gahgene Gweon (Dept. of Intelligence and Information, Seoul National University)
  • 발행 : 2023.11.02
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

본 논문에서는 RLHF 기반의 오픈소스 LLM인 llama-2-13b model을 FinQA task에 적용하여 그 성능을 확인해 보았다. 이때, CoT, few-shot과 같은 다양한 prompting 기법들을 적용해보며 어떤 방법이 가장 효과적인지 비교했다. 그 결과, 한 번(total)에 task를 수행한 경우 few-shot 예시를 2개 사용했을 때보다 3개 사용했을 때, subtask로 나누어 수행한 경우 prompt로 답(simple)만 제시했을 때보다 CoT 형식으로 주었을 때, 각각 24.85%의 정확도로 가장 높은 성능을 보였다.

키워드

과제정보

이 성과는 2020년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. NRF-2020R1C1C1010162).