Acknowledgement
이 성과는 2020년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. NRF-2020R1C1C1010162).
Annual Conference of KIPS (한국정보처리학회:학술대회논문집)
- 2023.11a
- /
- Pages.487-488
- /
- 2023
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
Application of Llama2 LLM and prompting in Financial QA
Llama2 LLM과 prompting을 통한 Financial QA 풀이
- NaKyung Lee (Dept. of Rural System Engineering, Seoul National University) ;
- Kyung Seo Ki (Dept. of Intelligence and Information, Seoul National University) ;
- Gahgene Gweon (Dept. of Intelligence and Information, Seoul National University)
- Published : 2023.11.02
Abstract
본 논문에서는 RLHF 기반의 오픈소스 LLM인 llama-2-13b model을 FinQA task에 적용하여 그 성능을 확인해 보았다. 이때, CoT, few-shot과 같은 다양한 prompting 기법들을 적용해보며 어떤 방법이 가장 효과적인지 비교했다. 그 결과, 한 번(total)에 task를 수행한 경우 few-shot 예시를 2개 사용했을 때보다 3개 사용했을 때, subtask로 나누어 수행한 경우 prompt로 답(simple)만 제시했을 때보다 CoT 형식으로 주었을 때, 각각 24.85%의 정확도로 가장 높은 성능을 보였다.
Keywords