초록
본 논문에서는 오픈소스(Open Source) LLM(Large Language Model)인 Llama3을 이용하여 음성으로 동작하는 맞춤형 로컬 챗봇을 구현하고자 한다 이를 위해 PEFT(Parameter Efficient Fine-Tuning) 방식과 RAG(Retrival Augmented Generation) 방식을 혼합하는 하이브리드 방식을 사용해 Llama3을 파인 튜닝하고, Ollama을 이용하여 로컬 컴퓨터에서 동작하는 챗봇을 구현하였다. 챗봇의 배포를 위해 서버 부분은 LangServe와 Ngrok을 사용하였고 클라이언트 부분은 모바일 환경에서 원활히 동작하는지 확인하기 위해 교육용 임베디드 시스템인 Raspberry Pi 5를 사용하여 구현하였다. 또한 사용자의 편의성을 위해 음성인식 기능을 추가하였다. 또한 구현한 챗봇에 성능평가를 진행하였다. 성능 측정 방식은 정확도를 사용하였고, 데이터 셋은 총 18개로 각 쿼리마다 5번씩 총 90개의쿼리로 성능 평가를 진행하였다. 성능 평가 결과 하이브리드 방식이 가장 우수한 성능을 보여주었다.