• 디지털정책학회지
• /
• 제2권4호
• /
• pp.1-10
• /
• 2023

본 연구는 경찰교통에서의 효과적 ChatGPT 활용 방안 도출을 위한 사전 연구로서 운전면허 학과시험과 도로교통사고감정사 시험에 대한 ChatGPT의 응답을 분석하였다. ChatGPT가 뛰어난 성능과 접근성으로 여러 분야에서 기대를 받고 있으나 경찰 교통법규와 같이 고도의 정확성이 요구되는 분야에서는 사전에 그 성능과 한계를 탐색할 필요가 있다. 이에 본 연구에서는 운전면허 학과시험 문제은행과 도로교통사고감정사 1차 시험을 대상으로 파이썬 코드로 OpenAI API를 이용해 30회의 반복 실험으로 ChatGPT의 응답을 수집하고 응답 결과를 바탕으로 시험별·연도별·내용 영역별 정답률, 일관성 능력을 분석하였다. 분석 결과 첫째, 운전면허 학과시험 및 도로교통사고감정사 1차 시험의 평균 정답률은 각 44.60%, 35.45%로 합격기준보다 낮았다. 연도별로는 2022년 이후 정답률이 평균 정답률을 하회했다. 둘째, 영역별 정답률은 29.69%~56.80%로 나타나 큰 편차를 보였다. 셋째, 정답을 맞힌 경우 95% 이상 일관되게 같은 응답을 출력하였다. ChatGPT의 효과적 활용을 위해서는 사용자의 전문 지식, 평가 데이터 및 방법 마련, 양질의 교통법규 말뭉치 설계와 주기적 학습이 필요하다고 판단된다.