Utilizing Large Language Models(LLM) for Efficient Online Price Index Development and Statistical Data Processing

대규모 언어모델 활용을 통한 통계자료 처리 및 온라인 가격지표 개발 방법론 연구

본 연구는 현대 사회에서 빅데이터의 중요성이 강조되는 가운데, 온라인 시장의 확장과 소비자들의 다양한 소비 행태 변화를 반영한 가격지표 개발을 목표로 한다. 통계청의 기존 통계조사 방법론에 대한 한계를 극복하고, 온라인 쇼핑몰 데이터에서 필요한 정보를 추출하고 가공하기 위해 대규모 언어 모델(LLM)을 활용한 인공지능 기술을 적용해보고자 한다. 초기 연구 결과로 공개 Polyglot을 활용하여 비정형 자료 처리와 품목분류에 응용해 보았으며, 제한된 학습 데이터를 사용하여도 높은 정확도의 처리 결과를 얻을 수 있었으며, 현재는 적용 품목을 확장하여 더욱 다양한 품목에 방법론을 적용하는 연구를 진행 중이다.