Design and implementation of trend analysis system through deep learning transfer learning

딥러닝 전이학습을 이용한 경량 트렌드 분석 시스템 설계 및 구현

Recently, as more consumers spend more time at home due to COVID-19, the time spent on digital consumption such as SNS and OTT, which can be easily used non-face-to-face, naturally increased. Since 2019, when COVID-19 occurred, digital consumption has doubled from 44% to 82%, and it is important to quickly and accurately grasp and apply trends by analyzing consumers' emotions due to the rapidly changing digital characteristics. However, there are limitations in actually implementing services using emotional analysis in small systems rather than large-scale systems, and there are not many cases where they are actually serviced. However, if even a small system can easily analyze consumer trends, it will help the rapidly changing modern society. In this paper, we propose a lightweight trend analysis system that builds a learning network through Transfer Learning (Fine Tuning) of the BERT Model and interlocks Crawler for real-time data collection.

최근 코로나로 인해 집에 있는 시간이 많아진 소비자들이 증가함에 따라 비대면으로 쉽게 사용 할 수 있는 SNS와 OTT등 디지털 소비를 하는 시간이 자연스럽게 늘어났다. 코로나가 발생한 2019년 이후 디지털 소비는 44%에서 82%로 두 배가량 증가하였고 트렌드가 빠르게 변화하는 디지털 특성상 소비자들의 감성을 분석하여 트렌드를 신속, 정확하게 파악하여 적용하는 것은 중요하다. 그러나 대기업 수준의 시스템이 아닌 소규모 시스템에서 감성분석을 활용한 서비스를 실제로 구현하기에는 제약 사항이 있으며 실제 서비스 되는 경우도 많지 않다. 하지만 소규모 시스템이라도 간편하게 소비자들 트렌드 분석을 할 수 있다면 빠르게 변화하는 현대사회에 도움이 될 것이다. 본 논문에서는 BERT Model의 Transfer Learning(Fine Tuning)을 통해 학습 네트워크를 구축하고, 실시간 데이터 수집을 위한 Crawler를 연동하는 경량 트렌드 분석 시스템을 제안한다.