Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)
- 2020.05a
- /
- Pages.361-364
- /
- 2020
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
Design and Implementation of Automated Twitter Data Collecting System : Focus on Environmental Data
자동화된 트위터 데이터 수집 시스템 설계 및 구현 : 환경 데이터를 중심으로
- Kim, Do-Hyung (College of Software, Sungkyunkwan University) ;
- Koo, Jahwan (College of Social Sciences, Sungkyunkwan University) ;
- Kim, Ung-Mo (Dept. of Consumer and Family Sciences, College of Social Sciences / College of Software, Sungkyunkwan University)
- Published : 2020.05.29
Abstract
소셜 네트워크 서비스의 사용자가 늘어나면서, 소셜 네트워크 서비스상에서 발생하는 빅데이터를 활용한 서비스가 늘어나고 있다. 소셜 네트워크 서비스 데이터는 실시간으로 생성되며, 따라서 데이터 수집 시스템 역시 자동화하여 준 실시간으로 데이터를 수집할 필요가 있다. 본 논문에서는 대표적인 소셜 네트워크 서비스인 트위터의 데이터를 지속적으로 수집하기 위한 자동 수집 시스템을 제안한다. 수집 시스템은 Twitter API 를 활용하는 Python 라이브러리를 통해 내용 및 메타데이터를 수집하며, 수집된 데이터를 재 검증한 뒤 저장한다. 또한 구현된 시스템에 환경 데이터를 주제로 하는 쿼리를 입력하여 실제 트위터 데이터를 수집하며 구현된 시스템을 검증해보았다.
Keywords