Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)
- 2014.04a
- /
- Pages.631-634
- /
- 2014
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
Implementation and Comparison of Atypical Big-Data Collecting Modules
비정형 빅데이터 수집 모듈의 구현 및 비교
- Kim, JungKi (School of Compuer Software KwangWoon University) ;
- Cheon, YoSeop (School of Compuer Software KwangWoon University) ;
- Kim, WooSaeng (School of Compuer Software KwangWoon University)
- Published : 2014.04.22
Abstract
최근 스마트폰의 보급으로 블로그, SNS 등에서 방대한 양의 데이터가 발생함에 따라 이를 수집하고 분석하는 작업의 중요성이 커지고 있다. 이러한 데이터는 크게 정형 데이터와 비정형 데이터로 나눌 수 있는데, 특히 비정형 데이터는 전체 데이터의 약 80%를 차지할 정도로 그 양과 가치가 매우 크다. 이 논문에서는 빅데이터 환경에서 발생하는 이러한 비정형 데이터를 수집하는 모듈 중 가장 널리 알려진 Chukwa와 Flume에 대한 개발 및 비교 분석을 시도 하였다.
Keywords