Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2014.04a
  • /
  • Pages.631-634
  • /
  • 2014
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Implementation and Comparison of Atypical Big-Data Collecting Modules

비정형 빅데이터 수집 모듈의 구현 및 비교

  • Kim, JungKi (School of Compuer Software KwangWoon University) ;
  • Cheon, YoSeop (School of Compuer Software KwangWoon University) ;
  • Kim, WooSaeng (School of Compuer Software KwangWoon University)
  • 김정기 (광운대학교 컴퓨터소프트웨어학과) ;
  • 천요섭 (광운대학교 컴퓨터소프트웨어학과) ;
  • 김우생 (광운대학교 컴퓨터소프트웨어학과)
  • Published : 2014.04.22
Download PDF
⟨ Previous Next ⟩

Abstract

최근 스마트폰의 보급으로 블로그, SNS 등에서 방대한 양의 데이터가 발생함에 따라 이를 수집하고 분석하는 작업의 중요성이 커지고 있다. 이러한 데이터는 크게 정형 데이터와 비정형 데이터로 나눌 수 있는데, 특히 비정형 데이터는 전체 데이터의 약 80%를 차지할 정도로 그 양과 가치가 매우 크다. 이 논문에서는 빅데이터 환경에서 발생하는 이러한 비정형 데이터를 수집하는 모듈 중 가장 널리 알려진 Chukwa와 Flume에 대한 개발 및 비교 분석을 시도 하였다.

Keywords