Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2014.04a
  • /
  • Pages.635-638
  • /
  • 2014
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Implementation and comparison with Structured data collection modules

정형 빅데이터 수집 모듈 구현 및 비교

  • Jang, Dong-Hwon (School of Computer Software KwangWoon University) ;
  • Lee, Min-Woo (School of Computer Software KwangWoon University) ;
  • Kim, Woosaeng (School of Computer Software KwangWoon University)
  • 장동훤 (광운대학교 전자정보공과대학 컴퓨터소프트웨어학과) ;
  • 이민우 (광운대학교 전자정보공과대학 컴퓨터소프트웨어학과) ;
  • 김우생 (광운대학교 전자정보공과대학 컴퓨터소프트웨어학과)
  • Published : 2014.04.22
Download PDF
⟨ Previous Next ⟩

Abstract

빅데이터 시대의 대두에 따라 기존의 관계형 데이터베이스로는 처리하기 어려운 형태의 데이터가 발생하였다. 이런 성질의 데이터를 저장, 활용하기 위한 방법으로 Apache 하둡이 널리 사용되고 있다. 기존의 RDBMS 상의 데이터를 하둡 데이터 분석의 원천 데이터로 활용하려고 하는 경우, 혹은 데이터 크기와 복잡도의 증가로 저장방식을 바꿔야 하는 경우 데이터를 HDFS(Hadoop Distributed File System) 으로 전송해야 한다. 본 논문에서는 정형 데이터 수집 모듈인 Sqoop과 Nosqoop4u의 개발을 통하여 데이터 전송 성능을 비교하였다.

Keywords

Acknowledgement

Supported by : KWIX(KwangWoon IT Exhibition)