한국정보처리학회:학술대회논문집 (Proceedings of the Korea Information Processing Society Conference)
- 한국정보처리학회 2015년도 춘계학술발표대회
- /
- Pages.170-171
- /
- 2015
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
ETL 상에서 처리속도 향상을 위한 빅데이터 처리 시스템 제안
Suggestion of BigData Processing System for Enhanced Data Processing on ETL
- Lee, Jung-Been (Dept. of Mobile Software, Gachon University) ;
- Park, Seok-Cheon (Dept. of Computer Engineering, Gachon University) ;
- Kil, Gi-Beom (DATASTREAMS co., ltd) ;
- Chun, Seung-Tea (DATASTREAMS co., ltd)
- 발행 : 2015.04.22
초록
최근 디지털 정보량의 기하급수적인 증가에 따라 대규모 데이터인 빅데이터가 등장하였다. 빅데이터는 데이터가 실시간으로 매우 빠르게 생성되며 다양한 형태의 데이터를 가지며 이 데이터를 수집, 처리, 분석을 통해 새로운 지식을 창출한다. 그러나 기존의 ETL(Exact/Transform/Load) 연구에서 이러한 빅데이터를 처리 하는데 성능 저하가 발생되고 있으며 비정형 데이터를 관리할 수 없다. 따라서 본 논문에서는 기존의 ETL 처리의 한계를 극복하기 위해서 하둡을 이용하여 ETL 상에서 처리 속도를 높이고 비정형 데이터를 처리할 수 있는 빅데이터 처리 시스템을 제안하고자 한다.
키워드