DOI QR코드

DOI QR Code

A Design on a Streaming Big Data Processing System

스트리밍 빅데이터 처리 시스템 설계

  • Kim, Sungsook (Korea Synthesis Pollution Institute of Testing Co., LTD.) ;
  • Kim, GyungTae (Department of Industrial Engineering, Graduate School of Ajou University) ;
  • Park, Kiejin (Department of Industrial Engineering, Graduate School of Ajou University)
  • 김성숙 (한국종합공해시험연구소) ;
  • 김경태 (아주대학교 공과대학 산업공학과) ;
  • 박기진 (아주대학교 공과대학 산업공학과)
  • Published : 2015.10.28

Abstract

현재 다양한 센서 기기에서 쏟아지는 대용량의 정형/비정형의 스트림 데이터의 경우 기존의 단일 스트리밍 처리 시스템 만으로 처리하기에는 한계가 있다. 클러스터의 디스크가 아닌 메모리들을 사용하여 대용량 데이터 처리를 할 수 있는 Spark 는 분산 처리 임에도 불구하고 강력한 데이터 일관성과 실시간성을 확보할 수 있는 플랫폼이다. 본 연구에서는 대용량 스트림 데이터 분석 시 발생하는 메모리 공간 부족과 실시간 병렬 처리 문제를 해결하고자, 클러스터의 메모리를 이용하여 대용량 데이터의 분산 처리와 스트림 실시간 처리를 동시에 할 수 있도록 구성하였다. 실험을 통하여, 기존 배치 처리 방식과 제안 시스템의 성능 차이를 확인 할 수 있었다.

Keywords