DOI QR코드

DOI QR Code

Implement of Job Processing Using GPU for Hadoop Environment

하둡 환경에서 GPU를 사용한 Job 처리 방법

  • Hong, Seok-min (Dept. of Data Analysis, Seoul Kangseo Campus of Korea Polytechnice) ;
  • Yoo, Yeon-jun (Dept. of Data Analysis, Seoul Kangseo Campus of Korea Polytechnice) ;
  • Lee, Hyeop Geon (Dept. of Data Analysis, Seoul Kangseo Campus of Korea Polytechnice) ;
  • Kim, Young Woon (Dept. of Data Analysis, Seoul Kangseo Campus of Korea Polytechnice)
  • 홍석민 (한국폴리텍대학 강서캠퍼스 데이터분석과) ;
  • 유연준 (한국폴리텍대학 강서캠퍼스 데이터분석과) ;
  • 이협건 (한국폴리텍대학 강서캠퍼스 데이터분석과) ;
  • 김영운 (한국폴리텍대학 강서캠퍼스 데이터분석과)
  • Published : 2022.11.21

Abstract

IT기술이 발전함에 따라 전 세계 데이터의 규모는 매년 증가하고 있다. 빅데이터 플랫폼을 사용하는 기업들은 더욱 빠른 빅데이터 처리를 원하고 있다. 이에 본 논문은 하둡 환경에서 GPU를 사용한 Job 처리 방법을 제안한다. 제안하는 방법은 CPU, GPU 클러스터를 따로 구성하여 세 가지 크기로 분류한 Job들을 알맞은 클러스터에 할당하여 처리한다. 향후, 제안하는 방법의 실질적인 검증을 위해 실제 구현과 성능 평가가 필요하다.

Keywords