Annual Conference of KIPS (한국정보처리학회:학술대회논문집)
- 2022.11a
- /
- Pages.77-79
- /
- 2022
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
Implement of Job Processing Using GPU for Hadoop Environment
하둡 환경에서 GPU를 사용한 Job 처리 방법
- Hong, Seok-min (Dept. of Data Analysis, Seoul Kangseo Campus of Korea Polytechnice) ;
- Yoo, Yeon-jun (Dept. of Data Analysis, Seoul Kangseo Campus of Korea Polytechnice) ;
- Lee, Hyeop Geon (Dept. of Data Analysis, Seoul Kangseo Campus of Korea Polytechnice) ;
- Kim, Young Woon (Dept. of Data Analysis, Seoul Kangseo Campus of Korea Polytechnice)
- 홍석민 (한국폴리텍대학 강서캠퍼스 데이터분석과) ;
- 유연준 (한국폴리텍대학 강서캠퍼스 데이터분석과) ;
- 이협건 (한국폴리텍대학 강서캠퍼스 데이터분석과) ;
- 김영운 (한국폴리텍대학 강서캠퍼스 데이터분석과)
- Published : 2022.11.21
Abstract
IT기술이 발전함에 따라 전 세계 데이터의 규모는 매년 증가하고 있다. 빅데이터 플랫폼을 사용하는 기업들은 더욱 빠른 빅데이터 처리를 원하고 있다. 이에 본 논문은 하둡 환경에서 GPU를 사용한 Job 처리 방법을 제안한다. 제안하는 방법은 CPU, GPU 클러스터를 따로 구성하여 세 가지 크기로 분류한 Job들을 알맞은 클러스터에 할당하여 처리한다. 향후, 제안하는 방법의 실질적인 검증을 위해 실제 구현과 성능 평가가 필요하다.
Keywords