Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2017.11a
  • /
  • Pages.679-681
  • /
  • 2017
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Design of InfiniBand RDMA-based Network Structure of Apache Storm

InfiniBand RDMA 기반 Apache Storm의 네트워크 구조 설계

  • Yang, Seokwoo (Dept. of Computer Science, Kangwon National University) ;
  • Son, Siwoon (Dept. of Computer Science, Kangwon National University) ;
  • Choi, Seong-Yun (Dept. of Computer Science, Kangwon National University) ;
  • Choi, Mi-Jung (Dept. of Computer Science, Kangwon National University) ;
  • Moon, Yang-Sae (Dept. of Computer Science, Kangwon National University)
  • 양석우 (강원대학교 컴퓨터과학전공) ;
  • 손시운 (강원대학교 컴퓨터과학전공) ;
  • 최성윤 (강원대학교 컴퓨터과학전공) ;
  • 최미정 (강원대학교 컴퓨터과학전공) ;
  • 문양세 (강원대학교 컴퓨터과학전공)
  • Published : 2017.11.01
Download PDF
⟨ Previous Next ⟩

Abstract

Apache Storm은 대용량 데이터 스트림을 처리하기 위한 실시간 분산 병렬 처리 프레임워크이며, 이를 사용해 다수의 프로세스 및 스레드를 동시에 동작시킬 수 있다. 하지만, 이러한 멀티 프로세스 및 스레드 환경을 제공하는 Storm은 많은 네트워크 시스템 호출을 수행하고, 이는 잦은 문맥 전환(context switch), 운영체제로의 버퍼 복사, 운영체제 내의 버퍼 복사 등으로 인해 CPU 과부하 문제를 발생시킬 수 있다. 이러한 문제는 고성능 네트워크 장비인 InfiniBand의 IPoIB(IP over InfiniBand) 통신을 사용할 때, InfiniBand가 지원하는 대역폭(bandwidth) 대비 저용량 데이터의 송수신으로 인해 더 잦은 문맥 전환과 버퍼 복사가 발생하여 CPU 과부하 문제가 더욱 심각해진다. 따라서, 본 논문에서는 InfiniBand의 RDMA(Remote Direct Memory Access)를 Storm에 적용하는 설계안을 제시함으로써 CPU 과부하 문제를 해결한다.

Keywords

Acknowledgement

Grant : 데이터 스트림 정제를 위한 지능형 샘플링 및 필터링 기술 개발

Supported by : 정보통신기술진흥센터, 한국연구재단