Proceedings of the Korean Society of Computer Information Conference (한국컴퓨터정보학회:학술대회논문집)

Korean Society of Computer Information (한국컴퓨터정보학회)
권호 표지

mproved Spark Streaming Scheduling Mechanism for Real-time Fault Recovery

장애 복구 응답성 향상을 위한 Spark Streaming 스케줄링 개선 메커니즘

  • Hwang, Yongha (Dept. of Electrical and Computer Engineering, Seoul National University) ;
  • Noh, Soonhyun (Dept. of Electrical and Computer Engineering, Seoul National University)
  • 황용하 (서울대학교 전기정보공학부) ;
  • 노순현 (서울대학교 전기정보공학부)
  • Published : 2018.07.13
Download PDF
⟨ Previous Next ⟩

Abstract

최근 방대한 양의 스트림 데이터가 생산되면서 이를 실시간으로 처리하기 위한 프레임워크가 등장하였으며, 오픈 소스 영역에서 Spark Streaming이 주목받고 있다. Spark Streaming은 분산 환경에서 성능 향상을 위해 지연 스케줄링을 기반으로 응용을 수행하지만, 장애 발생 시 사용 가능한 태스크 슬롯을 빠르게 할당받지 못할 경우 장애 복구 시간이 지연될 수 있다는 문제점이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 실행자의 태스크 슬롯 보장을 통해 대기 시간 없이 즉시 할당할 수 있도록 하는 개선 메커니즘을 제안하였고, 실험 결과 장애 복구 응답성이 39.14% 개선됨을 확인하였다.

Keywords