Apache Storm에서 지역성을 고려한 효율적인 트래픽 분배

Efficient Locality-Aware Traffic Distribution in Apache Storm

Apache Storm이란 대표적인 실시간 분산 처리 시스템으로써, 분산 서버를 통해 실시간 데이터를 빠르게 처리하는 특징을 갖는다. 기존에 Storm은 다수의 서버에 트래픽을 분배할 때, 셔플(Shuffle) 그룹핑은 처리 지연 문제가 발생하며 이를 개선한 로컬(Local-or-Shuffle) 그룹핑은 트래픽이 특정 노드에 편중되는 문제가 발생할 수 있다. 본 논문은 이러한 기존 Storm 그룹핑에서 발생할 수 있는 문제를 해결하기 위한 지역성 고려(Locality-aware) 그룹핑을 제안한다. 실험에서는 제안하는 지역성 고려 그룹핑이 기존의 셔플 그룹핑 및 로컬 그룹핑에 비해 우수함을 확인하였다. 본 논문은 기존의 Storm의 한계점인 지역성과 로드 밸런싱을 동시에 고려한 우수한 결과라 사료된다.

Apache Storm is a representative real-time distributed processing system, which is able to process data streams quickly over distributed servers. Storm currently provides several stream grouping methods to distribute data traffic to multiple servers. Among them, the shuffle grouping may cause a processing delay problem and the local-or-shuffle grouping used to solve the problem may cause the problem of concentrating the traffic on a specific node. In this paper, we propose the locality-aware grouping to solve the problems that may arise in the existing Storm grouping methods. Experimental results show that the proposed locality-aware grouping is considerably superior to the existing shuffle grouping and the local-or-shuffle grouping. These results show that the new grouping is an excellent approach considering both the locality and load balancing which are limitations of the existing Storm.