Adaptive Reduce Task Scheduling Technique for Improving Reduce Phase in MapReduce

맵리듀스에서 리듀스 단계 성능 향상을 위한 적응적 리듀스 태스크 스케줄링 기법

맵리듀스는 데이터 집약적인 어플리케이션에서 대량의 데이터를 분산 병렬 처리하기 위한 프로그래밍 모델이다. 하둡은 맵리듀스의 오픈소스 구현으로 맵리듀스를 사용하기 위한 도구로 많이 알려져 있다. 실제 하둡을 이용하여 맵리듀스를 적용할 때 맵 태스크 단계는 병렬로 수행되어 순차처리에 비해 시간이 단축된다. 그러나 맵 태스크의 결과물인 중간 단계의 데이터는 단일 리듀스 태스크에서 처리됨으로써 시간 지연이 발생한다. 따라서 본 논문에서는 단일 리듀스 태스크 처리에서 발생하는 오버로드 및 시간 지연 문제를 해결하기 위해 적응적으로 리듀스 태스크를 할당하는 스케줄링 기법을 제안하고 실험을 통해 이 기법의 성능을 검증한다.