Task Assignment Policy for Hadoop Considering Availability of Nodes

노드의 가용성을 고려한 하둡 태스크 할당 정책

Hadoop MapReduce is a processing framework in which users' job can be efficiently processed in parallel and distributed ways on the Hadoop cluster. MapReduce task schedulers are used to select target nodes and assigns user's tasks to them. Previous schedulers cannot fully utilize resources of Hadoop cluster because they does not consider dynamic characteristics of cluster based on nodes' availability. To increase utilization of Hadoop cluster, this paper proposes a novel task assignment policy for MapReduce that assigns a job tasks to dynamic cluster efficiently by considering availability of each node.

하둡 맵리듀스(MapReduce)는 사용자가 요청한 잡을 하둡 클러스터에서 효과적으로 병렬 분산 처리하기 위한 프레임워크이다. 맵리듀스의 태스크 스케쥴러는 사용자의 잡 태스크들을 여러 노드에 할당하기 위한 기법이다. 하지만, 기존의 스케쥴러는 노드의 가용 상태에 따라 규모가 동적으로 변화하는 하둡 클러스터를 고려하지 않음으로써 클러스터의 자원을 충분히 활용하지 못하는 문제가 있다. 본 논문에서는 노드의 가용성을 고려하여 잡 태스크를 효과적으로 할당함으로써 하둡 클러스터의 활용성을 높이는 태스크 할당 정책을 제시한다.