An Application of MapReduce Technique over Peer-to-Peer Network

P2P 네트워크상에서 MapReduce 기법 활용

  • 임건길 (동아대학교 컴퓨터공학과) ;
  • 이재기 (동아대학교 컴퓨터공학과)
  • Published : 2009.08.15

Abstract

The objective of this paper describes the design of MapReduce over Peer-to-Peer network for dynamic environments applications. MapReduce is a software framework used for Cloud Computing which processing large data sets in a highly-parallel way. Based on the Peer-to-Peer network character which node failures will happen anytime, we focus on using a DHT routing protocol which named Pastry to handle the problem of node failures. Our results are very promising and indicate that the framework could have a wide application in P2P network systems while maintaining good computational efficiency and scalability. We believe that, P2P networks and parallel computing emerge as very hot research and development topics in industry and academia for many years to come.

본 논문의 목적은 P2P 네트워크 상에서 동적 환경 애플리케이션을 지원하기 위한 MapReduce 의 설계이다. MapReduce는 클라우드컴퓨팅 중에서 대용량 데이터의 병렬처리를 위해서 개발된 소프트웨어 프레임워크이다. P2P 기반 네트워크의 특징은 노드 고장이 언제든지 발생할 수 있으며, 이런 노드 고장을 제어하기 위해 Pastry라는 DHT 라우팅 프로토콜의 사용에 초점을 맞추었다. 본 논문의 결과는 프레임워크가 양호한 계산 효율과 확장성을 유지하는 가운데 P2P 네트워크 시스템의 다양한 애플리케이션에 적용될 수 있음을 보이고 있다. 향후 몇 년 동안은 P2P 네트워크와 병렬 컴퓨팅이 산업과 학계에서 매우 중요한 연구 및 개발 주제로 자리 잡을 것으로 확신한다.

Keywords

References

  1. J.Dean and S.Ghemawat, "MapReduce: Simplified Data Processing on Large Clusters," In Pro-ceedings of OSDI'04: Sixth Symposium in Ope-rating System Design and Implementation, pp.137-150, Dec. 2004
  2. J. Dean and S. Ghemawat, "MapReduce: Simplified Data Processing on Large Clusters," Communi-cations of the ACM, vol.51, no.1, pp.107-113, Jan. 2008 https://doi.org/10.1145/1327452.1327492
  3. Hadoop http://hadoop.apache.org/core/
  4. Pastry http://freepastry.org/
  5. K. Calvert, M. Doar and E. Zegura, "Modeling In-ternet Topology," IEEE Communication Magazine, vol.35, no.6, pp.160-163, Jun. 1997 https://doi.org/10.1109/35.587723