한국컴퓨터정보학회:학술대회논문집 (Proceedings of the Korean Society of Computer Information Conference)
- 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
- /
- Pages.341-342
- /
- 2014
빅데이터 처리를 위한 맵리듀스 연구
A study of MapReduce Algorithm for Bigdata
- Kim, Man-Yun (School of Information and Communication Engineering, Sungkyunkwan University) ;
-
Youn, Hee-Yong
(School of Information and Communication Engineering, Sungkyunkwan University)
- 발행 : 2014.07.16
초록
지난 10년간 데이터의 폭발적인 증가로 우리는 빅데이터 시대를 맞이하게 되었다. 특히, 최근 몇 년 사이 소셜 네트워크의 발전으로 인해 발생하는 데이터의 양이 증가하면서, 이를 처리하기 위한 시스템으로 하둡이 등장하였다. 이전에는 저장 및 처리할 수 없었던 대용량 데이터를 오픈소스인 하둡의 등장으로 누구나가 대용량 데이터를 처리할 수 있는 시스템을 운영할 수 있게 된 것이다. 대규모 처리 분석을 위한 소프트웨어 프레임워크인 하둡은 클라우드 컴퓨팅의 대표적인 기술로 널리 사용되고 있다. 하둡은 크게 데이터의 저장을 담당하는 HDFS(Hadoop Distribute File System)와 데이터를 처리하는 맵리듀스로 나뉜다. 본 논문에서는 기존의 MapReduce와 차세대 맵리듀스로 불리는 YARN을 비교 분석하고 맵리듀스의 용도와 효율적인 활용방안을 제시한다.