한국정보처리학회:학술대회논문집 (Proceedings of the Korea Information Processing Society Conference)
- 한국정보처리학회 2015년도 추계학술발표대회
- /
- Pages.1193-1195
- /
- 2015
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
RDBMS 기반 하둡 메타데이터 관리의 설계 및 구현
Design and Implementation of RDBMS-based Management of Hadoop Metadata
- 손시운 (강원대학교 컴퓨터과학과) ;
-
양석우
(강원대학교 컴퓨터과학과)
;
- 길명선 (강원대학교 컴퓨터과학과) ;
- 문양세 (강원대학교 컴퓨터과학과) ;
- 민차우 (한국전자통신연구원) ;
-
원희선
(한국전자통신연구원)
- Son, Siwoon (Dept. of Computer Science, Kangwon National University) ;
-
Yang, Seokwoo
(Dept. of Computer Science, Kangwon National University)
;
- Gil, Myeong-Seon (Dept. of Computer Science, Kangwon National University) ;
- Moon, Yang-Sae (Dept. of Computer Science, Kangwon National University) ;
- Nguyen, Minh Chau (ETRI) ;
-
Won, Hee-Sun
(ETRI)
- 발행 : 2015.10.28
초록
최근 빅데이터 문제를 해결하기 위해 하둡의 사용이 급증하였다. 하둡은 다수의 노드에 데이터를 분산 저장 및 처리하며, 이를 위해 모든 메타데이터를 네임노드에서 관리한다. 기존 하둡은 모든 메타데이터를 메모리 상에서 관리하며, 변경 이력을 로컬 파일 시스템에서 별도의 파일로 관리한다. 이 방법에서는 데이터의 증가 및 하둡 에코시스템의 확장 등의 이유로 관리되어야 할 메타데이터가 크게 증가하며, 이는 곧 네임노드의 메모리 부하를 높이는 문제가 있다. 본 논문은 이러한 인메모리 기반의 하둡 메타데이터 관리 구조를 RDBMS 기반으로 수정하도록 설계 및 구현한다. 그리고 하둡의 모든 명령어에 대한 테스트를 작성하여 본 연구의 적정성을 검토하였다. 본 논문은 네임노드의 부하를 줄임으로써 하둡의 안정성을 높이는 좋은 연구 결과라 사료된다.
키워드