KIISE Transactions on Computing Practices (정보과학회 컴퓨팅의 실제 논문지)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지
DOI QR코드

DOI QR Code

A GPU-enabled Face Detection System in the Hadoop Platform Considering Big Data for Images

이미지 빅데이터를 고려한 하둡 플랫폼 환경에서 GPU 기반의 얼굴 검출 시스템

  • 배유석 (한국전자통신연구원 분석소프트웨어연구실) ;
  • 박종열 (한국전자통신연구원 분석소프트웨어연구실)
  • Received : 2015.09.04
  • Accepted : 2015.11.12
  • Published : 2016.01.15
⟨ Previous Next ⟩

Abstract

With the advent of the era of digital big data, the Hadoop platform has become widely used in various fields. However, the Hadoop MapReduce framework suffers from problems related to the increase of the name node's main memory and map tasks for the processing of large number of small files. In addition, a method for running C++-based tasks in the MapReduce framework is required in order to conjugate GPUs supporting hardware-based data parallelism in the MapReduce framework. Therefore, in this paper, we present a face detection system that generates a sequence file for images to process big data for images in the Hadoop platform. The system also deals with tasks for GPU-based face detection in the MapReduce framework using Hadoop Pipes. We demonstrate a performance increase of around 6.8-fold as compared to a single CPU process.

디지털 빅데이터 시대가 도래함에 따라 다양한 분야에서 하둡 플랫폼이 널리 사용되고 있지만, 하둡 맵리듀스 프레임워크는 대량의 작은 파일들을 처리하는데 있어서 네임노드의 메인 메모리와 맵 태스크 수가 증가하는 문제점을 안고 있다. 또한, 맵리듀스 프레임워크에서 하드웨어 기반 데이터 병렬성을 지원하는 GPU를 활용하기 위해서는 C++ 언어 기반의 태스크를 맵리듀스 프레임워크에서 수행하기 위한 방식이 필요하다. 따라서, 본 논문에서는 이미지 빅데이터를 처리하기 위해 하둡 플랫폼 환경에서 이미지 시퀀스 파일을 생성하고 하둡 파이프를 이용하여 GPU 기반의 얼굴 검출 태스크를 맵리듀스 프레임워크에서 처리하는 얼굴 검출 시스템을 제시하고 단일 CPU 프로세스 대비 약 6.8배의 성능 향상을 보여준다.

Keywords

Acknowledgement

Grant : 실시간 대규모 영상 데이터 이해.예측을 위한 고성능 비주얼 디스커버리 플랫폼 개발

Supported by : 정보통신기술진흥센터

References

  1. J. F. Gantz and D. Reinsel, "THE DIGITAL UNIVERSE IN 2020: Big Data, Bigger Digital Shadows, and Biggest Growth in the Far East," IDC IVIEW, Dec. 2012.
  2. J. R. Smith and L. Cao, "Massive-Scale Multimedia Semantic Modeling," 21st ACM International Conference on Multimedia, pp. 1113-1114, Oct. 2013.
  3. B. Dong, et al., "An optimized approach for storing and accessing small files on cloud storage," Journal of Network and Computer Applications, Vol. 35, No. 6, pp. 1847-1862, 2012. https://doi.org/10.1016/j.jnca.2012.07.009
  4. J. Zhu, et al., "Embedding GPU Computation in Hadoop," International Journal of Networked and Distributed Computing, Vol. 2, No. 4, pp. 211-220, Oct. 2014. https://doi.org/10.2991/ijndc.2014.2.4.2
  5. K. Shirahata, H. Sato, and S. Matsuoka, "Hybrid map task scheduling for GPU-based heterogeneous clusters," 2010 IEEE 2nd International Conference on Cloud Computing Technology and Science (Cloud-Com), 2010.
  6. M. Grossman, M. Breternitz, and V. Sarkar, "HadoopCL: MapReduce on Distributed Heterogeneous Platforms through Seamless Integration of Hadoop and OpenCL," 2013 IEEE 27th International Symposium on Parallel and Distributed Processing Workshops & PhD Forum (IPDPSW), pp. 1918-1927, 2013.
  7. G. Frost, "Aparapi in AMD Developer Central," http://developer.amd.com/tools-and-sdks/opencl-zone/aparapi.
  8. W. Fang, B. He, Q. Luo, and N. K. Govindaraju, "Mars: Accelerating MapReduce with Graphics Processors," IEEE Transactions on Parallel and Distributed Systems, Vol. 22, No. 4, pp. 608-620, 2011. https://doi.org/10.1109/TPDS.2010.158
  9. P. I. Wilson and J. Fernandez, "Facial feature detection using Haar classifiers," Journal of Computing Sciences in Colleges, Vol. 21, No. 4 pp. 127-133, 2006.
  10. P. Viola and M. Jones, "Rapid object detection using boosted cascade of simple features," Proc. of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2001), Vol. 1, pp. I-511-I-518, 2001.