DOI QR코드

DOI QR Code

클라우드 환경에서 대규모 콘텐츠를 위한 효율적인 자원처리 기법

ECPS: Efficient Cloud Processing Scheme for Massive Contents

  • 나문성 (단국대학교 정보컴퓨터공학과) ;
  • 김승훈 (단국대학교 멀티미디어공학과) ;
  • 이재동 (단국대학교 컴퓨터학부)
  • 투고 : 2010.10.29
  • 심사 : 2010.11.29
  • 발행 : 2010.12.30

초록

주요 IT 벤더들은 클라우드 컴퓨팅 기술을 이용하여 설치과정 생략, 운용비용 절감, 서비스품질 등에 중점을 두어 대규모 콘텐츠 서비스를 제공하고 있다. 반면에, 대규모 콘텐츠 데이터의 가공, 분석을 수행하는 데이터 처리 프로세스는 처리 시간의 단축을 위한 방법론이 요구되고 있다. 이에 본 논문에서는 클라우드 환경에서 대규모 콘텐츠를 위한 효율적인 자원처리 기법(Efficient_Cloud_Processing_Scheme : ECPS)을 제안한다. 제안한 기법은 리소스 확장 방안을 CPU 및 스토리지 등의 인프라스트럭처 단계에서 설계한다. 대규모 콘텐츠에 대한 자원 할당 방안을 Hadoop 플랫폼 기반의 MapReduce 프로그래밍 기법과 데이터마이닝 분야에서 숨겨진 패턴을 탐지하는데 사용되는 연관규칙을 이용하여 제시한다. 기존 설정값으로 자원을 할당하여 비교하여 ECPS기법을 적용한 결과, 제안 기법이 20% 이상의 성능 및 속도가 향상되었음을 확인하였다.

Major IT vendors expect that cloud computing technology makes it possible to reduce the contents service cycle, speed up application deployment and skip the installation process, reducing operational costs, proactive management etc. However, cloud computing environment for massive content service solutions requires high-performance data processing to reduce the time of data processing and analysis. In this study, Efficient_Cloud_Processing_Scheme(ECPS) is proposed for allocation of resources for massive content services. For high-performance services, optimized resource allocation plan is presented using MapReduce programming techniques and association rules that is used to detect hidden patterns in data mining, based on levels of Hadoop platform(Infrastructure as a service). The proposed ECPS has brought more than 20% improvement in performance and speed compared to the traditional methods.

키워드

참고문헌

  1. Amazon Inc. Amazon Elastic Compute Cloud (Amazon EC2). http://aws.amazon.com/ec2.
  2. J. Boulon, A. Konwinski, R. Qi, A. Rabkin, E. Yang, and M. Yang. Chukwa: "A Large-scale Monitoring System," In Cloud Computing and Its Applications, Chicago, IL, Oct 2008.
  3. 민영수, 김흥연, 김영균, "클라우스 컴퓨팅을 위한 분산 파일 시스템 기술," 한국정보과학회 학회지, 제5호, 2009.
  4. R. Chaiken, B. Jenkins, P.-A. Larson, B. Ramsey, D. Shakib, S. Weaver, and J. Zhou. "Scope: Easy and efficient parallel processing of massive data sets," VLDB'08, 2008.
  5. Dhruba Borthakur, "The Hadoop Distributed File System: Architecture and Design," The Apache Software Foundation, 2007.
  6. Jeffrey Dean and Sanjay Ghemawat, "MapReduce: Simplified Data Processing on Large Clusters," Sixth Symp. on Operating System Design and Implementation, San Francisco, USA, Dec. 2004.
  7. Lamine M. Aouad, Nhien-An Le-Khac, and Tahar M. Kechadi. "Distributed frequent itemsets mining in heterogeneous platforms," Engineering, Computing and Archtecture, 1, 2007.
  8. 이미영, "클라우드 기반 대규모 데이터 처리 및 관리 기술," 전자통신동향분석 제24권 제4호, 한국전자통신연구원, 2009.
  9. Park Yong Kwang, "A Study on Developmental Direction of the Cloud Computing," Master's thesis, HanYang University, 2009.