한국정보처리학회:학술대회논문집 (Proceedings of the Korea Information Processing Society Conference)

한국정보처리학회 (Korea Information Processing Society)
권호 표지
DOI QR코드

DOI QR Code

HTCondor 클러스터를 위한 동적 자원 스케줄링

Dynamic Resource Scheduling for HTCondor Cluster

  • 이정하 (한국과학기술정보연구원 슈퍼컴퓨팅응용실) ;
  • 염재근 (한국과학기술정보연구원 슈퍼컴퓨팅응용실) ;
  • 정기문 (한국과학기술정보연구원 슈퍼컴퓨팅응용실) ;
  • 조혜영 (한국과학기술정보연구원 슈퍼컴퓨팅응용실) ;
  • 정대용 (한국과학기술정보연구원 가상설계분석실)
  • Lee, Jungha (Dept. Supercomputing Application, Korea Institute of Science and Technology Information) ;
  • Yeom, Jaekeun (Dept. Supercomputing Application, Korea Institute of Science and Technology Information) ;
  • Jeong, Ki-Moon (Dept. Supercomputing Application, Korea Institute of Science and Technology Information) ;
  • Cho, Hyeyoung (Dept. Supercomputing Application, Korea Institute of Science and Technology Information) ;
  • Jung, Daeyong (Dept. Supercomputing Modeling&Simulation Korea Institute of Science and Technology Information)
  • 발행 : 2015.10.28
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

다양한 분야에서 활발히 연구되는 빅 데이터와 최근 이슈가 되고 있는 딥러닝(Deep-learning) 등은 컴퓨터공학 분야뿐만 아니라 다양한 분야와 접목하여 이에 대한 관심이 증가하고 있다. 대규모 클러스터를 통하여 빅데이터와 딥러닝 같은 계산 집약적인(computational-intensive) 작업을 빠르게 처리할 수 있다. 하지만 대규모 클러스터의 잦은 유휴상태는 클러스터의 활용률은 매우 낮아지게 한다. 본 논문에서는 작업 실행 시간 개선과 클러스터 활용 효율성을 향상시키는 HTCondor 클러스터를 위한 동적 자원 스케줄링 기법을 제안한다. 동적으로 자원 할당을 위해 가상머신으로 HTCondor 클러스터 환경을 구성하였으며, 가상머신의 관리를 위해 OpenStack을 사용하였다. OpenStack기반 HTCondor 클러스터 환경에서 HTCondor Python API와 OpenStack Python API를 사용하여 우리가 제안하는 동적 자원 스케줄링 기법을 구현하였으며, 실험을 통해 제안하는 기법의 성능 및 실현 가능성을 확인하였다.

키워드