Design and Implementation of National Supercomputing Service Framework

국가 슈퍼컴퓨팅 서비스 프레임워크의 설계 및 구현

Traditional supercomputing services suffer from limited accessibility and low utilization in that users(researchers) may perform computational executions only using terminal-based command line interfaces. To address this problem, in this paper, we provide the design and implementation details of National supercomputing service framework. The proposed framework supports all the fundamental primitive functions such as user management/authentication, heterogeneous computing resource management, HPC (High Performance Computing) job management, etc. so that it enables various 3rd-party applications to be newly built on top of the proposed framework. Our framework also provides Web-based RESTful OpenAPIs and the abstraction interfaces of job schedulers (as well as bundle scheduler plug-ins, for example, LoadLeveler, Open Grid Scheduler, TORQUE) in order to easily integrate the broad spectrum of heterogeneous computing clusters. To show and validate the effectiveness of the proposed framework, we describe the best practice scenario of high energy physics Lattice-QCD as an example application.

기존의 슈퍼컴퓨팅 서비스는 사용자(연구자)가 쉘 터미널을 통해 로그인 서버에 접속하여 커맨드 라인에서 계산 작업을 수행하는 단순한 형태를 띠고 있으며, 이는 컴퓨팅 자원에 대한 접근성 및 활용성을 저해하는 주요 요소이다. 이러한 문제점을 해결하고, 슈퍼컴퓨팅 서비스의 다양성을 제공하기 위하여 본 논문에서는 국가 슈퍼컴퓨팅 서비스 프레임워크의 설계 및 구현에 대해 상세히 기술한다. 제안된 프레임워크는 사용자 관리 및 인증, 이기종 컴퓨팅자원 관리, HPC(High Performance Computing) 작업 관리 등의 기능에 대해 HTTP 방식의 RESTful OpenAPI들을 제공함으로써, 슈퍼컴퓨터 자원과 연계하여 새로운 서비스를 만들고자 하는 개발자들이 편리하게 원하는 서비스를 만들 수 있는 기능을 제공한다. 또한 다양한 이기종 클러스터 자원을 활용하여 HPC 작업을 수행할 수 있도록 플러그-인 기반 표준 인터페이스 및 확장 플러그-인(LoadLeveler, Open Grid Scheduler(OGS), TORQUE)을 제공한다. 아울러, 본 논문에서는 제안한 프레임워크의 유용성을 검증하기 위해, 고에너지 물리 분야의 Lattice-QCD 프로그램을 활용한 적용 사례를 기술한다.