A Study on Function which supported GPU and Function Structure Optimization for AI Inference

서버리스 플랫폼에서 GPU 지원 및 인공지능 모델 추론 에 적합한 함수 구조에 관한 연구

서버리스 프레임워크(Serverless Framework)는 마이크로서비스 아키텍처의 이론을 클라우드와 컨테이너를 기반으로 구현한 것으로 아마존의 AWS(Amazon Web Service)와 같은 퍼블릭 클라우드 플랫폼이 서비스됨에 따라 활용도 높아지고 있다. 하지만 현재까지의 플랫폼들은 GPU 와 같은 하드웨어의 의존성을 가진 인공지능 모델의 서비스에는 지원이 부족하다. 이에 본 논문에서는 컨테이너 기반의 오픈소스 서버리스 플랫폼을 대상으로 엔비디어-도커와 k8s-device-plugin 을 적용하여 GPU 활용이 가능한 서버리스 플랫폼을 구현하였다. 또한 인공지능 모델이 컨테이너에서 구동될 때 반복되는 가중치 로드를 줄이기 위한 구조를 제안한다. 본 논문에서 구현된 서버리스 플랫폼은 객체 검출 모델인 SSD(Single Shot Multibox Detector) 모델을 이용하여 성능 비교 실험을 진행하였으며, 그 결과 인공지능 모델이 적용된 서버리스 플랫폼의 함수 응답 시간이 개선되었음을 확인하였다.