A Docker-based Evaluation Program for Model Inference Performance on Heterogeneous Edge Environments

Docker 기반 이기종 엣지 환경에서의 모델 추론 성능 측정 프로그램 구현 및 평가

최근 딥러닝 기술이 모바일 기기에 활발히 적용됨에 따라 다양한 엣지 디바이스에서 신경망 모델의 추론 성능을 측정하는 것이 중요해지고 있다. 하지만 디바이스 별 환경 구성과 런타임별 모델 변환 방식이 다르기 때문에 이를 실제로 수행하는 것은 많은 시간을 필요로 한다. 따라서 본 논문에서는 이기종 환경을 고려하여 추론 성능을 측정할 수 있는 Docker 기반의 프로그램을 구현하였고, 이를 이용하여 다양한 엣지 디바이스에서 최신 모델들의 추론 성능을 측정하였다. 또한, 본 프로그램으로 확보 가능한 추론시간 데이터 기반 추론 성능 예측 연구의 사전 연구로서, 대표적 경량모델인 MobilenetV1 에 대한 연산자별 프로파일링을 수행하여 추론시간의 변화 양상을 관찰하였다.