한국정보처리학회:학술대회논문집 (Proceedings of the Korea Information Processing Society Conference)

한국정보처리학회 (Korea Information Processing Society)
권호 표지
DOI QR코드

DOI QR Code

임베디드 기기에서 ONNX Runtime 성능 비교와 새로운 Runtime 의 가능성

Performance comparison of ONNX Runtime on embedded device and possibility of new runtime

  • 김성민 (성균관대학교 인공지능학과) ;
  • 범정현 (성균관대학교 소프트웨어대학) ;
  • 추현승 (성균관대학교 소프트웨어대학)
  • Kim, Sungmin (Dept. of Artificial Intelligence, Sungkyunkwan University) ;
  • Bum, Junghyun (College of Computing, Sungkyunkwan University) ;
  • Choo, Hyunseung (College of Computing, Sungkyunkwan University)
  • 발행 : 2020.11.05
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

ONNX 은 인공신경망 모델 교환을 위한 표준 중 하나이다. 인공신경망 모델을 구현하는 연구자 입장에선 ONNX 형태로 모델을 배포함으로써 이질적인 플랫폼 간의 호환성을 보장받을 수 있다. 서로 다른 플랫폼에서 ONNX 표준에선 ONNX 모델을 실행하는 엔진을 ONNX Runtime 이라고 하는데, ONNX Runtime 은 순수 S/W 형태이거나, 다양한 H/W 가속 기술과 결합된 형태가 있다. 본 논문에선 ONNX Backend Scoreboard 에 등록 되어있는 3 종류의 엔진과 본 논문에서 새롭게 제안하는 C-ONNX 의 성능을 웍스테이션과 임베디드 기기에서 비교해보고 임베디드 기기에 특화된 C-ONNX 의 가능성에 대해 알아본다.

키워드

과제정보

본 연구는 과학기술정보통신부 및 정보통신기획평가원의 ICT 명품인재양성 사업(IITP-2020-2051-001), 2020년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원(No.2019-0-00421, 인공지능대학원 지원(성균관대학교))과 2020 년도 정부(교육과학기술부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(NRF-2020R1A2C2008447).