Study on Quantized Learning for Machine Learning Equation in an Embedded System

임베디드 시스템에서의 양자화 기계학습을 위한 양자화 오차보상에 관한 연구

  • Seok, Jinwuk (Electronics and Telecommunications Research Institute, Artificial Intelligence Research Lab., Future Computing Research Division, High Performance Embedded System SW Research Section) ;
  • Kim, Jeong-Si (Electronics and Telecommunications Research Institute, Artificial Intelligence Research Lab., Future Computing Research Division, High Performance Embedded System SW Research Section)
  • 석진욱 (한국전자통신연구원 인공지능연구소 초성능컴퓨팅연구본부 고성능디바이스 SW 연구실) ;
  • 김정시 (한국전자통신연구원 인공지능연구소 초성능컴퓨팅연구본부 고성능디바이스 SW 연구실)
  • Published : 2019.11.29

Abstract

본 논문에서는 임베디드 시스템에서의 양자화 기계학습을 수행할 경우 발생하는 양자화 오차를 효과적으로 보상하기 위한 방법론을 제안한다. 경사 도함수(Gradient)를 사용하는 기계학습이나 비선형 신호처리 알고리즘에서 양자화 오차는 경사 도함수의 조기 소산(Early Vanishing Gradient)을 야기하여 전체적인 알고리즘의 성능 하락을 가져온다. 이를 보상하기 위하여 경사 도함수의 최대 성분에 대하여 직교하는 방향의 보상 탐색 벡터를 유도하여 양자화 오차로 인한 성능 하락을 보상하도록 한다. 또한, 기존의 고정 학습률 대신, 내부 순환(Inner Loop) 없는 비선형 최적화 알고리즘에 기반한 적응형 학습률 결정 알고리즘을 제안한다. 실험결과 제안한 방식의 알고리즘을 비선형 최적화 문제에 적용할 시 양자화 오차로 인한 성능 하락을 최소화시킬 수 있음을 확인하였다.

Keywords