A Configuration of the c/tensorflow framework for mixed precision on ARM-based embedded systems

ARM 기반 임베디드 시스템에서 mixed precision 을 위한 c/tensorflow 프레임워크 구성

ARM 아키텍처를 사용하는 임베디드 시스템에서 int8, fp16, fp32 데이터를 조합하여 c/c++로 작성된 mixed precision CNN 을 실행시키기 위한 프레임워크 구성으로, 네트워크의 레이어마다 다른 정밀도를 사용하여 네트워크 경량화 및 추론 정확도 향상을 위한 최적의 설정을 탐색하는 실험 및 분석이 가능토록 하는 것을 목적으로 한다. 주요 구성은 network forwarding 중 레이어의 입력이 레이어에 설정된 정밀도와 다를 경우 실행되는 양자화/반양자화를 c/c++로 바인딩된 tensorflow 의 quantization 모듈을 사용하여 진행하고 ARM 시스템에서 c/c++의 fp16 을 사용하기 위해 fp16 를 컴파일이 가능한 ARM compiler 를 사용하는 프레임워크를 제안한다.