Edge Device를 위한 시각 인식 모델

  • Published : 2020.04.30

Abstract

AI 시스템은 우리 생활 전반에서 다양한 예측을 도와주는 장치로써 그 중요성이 크다. AI 시스템의 활용도는 AI 장치가 얼마나 우리 생활 전반에 다각도로 이용되어야 하는지에 달려있다. 현재 AI 시스템은 높은 정확도를 위해 학습과 추론에 고성능 컴퓨팅 장비를 필요로 한다. 고성능 장치를 우리 생활 저변에서 쉽게 설치하고 사용할 수 없기 때문에, AI 시스템을 우리 생활에 사용하기 위해서 크게 두 가지의 접근법을 사용하고 있다. 첫째, 고성능 네트워크와 고성능 컴퓨팅 서버를 사용하여 end-user 장치의 계산 복잡도를 최소화하는 시스템을 설계할 수 있다. 둘째, AI 시스템의 학습 및 추론 효율성을 높여, 서버와 네트워크 없이도 end-user 장치에서 최선의 성능을 내는 시스템을 설계할 수 있다. 첫번째 접근법은 고성능 네트워크의 발전을 수반하고, 네트워크의 항상성을 전제로 하기 때문에, 실현하는데 많은 시간과 자원이 요구된다. 두번째 접근법은 비용-효율적이긴 하나 첫번째 접근법에 비해 AI 시스템의 성능이 다소 떨어질 수 있다. 이 글에서는 두번째 접근법의 AI 시스템, 특히 시각 인식 시스템을 응용으로 하는 기술들을 살펴보도록 하겠다.

Keywords

References

  1. G. Hinton et al., "Distilling the Knowledge in a Neural Network", arXiv 2015
  2. B. Heo et al., "Knowledge Distillation with Adversarial Samples Supporting Decision Boundary", AAAI 2019
  3. Y. LeCun et al., "Optimal Brain Damage", NeurIPS 1990
  4. S. Han et al., "Learning both Weights and Connections for Efficient Neural Networks", NeurIPS 2015
  5. I. Hubara et al., "Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or -1," NeurIPS 2016
  6. K. He et al., Deep Residual Learning for Image Recognition, CVPR 2016
  7. M. Rastegari et al., "XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks," ECCV 2016