Fig. 1. Patch Transform. 그림 1. 패치 변환
Fig. 3. Proposed Approximation. 그림 3. 제안하는 근삿값 적용
Fig. 2. Existing Approximation. 그림 2. 기존의 근삿값 적용
Fig. 4. Step Function. 그림 4. 계단 함수
Fig. 5. Sign Function Gradient. 그림 5. Sign 함수 미분
Fig. 6. Vehicle License Plate Data. 그림 6. 번호판 데이터
Fig. 7. Left : results of previous method, Right : results of our method. 그림 7. 왼쪽 : 이전 연구의 결과, 오른쪽 : 본 연구의 결과
Fig. 8. Left : 32-Bit Neural Net. Results, Right : Proposed 1-Bit Neural Net. Results 그림 8. 왼쪽 : 32-Bit 신경망 결과, 오른쪽 : 제안된 1-Bit 신경망 결과
Fig. 9. Left: Compare previous method with ours, Right : Compare accuracy on previous method with ours. 그림 9. 왼쪽 : 기존 연구와의 속도 비교, 오른쪽 : 기존 연구와의 정확도 비교
Fig. 10. Left : Compare previous method with ours number of MACs, Right : Compare 32-bit network with ours number of MACs. 그림 10. 왼쪽 : 이전 연구와의 MACs 수 비교, 오른쪽 : 32-bit 신경망과의 MACs 수 비교
Table 1. XNOR Truth Table. 표 1. XNOR 진리표
Table 2. Accumulation after multiplication. 표 2. 곱셈 후 누적 덧셈
Table 3. N-Bit-Packing. 표 3. N-Bit-Packing
Table 4. 1-Bit Matrix Multiplication. 표 4. 1-Bit 행렬 곱
Table. 5 Vehicle License Plate Detection Neural Network. 표 5. 번호판 검출 신경망
References
- M. Rastegari, V. Ordonez, J. Redmon and A. Farhadi., "Xnor-net: Imagenet classification using binary convolutional neural networks," European Conference on Computer Vision, pp.525-542, 2016.
- B. Jacob, S. Kligys, B. Chen, M. Zhu, M. Tang, A. Howard, H. Adam and D. Kalenichenko, "Quantization and training of neural networks for efficient integer-arithmetic-only inference," Computer Vision and Pattern Recognition pp.2704-2713, 2018.
- C. Zhu, S. Han, H. Mao and W. J. Dally, "Trained ternary quantization," International Conference on Learning Representations, 2017.
- Michael Mathieu, Mikael Henaff and Yann LeCun, "Fast training of convolutional networks through ffts," International Conference on Learning Representations, 2013.
- A. Lavin and S. Gray, "Fast algorithms for convolutional neural networks," Computer Vision and Pattern Recognition, pp.4013-4021, 2016.
- K. He, X. Zhang, S. Ren and J. Sun, "Delving deep into rectifiers: Surpassing human-level performance on imagenet classification," International Conference on Computer Vision, pp.1026-1034, 2015.
- Y. Bengio, N. Leonard and A. Courville, "Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation," https://arxiv.org/abs/1308.3432.
- J. Redmon and A. Farhadi, "YOLO9000: Better, faster, stronger," Computer Vision and Pattern Recognition, pp.6517-6525, 2017.
- S. Ioffe and C. Szegedy, "Batch normalization: Accelerating deep network training by reducing internal covariate shift", International Conference on International Conference on Machine Learning, pp.448-456, 2015.