대한전자공학회논문지SD (Journal of the Institute of Electronics Engineers of Korea SD)

대한전자공학회 (The Institute of Electronics and Information Engineers)
권호 표지

학습된 신경망 설계를 위한 가중치의 비트-레벨 어레이 구조 표현과 최적화 방법

Bit-level Array Structure Representation of Weight and Optimization Method to Design Pre-Trained Neural Network

  • 발행 : 2002.09.01
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

학습된 신경망(Pre-trained neural network)은 고정된 가중치(weight)를 갖는다. 이 논문에서는 이러한 특성을 이용하여 신경망의 효과적인 디지털 하드웨어의 설계방법을 제안한다. 이를 위해 신경망의 PEs(Processing Elements)연산은 행렬-벡터 곱셈으로 표하고 고정된 가중치와 입력 데이터의 관계를 비트-레벨 어레이(array) 구조로 표현하여, 노드 소거와 가중치 비트 패턴에 따른 공유 노드 설정을 통한 최적화로 연산에 필요한 노드를 최소화한다. FPGA 시뮬레이션 결과, 완전한 정확성에 기반한 하드웨어를 설계하는 경우, 하드웨어 비용을 상당부분 줄였고 동작 주파수가 높다는 것을 확인하였다. 또한, 제안한 설계방법은 한정된 공간 내에서 많은 수의 PEs 구현이 가능함으로, 큰 신경망 모델에 대한 온-칩(on-chip) 구현이 가능하다.

This paper proposes efficient digital hardware design method by using fixed weight of pre-trained neural network. For this, arithmetic operations of PEs(Processing Elements) are represented with matrix-vector multiplication. The relationship of fixed weight and input data present bit-level array structure architecture which is consisted operation node. To minimize the operation node, this paper proposes node elimination method and setting common node depend on bit pattern of weight. The result of FPGA simulation shows the efficiency on hardware cost and operation speed with full precision. And proposed design method makes possibility that many PEs are implemented to on-chip.

키워드

참고문헌

  1. Szabo T., Antoni L., Horvath G., Feher B., 'A full-parallel digital implementation for pre-trained NNs', IJCNN 2000, Proc., Vol 2, pp. 49-54, 2000 https://doi.org/10.1109/IJCNN.2000.857873
  2. Szabo T., Feher B., Horvath G., 'Neural network implementation using distributed arithmetic', Proc. KES '98, Vol. 3, pp. 510-518, 1998 https://doi.org/10.1109/KES.1998.726016
  3. Manferd Glesner, Werner Pochmuller, 'Neurocomputers, an overview of neural networks in VLSI', Neural Computing, Chapman & Hall, 1994
  4. James-Roxby P., Blodget B.A., 'Adapting constant multipliers in a neural network implementation', Field-Programmable Custom Computing Machines, IEEE Symposium, pp. 335-336, 2000 https://doi.org/10.1109/FPGA.2000.903442
  5. Amin H., Curtis K.M., Hayes-Gill B.R., 'Efficient two-dimensional systolic array architecture for multilayer neural network', Electronics Letters, Vol 33, Issue 24, pp 2055-2056, 1997
  6. Bernie New, 'A distributed arithmetic approach to designing scalable DSP chips', EDN Design Feature, Vol. Aug-17, pp. 107-114, 1995
  7. G.K. Ma and F.J. Taylor, 'Multiplier policies for digital signal processing', IEEE ASSP Mag., No. 1, pp. 6-10, 1990 https://doi.org/10.1109/53.45968
  8. Benyamin D. and Luk W. and Villasenor J., 'Optimizing FPGA-based vector product designs', FCCM '99 Proc., pp. 188-197, 1999 https://doi.org/10.1109/FPGA.1999.803680
  9. Ma G.-K., Taylor F.J., 'Multiplier policies for digital signal processing', ASSP Magazine, Vol 7, Issue 1, pp. 6-20, 1990 https://doi.org/10.1109/53.45968
  10. Douglas J. Smith, 'HDL Chip Design', Doone Publications, pp. 286-296, 1996