한국정보처리학회:학술대회논문집 (Annual Conference of KIPS)

한국정보처리학회 (Korea Information Processing Society)
권호 표지

Sparsity 를 활용한 DNN 가속기의 연구 동향

Recent Research in DNN Accelerators Exploiting Sparsity

  • 손선아 (가천대학교 AI 소프트웨어학부) ;
  • 강지은 (가천대학교 AI 소프트웨어학부) ;
  • 김소연 (가천대학교 AI 소프트웨어학부) ;
  • 김하늘 (가천대학교 AI 소프트웨어학부) ;
  • 김현정 (가천대학교 AI 소프트웨어학부) ;
  • 오현영 (가천대학교 AI 소프트웨어학부)
  • Sun-Ah Son (Dept. of AI.Software, Gachon University) ;
  • Ji-Eun Kang (Dept. of AI.Software, Gachon University) ;
  • So-Yeon Kim (Dept. of AI.Software, Gachon University) ;
  • Ha-Neul Kim (Dept. of AI.Software, Gachon University) ;
  • Hyun-Jeong Kim (Dept. of AI.Software, Gachon University) ;
  • Hyunyoung Oh (Dept. of AI.Software, Gachon University)
  • 발행 : 2024.10.31
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

최근 딥러닝 연산의 고도화에 따라 희소성(Sparsity)을 효율적으로 처리할 수 있는 유연한 구조의 DNN 가속기가 중요해지고 있다. 그러나 기존의 가속기들은 유연성과 효율성 면에서 한계가 존재한다. 본 논문에서는 DNN 가속기의 기존 모델들과 최신 연구 동향에 대해 살펴본다. 특히 unstructured sparsity, structured sparsity, 그리고 최근 제안된 Hierarchical Structured Sparsity (HSS)를 적용한 가속기들을 분석하며, 각 접근 방식의 장단점을 비교한다.

키워드

과제정보

이 논문은 2024년도 정부(산업통상자원부)의 재원으로 한국산업기술기획평가원의 지원(No. RS-2024-00406121, 자동차보안취약점기반위협분석시스템개발(R&D))과 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원(No. RS-2022-00166529)을 받고 과기정통부 정보통신기획평가원의 정보보호핵심원천기술개발사업(No. RS-2024-00337414)으로 수행한 결과임.

참고문헌

  1. A. Parashar et al., "SCNN: An Accelerator for Compressed-Sparse Convolutional Neural Networks," ISCA, 2017
  2. E. Qin et al., "SIGMA: A Sparse and Irregular GEMM Accelerator with Flexible Interconnects for DNN Training," HPCA, 2020
  3. Y. Wang et al., "Dual-side Sparse Tensor Core," ISCA, 2021
  4. NVIDIA, "NVIDIA Ampere GA102 GPU Architecture," Technical Report, 2020.
  5. Liu et al., "S2TA: Exploiting Structured Sparsity for Energy-Efficient Mobile CNN Acceleration," HPCA, 2022
  6. Maohua Zhu et al., "Sparse Tensor Core: Algorithm and Hardware Co-Design for Vector-wise Sparse Neural Networks on Modern GPUs," MICRO, 2019
  7. Yannan Nellie Wu, Et Al, "HighLight: Efficient and Flexible DNN Acceleration with Hierarchical Structured Sparsity," MICRO, 2023