DOI QR코드

DOI QR Code

이미지 분류 문제를 위한 focal calibration loss 기반의 지식증류 기법

Focal Calibration Loss-Based Knowledge Distillation for Image Classification

  • 강지연 (광운대학교 인공지능응용학과 ) ;
  • 이재원 (광운대학교 인공지능응용학과 ) ;
  • 이상민 (광운대학교 정보융합학부)
  • Ji-Yeon Kang (Dept. of Artificial Intelligence Applications, Kwangwoon University) ;
  • Jae-Won Lee (Dept. of Artificial Intelligence Applications, KwangWoon University) ;
  • Sang-Min Lee (Dept. of Information Convergence, KwangWoon University)
  • 발행 : 2023.11.02

초록

최근 몇 년 간 딥러닝 기반 모델의 규모와 복잡성이 증가하면서 강력하고, 높은 정확도가 확보되지만 많은 양의 계산 자원과 메모리가 필요하기 때문에 모바일 장치나 임베디드 시스템과 같은 리소스가 제한된 환경에서의 배포에 제약사항이 생긴다. 복잡한 딥러닝 모델의 배포 및 운영 시 요구되는 고성능 컴퓨터 자원의 문제점을 해결하고자 사전 학습된 대규모 모델로부터 가벼운 모델을 학습시키는 지식증류 기법이 제안되었다. 하지만 현대 딥러닝 기반 모델은 높은 정확도 대비 훈련 데이터에 과적합 되는 과잉 확신(overconfidence) 문제에 대한 대책이 필요하다. 본 논문은 효율적인 경량화를 위한 미리 학습된 모델의 과잉 확신을 방지하고자 초점 손실(focal loss)을 이용한 모델 보정 기법을 언급하며, 다양한 손실 함수 변형에 따라서 지식증류의 성능이 어떻게 변화하는지에 대해 탐구하고자 한다.

키워드