한국컴퓨터정보학회:학술대회논문집 (Proceedings of the Korean Society of Computer Information Conference)

한국컴퓨터정보학회 (Korean Society of Computer Information)
권호 표지

클래스분류 학습이 Self-Supervised Transformer의 saliency map에 미치는 영향 분석

Analysis of the effect of class classification learning on the saliency map of Self-Supervised Transformer

  • 김재욱 (고려대학교 인공지능융합학과) ;
  • 김현철 (고려대학교 컴퓨터학과)
  • Kim, JaeWook (Dept. of Applied Artificial Intelligence, Korea University) ;
  • Kim, Hyeoncheol (Dept. of Computer Science and Engineering, Korea University)
  • 발행 : 2022.07.13
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

NLP 분야에서 적극 활용되기 시작한 Transformer 모델을 Vision 분야에서 적용하기 시작하면서 object detection과 segmentation 등 각종 분야에서 기존 CNN 기반 모델의 정체된 성능을 극복하며 향상되고 있다. 또한, label 데이터 없이 이미지들로만 자기지도학습을 한 ViT(Vision Transformer) 모델을 통해 이미지에 포함된 여러 중요한 객체의 영역을 검출하는 saliency map을 추출할 수 있게 되었으며, 이로 인해 ViT의 자기지도학습을 통한 object detection과 semantic segmentation 연구가 활발히 진행되고 있다. 본 논문에서는 ViT 모델 뒤에 classifier를 붙인 모델에 일반 학습한 모델과 자기지도학습의 pretrained weight을 사용해서 전이학습한 모델의 시각화를 통해 각 saliency map들을 비교 분석하였다. 이를 통해, 클래스 분류 학습 기반 전이학습이 transformer의 saliency map에 미치는 영향을 확인할 수 있었다.

키워드