• 제목/요약/키워드: Catastrophic Forgetting

검색결과 12건 처리시간 0.018초

어텐션 기반의 지속학습에서 정규화값 제어 방법 (Regularization Strength Control for Continuous Learning based on Attention Transfer)

  • 강석훈;박성현
    • 전기전자학회논문지
    • /
    • 제26권1호
    • /
    • pp.19-26
    • /
    • 2022
  • 본 논문에서는 LwF에서 도메인 차이에 따른 성능 하락 현상을 해결하기 위해, 각 손실값에 각각 다른 가변람다를 적용하는 알고리즘을 제안하여, 향상된 과거 지식유지가 이루어 지게 한다. 이 지식 전달 기반의 방법을 LwF와 접목하여, 과거 학습 태스크의 지식 유지 성능을 강화하였다. 가변 람다 방법을 추가적으로 적용하여, 현재 학습할 태스크를 잘 학습할 수 있도록 람다 값을 가변적으로 조절할 수 있었다. 본 논문의 제안 방법을 적용하여 학습한 결과 시나리오에 상관없이 평균 5% 정도 데이터의 정확도가 향상하였고, 특히 본 논문의 목표인 과거 지식을 유지하는 성능이 최대 70% 가까이 개선되었고, 과거 학습 데이터의 정확도가 기존 LwF 대비 평균 22% 상승하였다.

Knowledge Distillation 계층 변화에 따른 Anchor Free 물체 검출 Continual Learning (Anchor Free Object Detection Continual Learning According to Knowledge Distillation Layer Changes)

  • 강수명;정대원;이준재
    • 한국멀티미디어학회논문지
    • /
    • 제25권4호
    • /
    • pp.600-609
    • /
    • 2022
  • In supervised learning, labeling of all data is essential, and in particular, in the case of object detection, all objects belonging to the image and to be learned have to be labeled. Due to this problem, continual learning has recently attracted attention, which is a way to accumulate previous learned knowledge and minimize catastrophic forgetting. In this study, a continaul learning model is proposed that accumulates previously learned knowledge and enables learning about new objects. The proposed method is applied to CenterNet, which is a object detection model of anchor-free manner. In our study, the model is applied the knowledge distillation algorithm to be enabled continual learning. In particular, it is assumed that all output layers of the model have to be distilled in order to be most effective. Compared to LWF, the proposed method is increased by 23.3%p mAP in 19+1 scenarios, and also rised by 28.8%p in 15+5 scenarios.