• 한국정보통신학회논문지
• /
• 제25권1호
• /
• pp.27-35
• /
• 2021

본 논문에서는 인공 신경망이 과거 학습 데이터의 정보를 망각하는 치명적 망각(Catastrophic Forgetting) 현상을 개선하기 위해, 학습할 데이터에 따라서 가변적으로 정규화 강도를 조절하는 방법을 제안한다. 이를 위하여 과거에 학습된 데이터와 현재 학습할 데이터들의 관계를 측정하는 방법을 사용하였다. 성능 평가를 위해 MNIST, EMNIST 데이터를 사용하였다. 3가지 시나리오에서 실험한 결과, 같은 도메인을 갖는 데이터의 경우, 이전 태스크의 정확도가 0.1~3%, 다른 도메인을 갖는 데이터의 경우 이전 태스크(Task)의 정확도가 10~13% 향상 시킬 수 있었다. 이는 본 논문의 방법으로, 도메인이 다른 경우, 망각률이 줄어든 것을 의미한다. 다양한 도메인을 가진 데이터를 연속적으로 학습할 경우, 이전 태스크들의 정확도가 모두 50% 이상을 달성하였고 평균 정확도가 약 7% 향상되었다.

• 한국정보통신학회논문지
• /
• 제26권3호
• /
• pp.347-354
• /
• 2022

지속적 학습에서의 망각현상을 완화시키기 위해, 본 논문에서는 지식전달 방법에 기반한 개선된 LwF 모델을 제안하고, 이의 효율성을 실험 결과로 보인다. LwF에 지속적 학습을 적용할 경우, 학습되는 데이터의 도메인이 달라지거나 데이터의 복잡도가 달라지면, 이전에 학습된 결과는 망각현상에 의해 정확도가 떨어지게 된다. 특히 복잡한 데이터에서 단순한 데이터로 학습이 이어질 경우 그 현상이 더 심해지는 경향이 있다. 본 논문에서는 이전 학습 결과가 충분히 LwF 모델에 전달되게 하기 위해 지식전달 방법을 적용하고, 효율적인 사용을 위한 알고리즘을 제안한다. 그 결과 기존 LwF의 결과보다 평균 8% 정도의 망각현상 완화를 보였으며, 학습 태스크가 길어지는 경우에도 효과가 있었다. 특히, 복잡한 데이터가 먼저 학습된 경우에는 LwF 대비 최대 30% 이상 효율이 향상되었다.

• 전기전자학회논문지
• /
• 제25권3호
• /
• pp.412-419
• /
• 2021

본 논문에서는, 지속적 학습 환경에서 효율적 경로 선택에 의한 LwF방법의 성능향상을 제안한다. 이를 위해 콘볼루션 레이어를 분리하는 방법을 사용하여 기존의 LwF와 성능 및 구조를 비교한다. 비교를 위해 복잡도가 다른 구성을 가진 MNIST, EMNIST, Fashion MNIST, CIFAR10 데이터를 사용하여 성능을 실험하였다. 실험결과, 각 태스크 별 정확도가 최대 20% 향상되었으며, LwF 기반의 지속적 학습 환경에서 치명적 망각 현상이 개선되었다.

• 한국정보통신학회논문지
• /
• 제26권1호
• /
• pp.15-23
• /
• 2022

지속적 학습 환경을 위한 학습 방법 중 LwF(Learning without Forgetting)는 정규화 강도가 고정되어 있어 다양한 데이터가 들어오는 환경에서 성능이 하락 할 수 있다. 본 논문에서는 학습하려는 데이터의 특징을 파악하여 가중치를 가변적으로 설정할 수 있는 방법을 제안하고, 실험으로 성능을 검증한다. 상관 관계와 복잡도를 이용하여 적응적으로 가중치를 적용하도록 하였다. 평가를 위해 다양한 데이터를 가진 태스크가 들어오는 시나리오를 구성하여 실험을 진행하였고, 실험 결과 새로운 태스크의 정확도가 최대 5%, 이전 태스크의 정확도가 최대 11% 상승하였다. 또한, 본 논문에서 제안한 알고리즘으로 구한 적응적 가중치 값은, 각 실험 시나리오마다 반복적 실험에 의해, 수동으로 계산한 최적 가중치 값에 접근한 것을 알 수 있었다. 상관 계수 값은 0.739 이었고, 전체적으로 평균 태스크 정확도가 상승하였다. 본 논문의 방법은, 새로운 태스크를 학습할 때마다 적절한 람다 값을 적응적으로 설정하였으며, 본 논문에서 제시한 여러 가지 시나리오에서 최적의 결과값을 도출하고 있다는 것을 알 수 있다.