MAdapter: A Refinement of Adapters by Augmenting Efficient Middle Layers

MAdapter: 효율적인 중간 층 도입을 통한 Adapter 구조 개선

최근 거대 언어모델의 등장과 동시에, 많은 매개변수를 효과적으로 학습하는 방법인 효율적인 매개변수 미세조정(Parameter Efficient Fine-Tuning) 연구가 활발히 진행되고 있다. 이 중에서 Adapter는 사전학습 언어모델(Pretrained Language Models)에 몇 개의 추가 병목 구조 모듈을 삽입하여 이를 학습하는 방식으로, 등장한 이후 다양한 연구 영역에서 주목받고 있다. 그러나 몇몇 연구에서는 병목 차원을 증가시켜 미세 조정보다 더 나은 성능을 얻는다는 주장이 나오면서, 원래의 의도와는 다른 방향으로 발전하고 있다는 의견도 있다. 이러한 맥락에서, 본 연구에서는 기존의 Adapter 구조를 개선한 MAdapter를 제안한다. MAdapter는 본래 Adapter에 중간 층을 추가하되 학습 가능한 매개변수의 수는 오히려 줄이는 방법으로, 전체 매개변수 수 대비 1% 내외 만을 학습에 활용하며, Adapter 대비 절반 정도의 매개변수만을 사용하여 기존 결과와 비슷하거나 더 나은 성능을 얻을 수 있는 것을 확인할 수 있다. 또한, 병목차원 크기 비교와 중간 층 개수 분석을 통한 최적의 MAdapter 구조를 찾고, 이로써 효율적인 매개변수 미세조정 방법을 제시한다.