DOI QR코드

DOI QR Code

자연어 처리를 위한 조건부 게이트 다층 퍼셉트론 모델 개발 및 구현

SG-MLP: Switch Gated Multi-Layer Perceptron Model for Natural Language Understanding

  • 손규진 (연세대학교 언더우드 국제대학 경제학과) ;
  • 김승원 (연세대학교 공과대학 컴퓨터과학과) ;
  • 주세준 (연세대학교 이과대학 수학과) ;
  • 조우진 (연세대학교 이과대학 대기과학과) ;
  • 나정은 (연세대학교 학부대학)
  • Son, Guijin (Dept. of Economics, Underwood International College, Yonsei University) ;
  • Kim, Seungone (Dept. of Computer Science, Yonsei University) ;
  • Joo, Se June (Dept. of Mathematics, Yonsei University) ;
  • Cho, Woojin (Dept. of Atmospheric Sciences, Yonsei University) ;
  • Nah, JeongEun (University College, Yonsei University)
  • 발행 : 2021.11.04

초록

2018 년 Google 사의 사전 학습된 언어 인공지능 BERT 를 기점으로, 자연어 처리 학계는 주요 구조를 유지한 채 경쟁적으로 모델을 대형화하는 방향으로 발전했다. 그 결과, 오늘날 자연어 인공지능은 거대 사기업과 그에 준하는 컴퓨팅 자원을 소유한 연구 단체만의 전유물이 되었다. 본 논문에서는 다층 퍼셉트론을 병렬적으로 배열해 자연어 인공지능을 제작하는 기법의 모델을 제안하고, 이를 적용한'조건부 게이트 다층 퍼셉트론 모델(SG-MLP)'을 구현하고 그 결과를 비교 관찰하였다. SG-MLP 는 BERT 의 20%에 해당하는 사전 학습량만으로 다수의 지표에서 그것과 준하는 성능을 보였고, 동일한 과제에 대해 더 적은 연산 비용을 소요한다.

키워드

과제정보

본 논문은 과학기술정보통신부 정보통신창의인재양성사업의 지원을 통해 수행한 ICT 멘토링 프로젝트 결과물입니다.