Acknowledgement
이 논문은 2021년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(NRF-2021R1A6A1A03045425)
Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2021.10a
- /
- Pages.605-608
- /
- 2021
- /
- 2005-3053(pISSN)
Attention Patterns and Semantics of Korean Language Models
한국어 언어모델 주의집중 패턴과 의미적 대표성
- Yang, Kisu (VAIV Company) ;
- Jang, Yoonna (Korea University) ;
- Lim, Jungwoo (Korea University) ;
- Park, Chanjun (Korea University) ;
- Jang, Hwanseok (VAIV Company) ;
- Lim, Heuiseok (Korea University)
- 양기수 (바이브컴퍼니) ;
- 장윤나 (고려대학교 컴퓨터학과) ;
- 임정우 (고려대학교 컴퓨터학과) ;
- 박찬준 (고려대학교 컴퓨터학과) ;
- 장환석 (바이브컴퍼니) ;
- 임희석 (고려대학교 컴퓨터학과)
- Published : 2021.10.14
Abstract
KoBERT는 한국어 자연어처리 분야에서 우수한 성능과 확장성으로 인해 높은 위상을 가진다. 하지만 내부에서 이뤄지는 연산과 패턴에 대해선 아직까지 많은 부분이 소명되지 않은 채 사용되고 있다. 본 연구에서는 KoBERT의 핵심 요소인 self-attention의 패턴을 4가지로 분류하며 특수 토큰에 가중치가 집중되는 현상을 조명한다. 특수 토큰의 attention score를 층별로 추출해 변화 양상을 보이고, 해당 토큰의 역할을 attention 매커니즘과 연관지어 해석한다. 이를 뒷받침하기 위해 한국어 분류 작업에서의 실험을 수행하고 정량적 분석과 함께 특수 토큰이 갖는 의미론적 가치를 평가한다.