한국정보처리학회:학술대회논문집 (Proceedings of the Korea Information Processing Society Conference)

한국정보처리학회 (Korea Information Processing Society)
권호 표지
DOI QR코드

DOI QR Code

Transformer기반의 언어모델 Bert와 GPT-2 성능 비교 연구

Transformer-based Language model Bert And GPT-2 Performance Comparison Study

  • 유연준 (한국폴리텍대학 서울강서캠퍼스 데이터분석과) ;
  • 홍석민 (한국폴리텍대학 서울강서캠퍼스 데이터분석과) ;
  • 이협건 (한국폴리텍대학 서울강서캠퍼스 데이터분석과) ;
  • 김영운 (한국폴리텍대학 서울강서캠퍼스 데이터분석과)
  • Yoo, Yean-Jun (Dept. of Data Analysis, Seoul kangseo Campus of Korea Polytechnics) ;
  • Hong, Seok-Min (Dept. of Data Analysis, Seoul kangseo Campus of Korea Polytechnics) ;
  • Lee, Hyeop-Geon (Dept. of Data Analysis, Seoul kangseo Campus of Korea Polytechnics) ;
  • Kim, Young-Woone (Dept. of Data Analysis, Seoul kangseo Campus of Korea Polytechnics)
  • 발행 : 2022.05.17
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

최근 자연어처리 분야에서는 Bert, GPT 등 Transformer기반의 언어모델 연구가 활발히 이뤄지고 있다. 이러한 언어모델은 대용량의 말뭉치 데이터와 많은 파라미터를 이용하여 사전학습을 진행하여 다양한 자연어처리 테스트에서 높은 성능을 보여주고 있다. 이에 본 논문에서는 Transformer기반의 언어모델인 Bert와 GPT-2의 성능평가를 진행한다. 성능평가는 '네이버 영화 리뷰' 데이터 셋을 통해 긍정 부정의 정확도와 학습시간을 측정한다. 측정결과 정확도에서는 GPT-2가 Bert보다 최소 4.16%에서 최대 5.32% 높은 정확도를 나타내었지만 학습시간에서는 Bert가 GPT-2보다 최소 104초에서 116초 빠르게 나타났다. 향후 성능 비교는 더 많은 데이터와 다양한 조건을 통해 구체적인 성능 비교가 필요하다.

키워드