• Title/Summary/Keyword: KorSciDeBERTa

Search Result 1, Processing Time 0.013 seconds

KorSciDeBERTa: A Pre-trained Language Model Based on DeBERTa for Korean Science and Technology Domains (KorSciDeBERTa: 한국어 과학기술 분야를 위한 DeBERTa 기반 사전학습 언어모델)

  • Seongchan Kim;Kyung-min Kim;Eunhui Kim;Minho Lee;Seungwoo Lee;Myung-Seok Choi
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.704-706
    • /
    • 2023

  • 이 논문에서는 과학기술분야 특화 한국어 사전학습 언어모델인 KorSciDeBERTa를 소개한다. DeBERTa Base 모델을 기반으로 약 146GB의 한국어 논문, 특허 및 보고서 등을 학습하였으며 모델의 총 파라미터의 수는 180M이다. 논문의 연구분야 분류 태스크로 성능을 평가하여 사전학습모델의 유용성을 평가하였다. 구축된 사전학습 언어모델은 한국어 과학기술 분야의 여러 자연어처리 태스크의 성능향상에 활용될 것으로 기대된다.

  • PDF