Acknowledgement
이 논문은 과학기술정보통신부의 재원으로 기초과학연구원의 지원(IBS-R029-C2)과 한국연구재단의 지원을 받아 수행된 기초연구사업임(No. NRF-2017R1E1A1A01076400).
Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2021.10a
- /
- Pages.518-523
- /
- 2021
- /
- 2005-3053(pISSN)
Hate Speech Detection in Chatbot Data Using KoELECTRA
KoELECTRA를 활용한 챗봇 데이터의 혐오 표현 탐지
- Shin, Mingi (KAIST School of Computing) ;
- Chin, Hyojin (IBS Data Science Group) ;
- Song, Hyeonho (KAIST School of Computing) ;
- Choi, Jeonghoi (SimSimi Inc.) ;
- Lim, Hyeonseung (SimSimi Inc.) ;
- Cha, Meeyoung (IBS Data Science Group)
- 신민기 (KAIST 전산학부) ;
- 진효진 (IBS 데이터 사이언스 그룹) ;
- 송현호 (KAIST 전산학부) ;
- 최정회 (심심이 주식회사) ;
- 임현승 (심심이 주식회사) ;
- 차미영 (IBS 데이터 사이언스 그룹)
- Published : 2021.10.14
Abstract
챗봇과 같은 대화형 에이전트 사용이 증가하면서 채팅에서의 혐오 표현 사용도 더불어 증가하고 있다. 혐오 표현을 자동으로 탐지하려는 노력은 다양하게 시도되어 왔으나, 챗봇 데이터를 대상으로 한 혐오 표현 탐지 연구는 여전히 부족한 실정이다. 이 연구는 혐오 표현을 포함한 챗봇-사용자 대화 데이터 35만 개에 한국어 말뭉치로 학습된 KoELETRA 기반 혐오 탐지 모델을 적용하여, 챗봇-사람 데이터셋에서의 혐오 표현 탐지의 성능과 한계점을 검토하였다. KoELECTRA 혐오 표현 분류 모델은 챗봇 데이터셋에 대해 가중 평균 F1-score 0.66의 성능을 보였으며, 오탈자에 대한 취약성, 맥락 미반영으로 인한 편향 강화, 가용한 데이터의 정확도 문제가 주요한 한계로 포착되었다. 이 연구에서는 실험 결과에 기반해 성능 향상을 위한 방향성을 제시한다.