한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리) (Annual Conference on Human and Language Technology)
- 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
- /
- Pages.51-55
- /
- 2017
- /
- 2005-3053(pISSN)
대규모 분류 체계에서 계층적 샘플링을 활용한 문서의 분류
Classification using Hierarchical Sampling in Large Classification System
- Hong, SungMo (Naver Corporation) ;
- Jang, HeonSeok (Naver Corporation) ;
- Kang, Inho (Naver Corporation)
- 발행 : 2017.10.13
초록
대규모 분류체계를 사용하는 경우, 기존 방법의 딥 러닝으로는 분류 정확도가 현저히 떨어진다. 이를 해결하기 위해 계층 구조를 활용한 네거티브 샘플링 방법을 제안한다. 학습 문서가 속한 카테고리의 상위 카테고리와 일정부분 겹치는 범위에서 네거티브 샘플을 선택하면, 하나의 큰 문제를 다수개의 하위 문제로 쪼개서 해결하는 학습 효과가 있다. 소규모 분류 체계와 대규모 분류체계 각각에서 샘플링 전략을 차용하였을 때를 비교한 결과, 대규모에서 효과가 좋았으며 그 때의 정확도가 150배 이상 차이가 나는 것을 보였다.