Attention-based Next Utterance Classification in Dialogue System

Attention 기반의 대화 발화 예측 모델

대화 발화 예측(Next Utterance Classification)은 Multi-turn 대화에서 마지막에 올 발화를 정답 후보들 중에서 예측을 하는 연구이다. 기존에 제안된 LSTM 기반의 Dual Encoder를 이용한 모델에서는 대화와 정답 발화에 대한 관계를 고려하지 않는 문제와 대화의 길이가 너무 길어 중간 정보의 손실되는 문제가 존재한다. 본 연구에서는 이러한 두 문제를 해결하기 위하여 ESIM구조를 통한 단어 단위의 attention, 대화의 turn별 문장 단위의 attention을 제안한다. 실험 결과 총 5000개의 검증 대화 데이터에 대하여 1 in 100 Recall@1의 성능이 37.64%로 기존 모델 대비 약 2배 높은 성능 향상을 나타내었다.