Confidence Score based Machine Reading Comprehension for Commercialization

상용화를 위한 신뢰 점수 기반 기계독해 모델

상용화 서비스를 위한 기계독해 시스템은 출력되는 응답의 정확도가 낮으면 사용자 만족도가 급격히 감소하는 문제가 있다. 응답의 정확도를 높이기 위해서는 모델의 성능을 향상시키거나 신뢰도를 파악하여 확실한 정답만 출력하고 판단하기 모호한 정답은 출력하지 않는 것이 좋다. 또한 현재 주어진 문맥에서 해결할 수 없는 질의의 경우 정답이 없음을 알려줘야 한다. 하지만 모델의 성능을 향상시키기 위해서는 모델이 매우 복잡해져 높은 성능의 하드웨어가 필요하며 추가 데이터가 필요하다. 본 논문에서는 이러한 문제를 해결하기 위해 정답을 찾을 수 있는 질의로만 구성된 말뭉치에서 부정 데이터를 생성하고 신뢰 점수를 계산 할 수 있는 신뢰 노드를 추가하여 정확도를 향상시키는 모델을 제안한다. 실험 결과 응답 재현율은 떨어지지만 신뢰 점수 임계값에 비례하여 정확률이 향상되는 것을 보였다.