초록
질의응답 문제를 인공지능 모델을 통해 해결하는 연구는 메모리 네트워크의 등장으로 인해 방법론의 변화를 맞이하고 있으며, 그 중 동적 메모리 네트워크(DMN)는 인간 기억 체계에 착안하여 신경망 기반의 주의 기제를 적용하면서, 질의응답에서 일어나는 각 인지 과정들을 모듈화 했다는 특징들을 갖는다. 본 연구에서는 부족한 학습 데이터를 확장 시키고, DMN이 내포하고 있는 시간 인식의 한계를 개선해 정답률을 높이고자 한다. 실험 결과, 개선된 DMN은 1K-bAbI 문제의 테스트 데이터에서 89.21%의 정답률과, 95%를 질의응답 통과의 기준의 정답률으로 가정할 때 12개의 과제를 통과하는 성능을 보여 정확도 면에서 기존의 DMN에 비해 13.5%p 만큼 더 높고, 4개의 과제를 추가로 통과하는 성능 향상을 보여주었다. 또한 뒤이은 실험을 통해, 데이터 내에서 비슷한 의미 구조를 가지는 단어들은 벡터 공간상에서 강한 군집을 이룬다는 점과, 일화 기억 모듈 통과 횟수와 근거 사실 수의 성능에 큰 영향을 미치는 직접적인 연관성을 발견하였다.
The research area for solving question answering (QA) problems using artificial intelligence models is in a methodological transition period, and one such architecture, the dynamic memory network (DMN), is drawing attention for two key attributes: its attention mechanism defined by neural network operations and its modular architecture imitating cognition processes during QA of human. In this paper, we increased accuracy of the inferred answers, by adapting an automatic data augmentation method for lacking amount of training data, and by improving the ability of time perception. The experimental results showed that in the 1K-bAbI tasks, the modified DMN achieves 89.21% accuracy and passes twelve tasks which is 13.58% higher with passing four more tasks, as compared with one implementation of DMN. Additionally, DMN's word embedding vectors form strong clusters after training. Moreover, the number of episodic passes and that of supporting facts shows direct correlation, which affects the performance significantly.
