Neural Theorem Prover with Word Embedding for Efficient Automatic Annotation

효율적인 자동 주석을 위한 단어 임베딩 인공 신경 정리 증명계 구축

We present a system that automatically annotates unverified Web sentences with information from credible sources. The system turns to neural theorem proving for an annotating task for cancer related Wikipedia data (1,486 propositions) with Korean National Cancer Center data (19,304 propositions). By switching the recursive module in a neural theorem prover to a word embedding module, we overcome the fundamental problem of tremendous learning time. Within the identical environment, the original neural theorem prover was estimated to spend 233.9 days of learning time. In contrast, the revised neural theorem prover took only 102.1 minutes of learning time. We demonstrated that a neural theorem prover, which encodes a proposition in a tensor, includes a classic theorem prover for exact match and enables end-to-end differentiable logic for analogous words.

본 연구는 전문기관에서 생산되는 검증된 문서의 정보를 웹상의 수많은 검증되지 않은 문서에 자동 주석하여 신뢰도를 향상하고 심화 정보를 추가하는 시스템을 제안한다. 제안하는 시스템은 국가암정보센터의 검증된 문서들에서 추출한 19,304개 명제를 위키피디아 암 관련 문서에서 추출한 1,486개 명제에 주석하는 과제를 수행하기 위해, 기존 인공 신경 정리 증명계의 순환 모듈을 단어 임베딩 모듈로 교체하였다. 이를 통해 기존의 근본적인 문제점이었던 학습 시간 문제를 해결하였고, 동일한 환경에서 기존 시스템의 학습 시간이 233.9일로 추정된 것에 비해 재구축한 시스템은 102.1분 내로 학습이 완료되었다. 제안하는 시스템의 장점은 명제를 텐서로 인코딩하여 미분 가능하게 전체적인 연산을 진행하는 인공 신경 정리 증명계가 단어의 정확한 일치를 파악하는 전통적인 정리 증명계를 포함하며 동시에 유사어 관계로부터의 논리 전개 역시 가능하게 한다는 점을 실제 문서 데이터에서 입증했다는 것이다.