• KIPS Transactions on Software and Data Engineering
• /
• v.9 no.3
• /
• pp.91-100
• /
• 2020

Unlike the existing Visual Question Answering(VQA) problems, the new Visual Commonsense Reasoning(VCR) problems require deep common sense reasoning for answering questions: recognizing specific relationship between two objects in the image, presenting the rationale of the answer. In this paper, we propose a novel deep neural network model, KG_VCR, for VCR problems. In addition to make use of visual relations and contextual information between objects extracted from input data (images, natural language questions, and response lists), the KG_VCR also utilizes commonsense knowledge embedding extracted from an external knowledge base called ConceptNet. Specifically the proposed model employs a Graph Convolutional Neural Network(GCN) module to obtain commonsense knowledge embedding from the retrieved ConceptNet knowledge graph. By conducting a series of experiments with the VCR benchmark dataset, we show that the proposed KG_VCR model outperforms both the state of the art(SOTA) VQA model and the R2C VCR model.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.10a
• /
• pp.994-997
• /
• 2019

영상 기반 상식 추론(VCR) 문제는 기존의 영상 기반 질문-응답(VQA) 문제들과는 달리, 영상에 포함된 사물들 간의 관계 파악과 답변 근거 제시 등 별도의 상식 추론이 요구되는 새로운 지능 문제이다. 본 논문에서는 입력 데이터(영상, 자연어 질문, 응답 리스트)에서 사물들 간의 관계와 맥락 정보를 추출해내는 모듈들 외에, 별도로 ConceptNet과 같은 외부 지식 베이스로부터 관련 상식들을 직접 가져다 GCN 기반의 지식 그래프 임베딩 과정을 거쳐 추가적으로 활용할 수 있는 모듈들을 포함한 새로운 심층 신경망 모델인 KG_VCR을 제안한다. 제안 모델인 KG_VCR의 세부 설계사항들을 소개하고, VCR 벤치마크 데이터 집합을 이용한 다양한 실험들을 통해 제안 모델의 성능을 입증한다.