Acknowledgement
이 논문은 과학기술정보통신부 및 정보통신기술기획평가원의 대학ICT연구센터지원사업의 연구(IITP-2020-2018-0-01405), 2017년도 정부(미래창조과학부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No.NRF-2017M3C4A7068189).
Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2020.10a
- /
- Pages.468-472
- /
- 2020
- /
- 2005-3053(pISSN)
MMA: Multi-modal Message Aggregation for Korean VQA
MMA: 한국어 시각적 질의응답을 위한 멀티 모달 메시지 통합
- Park, Sungjin (Korea University, Department of Computer Science and Engineering) ;
- Park, Chanjun (Korea University, Department of Computer Science and Engineering) ;
- Seo, Jaehyung (Korea University, Department of Computer Science and Engineering) ;
- Lim, Heuiseok (Korea University, Department of Computer Science and Engineering)
- Published : 2020.10.14
Abstract
시각적 질의응답(Visual Question Answering, VQA)은 주어진 이미지에 연관된 다양한 질문에 대한 올바른 답변을 예측하는 기술이다. 해당 기술은 컴퓨터 비전-자연어 처리 연구분야에서 활발히 연구가 진행되고 있으며, 질문의 의도를 정확히 파악하고, 주어진 이미지에서 관련 단서 정보를 찾는 것이 중요하다. 또한, 서로 이질적인 특성을 지닌 정보(이미지 객체, 객체 위치, 질문)를 통합하는 과정도 중요하다. 본 논문은 질문의 의도에 알맞은 정보를 효율적으로 사용하기 위해 멀티 모달 입력 이미지 객체, 객체 위치, 질문)에 대한 Multi-modal Message Aggregation (MMA) 제안하며 이를 통해 한국어 시각적 질의응답 KVQA에서 다른 모델보다 더 좋은 성능을 확인하였다.