Attentive Aggregation based Cross-modal Embedding

Attentive Aggregation(주의적 종합) 기반 크로스모달 임베딩

본 연구에서는 사진 검색을 위한 Attentive Aggregation(주의적 종합) 기반의 언어-시각 크로스모달 임베딩 모델을 제안한다. 본 연구에서는 크로스모달 임베딩을 활용한 검색 과제에서 검색 대상의 임베딩을 계산하는 새로운 방법으로 '질의 기반 종합 검색 대상 임베딩'을 제안하며, Attentive Aggregation 레이어를 활용하여 이를 적용한 크로스모달 임베딩 모델을 제안한다. 제안 모델은 정보량이 많은 사진 데이터로부터 여러 특징을 추출한 뒤 주어진 질의에 따라 이들을 선택적으로 반영한 임베딩을 계산할 수 있으며, 이에 따라 Recall@10 약 0.23, MAP@10 약 0.11, MRR 약 0.13으로 Baseline과 비교하였을 때 크게 향상된 사진 검색 성능을 보였다.