한국정보처리학회:학술대회논문집 (Proceedings of the Korea Information Processing Society Conference)
- 한국정보처리학회 2020년도 춘계학술발표대회
- /
- Pages.555-558
- /
- 2020
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
그래프 신경망과 멀티 모달 맥락 정보를 이용한 장면 그래프 생성
Scene Graph Generation with Graph Neural Network and Multimodal Context
- Jung, Ga-Young (Department of Computer Science, Kyonggi University) ;
- Kim, In-cheol (Department of Computer Science, Kyonggi University)
- 발행 : 2020.05.29
초록
본 논문에서는 입력 영상에 담긴 다양한 물체들과 그들 간의 관계를 효과적으로 탐지하여, 하나의 장면 그래프로 표현해내는 새로운 심층 신경망 모델을 제안한다. 제안 모델에서는 물체와 관계의 효과적인 탐지를 위해, 합성 곱 신경망 기반의 시각 맥락 특징들뿐만 아니라 언어 맥락 특징들을 포함하는 다양한 멀티 모달 맥락 정보들을 활용한다. 또한, 제안 모델에서는 관계를 맺는 두 물체 간의 상호 의존성이 그래프 노드 특징값들에 충분히 반영되도록, 그래프 신경망을 이용해 맥락 정보를 임베딩한다. 본 논문에서는 Visual Genome 벤치마크 데이터 집합을 이용한 비교 실험들을 통해, 제안 모델의 효과와 성능을 입증한다.
키워드