Assembly Part Image-based 3D Shape Retrieval using Attentional View Pooling

Attentional View Pooling을 이용한 조립 부품 이미지 기반 3 차원 물체 검색

  • Lee, Eun Ji (Department of ECE, INMC, Seoul National University) ;
  • Kang, Isaac (Department of ECE, INMC, Seoul National University) ;
  • Kim, Min Woo (Department of ECE, INMC, Seoul National University) ;
  • Park, Seon Ji (Department of ECE, INMC, Seoul National University) ;
  • Cho, Nam Ik (Department of ECE, INMC, Seoul National University)
  • 이은지 (서울대학교 전기정보공학부, 뉴미디어통신공동연구소) ;
  • 강이삭 (서울대학교 전기정보공학부, 뉴미디어통신공동연구소) ;
  • 김민우 (서울대학교 전기정보공학부, 뉴미디어통신공동연구소) ;
  • 박선지 (서울대학교 전기정보공학부, 뉴미디어통신공동연구소) ;
  • 조남익 (서울대학교 전기정보공학부, 뉴미디어통신공동연구소)
  • Published : 2020.11.28

Abstract

조립 부품 이미지에 해당하는 3D CAD 모델 매칭 기술은 최근 로봇 조립 기술의 발전으로 필요성이 대두되고 있다. 이미지 기반 3 차원 모델 매칭 연구는 진행되어 왔지만 가구 부품 이미지와는 특성이 다른 RGB[5] 이미지나 스케치 이미지를 다루는[1] 접근들이었다. 딥러닝을 사용하는 스케치 이미지 기반 3 차원 물제 검색 연구에서는 대부분 3 차원 이미지를 다각도에서 렌더링한 view 이미지들에서 feature를 추출하고 pooling 하여 하나의 feature를 출력한다. 그러나 기존의 view pooling 방식은 단순한 평균 방식으로, 부품 이미지에 따른 view를 반영하기에는 한계가 있었다. 따라서 본 논문에서는 조립 부품 이미지 기반 3 차원 물체 검색을 위해 query 부품 이미지에 따라 다른 view 이미지에 집중할 수 있는 방식의 attentional view pooling을 제안한다. 또한 조립 부품 데이터의 특성 상 class 당 CAD 모델이 하나인 상황이므로 학습 데이터가 터무니없이 부족하여 이를 해결하기 위한 학습 데이터 증강 방법을 제안한다. 실험은 의자 부품 11가지에 대해 진행하였고 이를 통해 제안하는 방식의 성능을 입증하였다.

Keywords