Hand-Object 3D Reconstruction Based on 2D Rendering

2D 렌더링 정보를 활용한 손-객체의 3D 복원

본 논문은 RGB 영상 데이터셋의 일부만을 지도학습하여(Sparsely-supervised learning) Annotation 되지 않은 영상에 대해 손-객체의 3D 포즈를 복원하기 위한 방법을 제안한다. 기존의 연구에서는 손-객체의 포즈에 해당하는 6DoF 만을 학습 데이터로 활용한다. 이와 달리, 본 논문에서는 정확도 향상을 위해 복원된 결과를 동일한 입력 영상 내에서 비교 가능하도록 3D 모델로 복원한 결과를 입력 영상의 마스크로 만들어 학습에 반영하였다. 구체적으로 추정된 포즈로 만들어낸 마스크를 입력 영상에 적용한 결과와 Ground-truth 포즈를 적용한 영상을 학습 시에 손실 함수에 반영하였다. 비교 실험을 통해 제안된 방법이 해당 방법을 적용하지 않은 경우 보다 3D 매쉬 오차가 적었음을 확인할 수 있었다.