Acknowledgement
이 논문은 2020년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임. (No. 2020-0-01336 인공지능대학원 지원(울산과학기술원), No. 2020-0-00537 5G 기반 저지연 디바이스-엣지클라우드 인터랙션 기술 개발)
Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)
- 2020.11a
- /
- Pages.1052-1055
- /
- 2020
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
Generating A Synthetic Multimodal Dataset for Vision Tasks Involving Hands
손을 다루는 컴퓨터 비전 작업들을 위한 멀티 모달 합성 데이터 생성 방법
- Lee, Changhwa (Dept. of Computer Science and Engineering, UNIST) ;
- Lee, Seongyeong (Dept. of Computer Science and Engineering, UNIST) ;
- Kim, Donguk (Dept. of Computer Science, Yeungnam University) ;
- Jeong, Chanyang (Dept. of Cyber Security, Ajou University) ;
- Baek, Seungryul (Artificial Intelligence Graduate School, UNIST)
- 이창화 (UNIST 컴퓨터공학과) ;
- 이선경 (UNIST 컴퓨터공학과) ;
- 김동욱 (영남대학교 컴퓨터 공학과) ;
- 정찬양 (아주대학교 사이버보안학과) ;
- 백승렬 (UNIST 인공지능대학원)
- Published : 2020.11.05
Abstract
본 논문에서는 3D 메시 정보, RGB-D 손 자세 및 2D/3D 손/세그먼트 마스크를 포함하여 인간의 손과 관련된 다양한 컴퓨터 비전 작업에 사용할 수 있는 새로운 다중 모달 합성 벤치마크를 제안 하였다. 생성된 데이터셋은 기존의 대규모 데이터셋인 BigHand2.2M 데이터셋과 변형 가능한 3D 손 메시(mesh) MANO 모델을 활용하여 다양한 손 포즈 변형을 다룬다. 첫째, 중복되는 손자세를 줄이기 위해 전략적으로 샘플링하는 방법을 이용하고 3D 메시 모델을 샘플링된 손에 피팅한다. 3D 메시의 모양 및 시점 파라미터를 탐색하여 인간 손 이미지의 자연스러운 가변성을 처리한다. 마지막으로, 다중 모달리티 데이터를 생성한다. 손 관절, 모양 및 관점의 데이터 공간을 기존 벤치마크의 데이터 공간과 비교한다. 이 과정을 통해 제안된 벤치마크가 이전 작업의 차이를 메우고 있음을 보여주고, 또한 네트워크 훈련 과정에서 제안된 데이터를 사용하여 RGB 기반 손 포즈 추정 실험을 하여 생성된 데이터가 양질의 질과 양을 가짐을 보여준다. 제안된 데이터가 RGB 기반 3D 손 포즈 추정 및 시맨틱 손 세그멘테이션과 같은 품질 좋은 큰 데이터셋이 부족하여 방해되었던 작업에 대한 발전을 가속화할 것으로 기대된다.
Keywords