Acknowledgement
본 연구는 과학기술정보통신부와 정보통신기획평가원의 SW중심대학사업의 연구결과로 수행되었음(2019-0-01834)
Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)
- 2022.11a
- /
- Pages.600-602
- /
- 2022
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
Pose Estimation through 3D modeling based on NeRF
NeRF 기반 3차원 모델링을 통한 자세 추정
- Park, Chan (Dept. of Computer Science and Engineering, Hoseo University) ;
- Kim, Hyungju (Dept. of Computer Science and Engineering, Hoseo University) ;
- Moon, Nammee (Dept. of Computer Science and Engineering, Hoseo University)
- Published : 2022.11.21
Abstract
2차원 이미지 또는 영상을 통한 자세 추정의 경우, 영상 내에서 발생할 수 있는 탐지 오류, 피사체 잘림, 폐색(Occlusion) 등으로 인해 자세 추정 정확도가 감소할 수 있다. 본 논문에서는 4장 이상의 다양한 각도로 촬영한 이미지를 NeRF(Neural Radiance Fields)를 통해 이미지 합성(Image synthesis)을 진행하여 3차원 모델을 생성한다. 이후 DeepLabCut을 사용하여 관절 좌표와 골격(Skeleton)을 구축한다. 구축한 골격을 인공지능에 학습시킨 뒤 2차원 영상에서의 관절 좌표 인식, 골격 구축, 자세 추정을 진행한다. 2차원 영상 테스트 데이터를 통해, 3차원 모델을 사전 학습한 인공지능 모델과 기존 2차원 이미지를 사용하여 학습한 인공지능 모델의 자세 추정 정확도를 비교한다.
Keywords