Journal of the Korea Computer Graphics Society (한국컴퓨터그래픽스학회논문지)

Korea Computer Graphics Society (한국컴퓨터그래픽스학회)
권호 표지
DOI QR코드

DOI QR Code

3D Human Shape Estimation from a Silhouette Image by using Statistical Human Shape Spaces

통계적 신체 외형 데이터베이스를 활용한 실루엣으로부터의 3차원 인체 외형 예측

  • Received : 2022.12.30
  • Accepted : 2023.01.29
  • Published : 2023.03.01
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we present a method for estimating full 3D shapes from given 2D silhouette images of human bodies. Because the silhouette only consists of the partial information on the true shape, it is an ill-posed problem. To address the problem, we use the statistical human shape space obtained from the existing large 3D human shape database. The method consists of three steps. First, we extract the boundary pixels and their appropriate normal vectors from the input silhouette images. Then, we initialize the correspondences of each pixel to the vertex of the statistically-deformable 3D human model. Finally, we numerically optimize the parameters of the statistical model to fit best to the given silhouettes. The viability and the robustness of the method is demonstrated with various experiments.

본 논문은 특정 자세를 취하고 있는 인간형 캐릭터의 단순한 실루엣 그림 등을 입력으로 받아 이로부터 3차원 신체 외형 정보를 복원하는 기술을 다룬다. 기하학적인 방법 만으로 실루엣에 담기지 않은 내부 형체를 추출하는 것은 매우 어려운 일이기에 본 논문은 대규모 신체 3차원 형체 데이터베이스 및 이의 통계적 분석 데이터를 활용하여 인간형 템플릿 모델을 실루엣에 맞도록 정합 하는 것을 주된 아이디어로 한다. 본 기술은 다음의 세 단계로 이뤄진다. 먼저 주어진 실루엣 이미지로부터 이미지 분석을 통해 윤곽선 및 법선 벡터를 추출한다. 둘째로, 실루엣 이미지와 3차원 모델 간의 점 대 점 대응관계를 수립한다. 마지막으로 수치적 최적화를 통해 실루엣과 모델이 최대한 일치하도록 파라메터들을 정한다. 본 논문은 실루엣 정보로부터 3차원 신체 형태를 최적화하는 실용적 방법론을 제시한 것이 주된 기여이며, 기술의 유효성을 실험을 통해 검증하였다.

Keywords

Acknowledgement

본 연구는 문화체육관광부 및 한국콘텐츠진흥원의 출연금 등으로 수행하고 있는 한국전자통신연구원의 문화기술(CT) 연구개발지원사업의 위탁연구과제 (R2018030391)를 통해 지원받았습니다.

References

  1. B. ALLEN, B. CURLESS et al, The space of human body shapes: reconstruction and parameterization from range scans, SIGGRAPH 2003, pages 587-594
  2. D. ANGUELOV, P. SRINIVASAN et al, SCAPE: shape completion and animation of people, SIGGRAPH 2005, pages 408-416
  3. D. VLASIC, P. PEERS et al, Dynamic shape capture using muti-view photometric stereo, SIGGRAPH Asia 2009, Article No. 174
  4. V. KREAVOY, A.SHEFFER, M. PANNE, Modeling from contour drawings, SBIM 2009, pages 37-44
  5. A. JAIN, T. THORMHLEN et al, MovieReshape: tracking and reshaping of humans in videos, SIGGRAPH Asia 2010, Article No. 148
  6. S. ZHOU, H. FU et al, Parametric reshaping of human bodies in images, SIGGRAPH 2010, Article No. 126
  7. D. CREMERS, K. KOLEV, Mutiview Stereo and Silhouette Consistency via Convex Functionals over Convex Domains, IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol 33 Issue 6, pages 1161-1174, 2011 https://doi.org/10.1109/TPAMI.2010.174
  8. M. ZOLLHOFER, M. NIEBNER et al, Real-time non-rigid reconstruction using an RGB-D camera, ACM Trans. on Graphics Vol. 33 Issue 4, Article No. 156, 2014
  9. A. COLLET, M. CHUANG et al, High-quality streamable free-viewpoint video, ACM Trans. on Graphics Vol 34 Issue 4, Article No. 69, 2015
  10. L. PISHCHULIN, S. WUHRER et al, Building statistical shape spaces for 3D human modeling, Pattern Recognition Vol 67, pages 276-286, 2017 https://doi.org/10.1016/j.patcog.2017.02.018
  11. K. M. ROBINETTE, H. DAANEN et al, The caesar project: a 3-D surface anthropometry survey, 3DIM'99 Proceedings of the 2nd international conference on 3-D digital imaging and modeling, pages 380-386, 1999
  12. R. A. NEWCOMBE, D. FOX, S. M. SEITZ, DynamicFusion: Reconstruction and tracking of non-rigid scenes in real-time, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015
  13. Desbrun, Anisotropic polygonal remeshing, ACM Transactions on Graphics, pp. 485-493, 2003.
  14. G. VAROL, D. CEYLAN, B. RUSSEL, J. YANG, E. YUMER, I. LAPTEV, C. SCHMID, BodyNet: Volumetric Inference of 3D Human Body Shapes, Proceedings of the European Conference on Computer Vision (ECCV), pp. 20-36, 2018
  15. Z. ZHENG, T. YU, Y. WEI, Q. DAI, Y. LIU, DeepHuman: 3D Human Reconstruction from a Single Image. The IEEE International Conference on Computer Vision (ICCV), 2019
  16. S. SAITO, Z. HUANG, R. NATSUME, S. MORISHITA, A. KANAZAWA, H. LI, PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization, The IEEE International Conference on Computer Vision (ICCV), 2019
  17. S. SAITO, T. SIMON, J. SARAGIH, H. JOO, PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020
  18. 현대은, 윤승현, 김명수, 3차원 스캔 데이터로부터의 인체 팔, 다리 형상 복원, 컴퓨터그래픽스학회논문지, 8(4), 1-7, 2002
  19. 최별이, 이성희, K-SMPL: 한국인 체형 데이터 기반의 매개화된 모델, 컴퓨터그래픽스학회논문지, 28(4), 1-11, 2022 https://doi.org/10.15701/kcgs.2022.28.4.1