방송공학회논문지 (Journal of Broadcast Engineering)

  • 제27권5호
  • /
  • Pages.638-653
  • /
  • 2022
  • /
  • 1226-7953(pISSN)
  • /
  • 2287-9137(eISSN)
한국방송∙미디어공학회 (The Korean Institute of Broadcast and Media Engineers)
권호 표지
DOI QR코드

DOI QR Code

메타버스를 위한 가상 휴먼의 3차원 의상 모델링

3D Clothes Modeling of Virtual Human for Metaverse

  • 김현우 (인하대학교 정보통신공학과) ;
  • 김동언 (인하대학교 정보통신공학과) ;
  • 김유진 (인하대학교 정보통신공학과) ;
  • 박인규 (인하대학교 정보통신공학과)
  • Kim, Hyun Woo (Inha University, Department of Information and Communication Engineering) ;
  • Kim, Dong Eon (Inha University, Department of Information and Communication Engineering) ;
  • Kim, Yujin (Inha University, Department of Information and Communication Engineering) ;
  • Park, In Kyu (Inha University, Department of Information and Communication Engineering)
  • 투고 : 2022.07.08
  • 심사 : 2022.08.01
  • 발행 : 2022.09.30
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

본 논문은 고화질 2차원 전신 영상을 입력으로 받아 영상 속 인물이 입고 있는 의상 패턴과 체형 정보를 추정한 후, 이를 반영한 3차원 가상 휴먼의 생성 기법을 제안한다. 의상의 패턴을 얻기 위해서 Cascade Mask R-CNN을 이용하여 의상 분할을 진행한다. 이후 Pix2Pix로 경계를 블러 및 배경색을 추정하고, UV-Map 기반으로 변환하여 3차원 의상 메쉬의 UV-Map을 얻을 수 있다. 또한, SMPL-X를 이용하여 체형 정보를 얻고 이를 기반으로 의상과 신체의 기본 메쉬를 변형한다. 앞서 얻은 의상 UV-Map, 체형이 반영된 의상과 신체의 메쉬를 이용해 최근 각광받고 있는 게임 엔진인 언리얼 엔진에서 렌더링하여 최종적으로 사용자가 그의 외형이 반영된 3차원 가상 휴먼의 애니메이션을 볼 수 있도록 한다.

In this paper, we propose the new method of creating 3D virtual-human reflecting the pattern of clothes worn by the person in the high-resolution whole body front image and the body shape data about the person. To get the pattern of clothes, we proceed Instance Segmentation and clothes parsing using Cascade Mask R-CNN. After, we use Pix2Pix to blur the boundaries and estimate the background color and can get UV-Map of 3D clothes mesh proceeding UV-Map base warping. Also, we get the body shape data using SMPL-X and deform the original clothes and body mesh. With UV-Map of clothes and deformed clothes and body mesh, user finally can see the animation of 3D virtual-human reflecting user's appearance by rendering with the state-of-the game engine, i.e. Unreal Engine.

키워드

과제정보

이 논문은 2022년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No.2022R1A4A1033549). 이 논문은 2022년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원(2020-0-01389, 인공지능융합연구센터지원(인하대학교), No. RS-2022-00155915, 인공지능융합혁신인재양성사업(인하대학교))을 받아 수행된 연구임.

참고문헌

  1. M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black, "SMPL: A Skinned multi-person linear model," ACM Trans. on Graphics, vol. 34, no. 6, pp. 1-16, 2015. doi: https://doi.org/10.1145/2816795.2818013
  2. J. Deng, S. Cheng, N. Xue, Y. Zhou, and S. Zafeiriou, "UV-GAN: Adversarial Facial UV Map Completion for Pose-invariant Face Recognition," arXiv preprint arXiv:1712.04695, 2017. doi: https://doi.org/10.48550/arXiv.1712.04695
  3. X. Han, Z. Wu, Z. Wu, R. Yu, and L. S. Davis, "VITON: An imagebased virtual try-on network," arXiv preprint arXiv:1711.08447, 2017. doi: https://doi.org/10.48550/arXiv.1711.08447
  4. Metahuman Creator, https://www.unrealengine.com/ko/metahuman (accessed June 13, 2022)
  5. Unreal Engine, https://www.unrealengine.com/ (accessed June 13, 2022)
  6. Blender, https://www.blender.org (accessed June 13, 2022)
  7. G. Pavlakos, V. Choutas, N. Ghorbani, T. Bolkart, A. A. A. Osman, D. Tzionas, and M. J. Black, "Expressive body capture: 3D hands, face, and body from a single image," Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 2019. doi: https://doi.org/10.1109/CVPR.2019.01123
  8. K. Chen, J. Wang, J. Pang, Y. Cao, Y. Xiong, X. Li, S. Sun, W. Feng, Z. Liu, J. Xu, Z. Zhang, D. Cheng, C. Zhu, T. Cheng, Q. Zhao, B. Li, X. Lu, R. Zhu, Y. Wu, J. Dai, J. Wang, J. Shi, W. Ouyang, C. C. Loy, and D. Lin, "MMDetection: Open MMLab detection toolbox and benchmark," arXiv preprint arXiv:1906.07155, 2019. doi: https://doi.org/10.48550/arXiv.1906.07155
  9. Z. Cai and N. Vasconcelos, "Cascade R-CNN: High quality object detection and instance segmentation," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 43, no. 5, pp. 1483-1498, 2019. doi: https://doi.org/10.1109/TPAMI.2019.2956516
  10. Y. Ge, R. Zhang, X. Wang, X. Tang, and P. Luo, "DeepFashion2: A versatile benchmark for detection, pose estimation, segmentation and re-identification of clothing images," Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 2019. doi: https://doi.org/10.1109/CVPR.2019.00548
  11. D. P. Kingma and J. L. Ba, "Adam: A method for stochastic optimization," arXiv preprint arXiv:1412.6980, 2014. doi: https://doi.org/10.48550/arXiv.1412.6980
  12. P. Isola, J. -Y. Zhu, T. Zhou, and A. A. Efros, "Image-to-image translation with conditional adversarial networks," Proc. IEEE Conference on Computer Vision and Pattern Recognition, June 2017. doi: https://doi.org/10.1109/CVPR.2017.632
  13. Fashion Product Images Dataset, https://www.kaggle.com/datasets/paramaggarwal/fashion-product-images-dataset (accessed June 13, 2022)