Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2024.05a
  • /
  • Pages.826-829
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지

Ordinal Depth Based Deductive Weakly Supervised Learning for Monocular 3D Human Pose Estimation

단안 이미지로부터 3D 사람 자세 추정을 위한 순서 깊이 기반 연역적 약지도 학습 기법

  • Youngchan Lee (AIIP Lab, Information and Communications Engineering, Sun Moon University) ;
  • Gyubin Lee (AIIP Lab, Information and Communications Engineering, Sun Moon University) ;
  • Wonsang You (AIIP Lab, Information and Communications Engineering, Sun Moon University)
  • 이영찬 (선문대학교 정보통신공학과 인공지능 영상처리 연구실(AIIP Lab)) ;
  • 이규빈 (선문대학교 정보통신공학과 인공지능 영상처리 연구실(AIIP Lab)) ;
  • 유원상 (선문대학교 정보통신공학과 인공지능 영상처리 연구실(AIIP Lab))
  • Published : 2024.05.23
Download PDF
⟨ Previous Next ⟩

Abstract

3D 사람 자세 추정 기술은 다양한 응용 분야에서의 높은 활용성으로 인해 대량의 학습 데이터가 수집되어 딥러닝 모델 연구가 진행되어 온 반면, 동물 자세 추정의 경우 3D 동물 데이터의 부족으로 인해 관련 연구는 극히 미진하다. 본 연구는 동물 자세 추정을 위한 예비연구로서, 3D 학습 데이터가 없는 상황에서 단일 이미지로부터 3D 사람 자세를 추정하는 딥러닝 기법을 제안한다. 이를 위하여 사전 훈련된 다중 시점 학습모델을 사용하여 2D 자세 데이터로부터 가상의 다중 시점 데이터를 생성하여 훈련하는 연역적 학습 기반 교사-학생 모델을 구성하였다. 또한, 키포인트 깊이 정보 대신 2D 이미지로부터 레이블링 된 순서 깊이 정보에 기반한 손실함수를 적용하였다. 제안된 모델이 동물데이터에서 적용 가능한지 평가하기 위해 실험은 사람 데이터를 사용하여 이루어졌다. 실험 결과는 제안된 방법이 기존 단안 이미지 기반 모델보다 3D 자세 추정의 성능을 개선함을 보여준다.

Keywords

Acknowledgement

본 연구는 2022년도 교육부의 재원으로 한국연구재단의 지원을 받아 수행된 기본연구(2022R1 F1A1075204), 4단계 두뇌한국21 사업(4단계 BK21 사업) 및 지자체-대학 협력기반 지역혁신사업(2022RIS-004), 중소기업벤처부의 재원으로 수행된 2021년도 창업성장기술개발사업(S3228660)의 연구결과로 수행되었음.

References

  1. Zheng C, Wu W, Chen C et al., "Deep-Learning-based Human Pose Estimation: A Survey" ACM Comput. Surv. 56, 1, Article 11, 37 pages.
  2. Zhang S, Wang C, Dong W et al., "A Survey on Depth Ambiguity of 3D Human Pose Estimation" Applied Sciences. 2022; 12(20):10591.
  3. Jain A, Patel H, Nagalapatti L et al., "Overview and Importance of Data Quality for Machine Learning Tasks." In Proceedings of the 26thACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD'20). Association for Computing Machinery, New York, NY, USA, 2020, 3561-3562.
  4. Khoreva A, Benenson R, Hosang J et al., "Simple Does It: Weakly Supervised Instance and Semantic Segmentation," 2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), Honolulu, HI, USA, 2017, pp. 1665-1674.
  5. M. Kocabas, S. Karagoz and E. Akbas, "Self-Supervised Learning of 3D Human Pose Using Multi-View Geometry," 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 2019, pp. 1077-1086.
  6. U. Iqbal, P. Molchanov and J. Kautz, "Weakly-Supervised 3D Human Pose Learning via Multi-View Images in the Wild," 2020IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 2020, pp. 5242-5251.
  7. Chen X, Wei, P, Lin, L, "Deductive Learning for Weakly-Supervised 3D Human Pose Estimation via Uncalibrated Cameras," Proceedings of the AAAI Conference on Artificial Intelligence, 35(2), 1089-1096.
  8. G. Pavlakos, X. Zhou and K. Daniilidis, "Ordinal Depth Supervision for 3D Human Pose Estimation," 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 2018, pp. 7307-7316.
  9. J. Martinez, R. Hossain, J. Romero and J. J. Little, "A Simple Yet Effective Baseline for 3dHuman Pose Estimation," 2017 IEEE International Conference on Computer Vision (ICCV), Venice, Italy, 2017, pp. 2659-2668.
  10. C. Ionescu, D. Papava, V. Olaru and C. Sminchisescu, "Human3.6M: Large Scale Datasets and Predictive Methods for 3D Human Sensing in Natural Environments," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 36, no. 7, pp. 1325-1339, July 2014.