Body Segment Length and Joint Motion Range Restriction for Joint Errors Correction in FBX Type Motion Capture Animation based on Kinect Camera

Due to the popularization of the Extended Reality, research is actively underway to implement human motion in real-time 3D animation. In particular, Microsoft developed Kinect cameras for 3D motion information can be obtained without the burden of facilities and with simple operation, real-time animation can be generated by combining with 3D formats such as FBX. Compared to the marker-based motion capture system, however, Kinect has low accuracy due to its lack of estimated performance of joint information. In this paper, two algorithms are proposed to correct joint estimation errors in order to realize natural human motion in motion capture animation system in Kinect camera-based FBX format. First, obtain the position information of a person with a Kinect and create a depth map to correct the wrong joint position value using the human body segment length constraint information, and estimate the new rotation value. Second, the pre-set joint motion range constraint is applied to the existing and estimated rotation value and implemented in FBX to eliminate abnormal behavior. From the experiment, we found improvements in human behavior and compared errors between algorithms to demonstrate the superiority of the system.

키넥트 카메라 기반 FBX 형식 모션 캡쳐 애니메이션에서의 관절 오류 보정을 위한 인체 부위 길이와 관절 가동 범위 제한

확장현실의 대중화로 사람의 동작을 실시간 3D 애니메이션으로 구현하는 연구가 활발히 진행 중이다. 특히 Microsoft에서 키넥트 카메라를 개발함에 따라 설비의 부담 없이 간단한 조작만으로도 3D 모션 정보 취득이 가능해져 FBX와 같은 3D 형식과 결합하여 실시간 애니메이션 생성이 가능해졌다. 하지만 키넥트는 마커 기반 모션 캡쳐 시스템에 비해 관절 정보의 추정 성능이 뒤떨어져 낮은 정확도를 보인다. 이에 본 논문에서는 키넥트 카메라 기반 FBX 형식의 모션 캡쳐 애니메이션 시스템에서의 자연스러운 인체 움직임을 구현하고자 관절 추정 오류를 보정하는 두 알고리즘을 제안한다. 첫 번째로 키넥트로 사람의 위치 정보를 취득하고 깊이 지도를 생성하여 인체 부위 길이 제약 정보를 이용해 잘못된 관절 위치 값을 보정, 새로운 회전 값을 추정한다. 두 번째로 기존 및 추정된 회전 값들에 미리 설정된 관절 가동 범위 제약을 적용, FBX로 구현해 비정상적인 동작을 제거한다. 실험으로부터 사람의 동작이 개선되는 것을 확인하였고 알고리즘 간 오차를 비교하여 시스템의 우수성을 입증하였다.