Abstract
This paper proposes a hand-posture recognition method using reinforcement learning for the performance improvement of vision-based hand-posture recognition. The difficulties in vision-based hand-posture recognition lie in viewing direction dependency and self-occlusion problem due to the high degree-of-freedom of human hand. General approaches to deal with these problems include multiple camera approach and methods of limiting the relative angle between cameras and the user's hand. In the case of using multiple cameras, however, fusion techniques to induce the final decision should be considered. Limiting the angle of user's hand restricts the user's freedom. The proposed method combines angular features and appearance features to describe hand-postures by a two-layered data structure and reinforcement learning. The validity of the proposed method is evaluated by appling it to the hand-posture recognition system using three cameras.
본 논문에서는 비전 기술에 기반을 둔 손 모양 인식 시스템의 성능 향상을 위하여 강화학습에 의한 손 모양 인식 방법을 제안한다. 비전 센서에 기반을 둔 손 모양 인식은 손의 높은 자유도로 인한 자체 겹침 (self-occlusion) 현상과 관찰 방향 변화에 따른 입력 영상의 다양함으로 인식에 어려움이 따른다. 따라서 비전 기반 손 모양 인식의 경우, 카메라와 손 간의 상대적인 각도에 제한을 두거나 여러 대의 카메라를 배치하는 것이 일반적이다. 그러나 카메라와 손 간의 상대적 각도에 제한을 두는 경우에는 사용자의 움직임에 제약이 따르게 되며, 여러 대의 카메라를 사용할 경우에도 각 입력된 영상에 대한 인식 결과를 최종 인식 결과에 반영하는 방식에 대하여 추가적인 고려를 해야 한다. 본 논문에서는 비전 기반 손 모양 인식의 이러한 문제점을 개선하기 위하여 인식 과정에서 사용되는 특징을 손 구조적인 각도 정보와 손 윤곽선 정보로 나누고 강화학습을 통하여 각 특징간의 연관성을 정의하는 방식을 제안한다. 또한 제안된 방법을 세 대의 카메라를 이용한 손 모양 인식 시스템에 적용하여 유용성을 검증한다.
