Learning Similarity between Hand-posture and Structure for View-invariant Hand-posture Recognition

This paper deals with a similarity decision method between the shape of hand-postures and their structures to improve performance of the vision-based hand-posture recognition system. Hand-posture recognition by vision sensors has difficulties since the human hand is an object with high degrees of freedom, and hence grabbed images present complex self-occlusion effects and, even for one hand-posture, various appearances according to viewing directions. Therefore many approaches limit the relative angle between cameras and hands or use multiple cameras. The former approach, however, restricts user's operation area. The latter requires additional considerations on the way of merging the results from each camera image to get the final recognition result. To recognize hand-postures, we use both of appearance and structural features and decide the similarity between the two types of features by learning.

관측 시점에 강인한 손 모양 인식을 위한 손 모양과 손 구조 사이의 학습 기반 유사도 결정 방법

본 논문에서는 비전 기술에 기반을 둔 손 모양 인식 시스템의 성능 향상을 위해 학습을 통해 손 모양과 손 구조 간 유사도를 결정하는 방법을 제안한다. 비전 센서에 기반을 둔 손 모양 인식은 손의 높은 자유도로 인한 자체 가림 현상과 관찰 방향 변화에 따른 입력 영상의 다양함으로 인해 인식에 어려움이 따른다. 따라서 비전 기반 손 모양 인식의 경우, 카메라와 손 간의 상대적인 각도에 제한을 두거나 여러 대의 카메라를 배치하는 것이 일반적이다. 그러나 카메라와 손 간의 상대적 각도에 제한을 두는 경우에는 사용자의 움직임에 제약이 따르게 되며, 여러 대의 카메라를 사용할 경우에는 각 입력된 영상에 대한 인식 결과를 최종 인식 결과에 반영하는 방식에 대해서 추가적으로 고려해야 한다. 본 논문에서는 비전 기반 손 모양 인식의 이러한 문제점을 개선하기 위하여 인식의 과정에서 사용되는 손 모양 특징을 손 구조적인 각도 정보와 손 영상 특징으로 나누고, 학습을 통해 각 특징 간 연관성을 정의한다.