Region-growing based Hand Segmentation Algorithm using Skin Color and Depth Information

피부색 및 깊이정보를 이용한 영역채움 기반 손 분리 기법

Extracting hand region from images is the first part in the process to recognize hand posture and gesture interaction. Therefore, a good segmenting method is important because it determines the overall performance of hand recognition systems. Conventional hand segmentation researches were prone to changing illumination conditions or limited to the ability to detect multiple people. In this paper, we propose a robust technique based on the fusion of skin-color data and depth information for hand segmentation process. The proposed algorithm uses skin-color data to localize accurate seed location for region-growing from a complicated background. Based on the seed location, our algorithm adjusts each detected blob to fill up the hole region. A region-growing algorithm is applied to the adjusted blob boundary at the detected depth image to obtain a robust hand region against illumination effects. Also, the resulting hand region is used to train our skin-model adaptively which further reduces the effects of changing illumination. We conducted experiments to compare our results with conventional techniques which validates the robustness of the proposed algorithm and in addition we show our method works well even in a counter light condition.

영상에서 배경을 제거하고 손을 분리하는 기술은 손 인식 연구에서 가장 먼저 수행되는 기술이며, 분리된 결과 영상의 성능에 따라 이후의 인식 단계의 성능이 결정되는 중요한 기술이다. 기존의 연구는 조명 및 배경의 변화에 취약하거나 다수의 사용자와 상호작용에 한계가 있었다. 본 논문에서는 컬러 영상과 깊이 영상을 혼용하여 손을 분리하는 기술을 제안한다. 먼저 입력된 컬러 영상을 이용하여 복잡한 환경에서도 정확하게 영역 채움을 위한 초기 위치를 설정하였다. 이 위치를 기준으로 영역 채움 연산을 위한 한계 영역을 재설정하여 조명 변화로 침식된 영역을 포함하도록 하고, 깊이 영상에서 영역 채움 연산을 수행함으로써 조명과 환경의 변화에도 강인하게 손의 영역을 분리하도록 하였다. 또한, 이렇게 분리된 손의 영역을 이용하여 실시간으로 피부 모델을 학습함으로써 조명 환경에 적응적으로 피부 모델을 갱신하여 보다 강인한 인식 성능을 얻을 수 있었다. 이를 다양한 조명 및 배경 환경에서 기존의 알고리즘과 비교 실험을 수행하여 강인한 인식 성능을 확인할 수 있었으며, 특히 역광 환경과 같이 조명 변화가 극심한 환경에서 강인한 성능을 보여주었다.