스테레오 영상 추적 자동초기화와 HMM을 이용한 원격 작업용 제스처 인식

Gesture Recognition Using Stereo Tracking Initiator and HMM for Tele-Operation

본 논문에서는 원격작업용 제스처 명령의 인식을 위해 컴퓨터 시각 센서와 HMM을 이용한 알고리즘을 사용하였다. 스테레오 정합을 이용한 자동 손영역의 추출은 원격작업용 제스처 추적의 자동 초기 영역 설정을 위해 제안하였다. 이는 좌, 우 두 카메라의 시각치를 이용하였으며, 손의 상대적인 거리정보를 이용하게 된다. 손영역의 추적은 일반적인 흑백 영상에서도 배경이나 잡음에 구애받지 않도록 에지값의 양의 시간차(PDOE : positive difference of edges) 영상이 사용되었으며, 제스처 명령 모델로는 실제 원자력 발전소 내 원격작업용으로 정의된 K/K(KNU/KAERI) 제스처 명령을 이용하였다. 이산 HMM을 이용한 복합 제스처 인식모델은 전명령어(pre-oeders)와 기본 명령여(basic-orders), 후명령어(post-orders)의 세 부분에 대한 각각의 명령 모델로 구성되며, 각 명령 모델의 조합과 연동에 의해서 복합적인 명령의 인식을 수행하도옥 하였다. 최종 제스처 인식 결과는 2개 이상의 명령이 복합된 연속명령에 대해 97% 이상의 안정된 인식율을 나타내었다.

In this paper, we describe gesture recognition algorithm using computer vision sensor and HMM. The automatic hand region extraction has been proposed for initializing the tracking of the tele-operation gestures. For this, distance informations(disparity map) as results of stereo matching of initial left and right images are employed to isolate the hand region from a scene. PDOE(positive difference of edges) feature images adapted here have been found to be robust against noise and background brightness. The KNU/KAERI(K/K) gesture instruction set is defined for tele-operation in atomic electric power stations. The composite recognition model constructed by concatenating three gesture instruction models including pre-orders, basic orders, and post-orders has been proposed and identified by discrete HMM. Our experimental results showed that consecutive orders composed of more than two ones are correctly recognized at the rate of above 97%.