Abstract
Sign language spotting is the task of detecting the start and end points of signs from continuous data and recognizing the detected signs in the predefined vocabulary. The difficulty with sign language spotting is that instances of signs vary in both motion and shape. Moreover, signs have variable motion in terms of both trajectory and length. Especially, variable sign lengths result in problems with spotting signs in a video sequence, because short signs involve less information and fewer changes than long signs. In this paper, we propose a method for spotting variable lengths signs based on semi-CRF (semi-Markov Conditional Random Field). We performed experiments with ASL (American Sign Language) and KSL (Korean Sign Language) dataset of continuous sign sentences to demonstrate the efficiency of the proposed method. Experimental results show that the proposed method outperforms both HMM and CRF.
수화 적출이란 연속된 영상에서 수화의 시작과 끝점을 찾고, 이를 사전에 정의된 수화 단어로 인식하는 방법을 말한다. 수화는 매우 다양한 손의 움직임과 모양으로 구성되어 있고, 그 변화가 다양하여 적출에 많은 어려움이 있다. 특히, 다양한 길이의 궤적 정보로 구성된 수화는 길이가 긴 수화에 대해 짧은 길이를 갖는 수화가 인식에 필요한 정보를 추출하기 어려운 문제점 있다. 본 논문에서는 다양한 길이를 갖는 입력 데이터의 특징을 반영할 수 있는 Semi-Markov Conditional Random Field에 기반하여 다양한 수화의 길이에 강인하게 수화를 적출하는 방법을 제안한다. 성능 평가를 위해 미국 수화와 한국 수화 데이터베이스를 사용하여 연속된 수화 영상에서의 수화 적출 성능을 평가하였고, 실험 결과 기존의 Hidden Markov Model과 Conditional Random Field보다 뛰어난 성능을 보였다.
