Graph-based High-level Motion Segmentation using Normalized Cuts

Motion capture devices have been utilized in producing several contents, such as movies and video games. However, since motion capture devices are expensive and inconvenient to use, motions segmented from captured data was recycled and synthesized to utilize it in another contents, but the motions were generally segmented by contents producers in manual. Therefore, automatic motion segmentation is recently getting a lot of attentions. Previous approaches are divided into on-line and off-line, where ow line approaches segment motions based on similarities between neighboring frames and off-line approaches segment motions by capturing the global characteristics in feature space. In this paper, we propose a graph-based high-level motion segmentation method. Since high-level motions consist of repeated frames within temporal distances, we consider similarities between neighboring frames as well as all similarities among all frames within the temporal distance. This is achieved by constructing a graph, where each vertex represents a frame and the edges between the frames are weighted by their similarity. Then, normalized cuts algorithm is used to partition the constructed graph into several sub-graphs by globally finding minimum cuts. In the experiments, the results using the proposed method showed better performance than PCA-based method in on-line and GMM-based method in off-line, as the proposed method globally segment motions from the graph constructed based similarities between neighboring frames as well as similarities among all frames within temporal distances.

Normalized Cuts을 이용한 그래프 기반의 하이레벨 모션 분할

모션 캡쳐 장비는 사람의 자연스러운 행동이나 동작 정보를 정밀하게 얻기 위해 널리 이용되며, 영화나 게임과 같은 콘텐츠 제작 시에 자주 활용된다. 하지만 모션 캡쳐 장비가 고가이고 이용하기 불편하기 때문에 대부분의 경우 한번 입력받은 데이타를 모션별로 분할하고 상황에 맞게 재결합하여 이용하며, 입력 데이타를 모션별로 분할하는 작업은 대부분 수동으로 이루어진다. 이 때문에 캡쳐된 모션 데이타를 자동으로 분할하기 위한 연구들이 최근 다양하게 시도되고 있다. 기존의 연구들은 크게 각 프레임의 전역적 특징을 고려하는 오프라인 방법과 이웃하는 프레임 사이의 유사도를 고려하는 온라인 방법으로 나누어진다. 본 논문에서는 온라인과 오프라인 방법을 통합한 그래프 기반의 하이레벨 모션 분할 방법을 제안한다. 하이레벨 모션은 모션 내에서 반복되는 프레임을 포함하는 특징을 가지고 있다. 우리는 이 특징을 기반으로 이웃하는 프레임뿐만 아니라 일정시간내의 모든 프레임 사이의 유사도를 고려하는 그래프를 생성하며, 그래프의 정점(vertex)에는 프레임 정보를 간선(edge)의 가중치는 두 프레임 사이의 유사도를 반영한다. 그래프를 분할하기 위해 분할된 간선의 가중치를 전역적으로 최소화할 수 있는 normalized cuts을 이용하며, 분할된 정점의 집합은 하이레벨 모션을 의미한다. 결과적으로 제안된 방법은 이웃하는 프레임뿐만 아니라 일정시간내의 모든 프레임 사이의 유사도를 반영하는 그래프를 전역적으로 최소화함으로써 온라인과 오프라인 방법을 동시에 고려할 수 있으며, 실험에서 제안된 방법은 기존의 오프라인 방법 중 하나인 GMM과 온라인 방법 중 하나인 PEA를 이용한 방법보다 좋은 결과를 보였다