Trajectory Recovery Using Goal-directed Tracking

목표-지향 추적 기법을 이용한 궤적 복원 방법

Abstract

Obtaining the complete trajectory of the object is a very important task in computer vision applications, such as video surveillance. Previous studies to recover the trajectory between two disconnected trajectory segments, however, do not takes into account the object's motion characteristics and uncertainty of trajectory segments. In this paper, we present a novel approach to recover the trajectory between two disjoint but associated trajectory segments, called goal-directed tracking. To incorporate the object's motion characteristics and uncertainty, the goal-directed state equation is first introduced. Then the goal-directed tracking framework is constructed by integrating the equation to the object tracking and trajectory linking process pipeline. Evaluation on challenging dataset demonstrates that proposed method can accurately recover the missing trajectory between two disconnected trajectory segments as well as appropriately constrain a motion of the object to the its goal(or the target state) with uncertainty.

1. 서 론

연속된 영상으로부터 물체의 위치를 추정하는 객체 추적 기술은 컴퓨터 비전 분야에서 매우 활발하게 연구되고 있는 주제이다. 이는 인간-컴퓨터 상호작용, 증강현실, 영상 보안, 객체 검출 및 인식 등의 다양한 분야에서 활용되고 있다. 최근 수십 년간의 객체 추적 기술의 발전[1-4]은 정확하면서도 강건한 객체 추적을 가능하게 하였다. 하지만 객체의 급격한 외형적 변화, 복잡한 배경, 모션 블러, 대상 객체의 일부 혹은 전체적인 가려짐, 조명 변화, 객체의 복잡한 또는 급격한 움직임 등으로 인해 객체의 완전한 궤적(complete trajectory)을 얻기에는 여전히 어려움이 있다. 결과적으로 이러한 상황에서의 객체 추적은 불완전한 궤적(incomplete trajectory), 즉, 끊어진 궤적 구간(disconnected trajectory segments)을 생성한다.

이러한 문제를 해결하기 위하여 끊어진 궤적 구간 간의 연관 관계(association)를 파악하고, 이들을 하나로 연결(linking)하는 다양한 연구[5-14]가 진행되었다. 반면에 전-후의 궤적 구간 사이의 궤적을 복원하는 것은 이벤트 분석을 포함한 영상 감시(visual surveillance) 분야에서 중요한 단서로 활용될 수 있음에도, 상대적으로 이러한 연구는 활발하게 이루어지지 않았다[15-16]. 한편으로, 3차원 시-공간 비디오 볼륨에서의 궤적 구간 사이의 보간(interpolation), 또는 곡선 근사(curve fitting)를 이용한 방법은 끊어진 두 개의 궤적 구간을 부드럽게 연결하는 궤적을 생성할 수는 있으나, 객체의 움직임에 대한 특성이나 측정값에 대한 불확실성을 다룰 수 없는 문제가 있다. 그러므로 이러한 제약 요건을 만족하면서도 효과적인 궤적 복원 기법의 개발이 필요하다.

본 논문에서는 대상 객체의 운동 특성을 나타내는 초기 상태와 도달하고자 하는 목표 상태, 그리고 이에 대한 불확실성을 반영한 목표-지향 상태 방정식(goal-directed state equation)을 정의한다. 그리고 객체 추적 및 궤적 연결 기법과 목표-지향 상태 방정식을 결합한 목표-지향 추적(Goal-directed Tracking, GDT) 방법을 제안한다. 제안한 방법은 끊어진 전-후 궤적 구간이 주어질 때, 대상 객체의 움직임에 대한 특성뿐만 아니라 궤적 구간에 대한 측정값의 불확실성 또한 반영할 수 있으며, 기존의 보간이나 곡선 근사 기법에 비해 끊어진 궤적 구간을 보다 정확하게 복원할 수 있다. 실험 결과는 제안한 방법이 기존의 방법에 비하여 성능이 우수함을 보인다.

본 논문의 구성은 다음과 같다. 먼저 2장에서는 끊어진 궤적 구간의 연결 및 이들 사이의 궤적 복원에 대한 관련 연구를 살펴본다. 다음으로 3장에서는 목표-지향 움직임에 대한 상태-공간 분석으로부터 목표-지향 상태 방정식을 도출하고, 이를 기존의 객체 추적 및 궤적 연결 기법과 연계하여 목표-지향 객체 추적 방법을 제시한다. 그리고 4장에서는 제안한 목표-지향 추적 기법의 성능을 평가하고, 마지막으로 5장 결론 및 향후 연구에 대해서 기술한다.

 

2. 관련 연구

끊어진 궤적을 연결하는 것은 궤적 구간들에 대한 측정값 사이의 데이터 연관(data association) 문제를 일반화시킨 것으로 간주할 수 있다. 이는 일반적으로 색상 히스토그램과 같은 외형적 요소와 객체의 움직임의 부드러움(smoothness), 그리고 복수의 객체 간의 상호작용과 같은 여러 가지 제약 조건을 포함하는 비용 함수(cost function)에 대한 최적화(optimization)를 통해 해결될 수 있다. 이러한 비용 함수는 궤적간의 연관도(affinity score)를 결정한다. 이와 관련하여 외형적 판별 모델(discriminative appearance model)[5]과 부분-기반 외형 모델(part-based appearance model)[6]이 연구된 바 있다.

효율적인 최적화를 위한 대표적인 연구로는 헝가리안 알고리즘(Hungarian algorithm)에 기반을 둔 이분 매칭(bipartite matching) 방법[7]이 있다. Rubinstein[8]은 discrete Markov Random Field (MRF)를 이용하여 두 궤적 사이에 국부적으로 최적의 연결을 찾는 방법을 제안하였다. 최근에는 셋 커버(set-cover)[9], 복수 최단 경로(K-shortest path)[10], 그리고 일반화된 최소 클리크 그래프(Generalized Minimum Clique Graph)[11]와 같은 다른 형태의 최적화 기법도 제안되었다.

보다 고수준의 정보를 다루기 위하여, 인접 객체의 위치를 이용하는 방법[12]과 이동 집단에 대한 정보를 이용한 방법[13-14]이 제안되기도 하였다.

궤적 연결 기법이 활발하게 연구된 것에 반하여, 궤적을 복원하는 연구는 상대적으로 드물다. Sun[15]은 궤적 구간 분석(trajectory segment analysis)을 이용한 양방향 추적 기법(bi-directional tracking framework)을 제안하였다. 이들은 스펙트럼 군집화(spectral clustering)와 가려짐 추론(occlusion reasoning)을 통해 궤적 구간 간의 연관 관계를 도출하였다. 그리고 가중최소제곱법(weighted least squares)을 이용한 B-spline 근사를 통해 궤적 구간 사이의 경로를 복원하였다. Yang과 Nevatia[16]는 비선형 움직임 맵에 대한 온라인 학습 및 이동 집단 추론을 통해 궤적 구간 사이의 연관 관계와 이들 사이의 경로를 복원하였다. 그러나 이러한 방법들은 객체의 움직임에 대한 특성과 궤적의 측정값에 대한 불확실성을 반영하지 못하는 한계를 지닌다. 또한, 대상 객체가 다른 객체와 상호작용하는 이동 집단에 속하지 않을 수 있으므로, 이러한 경우에는 적용이 불가능하다.

움직임에 대한 추정에서 일반적으로 사용되는 칼만 필터(Kalman filter)는 과거의 상태에 대한 정보를 이용하여 현재 상태를 추정함으로써 외삽(extrapolation)을 수행할 수 있으나, 목표점 및 이에 대한 불확실성을 반영할 수 없다. 파티클 필터(Particle filter)의 경우에도 이러한 상황에서는 적용할 수 없다.

Srinivasan[17]은 목표 지점으로 팔 뻗기 동작(reaching arm movement)을 기술하기 위하여 상태-공간 분석을 통한 선형 상태 방정식을 제안하였는데, 이 방법의 핵심은 목표와 경로가 서로 독립적이지 않다는 것이다. 이 점에 착안하여 본 논문에서는 목표-지향 상태 방정식을 이용한 목표-지향 추적 기법을 제시하고자 한다.

 

3. 목표-지향 추적 기법

이 장에서는 먼저 목표-지향 움직임에서의 상태-공간 분석을 통해 목표 상태에 대한 측정값과 불확실성을 어떻게 반영할 수 있는지를 살펴보고, 다음으로 목표 상태에 대한 측정값과 불확실성이 주어질 때의 선형 움직임에 대한 목표-지향 상태 방정식을 유도한다. 마지막으로 선형 목표-지향 상태 방정식을 객체 추적 및 연관 기법과 결합하여 끊어진 궤적 사이의 경로를 복원하기 위한 프레임워크(framework)를 제시한다.

3.1 목표-지향 움직임의 상태-공간 분석

Srinivasan[17]은 목표와 경로가 서로 독립적이지 않다는 전제를 기반으로 초기 상태와 목표 지점, 그리고 도달 시간 T가 주어질 때, 목표-지향 움직임에 대한 상태-공간 분석을 통한 선형 상태 방정식을 제시하고, 이를 이용하여 시작점으로부터 목표 지점까지의 팔 뻗기 동작(reaching arm movement)을 기술하였다. 이들은 칼만 필터와 유사하게 가우스-마르코프 과정(Gauss-Markov process)에 기반을 둔 다음과 같은 이산-시간(discrete-time) 선형 상태 방정식을 고려하였다.

xt는 시간 t에서의 상태 벡터이며, At는 해당 시간에서 이전 상태에 기반을 둔 상태 전이 행렬(역행렬이 존재하는 것으로 가정), 그리고 ωt는 를 공분산행렬로 가지는 다변수 정규 분포(multivariate normal distribution) 잡음 변수이다. 경로는 X = {x0,…,xT}으로 정의되며, x0는 초기 상태이다. 그리고 목표 상태 벡터 xT와 측정값 yT 사이의 관계는 다음과 같다고 가정하였다.

vT는 목표 지점의 불확실성을 나타내는 공분산행렬 ПT를 가지는 다변수 정규 분포 잡음 변수이다. 그러면 도달-상태 방정식(reach state equation)[17]은 다음과 같은 형태로 나타낼 수 있다.

ut는 yT와 xt-1에 대한 ωt의 조건부 기대값 E[ωt|xt-1,yT]을 나타내는 유도항(drift term)이며, εt는 마찬가지로 yT와 xt-1에 대한 ωt의 조건부 공분산 cov(ωt|xt-1,yT)을 공분산으로 하는 다변수 정규 분포 잡음 변수이다.

3.2 목표-지향 상태 방정식

이 절에서는 앞서 3.1절에서 기술한 목표 상태에 대한 측정값과 불확실성을 반영한 상태 방정식을 해당 시간에서의 측정 행렬(measurement matrix) HT가 주어질 때로 확장하여 목표-지향 상태 방정식을 정의한다. 측정 행렬 HT가 주어질 때, 상태 벡터 xT에 대한 목표 지점의 측정값 yT는 아래와 같다.

위 식 (4)를 t ≤ i ≤ T일 때, xt-1, vT, 그리고 ωi에 대해서 정리하면 다음과 같이 나타낼 수 있다. 식의 유도에 대한 자세한 내용은 부록 1을 참조하자.

ϕ(t,s)는 상태 벡터 xs를 xt로 사상하는 새로운 상태 전이 행렬이며, 아래와 같이 정의된다.

그런데 ut와 εt는 ωt가 yT와 xt-1에 대하여 결합 정규 분포(jointly Gaussian distribution)를 따를 때 ωt|xt-1,yT에 대한 기대값과 공분산으로 표현될 수 있으므로(부록 2), 선형최소제곱오차 추정(linear least squares error estimate)에 의해 기대값 ut와 오차 공분산(error covariance) εt는 각각 아래와 같이 나타낼 수 있다.

초기 상태 x0도 마찬가지로 측정값 yT에 대한 조건부 확률 분포를 따르므로, 선형최소제곱오차 추정에 의해(부록 3) 다음과 같은 조건부 공분산과 기대값을 얻을 수 있다.

m0와 П0는 각각 초기 상태 x0에서의 기대값과 공분산을 나타낸다.

위의 식 (4)-(10)을 식 (3)에 대입하면 목표에 대한 측정값 yT와 도달 시간 T가 주어질 때, 초기 상태 x0로부터 목표 지점까지의 궤적을 계산하기 위한 상태 방정식을 얻을 수 있으며, 이를 목표-지향 상태 방정식으로 정의한다.

한편, 측정 행렬 HT는 반드시 역행렬이 존재할 필요는 없지만, 만약 역행렬이 존재할 경우에는 식 (7)과 (8)을 다음과 같이 나타낼 수 있다.

마찬가지로 식 (9)와 (10)에 대해서도 아래와 같이 나타낼 수 있다.

또한, HT의 역행렬이 존재하지 않더라도 의 역행렬이 존재할 경우, 의사역행렬(pseudo inverse)을 이용하면 아래와 같은 식을 얻는다.

3.3 목표-지향 객체 추적 프레임워크

이 절에서는 3.2절에서 도출한 움직임에 대한 목표-지향 상태 방정식을 객체 추적 및 연관 기법과 결합하여, 하나의 통합된 프레임워크를 제시하고자 한다. Fig. 1은 이러한 목표-지향 객체 추적 프레임워크의 전체적인 흐름을 나타낸다.

Fig. 1.Flowchart for goal-directed tracking framework.

먼저, 연속된 영상이 입력으로 주어지면 객체 추적을 수행한다. 그리고 구해진 끊어진 궤적 구간 사이의 데이터 연관을 통해 하나의 궤적을 생성한다. 마지막으로 각각의 궤적에서 끊어진 전-후 궤적 구간들로부터 목표-지향 상태 방정식을 이용하여 두 궤적 구간 사이의 경로를 복원한다.

목표-지향 경로 복원을 위한 목표-지향 상태 방정식의 매개 변수들은 다음과 같이 정의된다. 전후 궤적 구간 TrA와 TrB가 주어질 때, 초기 상태 x0는 TrA의 마지막 점 TreA에서의 상태이며, 목표점 yT는 TrB에서의 시작점 TrsB로 정의한다. 초기 상태 벡터 x0는 칼만 필터 또는 확장 칼만 필터 등의 상태 추정(state estimation) 기법을 이용하여 얻을 수 있다. 초기 상태 x0에서 목표점 yT까지의 도달 시간 T는 의 시간차로 정의된다. 그리고 목표점 yT에서의 불확실성 ПT는 목표 상태 벡터 xT는 식 (2) 또는 (4)에서 의 다변수 정규 분포 잡음 변수 vT에 대한 공분산 행렬로 정의된다.

 

4. 실험 결과

제안한 방법의 성능을 평가하기 위해서 PETS 2009 데이터 세트[18]의 S2 L1 시나리오를 이용하였다. 영상의 해상도는 768 × 576, 속도는 7 fps, 길이는 총 795 프레임이며, 총 19개의 궤적에 대하여 실험을 수행하였다. 실제로 추적이 실패한 궤적 구간에 대한 성능 평가는 불가능하므로, 먼저 영상에서 음영 영역(mask region, 100 × 100)을 정의하고, 이 영역을 지나는 궤적 구간은 추적이 실패한 것으로 간주하였다. 경우에 따라서는 하나의 궤적이 해당 영역을 두 번 이상 지나기도 하였으며, 해당 영역 안쪽에서 시작하거나 끝나는 궤적은 제외하였다. 총 19개 중 15개의 궤적이 음영 영역을 지났으며, 두 번 이상 지나는 궤적은 각각 독립된 궤적으로 간주하여 총 23개의 궤적 구간에 대한 복원을 수행하였다.

Fig. 2는 실험에서 사용한 PETS 2009 데이터 세트의 영상 및 궤적, 그리고 음영 영역을 나타낸다. Fig. 3은 Fig. 2의 음영 구간에서의 궤적에 대한 참값과 제안한 방법을 이용하여 복원한 결과를 나타낸다.

Fig. 2.PETS 2009 S2 L1 scenario and mask region. Note that‘square’marker denotes the starting position of each trajectories. And black rectangle represents the mask region.

Fig. 3.Qualitative result of trajectory recovery.‘dot’on solid line and‘+’on dotted line denotes ground truth and recovered location, respectively.

각각의 대상 궤적 구간에 대하여 초기 상태 x0는 칼만 필터를 이용하여 획득하였으며, 상태 전이 행렬, 프로세스 잡음에 대한 공분산 행렬, 측정 행렬, 측정 잡음에 대한 공분산 행렬은 각각 아래와 같이 정의하였다.

Δt는 프레임 간의 시간 간격, 목표점 yT에서의 불확실성은 공분산 행렬 ПT = R로 정의하였다. 목표-지향 상태 방정식의 상태 전이 행렬과 프로세스 잡음에 대한 공분산 행렬은 각각 위의 식 (17), (18)과 동일하게 정의하였다. 그리고 목표점 yT에서의 측정 행렬은 항등 행렬(Identity matrix)로 정의하였다.

Fig. 4는 전체 23개 궤적에 대하여 가중최소제곱법을 이용한 B-spline 근사 방법[15]과 3차 스플라인 보간법(cubic spline interpolation)[19], 그리고 제안한 방법의 평균 절대치 오차(the mean absolute error, MAE)를 비교한 결과를 나타낸다. [15]와 [19]에 비해 제안한 방법이 우수한 성능을 보이는데, 18 번째 궤적 구간의 경우는 음영 구간에 진입하기 전 궤적 구간에서의 급격한 변화로 인해 초기 상태가 올바르게 정의 되지 않아 다른 방법에 비해 오차가 크게 나타났다.

Fig. 4.Quantitative comparison of the mean absolute errors (MAE) on each trajectory segment.

Table 1은 궤적 구간별 평균 절대치 오차의 평균(mean of the mean absolute error, MMAE), 그리고 궤적 상의 모든 점에 대한 평균 절대치 오차를 비교한 결과를 나타낸다. 각 축 및 전체 평균 절대치 오차 모두 제안한 방법이 세 방법 중 가장 우수한 성능을 보임을 알 수 있다. 전체적인 오차는 약 0.5 화소가 향상되었으며, 영상 좌표를 지면상의 3차원 좌표로 나타내면 약 1-5 cm에 해당한다. 이러한 오차는 특히 영상 감시 분야에서 유의미한 차이가 될 수 있다. 오차 비율은 기존의 [15]와 [19]에 비하여 MMAE의 경우는 약 18-20%, MAE의 경우는 약 20-22% 향상된 결과를 보였다.

Table 1.Quantitative comparison of the mean of mean absolute error (MMAE) of trajectories and the mean absolute error over all points on the trajectory.

Table 2는 각 방법의 전체 수행 시간을 나타낸다. [19]보다는 느리지만, [15]에 비해서는 빠른 속도로 수행될 수 있음을 알 수 있다.

Table 2.Comparison of the total execution times

 

5. 결 론

본 논문에서는 초기 상태, 목표점에 대한 측정값 및 이에 대한 불확실성, 그리고 초기 상태로부터 목표 지점까지의 도달 시간이 주어질 때, 목표점까지의 궤적을 기술하는 목표-지향 상태 방정식을 도출하였다. 그리고 객체 추적의 실패로 인해 생성된 서로 연관 관계를 가지는 전-후 궤적 구간이 주어질 때, 이로부터 목표-지향 상태 방정식의 매개 변수들을 구하고 둘 사이의 경로를 복원하는 목표-지향 추적 기법을 제안하였다. 그 결과, 객체의 운동 특성과 불확실성을 반영하면서도, 기존의 끊어진 전-후 궤적 구간 사이를 복원하는 기존의 방법들에 비해 우수한 결과를 보여주었다.

향후에는 앞서 제안한 목표-지향 상태 방정식을 비선형으로 확장하여 다양한 운동 모델에 대하여 적용할 수 있도록 할 계획이다. 또한 목표-지향 상태 방정식에 대한 심도 있는 분석을 통해 보다 간단하고 직관적인 형태의 궤적 복원 기법을 개발하고자 한다.