Object Tracking Using Adaptive Scale Factor Neural Network

적응형 스케일조절 신경망을 이용한 객체 위치 추적

Abstract

Object tracking is a field of signal processing that sequentially tracks the location of an object based on the previous-time location estimations and the present-time observation data. In this paper, we propose an adaptive scaling neural network that can track and adjust the scale of the input data with three recursive neural network (RNN) submodules. To evaluate object tracking performance, we compare the proposed system with the Kalman filter and the maximum likelihood object tracking scheme under an one-dimensional object movement model in which the object moves with piecewise constant acceleration. We show that the proposed scheme is generally better, in terms of root mean square error (RMSE) performance, than maximum likelihood scheme and Kalman filter and that the performance gaps grow with increased observation noise.

객체추적은 이전시간에서 추정한 위치와 현재 관측 데이터를 바탕으로 객체의 위치를 연속적으로 추적하는 신호처리 분야이다. 이 논문에서는 3개의 RNN을 서브모듈로 가지는 적응형 스케일조절 신경망을 이용해 입력 데이터의 스케일을 스스로 조절하여 추적할 수 있는 신경망을 제안한다. 객체 추적 성능을 평가하기 위해 객체가 조각별 등가속운동을 하는 1차원 객체 운동 모델에서 제안하는 시스템, 칼만 필터와 최대우도기법의 추적 성능을 비교한다. 그 결과 제안하는 알고리듬의 성능이 평균제곱근오차 기준으로 최대우도기법과 칼만필터보다 다양한 상황에서 전반적으로 우수하며 관측잡음이 커질수록 성능격차가 더 커지는 것을 보인다.

Ⅰ. 서론

이 논문에서는 속도기반의 적응형 스케일조절 인공신경망을 이용하여 1차원 수직선상에서 천이잡음이 존재하는 조각별 등가속운동(picewise constant acceleration)으로 움직이는 객체를 추적 하고 그 성능을 칼만필터, 그리고 최대우도기법의 추적 성능과 비교 및 분석한다.

객체추적은 주어진 객체의 시계열 위치정보를 이용하여 객체의 위치 변화를 추적하는 신호처리 과정이다. 객체추적은 객체추정과 달리 이전시간의 추적 결과를 현재의 위치 추정에 활용하는 데이터의 시계열적 상관관계를 이용한다. 따라서 객체의 위치추정에 비해 위치추적 기법은 사용할 수 있는 정보량이 많아 정확도면에서 좋은 성능을 보이며, 칼만필터나 파티클필터 등을 활용한 활발한 연구가 진행되어 왔다[1]-[3]. 객체추적 관련 연구는 영상을 기반으로 하는 컴퓨터비전 분야에서 활발하게 진행되고 있으며, 주변상황을 스스로 인지할 수 있는 스마트 CCTV나 자율주행 자동차 등의 기반기술이 되었다[4]-[7]. 이외에도 위상배열 레이더 기반의 객체 추적 기법[8]이나 가우시안 잡음 외에 다양한 관측잡음이 존재하는 상황에서의 추적 연구 등 다양한 연구가 진행되고 있다[9].

객체는 객체의 종류와 상황에 따라 매우 다양한 운동을 한다. 따라서 이것을 모두 통합하면서도 정확히 표현가능한 운동 모델은 현실적으로 구축하기가 어렵다. 따라서 이를 근사화 할 수 있는 모델을 적용해야 한다. 이들 중 하나로 객체의 운동을 시간별로 잘라 그 시간동안 등가속운동을 한다고 가정하는 조각별 등가속운동 모델이 있다[10]. 조각별 등가속운동 모델은 최근까지도 차량의 운동모델을 근사화하기 위해 사용하고 있다[11]. 본 논문에서도 조각별 등가속 운동모델을 적용하여 제안하는 알고리듬의 객체 추적 성능을 살펴보려 한다.

칼만필터는 선형 시스템 모델에 가우시안 잡음이 있는 경우에 활용할 수 있는 재귀필터이다[1]. 칼만필터는 주어진 시스템 모델을 통해 예측을 수행하는 예측단계와 주어진 관측값에 잡음의 통계적 특성을 활용하여 보정하는 보정단계를 거쳐 추적을 진행한다. 칼만필터는 선형 시스템 모델에 가우시안 부가 잡음이 있으며 그 시스템 모델이 정확히 주어진 경우 최소자승해를 보장할 수 있다. 그러나 본 논문에서 다루는 조각별 등가속운동 모델에서는 정확한 등가속구간 길이가 주어지지 않는 등 정확한 시스템 모델의 부재로 최대의 성능을 낼 수 없다.

최대우도기법은 주어진 시스템 모델을 활용하여 객체의 현재 위치에 대한 우도함수를 도출하고, 이 우도함수가 가장 큰 값을 갖는 위치로 추정하는 기법으로, 시스템 모델이 정확히 주어진 경우 확률적으로 가장 좋은 성능을 나타내는 기법이다. 그러나 본 논문에서 다루는 조각별 등가속운동 모델에서는 정확한 등가속구간 길이가 주어지지 않기 때문에 정확한 시스템 모델의 부재로 최대의 성능을 낼 수 없다.

피드백 루프를 이용해 시계열적 상관관계를 이용해 시계열 데이터를 처리할 수 있는 LSTM과 같은 재귀신경망(recurrent neural network)은 장기적인 시계열성 상관관계를 처리할 수 있어 일반적인 재귀신경망에서 발생하는 장기의존성 문제(the problem of long-term dependencies)를 해결할 수 있다[12]. 이러한 신경망 기반 객체추적은 시스템 모델이 주어지지 않고 학습 데이터만 주어지면 학습이 가능하여 수식적으로 기술하기 어려운 실제 환경이나 분석이 용이한 가우시안 잡음이 아닌 다른 형태의 잡음이 존재하는 관측환경에도 사용하기 알맞다. 그러나 1차원 수직선상이나 2차원 평면상에서 움직이는 객체를 장기간 관측하는 경우 위치의 다이나믹 레인지가 매우 커지기 때문에 학습이 어려워질 수 있다. 따라서 신경망 기반의 객체추적 기법은 위치 데이터를 정규화하여 범위를 제한하거나, 영상 내에서의 객체추적과 같이 제한된 범위 내에서 움직이는 객체를 추적하는 방법 등으로 많이 활용하고 있다[4]-[7].

본 논문에서 제안하는 속도기반 적응형 스케일조절 인공신경망은 세가지의 서브모듈로 이루어져 있다. 우선 스케일조절 서브모듈은 관측속도를 입력받아 추적하기 알맞은 범위로 스케일링을 해준다. 그 후 추적 서브모듈에서 실질적인 객체 추적을 진행한 후에 가중치 서브모듈에서 이러한 추적결과를 얼마나 반영하여 보정해줄지를 결정한 후에 현재 관측값에 더하여 보정해준다. 관측잡음의 세기가 작은 경우 작은값을 보정해주어야 하는데 신경망의 출력으로는 매우 작은 값을 얻기가 어렵다. 따라서 가중치 서브모듈을 이용해 보정값의 스케일을 작게 해주어 작은값으로 보정해줄 수 있어 관측잡음의 세기가 작은 경우에도 안정적인 객체 추적이 가능하다.

본 논문의 구성은 다음과 같다. 2장에서는 천이잡음이 포함된 조각별 등가속운동 시스템 모델에 대해 서술하고 3장에서는 본 논문에서 중점적으로 다루는 속도기반 적응형 스케일조절 인공신경망에 대해 자세히 기술한다. 4장에서는 시뮬레이션을 통해 최대우도기법과 칼만필터의 성능과 비교하여 제안하는 알고리듬의 성능을 검증하고, 5장에서는 본 논문의 결론을 맺는다.

Ⅱ. 시스템 모델

본 논문에서는 1차원 수직선상에서 조각별 등가속운동을 기본으로 움직이며 여기에 천이잡음이 존재하는 객체의 위치 추적을 다룬다. 해당 객체는 시간 t가 0에서 정해진 범위 내의 위치에서 출발하여 천이잡음이 포함된 조각별 등가속운동을 한다. 조각별 등가속운동 구간 길이는 균등분포 랜덤변수를 따른다고 가정한다. 또한객체는 이러한 조각별 등가속운동을 기반으로 각 시점별 위치에 천이잡음이 더해진 형태의 운동을 한다고 가정하여 정확한 운동모델을 알 수 없을때의 추적성능을 살펴보려 한다.

이러한 객체의 등가속구간 내에서의 상태천이식은 식 (1)과 같다.

\(\begin{aligned}x_{t+1}=x_{t}+v_{t}+\frac{1}{2} a_{t}+\nu_{t}\end{aligned}\)       (1)

여기서 가속도 α_t는 등가속구간 내에서는 상수이며, v_t는 천이잡음으로 식 (2)를 만족하는 평균이 0인 가우시안 랜덤프로세스이다.

E[v_tv_τ] = σ²_vδ_tτ       (2)

여기서 δ_tτ는 디렉-델타 함수이다.

이러한 객체들의 관측식은 식 (3)와 같다.

y_t = x_t + η_t,        (3)

여기서 η_t는 관측잡음이며, 식 (4)을 만족하는 평균이 0인 가우시안 랜덤프로세스이다.

E[η_tη_τ] = σ²_ηδ_tτ       (4)

이러한 시스템 모델을 기반으로 객체의 위치 \(\begin{aligned}\hat x_t\end{aligned}\)를 추정하고 성능검증의 지표로 rmse(root mean square error)를 사용하는데, rmse 계산은 다음 식 (5)와 같은 방법으로 수행한다.

\(\begin{aligned}r m s e=\left(\frac{1}{K N} \sum_{k=1}^{K} \sum_{t=1}^{N}\left(x_{t}^{(k)}-\hat{x}_{t}^{(k)}\right)^{2}\right)^{\frac{1}{2}}\end{aligned}\)       (5)

여기서 K는 전체 시퀀스 수, N은 시퀀스 길이이다.

Ⅲ. 적응형 스케일조절 신경망

본 논문에서는 하나의 신경망 구조가 데이터 자체의 스케일을 스스로 조절한 뒤 객체추적을 진행하고, 다시 원래의 스케일로 돌리는 형태의 신경망을 설계하여 보다 다양한 상황에 적응적으로 대응할 수 있도록 하였다. 본 논문에서 제안하는 적응형 스케일조절 신경망의 전체 구조는 Fig.1과 같다.

적응형 스케일조절 신경망의 전체 구조는 3개의 RNN으로 구성되어 있으며, 각각 스케일 팩터 서브모듈, 추적기 서브모듈, 가중치 서브모듈의 역할을 한다. 각각의 서브모듈들은 입력값과 출력값이 모두 실수형태이며, 모두 같은 수의 은닉층의 노드 수를 갖는다. 이 세 개의 서브모듈을 이용해 현재 관측값에서 이전 관측값을 뺀 것을 입력받아 현재 관측값에서 얼마나 보정을 해줘야하는지를 결정하는 구조이다. 객체의 위치값에 비해 상대적으로 다이나믹 레인지가 작은 관측속도를 입력받아 신경망에서 처리를 하기 때문에 별도의 정규화 없이도 다양한 상황에서 객체 위치 추적이 가능하다.

그림 1. 제안하는 신경망의 전체 구조

Fig. 1. The structure of the proposed neural network.

스케일 팩터 서브모듈은 스케일팩터값 α를 출력하는 서브모듈이며, 이 출력값 α의 역수를 입력 데이터에 곱하는 방식으로 스케일을 조절한다. 이러한 스케일 조정의 목적은, 객체의 속도 범위가 추적기 서브모듈에서 다루기 적절한 속도 범위 내에 들어 가도록 하는 것이다. 예를들어, 객체의 현재 속도가 –3이라면, 데이터값에 α의 역수를 곱함으로써 속도값이 –1과 같이 추적기 서브모듈에서 다루기 적절한 범위로 만들어 주는 것이다.

그리고 나서, 추적기 서브모듈으로부터 생성되는 보정값들에는 다시 스케일펙터값 α를 곱해주어, 원래의 스케일을 복원하는 작업을 한다. 이후 가중치 서브모듈의 출력값인 β를 다시 곱하는 과정이 있는데, 이는 관측잡음이 작은 상황에서의 보정값의 비중을 낮추기 위한 것이다. 예를들어 관측잡음의 표준편차가 0.01로 아주 작은 경우에는 보정을 아주 작게 해주어야 하는데, 신경망의 출력값은 이를 반영하기 어렵다. 따라서 가중치 서브모듈로 한번 더 스케일링을 하여 보정이 적절히 이루어지도록 조절해주는 역할을 한다.

즉, 본 논문에서 제안하는 신경망은 신경망 스스로가 데이터의 스케일을 조절한 뒤 추적을 진행한 후, 이를 다시 원래의 스케일로 만들어준다. 이후 보정이 얼마나 필요한지를 스스로 결정하여 적응적으로 보정값의 스케일을 결정하는 기능을 하나로 결합한 적응적 신경망이다.

Ⅳ. 성능검증

본 논문에서 제안하는 알고리듬의 성능 검증은 천이잡음이 존재하지 않는 상황과 존재하는 상황에서 진행하였으며 칼만필터와 최대우도기법과의 객체 추적 성능을 비교하였다.

신경망 학습을 위한 학습데이터로 길이 30의 시퀀스들을 사용했다. 이때 신경망으로 학습 및 검증이 가능하도록 객체의 위치 데이터의 다이나믹 레인지를 조절하였다. 학습 및 검증 데이터의 초기위치 x₀는 [-3, 3] 범위에서 균등분포 랜덤변수로 설정하였으며 각 등가속구간의 길이는 평균길이가 10이 되도록 하였다. 또한 각 등가속구간의 시작시점마다 [-5, 5] 범위 내의 속도를 균등분포 랜덤변수로 설정하였다. 객체의 속도는 각 등가속구간의 시작지점의 속도에서 다음구간의 시작지점 속도까지 선형적으로 변화하게 하여 등가속운동을 하도록 설정하였다. 이러한 방식으로 조각별 등가속운동을 하는 객체의 속도를 [-5, 5] 범위 내로 제한하여 다이나믹 레인지를 적절히 조절하였다. 관측잡음의 표준편차는 0, 0.1, 0.2 … 1.0 으로 11가지 경우로 각각 설정하여 다양한 세기의 관측잡음별 성능을 살펴보았다. 천이잡음의 표준편차는 0, 0.25, 0.5로 설정하여 천이잡음이 있는 상황과 없는 상황 모두를 살펴보았다. 학습 데이터는 관측잡음과 천이잡음의 세기별로 5만개씩 사용하였다.

제안하는 알고리듬의 성능을 검증하기 위하여 평가 데이터와 검증 데이터를 분리하여 사용하였다. 평가 및 검증 데이터는 시퀀스 길이가 160이로 설정하여 장기간 관측성능을 살펴보았다. 시퀀스 길이를 제외한 관측잡음, 천이잡음과 속도범위 등의 파라메터들은 학습데이터와 동일한 방법으로 설정하였다. 평가 및 검증 데이터는 각 관측잡음과 천이잡음의 세기 별로 1만개를 사용하였다.

시뮬레이션에서 사용하는 적응형 스케일조절 신경망은 각 서브모듈 RNN들의 노드 수를 64개로 설정하였다. 성능을 도출할 신경망 구현방법으로 평가데이터와 검증데이터를 나누어 가장 좋은 성능을 보이는 신경망을 도출하였다. 구체적으로, 먼저 독립적인 초기화를 거쳐 각각 5회 구현하였다. 그리고 이 5개의 신경망의 성능을 우선 평가데이터를 통해 평가한 후, 그중 가장 성능이 우수한 신경망을 골랐다. 이후 평가데이터에서 좋은 성능을 보였던 신경망에 검증데이터를 이용하여 최종 성능을 도출하였다.

또한 성능 비교를 위해 제안하는 알고리듬의 성능을 칼만필터, 최대우도기법과의 성능을 비교하였다. 칼만필터는 객체추적 기법중 가장 대표적인 알고리듬이며 최대우도기법은 주어진 데이터를 이용해 확률통계적으로 가장 우수한 추정값을 도출할 수 있는 기법이다. 본 논문에서는 이 두 가지 알고리듬과 제안하는 알고리듬의 추적성능을 비교하여 그 성능을 보다 객관적으로 검증할 수 있도록 하였다. 칼만필터의 성능평가는 조각별 등가속운동의 시스템 모델이 정확히 주어져 있지 않기 때문에 등가속운동을 한다고 가정하고 진행하였다. 최대우도기법의 성능평가는 칼만필터와 마찬가지로 객체가 등가속운동을 한다고 가정하고 진행하였으며, 현재 관측값과 이전 5개의 관측값을 바탕으로 우도함수가 최대값이 나오는 값을 추정값으로 사용하였다.

먼저 천이잡음이 존재하지 않는 조각별 등가속운동에 대해 성능을 평가하였으며, 시뮬레이션 결과는 Fig.2 와 같다. 이때 최대우도기법은 시스템 모델이 정확히 주어지지 않았기 때문에 상대적으로 나쁜 성능을 보인 반면 제안하는 알고리듬과 칼만필터의 성능이 전반적으로 우수하다. 신경망을 이용한 객체 추적은 시스템 모델이 주어지지 않아도 데이터를 이용한 학습만으로 객체 추적 시스템을 구축할 수 있기 때문에 이러한 상황에서도 좋은 성능을 낼 수 있다. 또한 관측잡음의 표준편차가 0.4 이하로 작은 상황에서는 제안하는 알고리듬의 성능이 칼만필터의 성능과 유사하다. 이는 제안하는 알고리듬은 가중치 서브모듈을 이용해 관측잡음이 작아 적은양의 보정이 필요한 경우 보정값을 억제해줄 수 있기 때문이다. 관측잡음의 표준편차가 0.4 이상으로 큰 경우에는 제안하는 알고리듬이 좋은 성능을 보이며, 표준편차가 더 큰 경우 이러한 격차가 더 벌어지는 것을 볼 수 있다. 결과적으로 제안하는 알고리듬은 관측잡음의 세기가 큰 열악한 관측환경에서 상대적으로 더 좋은 성능을 낼 수 있다는 것을 확인하였다.

다음은 천이잡음의 표준편차가 0.25 일 때의 성능을 평가하였다. 성능검증을 위한 시뮬레이션에서 설정한 객체의 속도 다이나믹 레인지는 [-5, 5]이므로, 천이잡음으로 인한 속도의 다이나믹 레인지는 객체 속도의 다이나믹 레인지의 5% 정도이다. 시뮬레이션 결과는 Fig.3 과 같다. 이 때에도 제안하는 알고리듬과 칼만필터의 추적 성능이 전반적으로 우수하게 나왔다. 특히 관측잡음의 표준편차가 0.4 이하로 작은 경우 제안하는 알고리듬의 성능이 최대우도기법에 비해 더 우수하며 천이잡음이 없을 때보다 더 큰 성능 격차를 보인다. 특히, 최대우도기법은 시스템 모델을 등가속운동모델로 가정한 만큼 천이잡음이 존재할 때에는 더 큰 추적오차를 보인다. 또한 관측잡음의 표준편차가 0.5 이상인 경우 제안하는 알고리듬의 성능이 칼만필터의 성능보다 근소하게 우수하다.

마지막으로 천이잡음의 표준편차가 0.5 일 때의 성능을 평가하였다. 이때 천이잡음으로 인한 속도의 다이나믹 레인지는 객체 속도의 다이나믹 레인지의 10% 정도에 해당하여 상당히 큰 천이잡음이라 할 수 있다. 시뮬레이션 결과는 Fig.4 와 같다. 천이잡음의 세기가 큰 만큼 최대우도기법은 좋은 성능을 보이지 않으며, 칼만필터와 제안하는 알고리듬의 추적성능이 우수하다. 또한 제안하는 알고리듬의 성능이 근소하게 우수한 것을 볼 수 있다.

그림 2. 천이잡음이 존재하지 않는 상황에서의 잡음표준편차별 rmse 성능

Fig. 2. The rmse performance on observed noise standard deviation without transition noise.

결론적으로 제안하는 알고리듬의 성능이 전반적으로 우수하며, 특히 관측잡음의 세기가 세질수록 성능 격차가 크게 벌어졌다. 천이잡음이 존재하는 관측환경에서는 최대우도기법의 경우 추적성능이 좋지 않은데, 이는 시스템 모델이 정확히 주어져 있지 않기 때문이다. 반면 제안하는 알고리듬의 경우 칼만필터와 유사한 성능을 보이지만 근소하게 우수한 추적 성능을 보인다. 그러나 칼만필터는 천이잡음과 관측잡음의 표준편차가 모두 주어진 상태에서 추적을 진행한 것으로, 학습 데이터만 주어진 제안하는 알고리듬보다 많은 정보가 주어진 상태이다. 따라서 제안하는 알고리듬은 시스템 모델이 주어지지 않은 상황에서도 칼만필터의 추적성능보다 근소하게 우수한 성능을 낼 수 있어 경쟁력이 있다고 판단된다.

그림 3. 천이잡음 표준편차가 0.25 일때 상황에서의 관측잡음 표준편차별 rmse 성능

Fig. 3. The rmse performance on observed noise standard deviation with transition noise standard deviation 0.25.

그림 4. 천이잡음 표준편차가 0.5 일때 상황에서의 관측잡음 표준편차별 rmse 성능

Fig. 4. The rmse performance on observed noise standard deviation with transition noise standard deviation 0.5.

Ⅴ. 결론

본 논문에서 우리는 적응형 스케일조절 신경망을 이용해 수직선상에서 천이잡음이 포함된 조각별 등가속운동을 하는 객체의 위치를 추적하고, 그 성능을 칼만필터와 최대우도기법과의 추적성능과 비교하여 검증해보았다. 그 결과 제안하는 알고리듬의 성능이 전반적으로 근소하게나마 우수하게 나왔다. 특히 관측잡음이 작은 경우 제안하는 알고리듬은 칼만필터와 유사한 성능을 보인다. 또한 관측잡음이 큰 경우 칼만필터보다 근소하게 우수한 성능을 보이고, 잡음의 세기가 클수록 성능 격차가 커지는 것을 확인하였다. 마지막으로 천이잡음이 있는 경우 시스템 모델이 정확히 주어지지 않은 최대우도기법의 성능은 좋지 않은 반면, 제안하는 알고리듬의 성능은 칼만필터의 성능에 비해 근소하게 우수하게 나왔다. 결론적으로 제안하는 알고리듬은 시스템 모델이 주어지지 않아도 학습을 통해 칼만필터 보다 근소하게 우수한 성능을 보이는 것을 확인하였다.

추후 우리는 이러한 결과를 바탕으로 성능을 더 최적화할 수 있을만한 추가모듈이 있는지 연구를 해보고, 제안하는 알고리듬이 다른 시스템 모델에도 적용이 가능한지를 분석하여 다양한 환경에 적용 가능한 기법으로 확장할 계획이다.