DOI QR코드

DOI QR Code

Object Tracking Using Weighted Average Maximum Likelihood Neural Network

최대우도 가중평균 신경망을 이용한 객체 위치 추적

  • Sun-Bae Park (Department of Electronic and Electrical Engineering, Graduate School, Hongik University) ;
  • Do-Sik Yoo (Department of Electronic and Electrical Engineering, Graduate School, Hongik University)
  • 박선배 (홍익대학교 대학원 전자전기공학과) ;
  • 유도식 (홍익대학교 대학원 전자전기공학과)
  • Received : 2023.01.20
  • Accepted : 2023.02.20
  • Published : 2023.02.28

Abstract

Object tracking is being studied with various techniques such as Kalman filter and Luenberger tracker. Even in situations, such as the one in which the system model is not well specified, to which existing signal processing techniques are not successfully applicable, it is possible to design artificial neural networks to track objects. In this paper, we propose an artificial neural network, which we call 'maximum-likelihood weighted-average neural network', to continuously track unpredictably moving objects. This neural network does not directly estimate the locations of an object but obtains location estimates by making weighted average combining various results of maximum likelihood tracking with different data lengths. We compare the performance of the proposed system with those of Kalman filter and maximum likelihood object trackers and show that the proposed scheme exhibits excellent performance well adapting the change of object moving characteristics.

객체 위치추적은 칼만필터나 루엔버거 추적기와 같은 다양한기법을 통해 연구되고 있는데, 시스템 모델이 명확하게 규정되지 않는경우와 같이 기존의 신호처리 기법을 성공적으로 적용하기 어려운 상황에서도 객체의 위치를 추적해 낼 수 있는 인공신경망을 설계하는 것이 가능하다. 본 논문에서는, 불규칙하게 운동 상태가 변화하는 객체의 위치를 지속적으로 추적하기 위해, 다양한 길이의 최대우도기법 객체위치 추정깂들을 도출한 뒤 신경망을 통해 이들을 적응적으로 가중평균하는 방법을 사용하는 '최대우도 가중평균 신경망'을 제안한다. 해당 신경망은 객체의 위치를 직접 추정하지 않고 데이터 길이가 다른 다양한 최대우도기법 추적 결과들을 가중평균하여 위치 추정을 수행한다. 우리는 제안하는 시스템의 추적성능을 칼만필터 및 최대우도기법들과 비교하여, 제안하는 기법이 물체의 움직임 특성에 잘 대처하여 우수한 성능을 나타내 줌을 보인다.

Keywords

Ⅰ. 서론

이 논문에서는 최대우도 신경망을 이용하여 1차원 수직선상에서 조각별 등가속운동으로 움직이는 객체의 위치를 추적한다. 이때 상황에 따라 적응적으로 다양한 길이의 최대우도기법 결과값을 가중평균하는 최대우도 가중평균 신경망을 이용하여 객체를 추적하는 성능을 최대우도기법과 칼만필터의 추적성능과 비교한다. 그 결과 최대우도 가중평균 신경망을 이용한 객체 추적의 성능이 칼만필터나 최대우도기법의 추적성능과 유사하며, 관측잡음의 표준편차가 작은 경우 다른 기법들에 비해 근소하게 우수한 성능을 나타내는 것을 보인다.

객체추적은 신호처리의 한 분야로서 주어진 관측환경 하에서 움직이는 객체의 관측된 시계열 위치정보를 이용하여 위치 변화를 추적하는 것이다. 객체추적은 이전시간의 추적 결과와 현재 주어진 관측값을 이용하여 위치 데이터의 시계열적 상관 관계를 이용할 수 있다. 따라서 객체추적은 객체의 위치를 시시 각각 추정하는 것에 비해 사용할 수 있는 정보량이 많아 정확도면에서 상대적으로 좋은 성능을 보인다. 객체추적의 대표적인 기법으로 칼만필터나 파티클필터 등이 있으며 이를 활용한 활발한 연구가 진행되어 왔다[1]-[3]. 최근 객체추적 기법은 컴퓨터비전 분야에서 활발하게 진행되고 있는데, 주변상황을 스스로 인지하는 스마트 CCTV나 자율주행 자동차의 기반기술이 되었다[4]-[8]. 이외에도 위상배열 레이더 기반의 객체 추적 기법[9]이나 다양한 적응적으로 데이터의 스케일을 변화시켜 큰 다이나믹 레인지의 데이터에 대응가능한 추적에 관한 연구들이 진행되고 있다[10].

최대우도기법은 객체의 시간별 위치 데이터와 주어진 시스템 모델을 기반으로 우도함수를 도출한 후, 이를 최대값으로 만들어주는 객체의 위치를 추정하는 방법으로 시스템 모델이 정확히 주어진다면 좋은 성능을 낼 수 있다. 칼만필터 역시 가우시안 잡음이 있을 때 활용할 수 있는 재귀필터이며 기본적으로 선형 시스템 모델에서 적용할 수 있다[1]. 칼만필터는 주어진 시스템 모델을 통해 예측단계와 보정단계를 거쳐 추적을 진행한다. 칼만필터는 선형 시스템 모델에 가우시안 부가잡음이 있으며 그 시스템 모델이 정확히 주어진 경우 좋은 성능을 낼 수 있다. 그러나 본 논문에서 다루는 조각별 등가속운동 모델에서는 정확한 등가속구간 길이가 주어지지 않는 등 정확한 시스템 모델의 부재로 최대우도기법과 칼만필터 모두 최대의 성능을 낼 수 없다.

본 논문에서 제안하는 최대우도 가중평균 신경망은 두 부분으로 나눠져 있는데, 우선 다양한 길이의 최대우도기법 출력값을 도출하는 부분과, 객체의 위치 데이터 시퀀스를 입력받아 관측속도를 계산하고 이를 신경망에 입력하여 각 최대우도기법의 비중을 결정하는 부분이 있다. 즉, 신경망에 관측 속도를 입력하여 입력 데이터의 다이나믹 레인지를 낮추어 학습을 용이하게 할 수 있으며 신경망에서 바로 객체의 위치를 추적하는것이 아닌 다양한 최대우도기법 출력값들의 비중을 결정하므로 안정적인 추적이 가능하다는 장점이 있다. 또한 단층 퍼셉트론을 이용하여 학습 파라메터의 수를 낮추어 시스템의 복잡도를 크게 낮추었다. 제안하는 알고리듬의 객관적인 객체 위치 추적 성능을 살펴보기 위해 다른 알고리듬과 성능을 비교한다. 비교하는 알고리듬은 조각별 등가속운동 모델이라는 특성상 정확한 시스템 모델은 주어져 있지 않은 상황에서 해당 객체가 등가속운동을 하고 있다고 가정하고 추적을 진행하는 칼만필터와 최대우도기법이다.

본 논문의 구성은 다음과 같다. 2장에서는 조각별 등가속운동 시스템 모델에 대해 자세히 서술하고 3장에서는 본 논문에서 중점적으로 다루는 최대우도 가중평균 신경망과 이의 기반이 되는 등가속 운동 모델에서의 최대우도 가중평균 신경망에 대해 자세히 기술한다. 4장에서는 시뮬레이션을 통해 칼만필터와 최대우도기법 추적의 성능과 비교하여 제안하는 알고리듬의 성능을 검증하고, 5장에서는 본 논문의 결론을 맺는다.

Ⅱ. 시스템 모델

객체의 운동은 조각별 등속운동으로 근사화할 수 있는데, 오차를 줄이기 위해서는 각 구간별 길이를 짧게 해야 한다. 이 경우 등속구간 길이가 짧아서 시계열적 상관관계를 활용하는 추적기법을 적용하기 어렵다. 반면 조각별 등가속운동으로는 작은 오차로 상대적으로 긴 구간동안 근사화할 수 있어 다양한 추적기법을 적용할 수 있다. 따라서 본 논문에서는 1차원 수직선상에서 조각별 등가속운동을 하는 객체의 위치 추적을 다룬다.

우선, 객체는, 시간 0일 때 적절히 설정된 범위 내에서 균등 분포 랜덤변수를 따르는 임의의 위치에서 출발하여 조각별 등가속운동을 한다고 가정한다. 각각의 조각별 등가속운동이 지속되는 시간의 길이는 그 평균길이를 κn이라고 나타낼 경우, [round((1 - 0.4)κn), round((1 + 0.4)κn)] 범위 내에서 이산균등분포를 따른다고 가정하였다. 단, 여기서 round(·)는 반올림 연산을 뜻한다. 등가속운동을 하는 시간을 랜덤변수로 설정한 이유는 일정한 길이로 설정할 경우 신경망에서 이러한 데이터를 학습 시 등가속운동구간 길이를 학습할 수도 있기 때문에 객관적인 성능평가가 어려울 것으로 판단되기 때문이다.

이러한 객체의 등가속구간 상태천이식은 식 (1)과 같다.

\(\begin{aligned}x_{n+1}=x_{n}+v_{n}+\frac{1}{2} a_{n}\end{aligned}\)       (1)

단, 여기서 시간을 나타내는 변수 n은 정수값을 가지며, 적절히 설정된 시간간격을 단위로 한 샘플타임을 나타낸다. 또한, νn은 속도 an은 가속도를 나타냄을 관찰하자.

이러한 객체들의 관측식은 식 (2)와 같다.

yn = xn + ηn       (2)

여기서 ηn는 관측잡음이며, 식 (3)을 만족하는 평균이 0인 가우시안 랜덤프로세스이다.

E[ηnηm] = σ2ηδnm       (3)

이 때, δnm는 크로네커 델타 함수이다. 따라서, 관측잡음 ηn는 각 시간 n에서 각각 평균이 0이고, 분산이 σ2η인 정규분포(normal distribution) 인 랜덤변수이다.

이러한 시스템모델을 기반으로 객체의 위치 \(\begin{aligned}\hat{x_{n}}\end{aligned}\)를 추정하고 난 뒤 성능검증의 지표로 RMSE(root mean square error)를 사용하는데, RMSE 계산은 다음 식 (4)와 같은 방법으로 수행한다.

\(\begin{aligned}\mathrm{RMSE}=\left(\frac{1}{K L} \sum_{k=1}^{K} \sum_{i=1}^{L}\left(x_{i}^{(k)}-\hat{x}_{i}^{(k)}\right)^{2}\right)^{\frac{1}{2}}\end{aligned}\)       (4)

여기서 K는 전체 시퀀스 수, L은 시퀀스 길이이다.

Ⅲ. 최대우도 가중평균 신경망

3-1 등가속운동 모델 최대우도기법

최대우도기법은 객체의 위치를 추정하기 위해 현재시간과 이전시간의 관측값들을 이용해 우도함수를 계산하고, 이 우도 함수를 최대로 만들어주는 값을 객체 위치 추정값으로 도출하는 기법이다. 최대우도 기법은 확률통계적으로 가장 우수한 추정값을 도출할 수 있다는 장점이 있으나, 시스템 모델이 정확히 주어져야 제 성능을 낼 수 있다는 단점이 있다.

1차원 수직선상에서 등가속운동을 하는 어떤 객체의 위치 데이터에 식 (3)을 만족하는 가우시안 관측잡음이 포함되어 있다고 가정하자. 또한 시간 n에서의 객체 위치 xn을 추정하기 위하여 현재시간과 이전시간의 관측값들을 L개만큼 사용한다고 가정하자. 이때 현재 위치와 현재 관측위치간의 관계는 식(2)와 같이 표현할 수 있으며 시간이 n-(L-1) 일 때의 객체의 초기 위치, 초기 속도와 가속도를 각각 x0, ν0, a라고 하면 시간 n-(L-1), ⋯, n에서의 객체의 관측값들 yn - (L - 1), ⋯, yn은 x0, ν0, a, ηt의 함수로 나타낼 수 있다. 2절에서 기술된 바에 따르면 각 시간의 관측잡음들은 식 (3)을 만족하는 평균이 0인 가우시안 랜덤프로세스라 하였으므로 L개의 관측값벡터 (yn - (L - 1), ⋯, yn)의 확률밀도함수는 식 (5)와 같이 주어진다.

\(\begin{aligned}p\left(y_{n-(L-1)}, \cdots, y_{n}\right)=\frac{1}{\left(\sqrt{2 \pi} \sigma_{\eta}\right)^{K}} \exp \left(-\frac{1}{2 \sigma_{\eta}^{2}} \sum_{i=0}^{L-1}\left(y_{n-i}-x_{n-i}\right)^{2}\right)\end{aligned}\)       (5)

여기서 식 (5)를 각각 x0, ν0, a에 대해 미분하여 최대값을 나타내는 x0, ν0, a값을 도출하여 최종적으로 현재 위치의 추정값을 도출하면 식 (6)과 같다.

\(\begin{aligned}\begin{array}{r}\hat{x_{n}}=\frac{3}{L(L+1)(L+2)}\left[(L-2)(L-3) \sum_{i=0}^{L-1} y_{n-L+i+1}\right. \\ -2(4 L-1) \sum_{i=0}^{L-1} i y_{n-L+i+1} \\ \left.-10 \sum_{i=0}^{L-1} i^{2} y_{n-L+i+1}\right]\end{array}\end{aligned}\)       (6)

즉. 등가속운동 모델의 최대우도기법 추정값은 관측값들로 구성된 세 가지 급수의 선형결합으로 나타나며, 선형결합의 계수는 사용하는 데이터의 개수 L에 따라 결정되는 것을 볼 수 있다. 식 (6)은 관측값벡터 \(\begin{aligned}\underline{Y}=\left(y_{n-(L-1)}, \cdots, y_{n}\right)\end{aligned}\)에 행렬들을 이용하여 식 (7)과 같이 간단히 나타낼 수 있다.

\(\begin{aligned}\hat{x_{n}}=\underline{c} S \underline{Y}\end{aligned}\)       (7)

단, 여기서 \(\begin{aligned}\underline{c}\end{aligned}\)와 S는 식 (8), (9)와 같이 정의되는 행렬이다.

\(\begin{aligned}\underline{c}=3\left(\frac{L-2)(L-3)}{L(L+1)(L+2)}, \frac{-2(4 L-1)}{L(L+1)(L+2)}, \frac{-10}{L(L+1)(L+2)}\right)\end{aligned}\)       (8)

\(\begin{aligned}S= \left(\begin{array}{cccc}11 & \cdots & 1 \\ 01 & \cdots & (L-1) \\ 01 & \cdots & (L-1)^{2}\end{array}\right)\\\end{aligned}\)       (9)

3-2 최대우도 가중평균 신경망

앞절에서 언급한대로 등가속운동 모델의 최대우도기법 추정값은 관측값들의 세가지 종류의 급수들의 선형결합으로 이루어져 있으며, 이러한 선형결합의 계수는 사용하는 데이터의 갯수로 결정된다. 사용하는 데이터가 많아질수록 이를 평활하여 객체의 위치를 더 잘 추정할 수 있기 때문에 추정오차를 감소시킬 수 있지만, 우리가 다루는 조각별 등가속운동에서는 가속도가 일정시간 이후 변화한다는 문제가 있다. 우리가 중점적으로 다루는 등가속운동 모델 최대우도기법은 등가속운동 모델에서 제성능을 낼 수 있고 가속도가 변화한 후 객체는 그 이후에 등가속운동을 하므로 그 이후의 데이터만 취하여 최대우도기법을 사용해야 좋은 성능을 기대할 수 있다. 그러나, 관측값에는 잡음이 더해져 있어 가속도의 변화를 바로 탐지하기 어렵다. 따라서 우리는 다양한 길이의 최대우도기법 추정값들을 도출해둔 후, 신경망을 이용하여 길이별 추정값들을 적절히 가중평균하여 최종 추정값을 도출할 수 있도록 시스템을 구축하였다. 즉, 신경망이 스스로 데이터를 판별하여 다양한 길이의 최대우도기법 추정값들에 가중치를 곱한 뒤 합하는 것이다.

제안하는 시스템의 전체 구조는 Fig. 1과 같다. 보다 구체적으로 서술하면, 제안하는 시스템은 현재의 관측값을 포함한 L개의 관측 데이터를 이용해 객체의 위치를 추정하는데, N개의 서로 다른 길이를 이용하는 최대우도기법 추정값들을 가중평준하여 최종 추정값들을 도출한다. 이 N개의 길이들을 각각 기호 l0, l1, ⋯ lN -1로 표기하고, 길이 li에서의 최대우도 객체위치 추정값을 \(\begin{aligned}\hat{x}_{n}^{\left(l_{i}\right)}\end{aligned}\)라 하자. 최대우도기법의 특성상, 일반적으로 사용하는 데이터의 길이가 길수록 좋은 성능을 보이기 때문에 우리는 l0 = L - N + 1, l1 = L - N + 2, ⋯, lN - 1 = L과 같이 데이터 길이를 선택하는 경우에 주목하고자 한다.

HHHHBI_2023_v27n1_43_f0001.png 이미지

그림 1. 제안하는 시스템의 전체 구조

Fig. 1. The overall structure of the proposed scheme

Fig. 1의 상단의 신경망은

\(\begin{aligned}\Delta \underline{Y}=\left(y_{n-L+1}-y_{n-L}, y_{n-L+2}-y_{n-L+1}, \cdots, y_{n}-y_{n-1}\right)\end{aligned}\)       (10)

과 같이 정의되는 L-1차원 관측속도벡터 \(\begin{aligned}\Delta \underline{Y}\end{aligned}\)를 입력하여 N차원 가중치확률벡터 \(\begin{aligned}\underline {p}=\left(p_{0}, \cdots, p_{N-1}\right)\end{aligned}\)를 출력하는 신경망이다. 여기서, pi는 길이 li에서의 최대우도 추정값 \(\begin{aligned}\hat{x}_{n}^{\left(l_{i}\right)}\end{aligned}\)에 곱해지는 가중치를 나타낸다. 이 신경망은 2층 퍼셉트론으로 이루어져 있으며, 은닉층의 활성함수는 시그모이드 함수이고 출력층의 활성함수는 소프트맥스 함수를 사용한다.

제안하는 알고리듬의 전체 과정을 예를들어 서술하면 다음과 같다. 우선 N=3이라 가정하고, l0, l1, l2를 각각 4, 5, 6이라 하자. 그러면 L=6이 된다. 추가로 길이가 4, 5, 6 인최대우도 추정값들을 식 (7), (8), (9)를 이용해 (12.1, 11.5, 11.0)와 같이 얻었다고 하면, \(\begin{aligned}\hat{x}_{n}^{\left(l_{0}\right)}\end{aligned}\)은 12.1, \(\begin{aligned}\hat{x}_{n}^{\left(l_{1}\right)}\end{aligned}\)는 11.5 그리고 \(\begin{aligned}\hat{x}_{n}^{\left(l_{2}\right)}\end{aligned}\)은 11.0이다. 이때, 만일 신경망에 길이가 5인 관측속도벡터를 입력하여 가중치확률벡터 \(\begin{aligned}\underline{p}\end{aligned}\)의 값을 (0.2, 0.3, 0.5)를 얻었다면, 최종 추정값 \(\begin{aligned}\hat {x}_n\end{aligned}\)\(\begin{aligned}\hat {x}_n = 0.2 {\times} 12.1 + 0.3 {\times} 11.5 + 0.5 {\times} 11.0\end{aligned}\)과 같은 방식으로 최대 우도 추정값들을 가중평균하여 도출한다.

결론적으로 제안하는 알고리듬은 객체의 관측속도 시퀀스를 입력받아 N개의 최대우도기법을 가중평균 하기 위한 가중치확률벡터 \(\begin{aligned}\underline {p}\end{aligned}\)를 출력하고, N개 길이의 최대우도기법 추정값에 \(\begin{aligned}\underline {p}\end{aligned}\)의 값들을 곱하여 최종 추정값을 출력한다. 따라서 신경망이 스스로 몇 개 길이의 데이터를 비중있게 사용할 지 적응적으로 결정하도록 설계하였다.

Ⅳ. 성능검증

이 절에서는 제안하는 알고리듬의 성능 검증을 위해 제안하는 알고리듬, 칼만필터 그리고 최대우도기법과의 객체 위치 추적성능을 시뮬레이션을 통해 비교한다.

학습, 검증 및 평가데이터로 길이 30의 시퀀스들을 사용했다. 이때 데이터의 다이나믹 레인지는 조절하였다. 데이터의 초기위치 x0는 [-3, 3] 범위에서 균등분포 랜덤변수로 설정하였으며 각 등가속구간의 길이는 평균길이가 5가 되도록 하여 등가속구간 길이가 매우 짧은 상황을 가정하였다. 또한 객체의 속도의 경우 각 등가속구간의 시작시점마다 [-3, 3] 범위 내의 속도를 균등분포 랜덤변수로 설정하였다. 그리고 각 등가속구간의 시작지점의 속도에서 다음구간의 시작지점 속도까지 선형적으로 객체의 속도를 변화하게 하여 등가속운동을 하도록 설정하였다. 이러한 방식으로 조각별 등가속운동을 하는 객체의 속도를 [-3, 3] 범위 내로 제한하였다. 관측잡음의 표준편차는 0, 0.1, 0.2 ⋯ 1.0 으로 11가지 경우로 각각 설정하였으며, 학습데이터는 관측잡음의 세기별로 3만개씩 사용하였다. 평가 및 검증 데이터는 각 관측잡음의 세기 별로 3천개를 사용하였다.

시뮬레이션에서 사용하는 최대우도 가중평균 신경망은 길이가 4, 5, 6인 세 가지의 최대우도기법을 가중평균하도록 설정하였다. 따라서 현재의 관측값과 이전 관측값 6개를 이용하여 객체를 추적하며, 신경망에는 이 6개로 길이가 5인 관측속도를 도출하여 입력하고, 세 가지 최대우도기법을 가중평균하므로 출력값은 3차원 벡터가 된다. 또한 은닉층의 노드 수는 20으로 설정하였다. 이 경우 신경망에서 사용하는 파라미터의 수는 총 603개가 된다.

신경망의 성능 도출은 평가데이터와 검증데이터를 나누어 가장 좋은 성능을 보이는 신경망을 선택하였다. 먼저 독립적인 초기화를 거쳐 각각 5회 구현한 뒤 이 5개의 신경망의 성능을 우선 평가데이터를 통해 평가한 후, 그중 가장 성능이 우수한 신경망을 골라낸다. 이후 평가데이터에서 좋은 성능을 보였던 신경망에 검증데이터를 이용하여 최종 성능을 도출하였다.

또한 성능 비교를 위해 제안하는 알고리듬의 성능을 칼만필터와 최대우도기법과의 성능을 비교하였다. 조각별 등가속운동의 시스템 모델은 수식적으로 정확히 주어져 있지 않기 때문에 칼만필터의 성능평가는 객체가 등가속운동을 한다고 가정하고, 관측잡음의 표준편차는 정확히 주어진 상태에서 진행하였다. 최대우도기법의 성능평가는 길이가 4와 6인 최대우도기법을 사용했으며, 칼만필터와 마찬가지로 객체가 등가속운동을 한다고 가정하고 진행하였다. 길이가 4와 6인 최대우도기법이므로 현재 관측값과 이전 3개와 5개의 관측값을 바탕으로 우도함수가 최대값이 나오는 값을 추정값으로 사용하였다.

시뮬레이션 결과는 Fig. 2와 같다. 여기서, length 4 ML, length 6 ML은 각각 길이가 4와 6인 최대우도기법을 의미하고 KF는 칼만필터를 의미한다. 제안하는 알고리듬의 성능이 일부 구간에서 근소하게 우수한 결과를 보인다. 이것은 객체의 평균 등가속구간 길이가 5로 가속도가 빈번하게 바뀌는 상황을 가정하였기 때문이다. 객체추적에 이용하는 시퀀스 내에서 가속도가 바뀌는 경우, 해당 데이터 시퀀스는 등가속 운동 모델이 아니기 때문에 칼만필터나 길이가 4와 6인 최대우도기법은 제 성능을 낼 수 없다. 특히, 관측잡음의 표준편차가 작은 경우 칼만필터는 우수한 성능을 보이는 반면 최대우도기법은 성능이 상대적으로 더 낮게 나오는 것을 볼 수 있다. 구체적으로 길이가 4인 최대우도기법은 추적에 사용하는 시퀀스 길이가 짧아서 상대적으로 시스템 모델 오차에 의한 성능저하가 덜하지만 길이가 6인 최대우도기법은 성능저하가 상당히 많이 일어나는 것을 볼 수 있다. 반면 칼만필터는 관측잡음이 주어져 있기 때문에 관측잡음의 세기가 작은 경우 전체 추정값에 관측값의 비중을 높게 사용한다. 따라서 관측잡음이 작은 경우 칼만필터는 좋은 성능을 낼 수 있다. 제안하는 알고리듬은 길이가 4, 5, 6인 최대우도기법을 상황에 따라 적응적으로 가중평균하여 객체의 위치를 추정할 수 있다. 예를들어 가속도가 바뀐 경우 길이가 4인 최대우도기법의 비중을 높여서 가속도가 바뀐 뒤의 시퀀스만 입력하여 시스템 모델의 오차를 줄여 성능을 향상시킬 수 있다. 따라서 잡음 표준편차가 0.3 미만에서는 시스템 모델에 의한 오차가 길이가 6인 최대우도기법에 비해 낮게 나왔으며, 잡음 표준편차가 0.3 이상에서 0.6이하일 때는 다른 대조 알고리듬들에 비해 근소하게 우수한 성능을 보인다. 이것은 잡음표준편차가 작은 경우 제안하는 알고리듬에서 객체의 가속도가 바뀌었는지를 판별하기 용이하여 어느길이의 최대우도기법을 사용할지 잘 결정할 수 있기 때문이다.

HHHHBI_2023_v27n1_43_f0002.png 이미지

그림 2. 관측잡음 표준편차에 따른 RMSE 성능

Fig. 2. RMSE performance as a function observation noise standard deviation

제안하는 알고리듬의 특성을 보다 구체적으로 파악하기 위하여, 특정 궤적에 대하여 시간별 RMSE 성능을 구하여 분석하였다. Fig. 3은 객체의 움직임을 시간별로 나타낸 것이다. 이때 객체의 위치는 t=-5부터 주어지지만 t=0부터 추적을 진행한다. 또한 객체의 움직임에 대한 분석이 용이하도록 시간별 속도와 가속도를 Fig. 4에 나타내었다. Fig. 5에는 이 객체의 궤적에 표준편차가 0.4인 관측잡음이 더해진 10,000개의 데이터를 이용해 각 알고리듬의 시간별 RMSE를 나타낸 것이다. 해당 궤적 전체에 대한 각 알고리듬별 RMSE는 Table. 1과 같다.

HHHHBI_2023_v27n1_43_f0003.png 이미지

그림 3. 시뮬레이션용 객체의 궤적 샘플

Fig. 3. Sample object trajectory for simulation

HHHHBI_2023_v27n1_43_f0004.png 이미지

그림 4. 객체의 속도와 가속도

Fig. 4. Velocity and acceleration of the object

HHHHBI_2023_v27n1_43_f0005.png 이미지

그림 5. 시간에 따른 RMSE 성능

Fig. 5. RMSE performace as a function of time

표 1. 궤적 전체에 대한 RMSE

HHHHBI_2023_v27n1_43_t0001.png 이미지

Table 1. RMSE perfomance of the entire trajectory

객체가 비교적 완만한 운동을 하는 t = 2 ~ 7 구간과 t = 13 ~ 15 구간에는 알고리듬들이 유사한 추적결과를 보였지만, 객체의 가속도가 급변하는 t = 8 ~ 12 구간에서는 서로 상이한 결과가 얻어졌다. 이것은 칼만필터는 등가속운동 모델을 가정하고 길이가 6인 최대우도기법 또한 이전 5개의 데이터를 바탕으로 객체가 등가속운동을 한다고 가정하기 때문인 것으로 판단된다. 길이가 4인 최대우도기법은 상대적으로 최근의 데이터만 사용하기 때문에 이러한 변화에 더 잘 대응하고 있는 것으로 판단되며, 제안하는 알고리듬 또한 이 구간에서는 유사한 결과를 보였다. 즉, 제안하는 알고리듬은 객체가 등가속운동을 하는 동안 길이가 6인 최대우도기법과 유사하게 추적하며, 객체의 가속도가 바뀌는 경우 길이가 4인 최대우도기법과 유사한 추적을 진행하는 식으로 상황에 따라 적응적으로 적절한 길이의 최대우도기법의 비중이 높여 안정적인 추적을 진행한다는 것으로 판단할 수 있다.

결론적으로 제안하는 알고리듬은 칼만필터와 달리 잡음의 표준편차와 같은 파라미터 입력 없이 학습 데이터만으로 학습을 수행하여 추적을 진행할 수 있으며, 가속도가 급변하는 상황에서 적응적으로 적절한 최대우도기법들을 가중평균하여 안정적인 성능을 낼 수 있다. 객체의 가속도가 급변하는 상황은 차량주행 시의 사고상황과 회피기동을 하는 물체 등 예기치 못한 다양한 상황을 가정할 수 있으며, 제안하는 알고리듬에 대한 충분한 개선이 이루어진다면 이러한 급박한 상황에도 대처할 수 있는 방법으로 발전할 수 있을 것으로 생각된다.

Ⅴ. 결론

본 논문에서 우리는 최대우도 가중평균 신경망을 이용하여 1차원 수직선상에서 움직이는 조각별 등가속운동을 하는 객체의 위치를 추적하고, 그 성능을 최대우도기법과 칼만필터의 추적성능과 비교하여 검증해보았다. 그 결과 제안하는 알고리듬과 최대우도기법, 칼만필터의 성능이 유사하게 나왔으나, 관측 잡음이 작은 환경에서는 제안하는 알고리듬의 성능이 근소하게 우수한 것을 확인하였다. 특히, 제안하는 알고리듬은 2층 퍼셉트론 신경망을 이용해 상대적으로 적은 수의 학습 파라미터만으로도 안정적인 추적이 가능하며, 상황에 따라 적응적으로 적절한 길이의 최대우도기법을 가중평균 할 수 있어 객체의 가속도가 급변하는 상황에서도 안정적인 성능을 낼 수 있는 것을 확인하였다. 따라서 이를 더 개선한다면 다양한 곳에 적용가능한 알고리듬이 될 수 있을 것으로 판단된다.

Acknowledgments

이 성과는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(과제번호: NRF-2021R1F1A1055309)

References

  1. R. E. Kalman, "A New Approach to Linear Filtering and Prediction Problems,". Journal of Basic Engineering. Vol. 82, No. 1, pp. 35-45, Mar. 1960. https://doi.org/10.1115/1.3662552
  2. M. S. Arulampalam, S. Maskell, N. Gordon, and T. Clapp, "A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking," IEEE Transactions on signal processing, Vol. 50, No. 2, pp. 174-188, Feb. 2002. https://doi.org/10.1109/78.978374
  3. M. Speekenbrink, "A tutorial on particle filters," Journal of Mathematical Psychology, Vol. 73, pp. 140-152, Jun. 2016. https://doi.org/10.1016/j.jmp.2016.05.006
  4. A. Gautam, and S. Singh, (2019, December). "Trends in Video Object Tracking in Surveillance: A Survey," In 2019 Third International conference on I-SMAC (IoT in Social, Mobile, Analytics and Cloud), Palladam, India, pp. 729-733, Dec. 2019.
  5. A. Kuramoto, M. A. Aldibaja, R. Yanase, J. Kameyama, K. Yoneda, and N. Suganuma, "Mono-camera based 3d object tracking strategy for autonomous vehicles," In 2018 IEEE Intelligent Vehicles Symposium (IV), Changshu, China, pp. 459-464, Jun. 2018.
  6. S. M. Marvasti-Zadeh, L. Cheng, H. Ghanei-Yakhdan, and S. Kasaei, "Deep learning for visual tracking: A comprehensive survey," IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 5, pp. 3943-3968, Jan. 2021.
  7. X. Zhang, P. Ye, H. Leung, K. Gong, and G. Xiao, "Object fusion tracking based on visible and infrared images: A comprehensive review," Information Fusion, vol. 63, pp. 166-187, Jul. 2020. https://doi.org/10.1016/j.inffus.2020.05.002
  8. G. Ciaparrone, F. L. Sanchez, S. Tabik, L. Troiano, R. Tagliaferri, and F. Herrera, "Deep learning in video multi-object tracking: A survey," Neurocomputing, Vol 381, pp. 61-88, 2020. https://doi.org/10.1016/j.neucom.2019.11.023
  9. S. B. Park, and D. S. Yoo, "Three Stage Neural Networks for Direction of Arrival Estimation," The Journal of Korea Navigation Institute, vol. 24, no. 1, pp. 47-52. Feb. 2020.
  10. S. B. Park, and D. S. Yoo, "Object Tracking Using Adaptive Scale Factor Neural Network," The Journal of Korea Navigation Institute, vol. 26, no. 6, pp. 522-527. Dec. 2022.