회전에 강인한 실시간 TLD 추적 시스템

Rotation Invariant Tracking-Learning-Detection System

Abstract

In recent years, Tracking-Learning-Detection(TLD) system has been widely used as a detection and tracking algorithm for vision sensors. While conventional algorithms are vulnerable to occlusion, and changes in illumination and appearances, TLD system is capable of robust tracking by conducting tracking, detection, and learning in real time. However, the detection and tracking algorithms of TLD system utilize rotation-variant features, and the margin of tracking error becomes greater when an object makes a full out-of-plane rotation. Thus, we propose a rotation-invariant TLD system(RI-TLD). we propose a simplified average orientation histogram and rotation matrix for a rotation inference algorithm. Experimental results with various tracking tests demonstrate the robustness and efficiency of the proposed system.

1. 서 론

최근 범죄나 테러 등의 잦은 발생으로 인하여 감시 시스템(surveillance system)의 중요성이 더욱 부각되고 있다. 이러한 시스템은 빌딩, 공항과 같은 지하철역, 은행 등 크고 복잡한 환경에서의 침입자 감시 및 추적을 통하여 사고를 미리 예방하거나, 의심되는 사람이나, 차량, 물체 등이 탐지되었을 때 영상을 저장함으로써 사건해결에 도움을 줄 수 있다.

비전 센서를 이용한 감시 시스템은 환경구축이 쉽고 구축에 드는 비용이 저렴한 장점이 있어 필요한 곳에 쉽게 적용할 수 있다. 최근까지 비전 센서를 이용한 많은 탐지 및 추적 알고리즘들이 개발되어 왔다. 추적방법에는 적응적 배경생성과 배경차분[1,2]을 이용한 방법, 입자필터(particle filter)를 이용한 방법[3,4,5]과 온라인 부스팅(On-line Boosting)을 이용한 방법[6,7,8], 평균값 이동(Mean Shift)를 이용한 방법[9,10,18]등이 있다. 그러나 비전 센서를 이용한 탐지 및 추적 알고리즘 등은 추적 중에 갑작스럽게 밝기가 변하게 되는 경우 표적 정보의 변화로 인해 추적을 놓치게 되거나, 추적 중인 표적이 다른 물체에 의해 가림(occlusion)현상이 발생하였을 경우 추적 중인 표적을 놓치게 되며, 추적중인 표적이 크기가 변하거나 방향이 변하게 되면 초기 표적과 외형적으로 변화가 생기게 되는데 이럴 경우 표적을 상실할 확률이 높아지게 된다. 추적 중에 발생할 수 있는 이런 요인들에 강인하게 적응하기 위해 실시간으로 추적하고 변화에 대한 정보를 학습하는 알고리즘이 연구되어 탐지 및 추적에 강인한 성능을 보여주고 있다.

Kalal등[11] 이 제안한 TLD 시스템은 추적과 학습, 탐지를 실시간으로 함으로써 추적에 실패하거나, 가림 현상이 발생하여 가려지더라도 실시간 탐지를 수행하면서 화면 내에 객체가 다시 나타났을 때 탐지 및 추적을 유지하게 된다. 또한 정상적인 추적이 이루어질 경우, 실시간 학습을 하면서 객체의 작은 변화들에 대해 강인한 추적을 하게 된다. 그러나 TLD 방식은 객체의 기하학적 왜곡 상태에서는 성능이 저하되거나, 연속 추적시에 편류현상(drift)이 발생하여 표적이 아닌 곳을 표시하는 등의 단점들이 존재한다. 이에 전경 탐지 방법을 이용한 속도 향상 방법[12,13]이나, 객체의 위치 예측(입자필터)을 이용한 정확도 향상 방법[14], 변형에 강인한 특징점 활용을 통한 추적 성능 향상[15] 등의 다양한 연구가 최근까지 진행되어 왔다. 그러나 가림(occlusion) 이후 표적이 급격한 회전 변환되어 나타났을 경우에 대한 문제점은 여전히 존재한다. 따라서 본 논문에서는 객체 추적중에 표적의 회전변환이 발생할 경우, 즉 프레임과 프레임간 회전각도의 변화율이 클 때 성능의 저하가 발생하는 단점에 대한 문제점을 해결하고자 한다.

회전변환으로 인한 성능 저하의 원인은 객체 추적시 객체의 이동 방향이 급격하게 변화하거나, 방해물에 의해 객체가 사라진 후 객체의 방향이 변하여 다시 나타났을 때, 재 탐지 확률이 현저히 떨어지기 때문이다. 즉, Fig. 1와 같이 탐지(detection) 방식에서 자동차와 같은 객체가 터널, 숲과 같은 곳에서 회전을 하여 방향을 선회한 상태로 영상 내 출현했을 경우, 기존 방식으로는 해당 물체를 탐지기(detector)가 탐지해내지 못한다. 따라서 본 논문에서는 기존의 TLD 알고리즘의 문제점을 해결하기 위해, TLD 의 추적(tracking), 탐지(detection), 그리고 학습(learning) 기능들 중 탐지 기능 시 객체 후보 군에 회전변환 보상을 적용하는 방식을 제안한다. 제안하는 방식에서는 선택 객체의 초기 위치와의 변화된 회전 각도를 반영함으로써, 객체 탐지에 대한 정확도를 증가시키는 방안을 제시한다.

Fig. 1.Reappear rotated target after loss tracking.

본 논문의 제 2장에서는 TLD 알고리즘에 제안하고자 하는 회전변환 보상에 대한 방법을 활용하여 통합 시스템 구축 방법에 대해 자세히 소개한다. 제3장에서는 제안한 방법으로 실험한 결과를 통해 성능을 확인하고, 마지막 제 4장에서는 실험 결과에 따른 결론 도출 및 앞으로 연구해야 할 방향을 제시한다.

 

2. 제안하는 TLD 시스템

TLD 시스템은 표적을 추적하는 방법으로 추적모듈과 탐지모듈에서 추출된 표적의 정보의 신뢰성을 이용하여 최종 표적의 위치를 결정한다. 따라서 회전변환에 강인한 방법으로 추적모듈을 개선하는 방법과 탐지모듈을 개선하는 방법이 존재한다. 이 중 추적모듈의 특징점을 개선하여 회전에 강인한 추적을 하는 방법은 Hailong등[15]이 제안한 방법이 있다. 하지만 프레임간 이동량이 작을 경우에만 추적 성공이 되기 때문에 방해물에 가려진 도중에 위치 이동과 회전변환이 발생하게 되면 추적률이 떨어지게 된다. 따라서 본 논문에서는 탐지모듈의 특징점을 개선하여 회전 변화가 프레임간 변화량이 크거나 물체의 가림 현상 후에 크게 발생했을 경우 등에도 추적 성능이 우수한 회전에 강인한 TLD(Rotation Invariant Tracking-Learning-Detection, RI-TLD)를 제안하고자 한다.

Fig. 2는 본 논문에서 제안하는 RI-TLD 방법을 보여준다. 탐지모듈의 각 기능 중 표적 후보군을 산출하는 앙상블 필터(ensemble filter)을 개선한다. 앙상블 필터에 회전변환 보상 알고리즘(Rotation Compensation)을 적용하여 표적 후보를 탐지한다.

Fig. 2.The flowchart for the proposed Rotation Invariant TLD algorithm.

TLD 시스템은 앙상블 필터에서 매 프레임 마다 선택한 표적의 BRIEF[17] 특징점과 분산 필터(variance filter)를 통과한 패치들의 특징점 비교를 통해 표적 후보 유효성을 산출한다. 이는 Fig. 3와 같이 표적의 변화에 따른 특징점 변화를 고려하지 않는다. 동일한 형태임에도 특징값은 다른 현상을 갖는다. 따라서 본 논문에서는 표적의 기준 각도를 산출한 후 앙상블 필터로 입력되는 패치들의 회전변화율(회전 각도)과의 차이를 특징점에 보상 반영한다. 보상 반영된 특징점과 표적의 특징점과의 비교를 통해 신뢰되는 패치들을 표적 후보로 결정한다.

Fig. 3.Feature values for transformed target(example).

2.1 회전 각도 산출

객체의 회전 각도를 구하는 다양한 방법이 있지만 SIFT[16]의 성능이 가장 우수하다. SIFT는 여러 단계의 스케일 변화를 통해 얻은 특징점을 이용하여 다른 영상과의 비교를 위한 특징점 주위의 화소들의 크기(magnitude)와 방향(orientation)을 구한 후, 36개의 계급(bin)으로 이루어진 히스토그램(Histogram of Gradient)을 만든 후 주 방향을 구하는 방법을 이용한다.

2.1.1 간소화된 방향성 히스토그램

본 연구에서는 연산량 증가를 최소화 하기 위해 SIFT의 히스토그램을 간소화하여 사용한다. 즉, 특징점을 구하는 과정을 생략하고 TLD 시스템에서 사용하는 Brief 특징점을 활용한다. 따라서 표적으로 선택한 패치의 스케일을 고려하지 않은 상태에서 단일 크기(single scale)의 히스토그램을 구한다. 대신 정확도를 위해 360개의 계급(bin)으로 나누어 구한다. 이를 간소화된 방향성 히스토그램이라고 한다. 그러나 간소화하여 구한 방향성 히스토그램은 패치내 스팟(spot)과 같은 노이즈 등에서 특정 지점에서 밝기의 값이 크게 나온다. 따라서 객체 전체의 각도(계급) 선택에는 취약한 단점이 있다. Fig. 4(b)는 Fig. 4(a)의 선택 표적만 방향성 히스토그램으로 나타낸 것이다. 영상의 히스토그램을 분석해보면, 예상되는 회전각도 후보가 4개의 후보군으로 발생하는 것을 볼 수 있다. 이 중, 0°와 178°같은 특정 계급값은 주변에 비해 매우 높은 값을 갖는데 매우 급격한 기울기를 갖는다. 이는 선택 표적의 방향과 무관하게 동차의 유리 반사광의 크기가 매우 커서 생긴 값이다.

Fig. 4.The simplified orientation histogram and weak for noise.

2.1.2 간소화된 평균 방향성 히스토그램

따라서 특정 화소의 밝기값 또는 노이즈 등에 취약한 부분을 제거하기 위해 전체 이미지에 블러링(Blurring)을 수행한 후, 블러된 이미지를 이용하여 방향성 히스토그램을 구한다. 블러링 처리 과정 이후에도 특정 화소 값이 클 수 있기 때문에 구간을 나누어 각 계급마다 구간별 평균값을 취하도록 한다. 이같이 표적의 전체 방향을 구할 때 평균화된 히스토그램을 이용하면 패치 내 표적의 주 방향(Orientation)을 나타내는 계급 에서 극대값을 가지고 주변 빈들도 높은 값을 가지게 된다. 본 논문에서는 이 방법을 간소화된 평균 방향성 히스토그램이라고 한다. Fig. 5는 앞서 설명한 간소화된 평균 방향성 히스토그램 방법에 대한 순서도이다.

Fig. 5.The method of simplifed average oriented histogram.

Fig. 6은 Fig. 5의 방법을 통해 산출한 표적의 회전 각도이다. 평균 방향성을 이용한 후 스팟과 노이즈는 모두 감소하여 후보군의 개수가 줄어든 것을 확인할 수 있다. 이를 통해 선택 표적의 각도와 패치들의 각도들을 결정할 수 있다.

Fig．6.Reduced noise by simplifed average orientation histogram.

2.2 회전 변환 보상

평균 방법을 통해 산출된 패치의 주 회전각도는 식(1), 식(2) 그리고 식(3)의 과정을 통해 선택 표적의 각도와 표적 후보의 각도와의 차이를 구하는데 사용한다. 구해진 각도는 보상을 위해 식(1)의 회전행렬(Rθdiff)을 생성하고 식(3)과 같이 표적 후보의 특징 점들에 적용하여 보상된 특징점을 산출한다.

새롭게 구해진 회전된 BRIEF 특징 값들 은 객체 후보가 회전된 표적과 동일한 특징점 값을 가질 수 있게 된다. Fig. 7은 선택한 표적이 영상 내 회전된 표적으로 존재할 경우 회전 각도를 보상하는 과정을 나타낸다. Fig. 7과 같이 앙상블 필터에서 회전 보상된 특징점 값이 표적의 특징값과 동일한 경우, 이를 표적 후보로 판단하게 되며 추적을 위해 해당 패치의 정보를 활용하게 됨으로써 표적 탐지의 정확도를 높이게 된다.

Fig. 7.Rotation Compensation for Target and candidates.

 

3. 실험 결과

3.1. 실험 환경

본 논문에서는 제안 알고리즘의 성능을 평가하기 위해 객체의 형태 변환, 객체의 개수 변환, 배경 및 객체의 위치 등이 포함된 다양한 영상을 이용하여 컴퓨터 모의 실험을 수행하였다.

각 실험은 상황에 맞는 영상 데이터를 찾아서 수행하였으며, 본 논문에서 제안하는 알고리즘과 기존 TLD 알고리즘을 동일한 조건에서 비교하여 결과를 확인하였다. 성능 비교를 위해, 제안한 알고리즘은 Georg Nebehay가 순수 C++로만 구현한 TLD 버전을 이용하여 구현하였고, 따라서 Matlab과 C++를 혼합하여 만든 kalal 등이 구현한 TLD 실험 결과와는 다소 다를 수도 있다. 또한 본 논문에서 결과를 확인하기 위해 사용된 컴퓨터 환경은 프로세서는 Intel(R) i7-2637M이며, 운영체제는 windows7 64bit, 개발환경은 Microsoft Visual Studio 2012와 Opencv 2.4.10으로 수행하였다. 구현은 CUDA, OpenMP 와 같은 그래픽 가속이나 병렬처리 방법을 사용하지 않고 순차(Single Thread) 방식으로만 구현하였다.

3.2 회전 변환 보상을 이용한 탐지 결과

RI-TLD의 급격한 회전 변환이 발생했을 경우 탐지 결과 성능 개선을 확인하기 위해 본 장에서는 회전된 영상 데이터를 이용하여 TLD 알고리즘과 RI-TLD 간의 탐지 성능을 확인해보았다.

실험 방법으로는 주변 배경과의 간섭성을 제거하기 위해, 배경을 제거하고 표적만을 선택한 영상을 OpenCV 의 회전 함수를 이용하여 회전된 영상을 생성한다. 이 때 회전 각도를 순차적으로 증가시켜 데이터 집합을 만든다.

생성된 데이터 집합은 기준 표적이 되는 영상을 t 프레임으로 가정하고 t+1 프레임에 시험 각도로 회전된 영상을 배치하여 시험을 진행하였다. 이 때 연산이 끝나면, 최종 선택된 BOX는 색깔에 따라 탐지 상태를 확인할 수 있다.

Fig．8 을 통해 확인하면 Fig．8(i)의 그림은 원본(왼쪽)과 회전된 이미지(오른쪽)를 뜻한다. Fig．8 (ii)의 파란색 BOX 는 추적기(Tracker)의 추적 성공(왼쪽), 노란색 BOX 는 추적 상태를 보장할 수 없는 상태(중간, detector 실패), 빨간색 BOX 는 탐지기(detector)의 탐지 성공(오른쪽)을 의미한다. Table 1은 객체의 변환 각도와 TLD와 회전변환 보상을 한 RI-TLD 간의 추적 결과이다. TLD 는 표적의 각도가 프레임 간에 10°이상의 차이가 나면 탐지기가 최종 표적 후보를 탐지하지 못하지만, RI-TLD 는 탐지모듈에서 회전 각도를 산출 후 특징점을 보상하여 신뢰도를 탐지하기 때문에 각도의 변화가 발생하여도 탐지한다.

Fig．8.Rotated Image and change of box color by tracking result.

Table 1.The result of rotated images(fig 8) with TLD & RI-TLD

제안한 방법의 신뢰도를 확인하기 위해 위의 방법과 동일한 방법으로 다양한 객체들을 실험하였다. Fig．9는 실험을 위해 선택한 객체들이며. 표 2는 선택된 객체들의 회전 변환 각도에 따른 추적 결과표이다. Table 2에서 확인할 수 있듯이 RI-TLD 방법은 다양한 객체들이 급격한 회전 변환을 했을 때에도 탐지하는 것을 확인할 수 있다.

Fig．9.Dataset of rotated images.

Table 2.The result of test(fig 9) (S: success F: fail)

3.3 RI-TLD 시스템을 이용한 추적 결과

본 장에서는 연속적인 영상에서 표적을 추적하는 결과에 대해 알아본다. Fig. 10은 알고리즘 성능을 확인하기 위해 선택한 시험 데이터들이다. 실험을 위해서 시험 데이터 집합으로 TLD에서 사용된 데이터 중 일부분(Fig. 10 (a)-(e))과 급격한 회전변환이 반영된 영상들((f)-(i))을 선택 및 제작하여 실험을 진행하였다. Table 3을 통해 각각의 시험 데이터들의 특성을 확인할 수 있다.

Fig. 10.Datasets for tracking results confirm TLD and rotation inference TLD.

Table 3.The characteristics of the data set in Figure 10

본 논문에서는 Fig. 10의 시험데이터들을 이용하여, TLD 와 회전에 강인한 TLD(RI-TLD) 의 추적결과를 비교하였다. 본 실험의 목적은 TLD 알고리즘과 비교하여 회전에 강인한 TLD 알고리즘의 향상된 추적 능력을 확인하기 위한 것이므로, 매 프레임마다 각각의 알고리즘이 표적 추적에 성공한 총 프레임 개수를 비교하는 것으로 확인하였다.

Table 4는 각각의 알고리즘의 추적 결과이다. 추적 성공 프레임의 개수는 실측값(ground truth)과 비교하여 교차(overlap) 비율이 50% 이상일 경우 성공한 것으로 측정하였다. Table 3의 결과를 확인하면 TLD 데이터 집합(Dataset)인 David, Jumping, Pedestrian2, Car, Panda 의 결과는 큰 차이가 없음을 확인할 수 있다. RI-TLD 시스템 결과를 확인해보면, 실험데이터 중 표적의 어파인(affine)의 변화가 존재하는 David 나 Panda와 같은 영상 데이터는 TLD 시스템과 비교하여 약간의 차이를 가지고 있지만 변화가 거의 없는 다른 데이터들은 동일한 값을 가지는 것을 확인 할 수 있다.

Table 4.The comparision with the number of successful tracking frame TLD and RI-TLD

Hand, Kihong, Car2와 같은 가림 현상 이후 표적이 회전변환을 한 다른 데이터 집합 에서는 회전변환을 한 프레임에서 TLD 시스템이 탐지하지 못하지만, Fig. 11과 같이 RI-TLD 시스템은 탐지함으로써 추적을 성공한 것을 확인할 수 있다. 특히 시험한 데이터 집합에서는 약 2∼30%의 추적 성공이 향상되는 것을 확인할 수 있다.

Fig. 11.Tracking results compared to the frame of TLD and RI-TLD.

그러나 표적이 영상 내에서 회전 변환하는 정도에 따라 성공률의 증가가 다르기 때문에 평균적인 추적성공 증가량을 본 논문에 적용하는 것은 한계가 있다. 따라서 추적 성공 증가율을 확인하기 위해 각각의 데이터 집합 내에서 일정 조건을 만족하는 프레임들에서 TLD와 RI-TLD의 추적 성공 유무를 확인하였다. 첫째, 표적을 선택한 프레임 이후, 가림 현상이 발생한 이후의 프레임들을 대상으로 하고 두 번째, 가림 현상 이후 나타난 표적은 최초의 형태보다 회전이 크게 된 경우(본 실험에서는 약 30°이상)의 프레임만을 대상으로 하였다. 이 때 가림 현상으로 표적을 식별할 수 없는 프레임은 조건에서 제외하여 Table 4의 실험 결과를 분류 후 재 확인하였다.

해당 조건을 만족하는 데이터 집합은 Hand, Kihong, Car2이며, 분류되어 재확인한 결과는 Table와 같다. Table 5를 분석하면, 최초 선택한 표적이 30°이상의 회전을 한 표적이 가림 현상 이후 나타난 경우 Hand와 Car2의 경우 약 70% 이상 추적 성공이 증가한 것을 확인할 수 있다. 즉, 본 논문이 제안한 알고리즘을 이용하면 회전각도의 변화율이 크더라도 추적 성공율을 증가함으로써 정밀한 추적상태를 유지할 수 있다. 하지만 Kihong 의 경우 재확인한 결과에서 제외하였다. 우선 결과는 추적조건을 만족하는 프레임의 경우 792개 중 335개의 후보 중에서 TLD 는 0개 RI-TLD는 15개로 TLD 에 비해 증가하지만 증가율이 현저하게 적었다. 분석 결과 Kihong의 프레임들이 Fig. 12와 같이 표적의 상태가 회전변화 외에도 조명 변화와 크기 변화 역시 큰 영상으로 구성되었기 때문에 특징점을 이진화하여 표적의 특징을 산출하는 본 알고리즘의 한계로 인해 제안한 알고리즘의 효과가 크지 않았음을 확인할 수 있었다.

Table 5.The Tracking results that satisfied the conditions in Table 4

Fig. 12.Vulnerable to changes in scale and illumination RI-TLD.

 

4. 결 론

본 논문에서는 TLD 알고리즘이 프레임간 회전 변환 각도가 크거나 가림현상 등으로 추적 상실 상태 이후 회전된 상태로 표적이 재등장했을 경우 추적성능이 떨어진다는 한계점을 파악하고, 이를 개선하기 위한 방법으로 회전에 강인한 TLD 시스템(RI-TLD)을 제안하였다. RI-TLD 시스템은 간소화된 평균 방향성 히스토그램과 회전 행렬을 이용한 방안을 이용한 회전변환 보상 알고리즘을 이용하는 방법이다. RI-TLD 시스템을 이용하여 실험한 결과, 다양한 데이터 집합들 중에서 회전이 많은 데이터인 경우, TLD 시스템이 탐지를 하지 못하는 표적을 성공적으로 추적하는 것을 확인할 수 있었다. 또한 회전을 하지 않는 표적 데이터 집합들도 기존 TLD 시스템과 동일한 성능을 가지는 것도 확인 할 수 있었다. 본 논문에서 사용한 실험 데이터 중 회전에 따른 추적성공 증가율을 확인하기 위한 시험에서 약70% 이상의 성공률 증가 결과를 가질 수 있었다. 이는 회전변환 보상 알고리즘이 객체 후보의 회전각도와 선택표적의 최초 각도와의 차이가 올바르게 산출되면, 표적의 종류와 표적과의 각도값 차이와 무관하게 표적을 탐지하기 때문이다. 따라서 표적의 회전 횟수가 많은 경우 실험 결과에서 우수한 추적 성능을 확인할 수 있다.

그러나 회전과 함께 조명의 변화나 크기의 변화가 같이 존재할 경우 BRIEF 특징점의 한계로 인해 추적성공률의 변화율은 크지 않았다. 따라서 향후 회전변환 및 소스 최적화를 통해 RI-TLD 시스템이 회전변환 외 다른 변형(affine, illumination)에 강인한 TLD 알고리즘에 대해 추가적인 연구가 필요하다.