A Robust Algorithm for Tracking Feature Points with Incomplete Trajectories

불완전한 궤적을 고려한 강건한 특징점 추적 알고리즘

  • Published : 2000.11.25

Abstract

The trajectories of feature points can be defined by the correspondences between points in consecutive frames. The correspondence problem is known to be difficult to solve because false positives and false negatives almost always exist in real image sequences. In this paper, we propose a robust feature tracking algorithm considering incomplete trajectories such as entering and/or vanishing trajectories. The trajectories of feature points are determined by calculating the matching measure, which is defined as the minimum weighted Euclidean distance between two feature points. The weights are automatically updated in order to properly reflect the motion characteristics. We solve the correspondence problem as an optimal graph search problem, considering that the existence of false feature points may have serious effect on the correspondence search. The proposed algorithm finds a local optimal correspondence so that the effect of false feature point can be minimized in the decision process. The time complexity of the proposed graph search algorithm is given by O(mn) in the best case and O($m^2n$) in the worst case, where m and n arc the number of feature points in two consecutive frames. By considering false feature points and by properly reflecting motion characteristics, the proposed algorithm can find trajectories correctly and robustly, which has been shown by experimental results.

특징점의 궤적은 인접한 프레임에 존재하는 특정점 사이의 대응관계로 정의할 수 있다. 실제 영상열에서 존재할 수 있는 잘못된 특징점(false positive, false negative)들은 특징점의 대응관계를 결정할 때 많은 문제를 야기하기 때문에 특징점의 대응관계를 찾는 문제는 어려운 문제로 알려져 있다. 본 논문에서는 새로운 궤적의 나타남, 사라짐 등 불완전한 궤적을 갖는 특징점들을 고려하는 특징점 추적기법을 제안한다. 정합 척도로서 가중치가 부여된 유클리디언 거리를 사용하고 특징점의 운동특성을 잘 반영할 수 있도록 그 가중치를 자동으로 조정한다. 대응점 탐색과정에서 치명적인 영향을 줄 수 있는 애매한 특징점이 존재하는 경우를 고려하여 인접한 프레임 사이의 정합점 결정을 그래프에 의한 최적 대응점 탐색문제로 해결한다. 제안하는 대응점 탐색 알고리즘은 실제 영상열에서 나타날 수 있는 잘못된 특징점들이 대응관계를 결정할 때 주는 영향을 최소화하기 위하여 국부 최적(local optimal)을 찾게되며, 인접한 두 프레임에 m, n개의 특징점이 주어졌을 경우, 최선의 경우 O(mn), 최악의 경우 O($m^2n$)의 계산량을 필요로 한다. 제안하는 알고리즘은 정합과정에서 잘못된 특징점을 고려하고, 특징점의 운동특성을 잘 반영함으로써 대량의 특징점을 추적하는데도 충분히 적용할 수 있음을 실험을 통해 확인하였다.

Keywords

References

  1. Alexander Strehl, J. K. Aggarwal, 'A New Bayesian Relaxation Framework for the Estimation and Segmentation of Multiple Motions,' Proc. of 4th IEEE Southwest Symposium on Image Analysis and Interpretation, pp, 21-25, 2000 https://doi.org/10.1109/IAI.2000.839564
  2. E. Memem, P. Perez, 'Dense Estimation and Object-Based Segmentation of the Optical Flow with Robust Techniques,' IEEE Trans. Image Processing, vol. 7, no. 5, pp.703-719, 1998 https://doi.org/10.1109/83.668027
  3. A. Giachetti, M. Campani, V. Torre, 'The Use Optical Flow for Road Navigation,' IEEE Trans. on Robotics & Automation, vol, 14, no. 1, pp. 34-48, 1998 https://doi.org/10.1109/70.660838
  4. J. Weber, J. Malik, 'Rigid Body Segmentation and Shape Description from Dense Optical Flow under Weak Perspective,' IEEE Trans. on PAMI., vol. 19, no. 2, pp. 139-143, 1997 https://doi.org/10.1109/34.574794
  5. Shoichi Araki, Takashi Matsuoka, Haruo Takemura, Naokazu Yokoya, 'Real-time Tracking of Multiple Moving Objects in Moving Camera Image Sequences Using Robust Statistics,' Proc. ICPR., vol. 2, pp. 1433-1435, 1998 https://doi.org/10.1109/ICPR.1998.711972
  6. N. Peterfreund, 'Robust Tracking of Position and Velocity with Kalman Snakes,' IEEE Trans. PAMI., vol. 21, no. 6, pp.564-569, 1999 https://doi.org/10.1109/34.771328
  7. I. K. Sethi and R. Jain, 'Finding Trajectories of Feature Points in an Monocular Image Sequence,' IEEE Trans. PAMI., vol. 9, no. 1, pp. 56-73, 1987
  8. V. Salari and I. K. Sethi, 'Feature Point Correspondence in the Present of Occlusion,' IEEE Trans. PAMI., vol. 12, no. 1, pp, 87-91, 1990 https://doi.org/10.1109/34.41387
  9. K. Rangarajan and M. Shah, 'Establishing Motion Correspondence,' CVGIP: Image Understanding, vol. 54, no. 1, pp. 56-73, 1991 https://doi.org/10.1016/1049-9660(91)90075-Z
  10. S. Krishnan and D. Raviv, '2D Feature Tracking Algorithm for Motion Analysis,' Pattern Recognition, vol. 28, no. 8, pp. 1103-1126, 1995 https://doi.org/10.1016/0031-3203(95)00006-L
  11. 정재영, 김문현, '다중 물체가 움직이는 동영상에서 자동적인 특징점 추출 및 추적,' 정보과학회논문지(B), 제25권, 제3호, pp. 562-573, 1998
  12. R. Mehrotra, 'Establishing Motion-based Feature Point Correspondence,' Pattern Recognition, vol. 31, no. 1, pp. 23-30, 1998 https://doi.org/10.1016/S0031-3203(97)00030-7
  13. D. Chetverikov and J Verestoy, 'Tracking Feature Points : A New Algorithm,' Proc. ICPR 98, pp. 1436-1438, 1998 https://doi.org/10.1109/ICPR.1998.711973
  14. 정종면, 문영식, '적응적 가중치에 의한 특징점 추적 알고리즘,' 전자공학회논문지, 제36권 S편, 제11호, pp. 68-78, 1999
  15. D. P. Kottke and Y. Sun, 'Motion Estimation Via Cluster Matching,' IEEE Trans. PAMI., vol. 16, no. 11, pp. 1128-1132, 1994 https://doi.org/10.1109/34.334394
  16. Simon Even, Graph Algorithms, Computer Science Press, 1979
  17. http://i21www.ira.uka.de/image_sequences/
  18. http://periscope.cs.umass.edu/~vislib/Motion/box/images.html