Journal of Advanced Navigation Technology (한국항행학회논문지)

The Korean Navigation Institute (한국항행학회)
권호 표지
DOI QR코드

DOI QR Code

Object Tracking using Color Histogram and CNN Model

컬러 히스토그램과 CNN 모델을 이용한 객체 추적

  • Park, Sung-Jun (School of Electronics and Information Engineering, Korea Aerospace University) ;
  • Baek, Joong-Hwan (School of Electronics and Information Engineering, Korea Aerospace University)
  • 박성준 (한국항공대학교 항공전자정보공학부) ;
  • 백중환 (한국항공대학교 항공전자정보공학부)
  • Received : 2019.01.31
  • Accepted : 2019.02.27
  • Published : 2019.02.28
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose an object tracking algorithm based on color histogram and convolutional neural network model. In order to increase the tracking accuracy, we synthesize generic object tracking using regression network algorithm which is one of the convolutional neural network model-based tracking algorithms and a mean-shift tracking algorithm which is a color histogram-based algorithm. Both algorithms are classified through support vector machine and designed to select an algorithm with higher tracking accuracy. The mean-shift tracking algorithm tends to move the bounding box to a large range when the object tracking fails, thus we improve the accuracy by limiting the movement distance of the bounding box. Also, we improve the performance by initializing the tracking start positions of the two algorithms based on the average brightness and the histogram similarity. As a result, the overall accuracy of the proposed algorithm is 1.6% better than the existing generic object tracking using regression network algorithm.

본 논문에서는 컬러 히스토그램과 CNN 모델을 이용한 객체 추적 기법 알고리즘을 제안한다. CNN (convolutional neural network) 모델기반 객체 추적 알고리즘인 GOTURN (generic object tracking using regression network)의 정확도를 높이기 위해 컬러 히스토그램 기반 mean-shift 추적 알고리즘을 합성하였다. 두 알고리즘을 SVM (support vector machine)을 통해 분류하여 추적 정확도가 더 높은 알고리즘을 선택하도록 설계하였다. Mean-shift 추적 알고리즘은 객체 추적에 실패할 때 경계 박스가 큰 범위로 움직이는 경향이 있어 경계 박스의 이동거리에 제한을 두어 정확도를 향상시켰다. 또한 영상 평균 밝기, 히스토그램 유사도를 고려하여 두 알고리즘의 추적 시작 위치를 초기화하여 성능을 높였다. 결과적으로 기존 GOTURN 알고리즘보다 본 논문에서 제안한 알고리즘이 전체적으로 정확도가 1.6% 향상되었다.

Keywords

HHHHBI_2019_v23n1_77_f0001.png 이미지

그림 1. GOTURN 알고리즘 네트워크 구조도 Fig. 1. GOTURN algorithm network architecture.

HHHHBI_2019_v23n1_77_f0002.png 이미지

그림 2. GOTURN의 정적인 이미지 학습 예시 Fig. 2. Example of GOTURN's static image learning.

HHHHBI_2019_v23n1_77_f0003.png 이미지

그림 3. Mean-shift 추적 알고리즘 구조도 Fig. 3. Algorithm structure of Mean-shift Tracker.

HHHHBI_2019_v23n1_77_f0004.png 이미지

그림 4. SVM 기존 데이터 분류 예 Fig. 4. SVM example of existing data classification.

HHHHBI_2019_v23n1_77_f0005.png 이미지

그림 5. SVM 새로운 데이터 추가 분류 예 Fig. 5. SVM classification example for new additional data.

HHHHBI_2019_v23n1_77_f0007.png 이미지

그림 7. IOU Fig. 7. IOU.

HHHHBI_2019_v23n1_77_f0009.png 이미지

그림 9. 추적 성능 향상 예 Fig. 9. Case of tracking performance improvement.

HHHHBI_2019_v23n1_77_f0010.png 이미지

그림 10. 추적 성능 하락 예 Fig. 10. Case of tracking performance decline.

HHHHBI_2019_v23n1_77_f0011.png 이미지

그림 11. 영상 시퀀스 별 IOU 평균 비교 Fig. 11. IOU average comparison of each video sequence.

HHHHBI_2019_v23n1_77_f0012.png 이미지

그림 6. SVM 학습 데이터 형태 Fig. 6. SVM learning data type.

HHHHBI_2019_v23n1_77_f0013.png 이미지

그림 8. 알고리즘 구조도 Fig. 8. Algorithm structure.

표 1. 영상 시퀀스 별 성능 비교 Table 1. Performance comparison of each video sequence

HHHHBI_2019_v23n1_77_t0001.png 이미지

References

  1. D. Held, S. Thrun, and S. Savarese, "Learning to track at 100 fps with deep regression networks," in European Conference on Computer Vision, Netherlands: NL, pp. 749-765, 2016.
  2. C. C. Chang, and C. J. Lin. "LIBSVM: a library for support vector machines," ACM Transactions on Intelligent Systems and Technology(TIST), Vol. 2, No. 27, pp. 170-197, 2011.
  3. M. Kristan, R. Pflugfelder, A. Leonardis, J. Matas, L. Cehovin, G. Nebehay, and A. Dimitriev, "The visual object tracking vot2014 challenge results," [Online] 2014. Available: http://votchallenge.net/vot2014/download/vot_20 14_paper.pdf.
  4. M. Kristan, J. Matas, A. Leonardis, M. Felsberg, L. Cehovin, G. Fernandez, et al. "The visual object tracking vot2015 challenge results," in Proceedings of the IEEE International Conference on Computer Vision Workshops, Chile: CHI, pp. 1-23, 2015.
  5. U. Kart, J. K. Kamarainen, L. Fan, and M. Gabbouj, " Evaluation of Visual Object Trackers on Equirectangular Panorama," in International Conference on Computer Vision Theory and Applications (VISAPP), Portugal: POR, pp. 25-32, 2018.
  6. darkprogrammer. Mean-shift Tracker Image [Internet]. Available: http://darkpgmr.tistory.com/64
  7. D. Comaniciu, V. Ramesh and P. Meer, "Real-time tracking of non-rigid objects using mean shift," in Computer Vision and Pattern Recognition, 2000. Proceedings. IEEE Conference, Hilton Head Island, South Carolina: SC, pp. 142-149, 2000.
  8. T. Vojir, N. Jana and M. Jiri, "Robust scale-adaptive mean-shift for tracking," Pattern Recognition Letters, Vol. 49, pp. 250-258, 2014. https://doi.org/10.1016/j.patrec.2014.03.025
  9. bskyvision. SVM data classification Image [Internet]. Available: https://bskyvision.com/163
  10. L. Cehovin, M. Kristan, A. Leonardis, "Is my new tracker really better than yours?" in 2014 IEEE Winter Conference on Applications of Computer Vision (WACV), Steamboat Springs, Colorado: CO, pp. 540-547, 2014.