DOI QR코드

DOI QR Code

Image Classification Using Bag of Visual Words and Visual Saliency Model

이미지 단어집과 관심영역 자동추출을 사용한 이미지 분류

  • 장현웅 (한국교통대학교 컴퓨터정보공학과) ;
  • 조수선 (한국교통대학교 컴퓨터정보공학과)
  • Received : 2014.09.17
  • Accepted : 2014.11.18
  • Published : 2014.12.31

Abstract

As social multimedia sites are getting popular such as Flickr and Facebook, the amount of image information has been increasing very fast. So there have been many studies for accurate social image retrieval. Some of them were web image classification using semantic relations of image tags and BoVW(Bag of Visual Words). In this paper, we propose a method to detect salient region in images using GBVS(Graph Based Visual Saliency) model which can eliminate less important region like a background. First, We construct BoVW based on SIFT algorithm from the database of the preliminary retrieved images with semantically related tags. Second, detect salient region in test images using GBVS model. The result of image classification showed higher accuracy than the previous research. Therefore we expect that our method can classify a variety of images more accurately.

플리커, 페이스북과 같은 대용량 소셜 미디어 공유 사이트의 발전으로 이미지 정보가 매우 빠르게 증가하고 있다. 이에 따라 소셜 이미지를 정확하게 검색하기 위한 다양한 연구가 활발히 진행되고 있다. 이미지 태그들의 의미적 연관성을 이용하여 태그기반의 이미지 검색의 정확도를 높이고자 하는 연구를 비롯하여 이미지 단어집(Bag of Visual Words)을 기반으로 웹 이미지를 분류하는 연구도 다양하게 진행되고 있다. 본 논문에서는 이미지에서 배경과 같은 중요도가 떨어지는 정보를 제거하여 중요부분을 찾는 GBVS(Graph Based Visual Saliency)모델을 기존 연구에 사용할 것을 제안한다. 제안하는 방법은 첫 번째, 이미지 태그들의 의미적 연관성을 이용해 1차 분류된 데이터베이스에 SIFT알고리즘을 사용하여 이미지 단어집(BoVW)을 만든다. 두 번째, 테스트할 이미지에 GBVS를 통해서 이미지의 관심영역을 선택하여 테스트한다. 의미연관성 태그와 SIFT기반의 이미지 단어집을 사용한 기존의 방법에 GBVS를 적용한 결과 더 높은 정확도를 보임을 확인하였다.

Keywords

References

  1. S. J. Lee and S. Cho, "Tagged Web Image Retrieval Re-ranking with Wikipedia-based Semantic Relatedness," Journal of Korea Multimedia Society, Vol.14, No.11, pp.1491-1499, 2011. https://doi.org/10.9717/kmms.2011.14.11.1491
  2. H. J. Jeong, J. M. Lee, and J. H Nang, "Image Categoriztion Using SIFT Bag of Word," Korea Computer Congress, pp.1277-1279, 2013.
  3. H. W. Jang and S. Cho, "Flickr Image Classification using SIFT Algorism", the KIPS Spring Conference, Vol.20, No.2, 2013.
  4. R. Bharath, L. Zhi, J. Nicholas and X. Cheng, "Scalable scene understanding using saliency-guided object localization," in Proceedings of ICCA, pp.1503-1058, 2013.
  5. J. Harel, C. Koch, and P. Perona, "Graph-Based Visual Saliency," in Proceedings of NIPS, pp.545-552, 2006.
  6. D. H. Kweon, J. H Hong, and S. Cho, "Web Image Retrieval using Prior Tags based on WordNet Semantic Information," Journal of Korea Multimedia Society, Vol.12, No.7, pp. 1032-1042, 2009.
  7. A. Vedaldi and B. Fulkerson, "Vlfeat: an open and portable library of computer vision algorithms", Proceedings of the international conference on Multimedia, New York, pp.1469-1472, 2010.
  8. G. E. Kalliatakis and G. A. Triantafyllidis, "Image based Monument Recognition using Graph based Visual Saliency", Electronic Letters on Computer Vision and Image Analysis, Vol.12, No.2, pp.88-97, 2013.
  9. Z. W. Tu and S. C. Zhu, "Image Segmentation by Data-Driven Markov Chain Monte Carlo", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.24, No.5, pp.657-673, 2002. https://doi.org/10.1109/34.1000239
  10. D. G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", Journal International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004. https://doi.org/10.1023/B:VISI.0000029664.99615.94
  11. Caltech 101 Dataset [Internet], http://www.vision.caltech.edu/Image_Datasets/Caltech101/ (검색일: 2013. 08. 16)

Cited by

  1. Automatic Tagging for Social Images using Convolution Neural Networks vol.43, pp.1, 2016, https://doi.org/10.5626/JOK.2016.43.1.47