Content-based image retrieval using region-based image querying

영역 기반의 영상 질의를 이용한 내용 기반 영상 검색

  • 김낙우 (한국전자통신연구원 광대역통합연구단 광통신연구센터 FTTH 서비스팀) ;
  • 송호영 (한국전자통신연구원 광대역통합연구단 광통신연구센터 FTTH 서비스팀) ;
  • 김봉태 (한국전자통신연구원 광대역통합연구단 광통신연구센터)
  • Published : 2007.10.31

Abstract

In this paper, we propose the region-based image retrieval method using JSEG which is a method for unsupervised segmentation of color-texture regions. JSEG is an algorithm that discretizes an image by color classification, makes the J-image by applying a region to window mask, and then segments the image by using a region growing and merging. The segmented image from JSEG is given to a user as the query image, and a user can select a few segmented regions as the query region. After finding the MBR of regions selected by user query and generating the multiple window masks based on the center point of MBR, we extract the feature vectors from selected regions. We use the accumulated histogram as the global descriptor for performance comparison of extracted feature vectors in each method. Our approach fast and accurately supplies the relevant images for the given query, as the feature vectors extracted from specific regions and global regions are simultaneously applied to image retrieval. Experimental evidence suggests that our algorithm outperforms the recent image-based methods for image indexing and retrieval.

본 논문에서는 효과적인 영상 검색을 위한 방법으로서 JSEG 영상 분할 기법을 통한 영역 기반의 영상 인덱싱 및 검색 기법을 제안한다. JSEG은 영상을 색상 분류에 따라 양자화하고 이에 영역 윈도우를 적용시켜 J-image를 만든 다음, 세부 분할된 영역의 성장과 병합을 통하여 영상을 효과적으로 분할하는 방법이다. 제안하는 영상 검색 시스템은 JSEG에 의해 분할된 영상을 사용자에게 질의 영상으로 주고, 사용자로 하여금 분할 영상에서 관심 영역군(群)을 선택하게 한다. 그리고 나서, 사용자 질의에 의해 선택된 영역의 MBR을 구하고 이 영역의 중심을 기준으로 다중 윈도우 마스크를 생성하여 적용시킴으로써 특정 관심 영역을 중심으로 한 영상의 전역적인 특징을 추출한다. 최종적으로 추출된 특징의 성능 비교를 위한 기술자로는 누적 히스토그램을 이용하였다. 제안된 방법은 특정 영역에서의 특징과 전역 특징을 동시에 추출하여 검색에 이용함으로써 보다 빠르고 정확하게 사용자가 원하는 영상을 제공할 수 있다. 실험 결과는 영상 색인 및 검색에 있어서 제안된 방법이 영상 기반의 검색 기법과 비교하여 더 효과적임을 보여준다.

Keywords

References

  1. M. Flickner et al., 'Query by image and video content: The QBIC system,' IEEE computer, vol. 28, no. 9, pp. 23-32, 1995
  2. J. Huang, S. R. Kumar, M. Mitra, W. J. Zhu, and R. Zabih, 'Image indexing using color correlograms,' CVPR, pp. 762-768, 1997
  3. G. Pass and R. Zabih, 'Histogram refinement for content-based image retrieval,' IEEE WACV, pp. 96-102, 1996
  4. J.R. Smith and C.-S. Li, 'Image classification and querying using composite region templates,' J. Comput. Vis. Image Understand., vol. 75, no. 1, pp. 165-174, 1999 https://doi.org/10.1006/cviu.1999.0771
  5. M.E. Wood, N.W. Campbell, and B.T. Thomas, 'Iterative refinement by relevance feedback in content based digital image retrieval,' in Proc. 5th ACM International Multimedia Conference (ACM Multimedia 98), pp. 13-20, 1998
  6. W.Y. Ma and B.S. Manjunath, 'NETRA: A toolbox for navigating large image databases,' in Proc. IEEE Int. Conf. Image Processing, vol. I, pp. 568-571, 1997
  7. M. Carson, S. Thomas, J.M. Belongie, and J. Malik, 'Blobworld: A system for region-based image indexing and retrieval,' in Proc. Int. Conf. Visual Information Systems, pp. 509-516, 1999
  8. Y. Deng and B.S. Manjunath, 'Unsupervised segmentation of color-texture regions in images and video,' PAMI, vol. 8, pp. 800-810, 2001 https://doi.org/10.1109/34.946985
  9. Y. Deng, C. Kenney, M.S. Moore, and B.S. Manjunath, 'Peer group filtering and perceptual color image quantization,' Proc. of IEEE Intl. Symposium on Circuits and Systems, vol. 4, pp. 21-24. 1999
  10. R.O. Duda and P.E. Hart, Pattern Classification and Scene Analysis, John Wiley & Sons, 1970
  11. W.Y. Ma and B.S. Manjunath, 'Edge flow: a framework of boundary detection and image segmentation,' Proc. Of CVPR, pp. 744-749, 1997
  12. M. Stricker and M. Orengo, 'Similarity of color images,' Proc. SPIE 2420, pp. 381-392, 1995
  13. N. Beckmann, H.-P. Kriegel, R. Schneider, and B. Seeger, 'The R*-tree: An efficient and robust access method for points and rectangles,' Proc. ACM SIGMOD, pp. 322-331, 1990
  14. A. Guttman, 'R-trees: a dynamic index structure for spatial searching,' Proc. ACM SIGMOD, pp. 47-57, 1984
  15. 'MPEG vancouver meeting,' ISO/IEC JTC1/SC29/WG11, Experimentation Model Ver. 2.0, Doc. N2822, 1999
  16. Y. Deng and B.S.Manjunath, 'An efficient low-dimensional color indexing scheme for region based image retrieval,' Proc. IEEE Intl. Conference on Acoustics, Speech and Signal Processing (ICASSP-99), pp. 3017-3020, 1999