Content Based Image Retrieval using 8AB Representation of Spatial Relations between Objects

객체 위치 관계의 8AB 표현을 이용한 내용 기반 영상 검색 기법

  • 주찬혜 (SK 텔레콤 Service 기술연구원) ;
  • 정진완 (한국과학기술원 전자전산학과) ;
  • 박호현 (중앙대학교 전자전기공학부) ;
  • 이석룡 (한국외국어대학교 산업정보시스템공학부) ;
  • 김상희 (국방과학연구소 지형영상처리팀)
  • Published : 2007.08.15

Abstract

Content Based Image Retrieval (CBIR) is to store and retrieve images using the feature description of image contents. In order to support more accurate image retrieval, it has become necessary to develop features that can effectively describe image contents. The commonly used low-level features, such as color, texture, and shape features may not be directly mapped to human visual perception. In addition, such features cannot effectively describe a single image that contains multiple objects of interest. As a result, the research on feature descriptions has shifted to focus on higher-level features, which support representations more similar to human visual perception like spatial relationships between objects. Nevertheless, the prior works on the representation of spatial relations still have shortcomings, particularly with respect to supporting rotational invariance, Rotational invariance is a key requirement for a feature description to provide robust and accurate retrieval of images. This paper proposes a high-level feature named 8AB (8 Angular Bin) that effectively describes the spatial relations of objects in an image while providing rotational invariance. With this representation, a similarity calculation and a retrieval technique are also proposed. In addition, this paper proposes a search-space pruning technique, which supports efficient image retrieval using the 8AB feature. The 8AB feature is incorporated into a CBIR system, and the experiments over both real and synthetic image sets show the effectiveness of 8AB as a high-level feature and the efficiency of the pruning technique.

내용 기반 영상 검색(CBIR)은 영상 내용의 특성 기술을 이용하여 영상을 저장하고 검색하는 기법이다. 좀더 정확한 영상 검색을 지원하기 위하여 영상 내용을 좀 더 효과적으로 기술할 수 있는 특성의 개발이 필요하게 되었다. 현재 주로 사용되고 있는 낮은 레벨의 색상, 질감, 형태 등의 특성은 인간의 인지와 직접적으로 연관이 되지 않으며, 여러 개의 객체가 포함되어 있는 영상은 잘 기술하지 못한다는 단점을 가진다. 이러한 단점을 보완하기 위하여 영상 검색 분야의 연구는 높은 레벨의 특성에 대한 연구로 진행되게 되었다. 높은 레벨의 특성은 좀 더 인간의 인지와 유사한 형식으로 영상을 기술하며, 대표적인 특성으로는 객체간의 위치 관계 표현 등이 있다. 하지만 객체간의 위치 관계 표현에 대한 이전의 연구들은 회전된 영상은 검색하지 못한다는 단점이 있다. 하지만 회전 불변(rotation invariant)은 정확한 영상 검색을 위한 특성 기술에 있어 중요하다. 본 논문에서는 객체간의 위치 관계를 효과적으로 표현하기 위한 높은 레벨의 특성인 8AB(8 Angular Bin)라는 새로운 기법을 제안한다. 8AB 기법은 회전 불변을 지원한다. 제안한 기법을 이용한 유사도 계산 및 검색 기법 역시 제안되었다. 또한 본 논문에서는 검색 시간을 단축하기 위한 검색 공간 축소 기법을 제안하였다. 이러한 기법들을 이용하여 실제 데이타와 합성 데이타를 사용한 실험을 행하여 제안된 기법의 유효성 및 검색 공간 축소 기법의 성능을 보였다.

Keywords

References

  1. Myron Flickner and et. al, 'Query by Image and Video Content: The QBIC system,' IEEE Computer, 28(9), pp.23-32, 1995
  2. J. R. Smith and S.-F. Chang, 'VisualSEEk: A Fully Automated Content-based Image Query System,' ACM Multimedia 96, Boston, MA, 1996
  3. G. Bilodeau and R. Bergevin, 'PLASTIQUE: Image retrieval based on cognitive theories,' VI 2003, pp.292-298, 2003
  4. T. S. Huang, S. Mehratra, and K. Ramchandran, 'Multimedia Analysis and Retrieval System (MARS) project,' Appeared in Proceedings of the 33rd Annual Clinic on Library Application of Data Processing - Digital Image Access and Retrieval, University of Illinois at Urbana-Champaign, Mar. 1996
  5. 김덕환, 김시우, 박광순, 이병구, 차광호, 정진완, 'COSMIC : 영역 지식과 시각 정보를 이용한 내용 기반 멀티미디어 검색 시스템의 설계 및 구현', 정보과학회 논문지(C), 5권 1호, pp.14-28, Feb. 1999
  6. 이동호, 송용준, 김형주, 'SCARLET:웨이브릿 변환을 이용한 내용기반 이미지 검색 시스템의 설계 및 구현', 정보과학회 논문지(C), Vol.3, No.4, pp.353-364, Aug. 1997
  7. S.K. Chang, Q.Y. Shi, and C.W. Yan, 'Iconic Indexing by 2-D Strings,' IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 9, no. 3, pp. 413-428, May 1987 https://doi.org/10.1109/TPAMI.1987.4767923
  8. P.W. Huang and Y.R. Jean, 'Using 2D PC+-Strings as Spatial Knowledge Representation for Image Database Systems,' Pattern Recognition, vol. 27, no. 9, pp. 1249-1257, Sept. 1994 https://doi.org/10.1016/0031-3203(94)90008-6
  9. S.Y. Lee and F.J. Hsu, '2D C-String: A New Spatial Knowledge Representation for Image Database Systems,' Pattern Recognition, vol. 23, no. 10, pp. 1077-1087, Oct. 1990 https://doi.org/10.1016/0031-3203(90)90004-5
  10. S.Y. Lee and F.J. Hsu, 'Spatial Reasoning and Similarity Retrieval of Images Using 2D C-String Knowledge Representation,' Pattern Recognition, vol. 25, no. 3, pp. 305-318, Mar. 1992 https://doi.org/10.1016/0031-3203(92)90112-V
  11. Bilodeau, G.A., Bergevin, R., 'Constructing and matching fuzzy graphs of volumetric primitives hypotheses,' in Vision Interface 2003, 2003
  12. C.C. Chang, 'Spatial Match Retrieval of Symbolic Pictures,' J. Information Science and Eng., vol. 7, pp.405-422, Dec. 1991
  13. Huet B., A.D.J. Cross and E.R. Hancock, 'Shape Retrieval by Inexact Graph Matching,' IEEE International Conference on Multimedia Computing and Systems (ICMCS'99), Florence, Italy, page 772-776, 7-11 Jun. 1999
  14. Po-Whei Huang, Chu-Hui Lee. 'Image Database Design Based on 9D-SPA Representation for Spatial Relations,' IEEE Transactions on Knowledge and Data Engineering, vol. 16, no. 12, pp. 1486-1496, Dec. 2004 https://doi.org/10.1109/TKDE.2004.92
  15. B. GAartner, 'Fast and Robust Smallest Enclosing Balls,' Proc. 7th Annual European Symposium on Algorithms (ESA), Lecture Notes in Computer Science $1643{\copyright}Springer-Verlag$, pp. 325-338, 1999
  16. http://www.inf.ethz.ch/personal/gaertner/miniball.html
  17. 영상정보 특화연구센터 센서융합연구실 1단계 중간보고서, 국방과학연구소, p. 187, 2005
  18. R. Baeza-Yates, B. Ribeiro-Neto. 'Modern Information Retrieval,' Addison-Wesley, 1999