한국정보과학회논문지:데이타베이스 (Journal of KIISE:Databases)

한국정보과학회 (Korean Institute of Information Scientists and Engineers)
권호 표지

위성영상 검색에서 사용자 관심영역을 이용한 적합성 피드백

Relevance Feedback using Region-of-interest in Retrieval of Satellite Images

  • 김성진 (한국과학기술원 전산학과) ;
  • 정진완 (한국과학기술원 전산학과) ;
  • 이석룡 (한국외국어대학교 산업정보시스템공학부) ;
  • 김덕환 (인하대학교 전자전기공학부)
  • 발행 : 2009.12.15
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

내용 기반 영상 검색(content based image retrieval)은 영상 자체의 정보를 이용하여 유사 영상을 검색하는 기법이다. 하지만 멀티미디어 데이터는 텍스트 데이터와 달리 얻을 수 있는 데이터가 정확하지 않고 또한 시스템에서 표현되는 데이터의 저차원(low-level)의 표현법과 사용자가 인식하는 고차원(high-level)의 개념(concept)은 상당한 차이를 나타내게 된다. 즉 시스템 상에서 벡터들로 표현된 영상 데이터들이 벡터스페이스 상에서는 가깝지만 실제 사용자는 유사하지 않다고 인식하는 문제점이 발생한다. 이를 의미적 간극(semantic-gap) 문제라고 부른다. 이런 의미적 간극 문제로 인해 영상검색 결과는 좋지 않은 성능을 보이게 된다. 이를 해결하기 위해 사용자의 피드백 정보를 이용하여 질의를 수정하는 적합성 피드백 기법이 널리 사용되고 있다. 하지만 기존의 적합성 피드백은 사용자의 관심영역(region-of-interest, 이하 ROI)를 고려하지 않아 적합한(relevant) 영역의 모든 영역들이 새로운 질의 점을 계산하는 과정에서 사용된다. 시스템은 그 스스로 사용자 관심영역을 알지 못하기 때문에 적합성 피드백을 영상수준(image-level)으로 진행하기 때문이다. 이 논문에서는 복잡한 위성영상 영역 검색에서 관심영역을 사용자가 직접 선택하도록 유도하여 더욱 정확한 질의 점을 계산하여 정확도를 높이는 사용자 관심영역 적합성 피드백 방법을 제시한다. 또한 사용자가 선택하지 않은 부정확한 영상 정보를 이용하여 정확도를 향상시키는 프루닝 기법도 함께 제시한다. 실험을 통하여 사용자 관심영역 적합성 피드백의 우수성과 함께 제안한 프루닝 기법의 효율성도 함께 보여준다.

Content-based image retrieval(CBIR) is the retrieval technique which uses the contents of images. However, in contrast to text data, multimedia data are ambiguous and there is a big difference between system's low-level representation and human's high-level concept. So it doesn't always mean that near points in the vector space are similar to user. We call this the semantic-gap problem. Due to this problem, performance of image retrieval is not good. To solve this problem, the relevance feedback(RF) which uses user's feedback information is used. But existing RF doesn't consider user's region-of-interest(ROI), and therefore, irrelevant regions are used in computing new query points. Because the system doesn't know user's ROI, RF is proceeded in the image-level. We propose a new ROI RF method which guides a user to select ROI from relevant images for the retrieval of complex satellite image, and this improves the accuracy of the image retrieval by computing more accurate query points in this paper. Also we propose a pruning technique which improves the accuracy of the image retrieval by using images not selected by the user in this paper. Experiments show the efficiency of the proposed ROI RF and the pruning technique.

키워드

참고문헌

  1. Chad Carson, Serge Belongie, Hayit Greenspan, Jitendra Malik. Blobworld' Image Segmentation Using Expectation-Maximization and Its Application to Image Querying, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.24, no. 8, August 2002 https://doi.org/10.1109/TPAMI.2002.1023800
  2. Z. H. Zhou, M. L. Zhang. K. J. Chen. A Novel Bag Generator for Image Database Retrieval with Multi-Instance Lerarning, Proceedings of the 15th IEEE International Conference on Tools with Artificial Intelligence, 565-569, 2003 https://doi.org/10.1109/TAI.2003.1250242
  3. Y. Rui, T. Huang, S. Mehrotra. Content-based image retrieval with relevance feedback in MARS, Proceedings of IEEE International Conference on Image Processing'97, Santa Barbara, CA, October 1997 https://doi.org/10.1109/ICIP.1997.638621
  4. Y. Rui, T. Huang, M. Ortega, S. Mehrotra. Relevance Feedback: A Power Tool for Interacitve Content-Based Image Retrieval, IEEE Transactions on Circuits and Systems for Video Technology, vol.8, no.5, September 1998 https://doi.org/10.1109/76.718510
  5. K. Porkaew, K. Chakrabarti. Query Refinement for Multimedia Similarity Retrieval in MARS, Proceedings of 7th ACM Multimedia Conference, pp.235-238, Orlando, Florida, 1999 https://doi.org/10.1145/319463.319613
  6. Shi, J., Malik, J, Normalized cuts and image segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22 (8), pp.999-905, August 2000 https://doi.org/10.1109/34.868688
  7. Vincent, L., and Soille. P., Watersheds in digital spaces: An efficient algorithm based on immersion simulations, IEEE Transaction on Pattern Analysis and Machine Intelligence, vol.13, no.6, pp.583-598, June 1991 https://doi.org/10.1109/34.87344
  8. A. Tremeau, N. Borel, A Region Growing and Merging Algorithm to Color Segmentation, Pattern Recognition, vol.30, no.7, pp.1191-1203. 1997 https://doi.org/10.1016/S0031-3203(96)00147-1
  9. F.. Jing, M. Li, H. J, Zhang, B. Relevance Feedback in Region-Based Image Retrieval, IEEE Transactions on Circuits and Systems for Video Technology, vol.l4, no.5, pp.672-681, May 2004 https://doi.org/10.1109/TCSVT.2004.826775
  10. F. Jing, M. Li, H. J, Zhang, B. Region-Based Relevance Feedback In Image Retrieval, Proc. IEEE Int. Symp. Circuits and Systems, vol.4, pp.145-148, 2002
  11. Y.I.Kwon, H.H.Park, S.L.Lee and C.W.Chung, A Shape Feature Extraction for Complex Topographical Images, Proc. qf the International Symposium on Remote Sensing, pp.575-578, October 2005
  12. Y. Rubner, C. Tomasi, L.J.. The earth mover's distance as a Metric for Image Retrieval, International Journal of Computer Vision 40(2), pp.99-121, 2000 https://doi.org/10.1023/A:1026543900054
  13. F. Jing, M. LI, H. J, Zhang. B. Lerarning region weighting from relevance feedback in image retrieval, Proceedings of IEEE Intl. Conference on Acoustics, Speech, and Signal Processing (ICASSP'02). vol.4, pp.4088-4091, 2003
  14. http://earth.google.com
  15. Robert S. Lee, Chin-Wan Chung, Seok-Lyong Lee, Sang-Hee Kim, Confidence Interval Approach to Feature Re-weighting, to appear in Multimedia Tools and Applications https://doi.org/10.1007/s11042-008-0212-5
  16. D.H.Kim and C.W.Chung, Qcluster: Relevance Feedback Using Adaptive Clustering for Content-Based Image Retrieval, Proc. of the ACM SIGMOD International Conference on Management of Data, pp.599-610, June 2003 https://doi.org/10.1145/872757.872829
  17. Norio Katayama and Shin'ichi Satoh. The SR-tree:an index structure for high-dimensional nearest neighbor querys, pp.369-380 https://doi.org/10.1145/253260.253347