DOI QR코드

DOI QR Code

Improvement of Retrieval Performance Using Adaptive Weighting of Key Frame Features

키 프레임 특징들에 적응적 가중치 부여를 이용한 검색 성능 개선

  • Received : 2013.10.22
  • Accepted : 2013.11.25
  • Published : 2014.01.31

Abstract

Video retrieval and indexing are performed by comparing feature similarities between key frames in shot after detecting a scene change and extracting key frames from the shot. Typical image features such as color, shape, and texture are used in content-based video and image retrieval. Many approaches for integrating these features have been studied. However, the issue of these approaches is how to appropriately assign weighting of key frame features at query time. Therefore, we propose a new video retrieval method using adaptively weighted image features. We performed computer simulations in test databases which consist of various kinds of key frames. The experimental results show that the proposed method has better performance than previous works in respect to several performance evaluations such as precision vs. recall, retrieval efficiency, and ranking measure.

비디오 검색 및 색인은 먼저 압축 비디오에서 장면전환을 검출하여 샷(shot)으로 분리한 후 샷 내에 키프레임 특징 정보들의 유사도 비교를 통해 이루어진다. 일반적으로 내용기반 영상 및 비디오 검색에서는 컬러, 형태, 질감의 세 가지 대표적인 영상 특징들이 주로 사용된다. 그러나 여러 특징들이 결합되어 사용되는 검색 시스템이라 할지라도 각 특징들에 대한 가중치가 적합하게 부여되지 않으면 검색되는 결과 영상의 순위가 크게 변하여 검색 성능이 떨어지게 된다. 이러한 문제점을 해결하기 위해 본 논문에서는 여러 특징들이 결합되어 사용될 때 각 특징에 대한 가중치를 적응적으로 부여해서 비디오 검색 성능을 개선하고자 한다. 제안한 방법을 3,200개 키 프레임으로 구성된 비디오 데이터베이스에서 실험을 하였고 다양한 성능평가 방법을 통해 제안한 방법이 기존 고정가중치 부여를 이용한 방법과 비교하여 검색 성능이 개선됨을 볼 수 있었다.

Keywords

References

  1. L.Y. Duan, M. Xu, Q. Tian, S.S. Xu, and Jin, J.S, "A Unified Framework for Semantic Shot Classification in Sports Video," IEEE Trans. on Multimedia, Vol. 7, No. 6, pp. 1066-1083, 2005. https://doi.org/10.1109/TMM.2005.858395
  2. Guozhu Liu and Junming Zhao, "Key Frame Extraction from MPEG Video Stream," Proc. Int. Symposium on Information Processing, pp. 423-427, 2010.
  3. P.S. Hiremath and Jagadeesh Pujari, "Content Based Image Retrieval Using Color, Texture and Shape Features," Proc. Int. Conf. on Advanced Computing and Communications, pp.780-784, 2007.
  4. E. Saber and A.M. Tekalp, "Integration of Color, Edge, Shape, and Texture Features for Automatic Region-based Image Annotation and Retrieval," Journal of Electronic Imaging, Vol. 7, No. 3, pp. 684-700, 1998. https://doi.org/10.1117/1.482605
  5. Zhu-Lin Tao, Xianglin Huang, and Xi Wang, "Shot Boundary Detection Based on Macroblock and DC Image," Proc. Int. Conf. on Management and Service Science, pp. 1-3, 2009.
  6. 김태희, 이규동, 정동석, "영상 데이터 베이스에서 PIM을 이용한 엔트로피 기반 색인 기법에 관한 연구," 한국통신학회 하계 학술발표대회 논문집, pp. 542-545, 1997.
  7. Alexander Dimai, "Assessment of Effectiveness of Content Based Image Retrieval Systems," Proc. Int. Conf. on Visual Information and Information Systems, pp. 525-532, 1999.
  8. Kang-Wook Kim and Seong-Geun Kwon, "New Framework for Automated Extraction of Key Frames from Compressed Video," Journal of Korea Multimedia Society, Vol. 15, No. 6, pp. 693-700, 2012. https://doi.org/10.9717/kmms.2012.15.6.693