Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지

Content-based Video Indexing and Retrieval System using MPEG-7 Standard

MPEG-7 표준에 따른 내용기반 비디오 검색 시스템

  • 김형준 (한양대학교 전자통신전파공학과) ;
  • 김회율 (한양대학교 전자통신전파공학과)
  • Published : 2004.06.01
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a content-based video indexing and retrieval system using MPEG-7 standard to retrieve and manage videos efficiently. The proposed system consists of video indexing module for a video DB and video retrieval module to allow various query methods on a web environment. Video indexing module stores metadata such as manually typed in keywords, automatically recognized character names, and MPEG-7 visual descriptors extracted by indexing module into a DB in a sever side. A user can access to retrieval module by a web and retrieve desired videos through various query methods like keywords, faces, example and sketch. For this retrieval system, we propose ATC(Adaptive Twin Comparison) as a cut detection method for efficient video indexing and QBME(Query By Modified Example) as an improved content-based query method for the convenience of users. Experimental results show that the proposed ATC method detects cuts well and the proposed QBME method provides the conveniences better than existing query methods such as QBE(Query By Example) and QBS(Query By Sketch).

본 논문에서는 비디오의 효율적인 검색과 관리를 위해 MPEG-7 표준에 따른 내용기반 비디오 검색 시스템을 제안한다. 제안된 시스템은 비디오 DB 구축을 위한 인덱싱 모듈과 웹을 통한 비디오 검색 모듈로 구성되며 검색 모듈에서는 다양한 질의 방법을 지원한다. 비디오 인덱싱 모듈은 관리자가 입력한 키워드, 인덱싱 모듈이 자동으로 추출한 등장 인물 정보와 MPEG-7 비주얼 서술자와 같은 메타데이터를 서버에 저장한다. 일반 사용자는 웹을 통해 검색 모듈에 접근하며 키워드, 얼굴 예제 및 스케치 질의와 같은 다양한 질의 방법을 통해 원하는 비디오를 검색할 수 있다. 이러한 비디오 검색 시스템을 구성하기 위해서 본 논문에서는 효율적인 비디오 인덱싱을 위한 장면 전환 검출 방법으로 ATC(Adaptive Twin Comparison)와 사용자 편의성을 위한 개선된 내용기반 질의 방법으로 QBME(Query By Modified Example)를 제안한다. 실험에서 제안된 장면 전환 검출 방법이 기존의 방법보다 우수함을 보였고, 제안된 질의 방법을 통해 기존의 질의 방법인 QBE(Query By Example)나 QBS(Query By Sketch) 보다 사용자에게 검색의 편의성을 제공할 수 있음을 보였다.

Keywords

References

  1. Y. Alp Aslandogan and Clememt T. Yu, 'Techniques and Systems for Image and Video Retrieval,' IEEE Trans. Knowledge and Data Engineering, Vol. 11, No. 1, pp. 56-63, 1999. 1 https://doi.org/10.1109/69.755615
  2. W. Niblack, et al., 'Updates to the QBIC system,' Proc. SPIE on Storage and Retrieval for Image and Video Databases, Vol. 6, pp. 150-161, 1998
  3. J. R, Smith and S.-F. Chang, 'VisualSEEk: A Fully Automated Content-Based Image Query System,' Proc. ACM Multimedia, pp. 87-98, 1996
  4. A. Pentland, R. Picard, and S. Sclaroff, 'Photobook: Tools for Content-Based Manipulation of Image Databaes,' Proc. SPIE on Storage and Retrieval of Image and Video Databaes II, Vol. 2, Issue 185, pp. 34-47, 1994
  5. A. Gupta, et al., 'The Virage image search engine: an open framework for image management,' Proc. SPIE on Storage and Retrieval for Image and Video Databases, Vol. 4, pp. 76-87, 1996
  6. V. E. Ogle and M. Stonebraker, 'Chabot: Retrieval from a Relational Database of Image,' Computer, Vol. 28, No. 9, 1995
  7. S.-F. Chang, J. R. Smith, and J. Meng, 'Efficient Techniques for Feature-Based Image/Video Access and Manipulation,' Proc. 33rd Ann. Clinic on Library Applications of Data Processing Image Access and Retrieval, 1996
  8. M. La Cascia and E. Ardizzone, 'JACOB: Just A Content-Based Query System for Video Databases,' Proc. ICASSP, 1996
  9. 'Overview of the MPEG-7 Standard,' ISO/IEC JTC1/SC29/WG11 N4031, 2001. 3
  10. 이재호, 김형준, 김회율, 'MPEG-7 기반 비디오/이미지 검색 시스템 (VIRS),' 정보처리학회논문지, 제10-B권, 제5호, pp. 543-552, 2003. 8
  11. Y. Yusoff, W. Christmas, and J. Kittler, 'Video Shot Cut Detection Using Adaptive Thresholding,' British Machine Vision Conference, pp. 362-372, 2000
  12. S. W. Smoliar and H. J. Zhang, 'Content-Based Video Indexing and Retrieval,' IEEE Multimedia, Vol. 1, pp. 6272, 1994
  13. J.-H. Lee, G.-G. Lee, and W.-Y. Kim, 'Automatic Video Summarizing Tool using MPEG-7 Descriptors for Personal Video Recorder,' IEEE Trans. Consumer Electronics, Vol. 49, No. 3, pp. 742-749, 2003. 8 https://doi.org/10.1109/TCE.2003.1233813
  14. 'MPEG-7 visual part of experimentation Model Version 10.0,' ISO/IEC JTC1/SC29/WG11, N4063, 2001. 3
  15. 박현선, 김경수, 김희정, 정병희, 하명환, 김회율, 'Integer DCT와 SVM을 이용한 실시간 얼굴 검출,' 대한전자공학회 하계학술대회, Vol. 26, No. 1, pp. 2112-2115, 2003. 7
  16. 이흔진, 김형준, 김희정, 하명환, 정병희, 김회율, 'DCT/LDA를 이용한 얼굴 인식의 성능 향상,' 제16회 신호처리합동학술대회, Vol. 16, No. 1, pp. 854-857, 2003. 9
  17. 'Text of 15938-5 FCD Information Technology Multimedia Content Description Interface Part 5: Multimedia Description Schemes,' ISO/IEC JTC1/SC29/WG11, N3966, 2001. 3
  18. http://www.expway.com
  19. 'Information Technology Multimedia Content Description Interface Part 6: Reference Software,' ISO/IEC JTC1/SC29/WG11, N4475, 2001. 10
  20. http://duck.hanyang.ac.kr/browser.html
  21. J. Assfalg, A. Del Bimbo, and P. Pala, 'Image Retrieval by Positive and Negative Examples,' ICPR, Vol. 4, pp.4267-4270, 2000. 9
  22. L. Vincent and P. Sollie, 'Watershed in digital spaces: An efficient algorithm based on immersion simulations,' IEEE Trans. PAMI, Vol. 13, No. 6, pp. 583-598, 1991. 6 https://doi.org/10.1109/34.87344
  23. P. De Smet and D. De Vleeschauwer, 'Performance and Scalability of a highly optimized rainfalling watershed algorithm,' CISST 98, pp. 266-273, 1998. 7
  24. P. Perona and J. Malik, 'Scale Space and Edge Detection Using Anisotropic Diffusion,' IEEE Trans. PAMI, Vol. 12, No. 7, pp. 629-639, 1990. 7 https://doi.org/10.1109/34.56205
  25. L. Najman and M. Schmitt, 'Geodesic Saliency of Watershed Contours and Hierarchical Segmentation,' IEEE Trans. PAMI, Vol. 18, No. 12, pp.1163-1173, 1996. 12 https://doi.org/10.1109/34.546254
  26. H. Gao, W. Siu, and C. Hou, 'Improved Techniques for Automatic Image Segmentation,' IEEE Trans. Circuits and Systems for Video Technology, Vol. 11, No. 12, pp. 1273-1280, 2001. 12 https://doi.org/10.1109/76.974681