Journal of KIISE:Computing Practices and Letters (한국정보과학회논문지:컴퓨팅의 실제 및 레터)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

Design and Implementation of Content-based Video Database using an Integrated Video Indexing Method

통합된 비디오 인덱싱 방법을 이용한 내용기반 비디오 데이타베이스의 설계 및 구현

  • 이태동 (경문대학 컴퓨터응용과) ;
  • 김민구 (아주대학교 정보 및 컴퓨터공학부)
  • Published : 2001.12.01
Download PDF
⟨ Previous Next ⟩

Abstract

There is a rapid increase in the use of digital video information in recent years, it becomes more important to manage video databases efficiently. The development of high speed data network and digital techniques has emerged new multimedia applications such as internet broadcasting, Video On Demand(VOD) combined with video data processing and computer. Video database should be construct for searching fast, efficient video be extract the accurate feature information of video with more massive and more complex characteristics. Video database are essential differences between video databases and traditional databases. These differences lead to interesting new issues in searching of video, data modeling. So, cause us to consider new generation method of database, efficient retrieval method of video. In this paper, We propose the construction and generation method of the video database based on contents which is able to accumulate the meaningful structure of video and the prior production information. And by the proposed the construction and generation method of the video database implemented the video database which can produce the new contents for the internet broadcasting centralized on the video database. For this production, We proposed the video indexing method which integrates the annotation-based retrieval and the content-based retrieval in order to extract and retrieval the feature information of the video data using the relationship between the meaningful structure and the prior production information on the process of the video parsing and extracting the representative key frame. We can improve the performance of the video contents retrieval, because the integrated video indexing method is using the content-based metadata type represented in the low level of video and the annotation-based metadata type impressed in the high level which is difficult to extract the feature information of the video at he same time.

오늘날 멀티미디어 정보의 양이 매우 빠른 속도로 증가함에 따라 비디오 데이타베이스에 대한 효율적인 관리는 더욱 중요한 의미를 가지게 되었다. 그리고 초고속 정보통신망과 디지털 기술의 발전은 비디오 데이타를 통신 및 컴퓨터와 결합하여 새로운 멀티미디어로 발전하고 있으며, 인터넷 방송, 주문형 비디오(VOD) 등에 크게 활용하고 있다. 비디오는 대용량적인 특성과 비정형적인 특성을 가지고 있으므로 신속하고 효율적으로 비디오를 검색하기 위해 비디오의 정확한 특징정보를 추출하여 비디어 데이타베이스를 구축하여야 한다. 비디오 데이타베이스는 텍스트 기반의 전통 데이타베이스와는 다른 모델링 방법과 검색방법을 사용한다. 따라서, 비디오 데이타베이스에서의 검색속도와 정확도를 향상시키기 위해서는 새로운 비디오 데이타베이스 생성기법과 효율적인 검색기법이 필요하다. 본 논문에서는 비디오의 의미적 구조와 사전 제작지식정보를 구조적으로 축적할 수 있는 내용기반 비디오 데이타베이스의 구축 방안과 생성기법을 제시하였다. 그리고 제안된 비디오 데이타베이스의 구축 방안과 생성기법을 사용하여 새로운 인터넷 방송 프로그램 컨텐츠 제작에 활용할 수 있는 비디오 데이타베이스를 구현하였다. 이를 위해 비디오 분할과 대표키 프레임 추출 시 비디오의 의미적 구조와 사전 제작지식정보의 상호관계를 기반으로 하여 비디오 데이타의 특징정보를 추출하고, 검색할 수 있도록 주석기반 검색과 내용기반 검색을 통합한 비디오 인덱싱 방법을 제시하였다. 통합된 비디오 인덱싱 방법은 비디오의 하위 레벨에 표현된 내용기반 메타데이타 유형과 비디오의 특징정보 추출이 어려운 상위 레벨에 표현된 주석기반 메타데이타 유형을 동시에 이용하므로 컨텐츠 검색의 성능을 향상시킬 수 있다. 마지막으로 본 논문에서 제시한 비디오 데이타베이스는 비디오의 의미적 구조와 사전 제작지식정보를 구조적으로 축적하여 데이타베이스를 구축하므로 정확한 인터넷 방송 컨텐츠 정보의 축적관리와 구축작업의 효율화가 가능하며, 또한 인터넷 방송 컨텐츠 제작 시 정보공유 및 재이용이 가능하므로 새로운 컨텐츠 제작의 효율성을 높일 수 있다.

Keywords

References

  1. 김우식, 방송제작론, p.297, 良書閣, 서울, 2000
  2. 권오형, 김용석, 김진응, 안치득, '국내 데이타 방송 표준화 현황', 정보과학회지, 제18권, 제10호, pp.4-11, 2000.10
  3. 양영철, 영화 . TV제작입문, p.269, 학문사, 서울, 2000
  4. 황인선, 한인규, 영상제작기법, p.382, 圖書出版 技多利, 서울, 1997
  5. Eitetsu Oomoto, Katsurni Tanaka, 'OVID: Design and Implementation of a Video Object Database System,' IEEE Transactions on Knowledge and Dam Engineering, Vol.5, No.4, pp, 629-643, Aug 1993 https://doi.org/10.1109/69.234775
  6. R Hjelsvold, 'VideoSTAR-A Database for Video Information Sharing,' Ph.D. Thesis, Norwegian Institute of Technology, Nov. 1995
  7. Sibel Adali, et. al., 'the Advanced Video Information System : data structures and query processing,' Multimedia System, pp.172-186, 1996 https://doi.org/10.1007/s005300050021
  8. R Weiss, A. Duda, and David K. Gifford, 'Composition and Search with a Video Algebra,' IEEE Multimedia, Spring 1995 https://doi.org/10.1109/93.368596
  9. Ki-Wook Kim, Ki-Byoung Kim. Hyoung-Joo Kim, 'VION: An Annotation-Based Video Information Retrieval System,' In Proc. The Twentieth Annual International Computer Software and Applications Conference, 1996 https://doi.org/10.1109/CMPSAC.1996.544180
  10. Myron Flickner and et. al, 'Query by Image and Video Content: The QBIC system,' IEEE Computer, 28(9), pp.23-32, 1995 https://doi.org/10.1109/2.410146
  11. W. Niblack, R. Barber, W. Equitz, M. Fliekner, E. Glasman, D. Pekovic, P. Yanker, C. Faloutsos and G. Taubin, 'The QBlC project: Querying images by Content using color, texture, and shape,' Proc, of SPIE Storage and Retrieval for Image and Video Databases, pp.173-187, Feb 1993 https://doi.org/10.1117/12.143648
  12. Shih-Fu Chang, William Chen, Horace meng, Han Sundaram, and Di Zhong, 'An Automated Content-Based Video Search System Using Visual Cues,' ACM Multimedia, 1997 http://www.ctr. columbia.edu/videoq https://doi.org/10.1145/266180.266382
  13. Tony C.T.Kuo and Arbee L.P.Chen, 'A Content Based Query Language for Video Databases,' In Proc, of IEEE MULTIMEDIA '96.pp.209-214, 1996 https://doi.org/10.1109/MMCS.1996.534976
  14. A. Hauptmann and M. Witbrock, 'Informedia News-On-Demand: Using Speech Recognition to create a Digital Video Library,' May 1997, http://www.informedia.cs.cmu.edu/
  15. N. Dimitrova and M. A. Mottalab, 'Content-based video retrieval by example video clip,' SPIE Storage and Retrieval for Image and Video Database, Vol. 3022, pp.59-70, 1996 https://doi.org/10.1117/12.263444
  16. H. J. Zhang, C. Y. Low, S. W. Smoliar and J. H. Wu, 'Video Parsing Retrieval and Browsing: An Integrated and Content-Based Solution,' Proc, ACM Multimedia '95. pp.15-24, 1995 https://doi.org/10.1145/217279.215068
  17. A. Nakasaka and Y. Tanaka, 'Automatic Video Indexing and Full Video Search for Object Appearances,' in Proc, IFIP TC2/WG2.6 second Working Conf. On Visual Database systems., pp.113-133, Oct 1991
  18. E, Zang, A. Kankanhalli, and S. Smoliar, 'Automatic Partitioning of Full-Motion Video,' Proc. ACM Multimedia System, ACM Press, New York, Vol. 1, pp.10-28, 1993
  19. R. Zabih, J. Miller, and K. Mai, 'A Feature-Based Algorithm for Detecting and Classifying Scene Breaks,' Proc, of ACM Multimedia '95, San Francisco, CA, pp.189-200, 1995 https://doi.org/10.1145/217279.215266
  20. R. Kasturi, R. Jain, 'Dynamic vision,' In Computer vision Principles, IEEE Computer Society Press, Washington, 1991
  21. H. Ueda, T. Miyatake, and S. Yoshizawa, 'IMPACT: An Interactive Natural-motion-picture Dedicated Multimedia Authoring System,' in proceedings of CHI, New York, pp.343-350, 1991 https://doi.org/10.1145/108844.108939
  22. Gulrukh Ahanger, and Thomas D. C. Little, 'A Survey of Technologies Jar Parsing and Indexing Video,' Journal of Visual Communication and Image Representation, San Jose, February 1994 https://doi.org/10.1006/jvci.1996.0004
  23. J. S. Boreczky and L. A. Rowe, 'A Comparison of Video Shot Boundary Detection Techniques,' Journal of Electronic Imaging, 5(2), pp.122-128, Apr 1996 https://doi.org/10.1117/12.238675
  24. D. Swanberg, C.F. Shu and R. Jain, 'Knowledge Guided Pursing in Video Database,' Proc. of SPIE-Storage and Retneval for Image and Video Databases, San Jose, CA, Vol. 1908, pp.13-24, 1993 https://doi.org/10.1117/12.143647
  25. Ramin Zabih, Justin Miller, Kevin Mai, 'A feature-based algorithm for detection and classifying scene breaks.' Proc. of ACM Multimedia '95, San francisco, CA, pp.189-200, 1995
  26. F. Ahanger, A. Hsu and M. Y. Chiu, 'Image Processing on Compressed Data for Large Video Databases,' Proc. 1st ACM Intl. Conf. on Multimedia, Anaheim CA, pp.267-272, Aug 1993 https://doi.org/10.1145/166266.166297
  27. F. Idris and S. Panchanathan, 'Storage and Retrieval of Compressed Image,' IEEE Transactions on Consumer Electronics, Vol. 41, pp.937-941, August 1995 https://doi.org/10.1109/30.468062
  28. Di Zhong, HongJiang Zhang, Shih-Fu Chang, 'Clustering Methods for Video Browsing and Annotation.' Storage and Retrieval for Image and Video Databases (SPIE), pp.239-246, 1996 https://doi.org/10.1117/12.234800
  29. X. Sun, M. S. Kankanhalli, Y lhu, and J. Wu, 'Content-Based Representative Frame Extraction for Digital 'Video.' Intl. Conf. on Multimedia Computing and Systems, Austin Texas, pp.237-240, Jun 1998 https://doi.org/10.1109/MMCS.1998.693638
  30. 김우생, '계승된 특징 차이를 이용한 효율적인 대표키 프레임과 관련 키 프레임 추출 기법', 정보과학회 논문지(B), 제26권 제5호, pp.657-664, 1999.5
  31. J. Rumbaugh et al., 'Object-oriented madding and design.' Prentice-Hall International, Inc., 1991
  32. H.J Zhang et al, 'Automatic Parsing and Indexing of News Video,' ACM Multimedia Systems, ACM-Springer, pp.256-266, 1996
  33. V. N. Gudivada and V. V. Raghavan, 'Content-Based Image Retrieval Systems,' IEEE Computer, 28(9), 1995 https://doi.org/10.1109/2.410145
  34. V. V. Vinod, H. Murase and C. Hashizume, 'Focussed Color Intersection with Efficient Searching for Object Detection and Image Retrieval,' Proceedings of the IEEE International Conference on Multimedia Computing and System, pp.229-233, 1996 https://doi.org/10.1109/MMCS.1996.534980
  35. 홍성용, 나연묵, '혼합형 이미지 메타데이타를 이용한 지능적 이미지 검색 시스템 설계 및 구현', 멀티미디어학회논문지, 3권3호, 한국멀티미디어학회, pp.209-223, 2000.6
  36. M. Sonka, V. Hlavac, and R Boyle, 'Image Processing Analysis, and Machine Vision,' Brooks/Cole Publishing, Second Edition, 1999
  37. Randy Crane, 'A Simplified approach to Image Processing,' Prentice- Hall, 1997
  38. D. Shasha and T-L Wang, 'New techniques for best-match retrieval,' ACM TOIS, 8(2) pp.140-158, April 1990 https://doi.org/10.1145/96105.96111
  39. 양명섭, '통합된 인덱싱 방법을 사용한 내용기반 뉴스 비디오 검색 시스템의 설계 및 구현', 전북대학교 박사학위논문, 1999
  40. 김수정, 정성환, '웨이블릿 변환영역에서 칼라 히스토그램과 에너지 벡터를 이용한 컷 검출', 한국정보과학회, 추계학술발표회 제27회, CD-paper #21, 2000.10
  41. G. Salton and M. J. McGill, 'Introduction to Modern Information Retrieval,' McGraw-Hill, 1983