Video Data Modeling for Supporting Structural and Semantic Retrieval

구조 및 의미 검색을 지원하는 비디오 데이타의 모델링

  • 복경수 (충북대학교 정보통신공학과) ;
  • 유재수 (충북대학교 전기전자컴퓨터공학부) ;
  • 조기형 (충북대학교 전기전자컴퓨터공학부)
  • Published : 2003.06.01

Abstract

In this paper, we propose a video retrieval system to search logical structure and semantic contents of video data efficiently. The proposed system employs a layered modelling method that orBanifes video data in raw data layer, content layer and key frame layer. The layered modelling of the proposed system represents logical structures and semantic contents of video data in content layer. Also, the proposed system supports various types of searches such as text search, visual feature based similarity search, spatio-temporal relationship based similarity search and semantic contents search.

이 논문에서는 비디오 데이타의 논리적 구조와 의미적 내용을 효과적으로 검색하기 위한 비디오 검색 시스템을 제안한다. 제안하는 검색 시스템은 비정형화된 비디오 데이타를 원시 데이타 계층, 내용 계층 그리고 키프레임 계층의 세 계층으로 구성하는 계층화된 모델링을 사용한다. 계층화된 모델링에 존재하는 내용 계층은 비디오 데이타에 대한 논리적인 계층 구조와 의미적 내용을 표현한다. 제안하는 검색 시스템은 모델링에 따라 텍스트 기반의 검색은 물론 시각적인 특징 기반의 유사도 검색을 지원한다. 또한 시공간 관계에 기반한 의미적 내용 검색과 유사도 검색을 지원한다.

Keywords

References

  1. 황규영, 박종목, 노웅기, 박병권, '멀티미디어 데이타베이스', 한국정보과학회 논문지, 제12권 제7호, pp.59-69, 1994
  2. W. I. Grosky, 'Multimedia Information Systems', IEEE Multimedia, Vol. 1, No.1, pp.12-24, 1994 https://doi.org/10.1109/93.295262
  3. 박유미, 최영길, 진성일, 허대영, 최동훈, '비디오 테이타베이스의 내용 기반검색을 우히나 메타데이타의 분류와 모델링,' 한국전자통신연구원 주간기술동향, pp12-26, 1997
  4. Philippe Aigrain, HongJiang Zhang and Dragutin Petkovic, 'Content-Based Representation and Retrieval of Visual Media: A State-of-the-Art Review', Multimedia Tools and Applications, Vol. 3, No.3, pp.179-202, 1996 https://doi.org/10.1007/BF00393937
  5. M. Petkovic and W. Jonker, 'An Overview of Data Models and Query Languages for Content-based Video Retrieval', Pro. International Conference on Advances in Infrastructure for Electronic Business, Science. and Education on the Internet, I'Aquila, Italy, July 2000
  6. E. Oomoto and K. Tanaka, 'OVID: Design and Implementation of a Video-Object Database System', IEEE Transactions on Knowledge and Data Engineering, Vol. 5, No.4, pp.629-643, 1993 https://doi.org/10.1109/69.234775
  7. S. Adali, K. S. Candan, S. S. Chen, Kutluhan Eral and V. S. Subrahmanian, 'The Advanced Video Information System: Data Structures and Query Processing', Multimedia Systems, Vol. 4, No.4, pp.172-186, 1996 https://doi.org/10.1007/s005300050021
  8. S. Adali, KS. Candan, K Erol and V.S. Subrahmanian, n AVIS: An Advanced Video Information System', The Institute for Systems Research, University of Maryland, Technical Report, TR 97 -44, pp.369-373, 1997
  9. Rune Hjelsvold and Roger Midtstraum, 'Modelling and Querying Video Data', Pro. the 20th International Conference on Very Large Databases, Santiago, Chile, September 1994
  10. Rune Hjelsvold, Roger Midtstraum, and Olav Sandsta, 'Searching and Browsing a Shared Video Database', Pro. the International Workshop on Multi-Media Database Management Systems, Blue Mountain Lake, New York, August 28-30 1995 https://doi.org/10.1109/MMDBMS.1995.520427
  11. Rune Hjelsvold, 'VideoSTAR-A Database for Video Information Sharing', Dr.Ing. Thesis, Nonoeuian Institute of Technology, November 1995
  12. M. La Cascia, and E. Ardizzone, 'JACOB: Just a content-based query system for video databases', Pro. IEEE International Con! on Acoustics, Speech, and Signal Processing, 1996 https://doi.org/10.1109/ICASSP.1996.543585
  13. S. F. Chang, W. Chen, H. J. Meng, H. Sundaram, and D. Zhong, 'VideoQ: An Automatic Content-Based Video Search System Using Visual Cues', Pro. ACM Multimedia 97 Conference, Seattle, WA, November 1997 https://doi.org/10.1145/266180.266382
  14. Hauptmann, A., Witbrock, M., 'Inforrnedia: Newson Demand Multimedia Information Acquisition and Retrieval,' Intelligent Multimedia Information Retrieval, Mark T. Maybury, Ed., AAAI Press, pp. 213-239, 1997
  15. 권성복, 조영우, 김영모, '구조화된 논리적 비디오를 이용한 비디오 브라우징 및 검색 시스템,' 한국 정보처리학회 논문지 제4권 6호 pp.1443-1452, 1997
  16. 류은숙, 이규철, '구조화된 비디오 문서의 데이타 모델 및 질이어와 색인 기법,' 한국멀티미디어학회 논문지, 제1권 1호, pp.1-17, 1998
  17. Yang Rui and Thomas Huang, 'Chapter 9.2:A Unified Framework for Video Browsing and Retrieval', in The Image and Video Processing Handbook edited by Alan Bovik, Academic Press, pp.705-715, 2000
  18. Srinivasan, U. and Riessen, G, 'A Video Data Model for Content-Based Search', Pro. the Eighth International Workshop on Database and Expert Systems (DEXA'.97), Toulouse, September 1997 https://doi.org/10.1109/DEXA.1997.617265
  19. Y. M. Park, Y. K Kim, S. I. Jin and W. Choi, 'Hierarchical Structure-based Metadata Model for Video Database Applications', ISCA COMPUTERS AND THEIR APPLICATIONS, pp.242-245, March. 1998
  20. 최지희, 용환승, '시간 관계성을 기반으로 한 비디오 데이타 모델의 설계 및 구현,' 한국멀티미디어학회 논문지, 제2권 3호, pp.252-264, 1999
  21. 윤미희, 윤용익, 김교정, '비디오의 의미검색과 유사성 검색을 위한 통합비디오정보시스템', 한국정보처리학회 논문지, 제6권 8호, pp.2031-2041, 1999
  22. Al Safadi, L.A.E and Getta, J.R., 'Semantic Modeling for Video Content-based Retrieval Systems', Computer Science Conference, 2000. ACSC 2000. 23rd Australasian, pp.2-9, 2000 https://doi.org/10.1109/ACSC.2000.824373
  23. Jia Ling Koh, Chin Sung Lee and Chen, A.L.P., 'Semantic video model for content-based retrieval', Pro. IEEE International Conference on Multimedia Computing andSystems, Vol.2, pp.472-478, 1999 https://doi.org/10.1109/MMCS.1999.778508
  24. M. Petkovic and W. Jonker, 'A Framework for Video Modeling', Pro. Eighteenth IASTED International Conference Applied Informatics, Innsbruck, Austria, February, 2000
  25. J.F. Allen, 'Maintaining knowledge about temporal intervals', Communications of ACM, Vol.26, No.11, pp.832-843, 1883 https://doi.org/10.1145/182.358434
  26. J. Z. Li, M. T. Ozsu, D. Szaforn, 'Modeling of Video Spatial Relationships in an Objectbase Management System', Pro. International Workshop on Multimedia DBMS, Blue Mountain Lake, NY, pp.124-133, 1996 https://doi.org/10.1109/MMDBMS.1996.541863