Journal of the Korean Society for information Management (정보관리학회지)

Korean Society for Information Management (한국정보관리학회)
권호 표지
DOI QR코드

DOI QR Code

An Experimental Study on the Effectiveness of Storyboard Surrogates in the Meanings Extraction of Digital Videos

비디오자료의 의미추출을 위한 영상초록의 효용성에 관한 실험적 연구

  • 김현희 (명지대학교 인문대학 문헌정보학과)
  • Published : 2007.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

This study is designed to assess whether storyboard surrogates are useful enough to be utilized for indexing sources as well as for metadata elements using 12 sample videos and 14 participants. Study shows that first, the match rates of index terms and summaries are significantly different according to video types, which means storyboard surrogates are especially useful for the type of videos of conveying their meanings mainly through images. Second, participants could assign subject keywords and summaries to digital video, sacrificing a little loss of full video clips' match rates. Moreover, the match rate of index terms (0.45) is higher than that of summaries (0.40). This means storyboard surrogates could be more useful for indexing videos rather than summarizing them. The study suggests that 1)storyboard surrogates can be used as sources for indexing and abstracting digital videos; 2) using storyboard surrogates along with other metadata elements (e.g., text-based abstracts) can be more useful for users' relevance judgement; and 3)storyboard surrogates can be utilized as match sources of image-based queries. Finally, in order to improve storyboard surrogates quality, this study proposes future studies: constructing key frame extraction algorithms and designing key frame arrangement models.

본 연구에서는 12개의 표본 비디오 집단과 14명의 피조사자들을 이용하여 영상 초록 및 전체 클립 보기를 통한 색인어 및 요약문 추출의 정확도를 측정해 보았다. 측정결과 첫째, 비디오 유형에 따라 정확도가 차이가 있는 것으로 나타났으며 이는 이미지에 주로 의존하여 정보를 표출하는 비디오의 경우 텍스트 초록만으로 의미 파악을 하기에는 한계가 있으며 텍스트 초록이 영상 초록과 함께 사용되었을 때 시너지 효과를 낼 수 있음을 보여주고 있다. 둘째, 영상초록의 색인어 및 요약문 정확도가 전체 클립의 정확도 보다 떨어지지만 절반치에 근접한 것으로 나타나 영상 초록이 비디오 의미 추출에 효율적으로 활용될 수 있음을 확인하였다. 또한 영상 초록의 색인어 정확도(0.45)가 요약문 정확도(0.40) 보다더 높게 나타나 영상초록을 통해서 색인어 추출 작업을 더 효율적으로 할 수 있음을 확인할 수 있었다. 이러한 실험결과에 기초하여 영상 초록이 색인어 또는 요약문 추출 작업에 활용될 수 있을 뿐만 아니라, 디지털도서관 환경에서 텍스트 초록과 같은 다른 메타데이터 요소들과 함께 사용된다면 이용자의 적합성 판정을 좀 더 용이하게 할 것이며, 더 나아가 영상 질의의 매칭 자료로도 이용될 수 있음을 제안하였다. 끝으로 영상 초록의 품질을 높이기 위한 키프레임 추출 알고리즘 및 키프레임 배열 모형 설계 등 후속 연구에 대해서 제언하였다.

Keywords

References

  1. 고영승, 주경수. 2005. MPEG-7 기반의의료영상 검색시스템 개발. 멀티미디어학회논문지, 8(8):1032-1041
  2. 김재우. 2002. 영상 기호의 의미 작용에 관한 연구. 동서언론. 6:41-67
  3. 김무규. 2006. 영화 영상에 관한 기호학적 이해의 문제점과 대안: '사이공간' 개념을 중심으로. 언론과학연구, 6(3); 65-98
  4. 황민선. 2005. 출판물과 출판물을 원작으로 하는 영상물의 매체 특성 비교 연구. 한국출판학연구48: 371-392
  5. Browne, P. and Smeaton, A. F. 2005. 'Video ret r ieval using dialogue, key fra me similarity and video objects.'ICIP 2005 - International Conference on Image Processing, Genova , Italy, 11-14
  6. Choi, Y. and Rasmussen, E.M. 2002. 'User's relevance criteria in image retrieval in American history .'Information Processing and Management, 38(5):695- 726 https://doi.org/10.1016/S0306-4573(01)00059-0
  7. Christel, M.G. et al. 2002. 'Collages as dynamic summa ries for news video .'In Proceedings of the 10th ACM International Conference on Multimedia( pp.561-569). New York: ACM Press
  8. Christel, M. G. and Warmack, A. 2001. 'The effect of text in storyboards for video navigation .'In Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing, Vol.3 (pp.1409-1412). New York: IEEE Press
  9. Hughes, A. et al. 2003'. Text or pictures? An eye - tracking study of how people view digital video surrogates.'In Proceedings of CIVR 2003 (pp.271-280)
  10. Li, F. et al. 2000. Browsing digital video. Proc. CHI '00, pp. 169-176
  11. Lyer, H. and Lewis, C. D. 2007. 'Prioritization strategies for vidoe storyboard key frames .' JASIST 58(5): 629-644 https://doi.org/10.1002/asi.20554
  12. Marchionini, G. and Geisler, G. 2002. 'The Open Video Digital Library .'D-Lib Magazine. 8(12). [cited 2006.4.25] https://doi.org/10.1045/december2002-marchionini
  13. Markku la, M. and Sormunen, E. 1998.' Searching for photos - journalistic practices in pictorial IR .'In: Eakins, J.P., et al. (Eds), The Challenge of Image Retrieval Newcaste upon Tyne, 5-6 Feb 1998. British Computer Society (BCS), Electronic Workshops in Computing
  14. Mu, X. and Marchionini, G. 2003. 'Enriched video semantic metadata: Authorization, integration, and presentation.' In Proceedings of the Annual Meeting of the American Society for Information Science and Technology(pp. 316-322). Silver Spring, MD: American Society for Information Science and Technology https://doi.org/10.1002/meet.1450400139
  15. Niblack, W. et al. 1997. 'Updates to the QBIC system .'Proceedings - SPIE The International Society for Optical Engineering Storage and Retrieval for Image and Video Database VI1997; Issue 3312, 150-161
  16. Robertson, G. et al. 1998. 'Data mountain: Using spatial memory for document management .' In Proceedings of the 11th Annual ACM Symposium on User Interface Software and Technology( pp. 153-162). New York: ACM Press
  17. Smeaton, A.F. and Browne, P. 2006. 'A usage study of retrieval modalities for video shot retrieval .'Information Processing and Management, 42(5):1330-1344 https://doi.org/10.1016/j.ipm.2005.11.003
  18. Smeaton, A. F. 2004. 'Indexing, browsing, and searching of digital video.'In Annual Review of Information Science and Technology Edited by Blaise Cronin, Vol.38: 371-407 https://doi.org/10.1002/aris.1440380109
  19. Stachowicz, C. 2002. The effectiveness of storyboard surrogates in the subject indexing of digital video. Master's Degree Thesis, Univ. of North Carolina, Chapel Hill
  20. Wildemuth, B.M. et al. 2002'. Alternative surrogates for video objects in a digital library: Users' perspectives on their relative usability .'In Proceedings of the 6th European Conference on Digital Libraries ( pp. 493-507). New York: Springer
  21. Yang, M. 2005. An exploration of users' video relevance criteria. Unpublished doctoral dissertation, University of North Carolinaat Chapel Hill
  22. Yang, M., Wi ldemuth, B., & Marchionini, G. 2004.'The relative effectiveness of concept-based versus content-based video retrieval.' Proceedings of the ACM Multimedia Conference, 368-371

Cited by

  1. Toward video semantic search based on a structured folksonomy 2011, https://doi.org/10.1002/asi.21482
  2. A Study on the Interactive Effect of Spoken Words and Imagery not Synchronized in Multimedia Surrogates for Video Gisting vol.45, pp.2, 2011, https://doi.org/10.4275/KSLIS.2011.45.2.097
  3. Design and evaluation of a key-frame arrangement framework for video storyboard surrogates vol.45, pp.1, 2009, https://doi.org/10.1002/meet.2008.1450450216