DOI QR코드

DOI QR Code

온톨로지 및 순서 규칙 기반 대용량 스트리밍 미디어 이벤트 인지

Ontology and Sequential Rule Based Streaming Media Event Recognition

  • 투고 : 2015.11.24
  • 심사 : 2016.01.24
  • 발행 : 2016.04.15

초록

UCC(User Created Contents) 형태의 다양한 영상 미디어 데이터가 증가함에 따라 의미 있는 서비스를 제공하기 위해 많은 분야에서 활발한 연구가 진행 중이다. 그 중 시맨틱 웹 기반의 미디어 분류에 대한 연구가 진행되고 있지만 기존의 미디어 온톨로지는 메타 정보를 이용하기 때문에 정보의 부재에 따른 한계점이 있다. 따라서 본 논문에서는 영상에서 인지되는 객체를 정하고 그 조합으로 구성된 서술 논리 기반의 온톨로지를 구축하고 영상의 장면에 따른 순서 기반의 규칙을 정의하여 이벤트 인지에 대한 기틀을 제안한다. 또한 증가하는 미디어 데이터에 대한 처리를 위해 분산 인-메모리 기반 프레임워크인 아파치 스파크 스트리밍을 이용하여, 영상 분류를 병렬로 처리하는 방법에 대해 설명한다. 유튜브에서 추출한 영상을 대상으로 대용량 미디어 온톨로지 데이터를 생성하고, 이를 이용하여 제시된 기법에 대한 성능 평가를 진행하여 타당성을 입증한다.

As the number of various types of media data such as UCC (User Created Contents) increases, research is actively being carried out in many different fields so as to provide meaningful media services. Amidst these studies, a semantic web-based media classification approach has been proposed; however, it encounters some limitations in video classification because of its underlying ontology derived from meta-information such as video tag and title. In this paper, we define recognized objects in a video and activity that is composed of video objects in a shot, and introduce a reasoning approach based on description logic. We define sequential rules for a sequence of shots in a video and describe how to classify it. For processing the large amount of increasing media data, we utilize Spark streaming, and a distributed in-memory big data processing framework, and describe how to classify media data in parallel. To evaluate the efficiency of the proposed approach, we conducted an experiment using a large amount of media ontology extracted from Youtube videos.

키워드

참고문헌

  1. C. Szegedy, A. Troshev, and D. Erhan, "Deep neural networks for object detection," Aduances in Neural Information Processing Systems, pp. 2553-2561, 2013.
  2. D. Li, IK. Seth, N. Dimitrova, and T. McGee, "Classification of general audio data for content-based retrieval," Pattern recognition letters, Vol. 22, No.5, pp. 533-544, 2001. https://doi.org/10.1016/S0167-8655(00)00119-7
  3. MI. Mandel, DPW. Ellis, "Song-level features and support vector machines for music classification," ISMIR 2005: 6th International Conference on Music Information Retrieual, pp.594-599, 2005.
  4. O. Ulusoy, "An Ontology-driven video annotation and retrieval system" Doctoral dissertation: Middle East Technical Uniuersity, 2010.
  5. P. Kannan, PS. Bala, and G. Aghila, "A comparative study of multimedia retrieval using ontology for semantic web," Aduances in Engineering, Science and Management (ICAESM), 2012 International Conference on. IEEE, pp.400-405, 2012.
  6. M. Krotzsch, F. Simancik, and I. Horrocks, "A description logic primer," Computing Research Repository (CoRR) abs/1201.4089, 2012.
  7. E. Sirin, B. Parsia, BC. Grau, A. Kalyanpur, and Y. katz, "Pellet: A practical owl-dl reasoner," Web Semantics: science, seruices and agents on the World Wide Web 5.2, pp. 51-53, 2007.
  8. M. Zaharia, T. Das, H. Li, S. Shenker, and I. Stoica, "Discretized streams: an efficient and fault-tolerant model for stream processing on large clusters," Proc. of the 4th USENIX conference on Hot Topics in Cloud Ccomputing. USENIX Association, pp. 10-10, 2012.
  9. R. Moller, and B. Neumann, "Ontology-based reasoning techniques for multimedia interpretation and retrieval," pp. 55-98, Springer London, 2008.