A Collaborative Video Annotation and Browsing System using Linked Data

Previously common users just want to watch the video contents without any specific requirements or purposes. However, in today's life while watching video user attempts to know and discover more about things that appear on the video. Therefore, the requirements for finding multimedia or browsing information of objects that users want, are spreading with the increasing use of multimedia such as videos which are not only available on the internet-capable devices such as computers but also on smart TV and smart phone. In order to meet the users. requirements, labor-intensive annotation of objects in video contents is inevitable. For this reason, many researchers have actively studied about methods of annotating the object that appear on the video. In keyword-based annotation related information of the object that appeared on the video content is immediately added and annotation data including all related information about the object must be individually managed. Users will have to directly input all related information to the object. Consequently, when a user browses for information that related to the object, user can only find and get limited resources that solely exists in annotated data. Also, in order to place annotation for objects user's huge workload is required. To cope with reducing user's workload and to minimize the work involved in annotation, in existing object-based annotation automatic annotation is being attempted using computer vision techniques like object detection, recognition and tracking. By using such computer vision techniques a wide variety of objects that appears on the video content must be all detected and recognized. But until now it is still a problem facing some difficulties which have to deal with automated annotation. To overcome these difficulties, we propose a system which consists of two modules. The first module is the annotation module that enables many annotators to collaboratively annotate the objects in the video content in order to access the semantic data using Linked Data. Annotation data managed by annotation server is represented using ontology so that the information can easily be shared and extended. Since annotation data does not include all the relevant information of the object, existing objects in Linked Data and objects that appear in the video content simply connect with each other to get all the related information of the object. In other words, annotation data which contains only URI and metadata like position, time and size are stored on the annotation sever. So when user needs other related information about the object, all of that information is retrieved from Linked Data through its relevant URI. The second module enables viewers to browse interesting information about the object using annotation data which is collaboratively generated by many users while watching video. With this system, through simple user interaction the query is automatically generated and all the related information is retrieved from Linked Data and finally all the additional information of the object is offered to the user. With this study, in the future of Semantic Web environment our proposed system is expected to establish a better video content service environment by offering users relevant information about the objects that appear on the screen of any internet-capable devices such as PC, smart TV or smart phone.

링크드 데이터를 이용한 협업적 비디오 어노테이션 및 브라우징 시스템

최근 인터넷이 가능한 컴퓨터뿐만 아니라 스마트TV, 스마트폰과 같은 장치를 통한 동영상 형태의 멀티미디어 소비가 증가함에 따라 단순히 시청만 하는 것이 아니라 동영상 콘텐츠 사용자들은 자신이 원하는 동영상 콘텐츠를 찾거나 동영상 콘텐츠에 등장하는 객체의 부가 정보를 브라우징 하고자 하는 요구가 증대되고 있다. 이러한 사용자의 요구를 충족시키기 위해서는 노동집약적인 어노테이션 작업이 불가피하다. 동영상 콘텐츠에 등장하는 객체에 직접 부가정보를 기술하는 키워드 기반 어노테이션 연구에서는 객체에 대한 관련 정보들을 어노테이션 데이터에 모두 포함시켜 대용량 데이터를 개별적으로 직접 관리해야 한다. 이러한 어노테이션 데이터를 이용하여 브라우징을 할 때, 어노테이션 데이터에 이미 포함 되어 있는 정보만 제한적으로 검색이 된다는 단점을 가지고 있다. 또한, 기존의 객체 기반 어노테이션에서는 어노테이션 작업량을 줄이기 위해 객체 검출 및 인식, 트래킹 등의 컴퓨터 비전 기술을 적용한 자동 어노테이션을 시도하고 있다. 그러나 다양한 종류의 객체를 모두 검출해내고 인식하여, 자동으로 어노테이션을 하기에는 현재까지의 기술로는 큰 어려움이 있다. 이러한 문제점들을 극복하고자 본 논문에서는 비디오 어노테이션 모듈과 브라우징 모듈로 구성되는 시스템을 제안한다. 시맨틱 데이터에 접근하기 위해 링크드 데이터를 이용하여 다수의 어노테이션을 수행하는 사용자들이 협업적으로 동영상 콘텐츠에 등장하는 객체에 대한 어노테이션을 수행 할 수 있도록 하는 어노테이션 모듈이다. 첫 번째는 어노테이션 서버에서 관리되는 어노테이션 데이터는 온톨로지 형태로 표현하여 다수의 사용자가 어노테이션 데이터를 쉽게 공유하고 확장 할 수 있도록 하였다. 특히 어노테이션 데이터는 링크드 데이터에 존재하는 객체의 URI와 동영상 콘텐츠에 등장하는 객체를 연결하기만 한다. 즉, 모든 관련 정보를 포함하고 있는 게 아니라 사용자의 요구가 있을 때, 해당 객체의 URI를 이용하여 링크드 데이터로부터 가져온다. 두 번째는 시청자들이 동영상 콘텐츠를 시청하는 중 관심 있는 객체에 대한 정보를 브라우징 하는 모듈이다. 이 모듈은 시청자의 간단한 상호작용을 통해 적절한 질의문을 자동으로 생성하고 관련 정보를 링크드 데이터로 부터 얻어 제공한다. 본 연구를 통해 시맨틱웹 환경에서 사용자의 상호작용을 통해 즉각적으로 관심 있는 객체의 부가적인 정보를 얻을 수 있도록 함으로써 향후 개선된 동영상 콘텐츠 서비스 환경이 구축 될 수 있기를 기대한다.