• 한국멀티미디어학회논문지
• /
• 제23권8호
• /
• pp.986-1005
• /
• 2020

In this paper, we propose AnoVid, an automated video annotation tool based on deep neural networks, that automatically generates various meta data for each scene or shot in a long drama video containing rich elements. To this end, a novel meta data schema for drama video is designed. Based on this schema, the AnoVid video annotation tool has a total of six deep neural network models for object detection, place recognition, time zone recognition, person recognition, activity detection, and description generation. Using these models, the AnoVid can generate rich video annotation data. In addition, AnoVid provides not only the ability to automatically generate a JSON-type video annotation data file, but also provides various visualization facilities to check the video content analysis results. Through experiments using a real drama video, "Misaeing", we show the practical effectiveness and performance of the proposed video annotation tool, AnoVid.

• 한국멀티미디어학회논문지
• /
• 제23권3호
• /
• pp.483-489
• /
• 2020

Advancements in mobile phone hardware and network connectivity made communication becoming more and more convenient. Compared to pictures or texts, people prefer to share videos to convey information. For intentions clearer, the way to annotating comments directly on the video are quite important issues. Recently there have been many attempts to make annotations on video. These previous works have many limitations that do not support user-defined handwritten annotations or annotating on local video. In this sense, we propose an augmented reality based real-time video annotation system which allowed users to make any annotations directly on the video freely. The contribution of this work is the development of a real-time video annotation system based on recent augmented reality platforms that not only enables annotating drawing geometry shape on video in real-time but also drastically reduces the production costs. For practical use, we proposed a real-time collaboration system based on the proposed annotation method. Experimental results show that the proposed annotation method meets the requirements of real-time, accuracy and robustness of the collaboration system.

• 한국전자통신학회논문지
• /
• 제9권7호
• /
• pp.739-745
• /
• 2014

지능형CCTV시스템 성능평가를 위한 영상취득 및 영상DB 구축 그리고 평가방안을 제시한다. 영상취득은 각 시나리오에 대하여 원거리, 중거리, 근거리 영역을 설정하여 취득하였다. 영상DB에는 영상녹화정보, 검출영역, 실측경보를 XML형식으로 기록한다. 본 논문에서는 영상DB 제작을 위한 효율적인 실측정보 기록을 위한 영상 주석도구를 제안한다. 영상 주석도구는 특정 영상에 대하여 실측정보를 기록하고 지능형CCTV시스템의 출력경보와 비교하여 검출 성능을 평가하는 기능을 포함한다.

• Educational Technology International
• /
• 제17권1호
• /
• pp.87-116
• /
• 2016

In this research, we designed a teacher professional development (PD) program where a small group of mathematics teachers could share, reflect on, and discuss their pedagogical knowledge and practices of ICT-integrated lessons, using a video annotation tool called DIVER. The main purposes of this paper are both micro and macro: to examine how the teachers were engaged in the meaning-making process in a video-based PD (micro); and to derive implications about how to design effective video-based teacher PD programs toward a teacher community of practices (macro). To examine teachers' meaning-making in the PD sessions, discourse data from a series of 10 meetings was segmented into idea units and coded to identify discourse patterns, focusing on (a) participation levels, (b) conversation topics, and (c) conversation depth. Regarding the affordance of DIVER, discourse patterns of two meetings, before and after individual annotation with DIVER were compared through qualitative vignette analysis. Overall, we found that the teacher discourse shifted the focus from surface features to deeper pedagogical issues as the PD sessions progressed. In particular, the annotation function in DIVER afforded the teachers to exercise descriptive analyses of video clips in a flexible manner, thereby helping them cognitively prepared to take interpretative and evaluative stances in face-to-face discussions with colleagues. In conclusion, deriving from our research experiences, we discuss the possibilities and challenges of designing video-based teacher PD in a school context.

• 지능정보연구
• /
• 제17권3호
• /
• pp.203-219
• /
• 2011

최근 인터넷이 가능한 컴퓨터뿐만 아니라 스마트TV, 스마트폰과 같은 장치를 통한 동영상 형태의 멀티미디어 소비가 증가함에 따라 단순히 시청만 하는 것이 아니라 동영상 콘텐츠 사용자들은 자신이 원하는 동영상 콘텐츠를 찾거나 동영상 콘텐츠에 등장하는 객체의 부가 정보를 브라우징 하고자 하는 요구가 증대되고 있다. 이러한 사용자의 요구를 충족시키기 위해서는 노동집약적인 어노테이션 작업이 불가피하다. 동영상 콘텐츠에 등장하는 객체에 직접 부가정보를 기술하는 키워드 기반 어노테이션 연구에서는 객체에 대한 관련 정보들을 어노테이션 데이터에 모두 포함시켜 대용량 데이터를 개별적으로 직접 관리해야 한다. 이러한 어노테이션 데이터를 이용하여 브라우징을 할 때, 어노테이션 데이터에 이미 포함 되어 있는 정보만 제한적으로 검색이 된다는 단점을 가지고 있다. 또한, 기존의 객체 기반 어노테이션에서는 어노테이션 작업량을 줄이기 위해 객체 검출 및 인식, 트래킹 등의 컴퓨터 비전 기술을 적용한 자동 어노테이션을 시도하고 있다. 그러나 다양한 종류의 객체를 모두 검출해내고 인식하여, 자동으로 어노테이션을 하기에는 현재까지의 기술로는 큰 어려움이 있다. 이러한 문제점들을 극복하고자 본 논문에서는 비디오 어노테이션 모듈과 브라우징 모듈로 구성되는 시스템을 제안한다. 시맨틱 데이터에 접근하기 위해 링크드 데이터를 이용하여 다수의 어노테이션을 수행하는 사용자들이 협업적으로 동영상 콘텐츠에 등장하는 객체에 대한 어노테이션을 수행 할 수 있도록 하는 어노테이션 모듈이다. 첫 번째는 어노테이션 서버에서 관리되는 어노테이션 데이터는 온톨로지 형태로 표현하여 다수의 사용자가 어노테이션 데이터를 쉽게 공유하고 확장 할 수 있도록 하였다. 특히 어노테이션 데이터는 링크드 데이터에 존재하는 객체의 URI와 동영상 콘텐츠에 등장하는 객체를 연결하기만 한다. 즉, 모든 관련 정보를 포함하고 있는 게 아니라 사용자의 요구가 있을 때, 해당 객체의 URI를 이용하여 링크드 데이터로부터 가져온다. 두 번째는 시청자들이 동영상 콘텐츠를 시청하는 중 관심 있는 객체에 대한 정보를 브라우징 하는 모듈이다. 이 모듈은 시청자의 간단한 상호작용을 통해 적절한 질의문을 자동으로 생성하고 관련 정보를 링크드 데이터로 부터 얻어 제공한다. 본 연구를 통해 시맨틱웹 환경에서 사용자의 상호작용을 통해 즉각적으로 관심 있는 객체의 부가적인 정보를 얻을 수 있도록 함으로써 향후 개선된 동영상 콘텐츠 서비스 환경이 구축 될 수 있기를 기대한다.

• 지능정보연구
• /
• 제21권1호
• /
• pp.83-98
• /
• 2015

TV를 보면서 방송에 관련된 정보를 검색하려는 많은 시청자들은 정보 검색을 위해 주로 포털 사이트를 이용하고 있으며, 무분별한 정보 속에서 원하는 정보를 찾기 위해 많은 시간을 소비하고 있다. 이와 같은 문제를 해결하기 위한 연구로써, 인터랙티브 비디오에 대한 연구가 활발하게 진행되고 있다. 인터랙티브 비디오는 일반적인 비디오에 추가 정보를 갖는 클릭 가능한 객체, 영역, 또는 핫스팟을 동시에 제공하여 사용자와 상호작용이 가능한 비디오를 말한다. 클릭 가능한 객체를 제공하는 인터랙티브 비디오를 저작하기 위해서는 첫째, 증강 객체를 생성하고, 둘째, 어노테이터가 비디오 위에 클릭 가능한 객체의 영역과 객체가 등장할 시간을 지정하고, 셋째, 객체를 클릭할 때 사용자에게 제공할 추가 정보를 지정하는 과정을 인터랙티브 비디오 저작 도구를 이용하여 수행한다. 그러나 기존의 저작 도구를 이용하여 인터랙티브 비디오를 저작할 때, 객체의 영역과 등장할 시간을 지정하는데 많은 시간을 소비하고 있다. 본 논문에서는 이와 같은 문제를 해결하기 위해 유사한 샷들의 모임인 샷 시퀀스의 모든 샷에서 얼굴 영역을 검출한 샷 시퀀스 메타데이터 모델과 객체의 어노테이션 결과를 저장할 인터랙티브 오브젝트 메타데이터 모델, 그리고 어노테이션 후 발생될 수 있는 부정확한 객체의 위치 문제를 보완할 사용자 피드백 모델을 적용한 얼굴영역을 기반으로 하는 새로운 형태의 어노테이션 방법을 제안한다. 마지막으로 제안한 어노테이션 방법의 성능을 검증하기 위해서 인터랙티브 비디오 저작 시스템을 구현하여 기존의 저작도구들과 저작 시간을 비교하였고, 사용자 평가를 진행 하였다. 비교 분석 결과 평균 저작 시간이 다른 저작 도구에 비해 2배 감소하였고, 사용자 평가 결과 약 10% 더 유용한다고 평가 되었다.

• 한국컴퓨터정보학회논문지
• /
• 제5권3호
• /
• pp.99-105
• /
• 2000

비디오는 broadcasting, 교육, 출판과 군사 등 다양한 응용들과 함께 멀티미디어 컴퓨팅과 통신 환경의 중요한 요소가 되었다. 멀티미디어 데이터 검색을 위한 효과적인 방법의 필요성은 대용량의 멀티미디어 응용들에서 날로 증가하고 있다. 따라서, 비디오 데이터의 검색과 표현은 비디오 데이터베이스에서 주요 연구 이슈 중에 하나가 되었다. 비디오 데이터의 표현 방법으로 주로 2가지 접근 방법이 있다: (1) 내용 기반 비디오 검색 과 (2) 주석 기반 비디오 검색. 이 논문은 의미 기반 주석을 이용한 비디오 검색 시스템을 설계하고 구현한다.

• 한국산학기술학회논문지
• /
• 제7권6호
• /
• pp.1129-1133
• /
• 2006

본 논문에서는 대용량의 비디오 데이터에 대한 사용자의 다양한 의미검색을 지원하는 의미기반 비디오 검색 시스템을 제안한다. 제안하는 시스템은 주석기반 검색과 특징기반 검색을 통합한 에이전트를 이용하여 비디오 데이터의 내용 정보 추출 및 검색 과정을 자동으로 처리한다. 설계하고 구현한 시스템은 실험을 통한 성능 평가에서 비디오 데이터의 장면 검색에 대하여 기존 시스템 보다 재현율과 정확률의 증가를 보였다.

• 한국IT서비스학회지
• /
• 제12권1호
• /
• pp.271-287
• /
• 2013

The rapid growth and dissemination of touch-based mobile devices such as smart phones and tablet PCs, gives numerous benefits to people using a variety of multimedia contents. Due to its portability, it enables users to watch a soccer game, search video from YouTube, and sometimes tag on contents on the road. However, the limited screen size of mobile devices and touch-based character input methods based on this, are still major problems of searching and tagging multimedia contents. In this paper, we propose WalkieTagging, which provides a much more intuitive way than that of previous one. Just like any other previous video tagging services, WalkieTagging, as a voice-based annotation service, supports inserting detailed annotation data including start time, duration, tags, with little effort of users. To evaluate our methods, we developed the Android-based WalkieTagging application and performed user study via a two-week. Through our experiments by a total of 46 people, we observed that experiment participator think our system is more convenient and useful than that of touch-based one. Consequently, we found out that voice-based annotation methods can provide users with much convenience and satisfaction than that of touch-based methods in the mobile environments.

• 전자공학회논문지CI
• /
• 제41권4호
• /
• pp.95-102
• /
• 2004

비디오 데이터를 효율적으로 처리하기 위해서는 비디오 데이터가 가지고 있는 내용에 대한 정보를 데이터베이스에 저장하고 사용자들의 다양한 질의를 처리할 수 있는 의미기반 검색 기법이 요구된다. 기존의 내용기반 비디오 검색 시스템들은 주석기반 검색 또는 특징기반 검색과 같은 단일 방식으로만 검색을 하므로 검색 효율이 낮을 뿐 아니라 완전한 자동 처리가 되지 않아 시스템 관리자나 주석자의 많은 노력을 요구한다. 본 논문에서는 주석기반 검색과 특징기반 검색을 이용하여 대용량의 비디오 데이터에 대한 사용자의 다양한 의미검색을 지원하는 에이전트 기반에서의 자동화되고 통합된 비디오 의미기반 검색시스템을 제안한다. 사용자의 기본적인 질의와 질의에 의해 추출된 키 프레임의 이미지를 선택함으로써 에이전트는 추출된 키 프레임의 주석에 대한 의미를 더욱 구체화시킨다. 또한, 사용자에 의해 선택된 키 프레임은 질의 이미지가 되어 제안하는 특징기반 검색 기법과 최적 비교 영역 추출을 통해 가장 유사한 키 프레임을 검색한다. 따라서 의미기반 검색을 통해 비디오 데이터의 검색의 효율을 높일 수 있도록 시스템을 제안한다.