• 대한임베디드공학회논문지
• /
• 제17권6호
• /
• pp.347-353
• /
• 2022

In this paper, we propose a method that performs a text-video retrieval model by replacing video properties using captions. In general, the exisiting embedding-based models consist of both joint embedding space construction and the CNN-based video encoding process, which requires a lot of computation in the training as well as the inference process. To overcome this problem, we introduce a video-captioning module to replace the visual property of video with captions generated by the video-captioning module. To be specific, we adopt the caption generator that converts candidate videos into captions in the inference process, thereby enabling direct comparison between the text given as a query and candidate videos without joint embedding space. Through the experiment, the proposed model successfully reduces the amount of computation and inference time by skipping the visual processing process and joint embedding space construction on two benchmark dataset, MSR-VTT and VATEX.

• International Journal of Computer Science & Network Security
• /
• 제21권8호
• /
• pp.87-96
• /
• 2021

The demand for e-learning through video lectures is rapidly increasing due to its diverse advantages over the traditional learning methods. This led to massive volumes of web-based lecture videos. Indexing and retrieval of a lecture video or a lecture video topic has thus proved to be an exceptionally challenging problem. Many techniques listed by literature were either visual or audio based, but not both. Since the effects of both the visual and audio components are equally important for the content-based indexing and retrieval, the current work is focused on both these components. A framework for automatic topic-based indexing and search depending on the innate content of the lecture videos is presented. The text from the slides is extracted using the proposed Merged Bounding Box (MBB) text detector. The audio component text extraction is done using Google Speech Recognition (GSR) technology. This hybrid approach generates the indexing keywords from the merged transcripts of both the video and audio component extractors. The search within the indexed documents is optimized based on the Naïve Bayes (NB) Classification and K-Means Clustering models. This optimized search retrieves results by searching only the relevant document cluster in the predefined categories and not the whole lecture video corpus. The work is carried out on the dataset generated by assigning categories to the lecture video transcripts gathered from e-learning portals. The performance of search is assessed based on the accuracy and time taken. Further the improved accuracy of the proposed indexing technique is compared with the accepted chain indexing technique.

• International Journal of Contents
• /
• 제2권1호
• /
• pp.22-28
• /
• 2006

In this paper, we propose new semantic contents modeling using individual features, associative relations and visual features for efficiently supporting browsing and retrieval of video semantic contents. And we implement and design a browsing and retrieval system based on the semantic contents modeling. The browsing system supports annotation based information, keyframe based visual information, associative relations, and text based semantic information using a tree based browsing technique. The retrieval system supports text based retrieval, visual feature and associative relations according to the retrieval types of semantic contents.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권7호
• /
• pp.2407-2424
• /
• 2022

Recently, Transformer has made great progress in video retrieval tasks due to its high representation capability. For the structure of a Transformer, the cascaded self-attention modules are capable of capturing long-distance feature dependencies. However, the local feature details are likely to have deteriorated. In addition, increasing the depth of the structure is likely to produce learning bias in the learned features. In this paper, an improved Transformer structure named TransDCS (Transformer with Dynamic Convolution and Shortcut) is proposed. A Multi-head Conv-Self-Attention module is introduced to model the local dependencies and improve the efficiency of local features extraction. Meanwhile, the augmented shortcuts module based on a dual identity matrix is applied to enhance the conduction of input features, and mitigate the learning bias. The proposed model is tested on MSRVTT, LSMDC and Activity-Net benchmarks, and it surpasses all previous solutions for the video-text retrieval task. For example, on the LSMDC benchmark, a gain of about 2.3% MdR and 6.1% MnR is obtained over recently proposed multimodal-based methods.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제34권7호
• /
• pp.646-654
• /
• 2007

최근 많은 TV 영상에서 시청자의 시각적 편의와 이해를 고려하여 자막을 삽입하는 경우가 늘어나고 있다. 본 논문에서는 자막을 비디오 내 하단부에 위치하는 인위적으로 추가된 글자 영역으로 정의한다. 이러한 자막 영역의 추출은 비디오 정보 검색(video information retrieval)이나 비디오 색인(video indexing)과 같은 응용에서 글자 추출을 위한 첫 단계로 널리 쓰인다. 기존의 자막 영역 추출은 자막의 색, 자막과 배경의 자기 대비, 에지(edge), 글자 필터 등을 이용한 방법을 사용하였다. 그러나 비디오 영상내 자막이 갖는 낮은 해상도와 복잡한 배경으로 인해 자막 추출에 어려움이 있다. 이에 본 논문은 코너검출기(corner detector)를 이용한 효율적인 비디오 자막 영역 추출 방법을 제안하고자 한다. 제안하는 알고리즘은 해리스 코너 검출기를 이용한 코너 맵 생성, 코너 밀도를 이용한 자막 영역 후보군 추출, 레이블링(labeling)을 이용한 최종 자막 영역 결정, 노이즈(noise) 제거 및 영역 채우기의 네 단계로 구성된다. 제안하는 알고리즘은 색 정보를 이용하지 않기 때문에 여러 가지 색으로 표현되는 자막 영역 추출에 적용가능하며 글자 모양이 아닌 글자의 코너를 이용하기 때문에 언어의 종류에 관계없이 사용 될 수 있다. 또한 프레임간 자막 영역 업데이트를 통해 자막 영역 추출의 효율을 높였다. 다양한 영상에 대한 실험을 통해 제안하는 알고리즘이 효율적인 비디오 자막 영역 추출 방법임을 보이고자 한다.

• 한국정보과학회논문지:데이타베이스
• /
• 제30권3호
• /
• pp.237-251
• /
• 2003

이 논문에서는 비디오 데이타의 논리적 구조와 의미적 내용을 효과적으로 검색하기 위한 비디오 검색 시스템을 제안한다. 제안하는 검색 시스템은 비정형화된 비디오 데이타를 원시 데이타 계층, 내용 계층 그리고 키프레임 계층의 세 계층으로 구성하는 계층화된 모델링을 사용한다. 계층화된 모델링에 존재하는 내용 계층은 비디오 데이타에 대한 논리적인 계층 구조와 의미적 내용을 표현한다. 제안하는 검색 시스템은 모델링에 따라 텍스트 기반의 검색은 물론 시각적인 특징 기반의 유사도 검색을 지원한다. 또한 시공간 관계에 기반한 의미적 내용 검색과 유사도 검색을 지원한다.

• 전자공학회논문지CI
• /
• 제46권4호
• /
• pp.127-133
• /
• 2009

최근 멀티미디어 정보의 양이 빠른 속도로 증가함에 따라 비디오 자료에 대한 효율적 관리는 더욱 중요한 의미를 가지게 되었다. 특히 비디오는 대용량적인 특성과 비정형적인 특성을 가지고 있어 신속하고 효율적으로 비디오 검색을 하기 위해서는 정확한 특징 정보를 추출하여 비디오 색인 구조를 구축해야 한다. 그리고 비디오 색인 구조는 사용자의 선호도가 반영되어 관심있는 콘텐츠를 효과적으로 검색할 수 있도록 지원되어야 한다. 이를 위해 본 논문에서는 사용자 선호도를 고려한 의미기반 비디오 검색 방법을 제안한다. 기존의 방법의 사용자 선호도를 고려하지 않는 단점이 있고, 사용자의 질의에 대하여 단순히 텍스트 매칭한 결과를 보여주기 때문에 의미적 검색을 지원하지 못한다. 이러한 한계를 극복하기 위해 본 논문에서는 사용자 선호도 분석 방법을 개발하고, 의미적 검색을 위한 비디오 온톨로지 구성 방법을 제시한다. 실험 결과 사용자 선호도를 정확히 분석하고, 장면에 포함된 객체와 움직임 단위의 의미적 인덱싱 구조를 구성하므로, 기존의 방법 보다 더 나은 검색 성능을 보인다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.384-389
• /
• 2008

최근 동영상을 저장하거나 효과적으로 검색하는 시스템의 필요성이 증가하고 있다. 기존 동영상 검색 시스템은 메뉴나 텍스트 기반의 키워드로 동작하는데, 검색을 위한 정보가 빈약하여 많은 동영상이 동시에 검색되는 경우가 많고, 사용자가 해당 시스템을 사용하기 위한 지식이 필요하다. 본 논문에서는 키워드 기반 질의에 비해 사용자의 의도나 다양한 정보를 포함 할 수 있고 이벤트나 사람 뿐 아니라 인간의 기본적인 행동까지 검색하는 자연어 질의 기반 동영상 검색 시스템을 제안한다. 먼저, 사무실에서 수집된 동영상에 대한 도메인 분석을 통해 메타데이터로 이벤트 데이터베이스를 구축하고, 해당 영역에서의 사용자 질의에 대한 전처리 과정과 분석 작업을 통해 스크립트 데이터베이스를 구축한다. 이렇게 구축된 시스템을 바탕으로 대화형 질의와 답변 쌍 매칭을 통해 동영상을 검색한다. 10명의 사용자를 대상으로 메뉴 기반 검색 시스템과의 성능 평가와 프로세스 평가 비교 검증을 통해, 성능이나 사용자 만족도면에서 제안하는 시스템이 우수함을 보였다.

• 농촌지도와개발
• /
• 제16권2호
• /
• pp.463-486
• /
• 2009

The purpose of this study was to find out the differences of preferences in e-Learning contents delivery types according to information searching retrieval ability in agricultural high school students. Contents delivery types are limited three kinds which are HTML type, video type, and text type and need to know about differences. The following summarizes the results of this study. On the preference of e-Learning contents delivery type on information searching retrieval ability had differences. High level group of information searching retrieval ability showed that they mostly preferred text contents delivery type. However, low level group of information searching retrieval ability showed that they preferred video contents delivery type. The results support our belief that there could be the differences in preferences in e-Learning delivery types with students' information searching retrieval abilities. We suggest that delivery types of e-Learning should be based on the students not on designers and developers.

• 정보관리학회지
• /
• 제26권4호
• /
• pp.113-128
• /
• 2009

일반적으로 동영상콘텐츠에 대한 탐색과정에서 이용자는 해당 기관 또는 사이트에서 제공하는 간단하게 요약한 요약 동영상과 텍스트 정보를 이용하여 원하는 동영상을 선택한다. 이러한 이용자의 동영상콘텐츠 의 탐색과정에서의 정확하고 신속한 동영상콘텐츠의 검색을 위하여 본 연구에서는 동영상을 구성하는 자막과 이미지 정보를 이용하여 동영상을 내용에 따라 여러 개의 클립으로 구분하고, 이용자의 필요에 따라 원하는 클립을 빠르게 검색하여 제공하는 시스템을 제안한다. 동영상콘텐츠 및 관련 메타데이터의 관리 및 제어를 위해서 본 연구에서는 XML 계층구조를 생성하여 저장한다. 한편, 이용자의 검색 요청시 XML을 기반으로 동영상콘텐츠의 계층구조를 반영하는 Xpath를 생성하여 질의처리를 수행함으로써 이용자가 원하는 동영상콘텐츠에 대한 검색결과를 제공한다. 제안된 방법을 기반으로 본 연구에서는 XML 계층구조를 이용한 동영상 검색 시스템을 설계하고 구현하였다.