• 제목/요약/키워드: Key-frame selection

검색결과 38건 처리시간 0.023초

의미기반 비디오 검색을 위한 인덱싱 에이전트의 설계 (Design of Indexing Agent for Semantic-based Video Retrieval)

  • 이종희;오해석
    • 정보처리학회논문지B
    • /
    • 제10B권6호
    • /
    • pp.687-694
    • /
    • 2003
  • 최근 멀티미디어 정보의 양이 매우 빠른 속도로 증가함에 따라 비디오 데이터에 대한 다양한 검색은 더욱 중요한 의미를 가지게 되었다. 비디오 데이터를 효율적으로 처리하기 위해서는 비디오 데이터가 가지고 있는 내용에 대한 정보를 데이터베이스에 저장하고 사용자들의 다양한 질의를 처리할 수 있는 의미기반 검색 기법이 요구된다. 기존의 내용기반 비디오 검색 시스템들은 주석기반 검색 또는 특징기반 검색과 같은 단일 방식으로만 검색을 하므로 검색 효율이 낮을 뿐 아니라 완전한 자동 처리가 되지 않아 시스템 관리자나 주석자의 많은 노력을 요구한다. 본 논문에서는 주석기반 검색과 특징기반 검색을 이용하여 대용량의 비디오 데이터에 대한 사용자의 다양한 의미검색을 지원하는 에이전트 기반에서의 자동화되고 통합된 비디오 의미기반 검색 시스템을 제안한다. 사용자의 기본적인 질의와 질의에 의해 추출된 키 프레임의 이미지를 선택함으로써 에이전트는 추출된 키 프레임의 주석에 대한 의미를 더욱 구체화시킨다. 또한, 사용자에 의해 선택된 키 프레임은 질의 이미지가 되어 제안하는 특징기반 검색기법을 통해 가장 유사한 키 프레임을 검색한다. 따라서 의미기반 검색을 통해 비디오 데이터의 검색의 효율을 높일 수 있도록 시스템을 설계한다.

Why Gabor Frames? Two Fundamental Measures of Coherence and Their Role in Model Selection

  • Bajwa, Waheed U.;Calderbank, Robert;Jafarpour, Sina
    • Journal of Communications and Networks
    • /
    • 제12권4호
    • /
    • pp.289-307
    • /
    • 2010
  • The problem of model selection arises in a number of contexts, such as subset selection in linear regression, estimation of structures in graphical models, and signal denoising. This paper studies non-asymptotic model selection for the general case of arbitrary (random or deterministic) design matrices and arbitrary nonzero entries of the signal. In this regard, it generalizes the notion of incoherence in the existing literature on model selection and introduces two fundamental measures of coherence-termed as the worst-case coherence and the average coherence-among the columns of a design matrix. It utilizes these two measures of coherence to provide an in-depth analysis of a simple, model-order agnostic one-step thresholding (OST) algorithm for model selection and proves that OST is feasible for exact as well as partial model selection as long as the design matrix obeys an easily verifiable property, which is termed as the coherence property. One of the key insights offered by the ensuing analysis in this regard is that OST can successfully carry out model selection even when methods based on convex optimization such as the lasso fail due to the rank deficiency of the submatrices of the design matrix. In addition, the paper establishes that if the design matrix has reasonably small worst-case and average coherence then OST performs near-optimally when either (i) the energy of any nonzero entry of the signal is close to the average signal energy per nonzero entry or (ii) the signal-to-noise ratio in the measurement system is not too high. Finally, two other key contributions of the paper are that (i) it provides bounds on the average coherence of Gaussian matrices and Gabor frames, and (ii) it extends the results on model selection using OST to low-complexity, model-order agnostic recovery of sparse signals with arbitrary nonzero entries. In particular, this part of the analysis in the paper implies that an Alltop Gabor frame together with OST can successfully carry out model selection and recovery of sparse signals irrespective of the phases of the nonzero entries even if the number of nonzero entries scales almost linearly with the number of rows of the Alltop Gabor frame.

An eigenspace projection clustering method for structural damage detection

  • Zhu, Jun-Hua;Yu, Ling;Yu, Li-Li
    • Structural Engineering and Mechanics
    • /
    • 제44권2호
    • /
    • pp.179-196
    • /
    • 2012
  • An eigenspace projection clustering method is proposed for structural damage detection by combining projection algorithm and fuzzy clustering technique. The integrated procedure includes data selection, data normalization, projection, damage feature extraction, and clustering algorithm to structural damage assessment. The frequency response functions (FRFs) of the healthy and the damaged structure are used as initial data, median values of the projections are considered as damage features, and the fuzzy c-means (FCM) algorithm are used to categorize these features. The performance of the proposed method has been validated using a three-story frame structure built and tested by Los Alamos National Laboratory, USA. Two projection algorithms, namely principal component analysis (PCA) and kernel principal component analysis (KPCA), are compared for better extraction of damage features, further six kinds of distances adopted in FCM process are studied and discussed. The illustrated results reveal that the distance selection depends on the distribution of features. For the optimal choice of projections, it is recommended that the Cosine distance is used for the PCA while the Seuclidean distance and the Cityblock distance suitably used for the KPCA. The PCA method is recommended when a large amount of data need to be processed due to its higher correct decisions and less computational costs.

영역 정보를 이용한 비디오 데이터의 카메라 모션 검출 및 대표 프레임 선택 방법 (Camera Motion Detection and Key-Frame Selection from Region-Based Video Data)

  • 이용현;강행봉;박용진
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
    • /
    • pp.315-317
    • /
    • 1998
  • 많은 양의 비디오 데이터가 디지털화 되면서 사용자가 쉽게 자신이 원하는 비디오 데이터를 검색할 수 있는 내용 기반 검색이 필요하게 되었다. 내용 기반 검색을 위해서는 비디오 데이터를 연속된 카메라 모션으로 구성된 셧으로 나누고, 셧의 내용을 대표 할 수 있는 대표 프레임을 찾아야 한다. 대표 프레임은 비디오 데이터의 요약과 색인의 중요한 수단이다. 본 논문에서는 셧의 내용 기반으로 대표 프레임을 찾기 위해서 프레임에 존재하는 영역 정보를 바탕으로 셧의 내용을 알 수 있는 핵심 정보인 카메라 모션을 검출 하고, 이를 기반으로 대표 프레임을 선택하는 방법을 제안한다.

  • PDF

자막의 구조적 특징을 이용한 축구 비디오 하이라이트 생성 (Creation of Soccer Video Highlight Using The Structural Features of Caption)

  • 허문행;신성윤;이양원;류근호
    • 정보처리학회논문지D
    • /
    • 제10D권4호
    • /
    • pp.671-678
    • /
    • 2003
  • 디지털 비디오는 대용량의 저장 공간을 필요로 하는 시간적으로 매우 긴 데이터이다. 따라서 사용자들은 대용량의 긴 비디오를 시청하기 전에 사전에 제작된 요약된 비디오를 시청하고 싶어 한다. 특히, 스포츠 비디오 분야에서는 하이라이트 비디오를 시청하고자 한다. 결과적으로 하이라이트 비디오는 사용자들이 비디오를 시청하고자 할 경우 그 비디오가 시청할 가치가 있는지를 결정하는데 사용된다. 본 논문에서는 자막의 구조적 특징을 이용하여 축구 비디오 하이라이트를 생성하는 방법을 제시한다. 자막의 구조적 특징은 자막이 갖는 시간적 특징과 공간적 특징으로서 이러한 구조적 특징을 이용하여 자막 프레임 구간과 자막 키 프레임을 추출한다. 그리고 하이라이트 비디오는 자막 키 프레임들에 대한 장면 재설정과 논리적 색인화 및 하이라이트 생성 규칙을 이용하여 생성한다. 마지막으로, 브라우저를 통한 사용자의 항목 선택에 의하여 하이라이트 비디오와 비디오 세그먼트에 대한 검색과 브라우징을 수행할 수 있다.

Efficient and Precise Construction of Markerless Manipulations in the Bacillus subtilis Genome

  • Yu, Haojie;Yan, Xin;Shen, Weiliang;Shen, Yujia;Zhang, Ji;Li, Shunpeng
    • Journal of Microbiology and Biotechnology
    • /
    • 제20권1호
    • /
    • pp.45-53
    • /
    • 2010
  • We have developed an efficient and precise method for genome manipulations in Bacillus subtilis that allows rapid alteration of a gene sequence or multiple gene sequences without altering the chromosome in any other way. In our approach, the Escherichia coli toxin gene mazF, which was used as a counter-selectable marker, was placed under the control of a xylose-inducible expression system and associated with an antibiotic resistance gene to create a "mazF-cassette". A polymerase chain reaction (PCR)-generated fragment, consisting of two homology regions joined to the mazF-cassette, was integrated into the chromosome at the target locus by homologous recombination, using positive selection for antibiotic resistance. Then, the excision of the mazF-cassette from the chromosome by a single-crossover event between two short directly repeated (DR) sequences, included in the design of the PCR products, was achieved by counter-selection of mazF. We used this method efficiently and precisely to deliver a point mutation, to inactivate a specific gene, to delete a large genomic region, and to generate the in-frame deletion with minimal polar effects in the same background.

An Efficient Downlink MAC Protocol for Multi-User MIMO WLANs

  • Liu, Kui;Li, Changle;Guo, Chao;Chen, Rui
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권9호
    • /
    • pp.4242-4263
    • /
    • 2017
  • Multi-User Multiple-Input Multiple-Output (MU-MIMO) technology has recently attracted significant attention from academia and industry because of it is increasingly important role in improving networks' capacity and data rate. Moreover, MU-MIMO systems for the Fifth Generation (5G) have already been researched. High Quality of Service (QoS) and efficient operations at the Medium Access Control (MAC) layer have become key requirements. In this paper, we propose a downlink MU-MIMO MAC protocol based on adaptive Channel State Information (CSI) feedback (called MMM-A) for Wireless Local Area Networks (WLANs). A modified CSMA/CA mechanism using new frame formats is adopted in the proposed protocol. Specifically, the CSI is exchanged between stations (STAs) in an adaptive way, and a packet selection strategy which can guarantee a fairer QoS for scenarios with differentiated traffic is also included in the MMM-A protocol. We then derive the expressions of the throughput and access delay, and analyze the performance of the protocol. It is easy to find that the MMM-A protocol outperforms the commonly used protocols in terms of the saturated throughput and access delay through simulation and analysis results.

VILODE : 키 프레임 영상과 시각 단어들을 이용한 실시간 시각 루프 결합 탐지기 (VILODE : A Real-Time Visual Loop Closure Detector Using Key Frames and Bag of Words)

  • 김혜숙;김인철
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권5호
    • /
    • pp.225-230
    • /
    • 2015
  • 본 논문에서는 키 프레임 영상과 SURF 특징점 기반의 시각 단어들을 이용한 효과적인 실시간 시각 루프 결합 탐지기 VILODE를 제안한다. 시각 루프 결합 탐지기는 과거에 지나온 위치들 중 하나를 다시 재방문하였는지를 판단하기 위해, 새로운 입력 영상을 이미 지나온 위치들에서 수집한 과거 영상들과 모두 비교해보아야 한다. 따라서 새로운 위치나 장소를 방문할수록 비교 대상 영상들이 계속해서 증가하기 때문에, 일반적으로 루프 결합 탐지기는 실시간 제약과 높은 탐지 정확도를 동시에 만족하기 어렵다. 이러한 문제점을 극복하기 위해, 본 시스템에서는 입력 영상들 중에서 의미 있는 것들만을 선택해 이들만을 비교하는 효과적인 키 프레임 선택 방법을 채택하였다. 따라서 루프 탐지에 필요한 영상 비교를 대폭 줄일 수 있다. 또한 본 시스템에서는 루프 결합 탐지의 정확도와 효율성을 높이기 위해, 키 프레임 영상들을 시각 단어들로 표현하고, DBoW 데이터베이스 시스템을 이용해 키 프레임 영상들에 대한 색인을 구성하였다. TUM 대학의 벤치마크 데이터들을 이용한 실험을 통해, 본 논문에서 제안한 시각 루프 결합 탐지기의 높은 성능을 확인할 수 있었다.

컨텍스트 기반의 지능형 영상 감시 시스템 구현에 관한 연구 (Implementation of Intelligent Image Surveillance System based Context)

  • 문성룡;신성
    • 대한전자공학회논문지SP
    • /
    • 제47권3호
    • /
    • pp.11-22
    • /
    • 2010
  • 본 논문은 컨텍스트 기반의 지능형 영상 감시 시스템 구현에 관한 연구로써 기존 연구의 시공간적 제약성 및 실시간 처리가 어려운 단점을 보완하여 초당 30 프레임으로 이루어져 있는 저해상도 동영상(320*240)을 대상으로 다양한 환경에서 실시간 처리가 가능한 움직임 검출 및 장면 분석 알고리즘을 제안하고 이를 이용해 동영상 감시 시스템을 구축한다. 먼저 장면 분석을 수행하기 위한 전처리 과정인 움직임 검출 알고리즘에서는 연속된 프레임 중 의미 없는 유사 프레임과 배경을 제거하고 움직임 영역만을 검출하기 위해 웨이브렛 변환과 에지 히스토그램을 이용하여 샷의 경계를 검출한다. 다음으로 키프레임 선정 파라미터에 의해 샷 경계 내 대표 키프레임을 선정하며, 에지 히스토그램 및 수학적 형태론을 이용하여 움직임 영역만을 검출한다. 장면 분석 알고리즘에서는 검출된 객체의 수직 수평 비율과 질량 중심을 통해 재구성된 허프 변환 후의 각도를 이용해 독립 객체 분석을 수행하며, '서다, 걷다, 눕다, 앉다'의 4가지 기본 상황 정보를 정의한다. 또한 각 상황의 연결 상태 추정을 통해 일반 상황 및 위급 상황으로 구성되는 단순 상황 모델을 정의함으로써 장면 분석을 수행하며, 제안된 알고리즘의 실시간 처리 가능성을 확인하기 위해 시스템을 구성한다. 제안된 시스템은 저해상도 영상을 대상으로 인식률 면에서 평균 92.5%의 성능을 보였으며, 처리속도는 프레임 당 평균 0.74초로 실시간 처리가 가능함을 확인하였다.

PARALLEL IMAGE RECONSTRUCTION FOR NEW VACUUM SOLAR TELESCOPE

  • Li, Xue-Bao;Wang, Feng;Xiang, Yong Yuan;Zheng, Yan Fang;Liu, Ying Bo;Deng, Hui;Ji, Kai Fan
    • 천문학회지
    • /
    • 제47권2호
    • /
    • pp.43-47
    • /
    • 2014
  • Many advanced ground-based solar telescopes improve the spatial resolution of observation images using an adaptive optics (AO) system. As any AO correction remains only partial, it is necessary to use post-processing image reconstruction techniques such as speckle masking or shift-and-add (SAA) to reconstruct a high-spatial-resolution image from atmospherically degraded solar images. In the New Vacuum Solar Telescope (NVST), the spatial resolution in solar images is improved by frame selection and SAA. In order to overcome the burden of massive speckle data processing, we investigate the possibility of using the speckle reconstruction program in a real-time application at the telescope site. The code has been written in the C programming language and optimized for parallel processing in a multi-processor environment. We analyze the scalability of the code to identify possible bottlenecks, and we conclude that the presented code is capable of being run in real-time reconstruction applications at NVST and future large aperture solar telescopes if care is taken that the multi-processor environment has low latencies between the computation nodes.