• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 하계학술대회
• /
• pp.138-141
• /
• 2010

In this paper, we propose a semi-automatic method for semantic video object extraction which extracts meaningful objects from an input sequence with one correctly segmented training image. Given one correctly segmented image acquired by the user's interaction in the first frame, the proposed method automatically segments and tracks the objects in the following frames. We formulate the semantic object extraction procedure as an energy minimization problem at the fragment level instead of pixel level. The proposed energy function consists of two terms: data term and smoothness term. The data term is computed by considering patch similarity, color, and motion information. Then, the smoothness term is introduced to enforce the spatial continuity. Finally, iterated conditional modes (ICM) optimization is used to minimize energy function in a globally optimal manner. The proposed semantic video object extraction method provides faithful results for various types of image sequences.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1998년도 추계종합학술대회 논문집
• /
• pp.867-870
• /
• 1998

Video data is usually stored in a compressed format in order to reduce the storage space. For efficient browsing, searching, and retrieval of compressed video sequences, size-reduced images (or DC images which are formed with block DC coefficients) are generally preferred to avoid unnecessary computational complexity. In this paper, we propose a DC image extraction scheme appropriate for scene analysis and efficient browsing of compressed video sequences. The proposed algorithm utilizes predicted low frequency AC coefficients to achieve better approximation and to reduce the error drift. Due to the AC prediction based on a quadratic surface model, the proposed scheme requires no additional memory compared with the previous zero-order or first-order approximation scheme. Simulation results show that the proposed scheme achieves better subjective and objective quality with minor additional operations.

• 한국도서관정보학회지
• /
• 제38권4호
• /
• pp.463-480
• /
• 2007

본 연구에서는 먼저 영상 초록의 배열 모형을 영상물의 소통 구조 이론, FRBR 모형 및 용어간의 구문적 및 어의적 관계를 고려하는 PRECIS 색인 이론 등을 이용하여 설계하고 이 모형에 따라서 영상 초록을 구성한 후 순차적 영상 초록과 요약문과 색인어 추출의 정확도 측면에서 어떤 차이를 보이는지 6개의 표본 비디오와 26명의 피조사자를 이용하여 실험을 통해서 조사해 보았다. 조사 결과, 배열 모형 기반 영상 초록이 순차적 영상 보다 더 정확한 요약문을 추출하는 것으로 나타났고 색인어 추출의 정확도는 큰 차이가 없는 것으로 나타났다. 또한 영상 초록의 반복 보기의 효과를 측정한 결과 순차적 영상 초록을 먼저 보고 배열 모형 영상초록을 반복해서 본 경우에 요약문의 정확도가 크게 증가하는 것으로 나타났다. 이러한 실험 결과에 기초하여 디지털 비디오 도서관 환경에서 영상 초록의 두 가지 활용 방안 즉, OPAC 환경에서 영상 초록의 초기값으로 순차적 영상 초록을 제시하고 선택을 통해서 배열 모형 기반 영상 초록이 함께 출력되는 비디오 브라우징 인터페이스를 구성하는 것과 제안된 배열 모형 기반 영상 초록을 영상 질의의 구조화된 매칭 자료로 활용하는 것에 대해서 제안하였다.

• 전기학회논문지
• /
• 제60권2호
• /
• pp.441-445
• /
• 2011

In this paper, we propose an algorithm for generating panoramic videos using fixed multiple cameras. We estimate a background image from each camera. Then we calculate perspective relationships between images using extracted feature points. To eliminate stitching errors due to different image depths, we process background images and foreground images separately in the overlap regions between adjacent cameras by projecting regions of foreground images selectively. The proposed algorithm can be used to enhance the efficiency and convenience of wide-area surveillance systems.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권8호
• /
• pp.3806-3825
• /
• 2016

This paper brings out a neoteric frame of reference for visual semantic based 3d video search and retrieval applications. Newfangled 3D retrieval application spotlight on shape analysis like object matching, classification and retrieval not only sticking up entirely with video retrieval. In this ambit, we delve into 3D-CBVR (Content Based Video Retrieval) concept for the first time. For this purpose we intent to hitch on BOVW and Mapreduce in 3D framework. Here, we tried to coalesce shape, color and texture for feature extraction. For this purpose, we have used combination of geometric & topological features for shape and 3D co-occurrence matrix for color and texture. After thriving extraction of local descriptors, TB-PCT (Threshold Based- Predictive Clustering Tree) algorithm is used to generate visual codebook. Further, matching is performed using soft weighting scheme with L₂ distance function. As a final step, retrieved results are ranked according to the Index value and produce results .In order to handle prodigious amount of data and Efficacious retrieval, we have incorporated HDFS in our Intellection. Using 3D video dataset, we fiture the performance of our proposed system which can pan out that the proposed work gives meticulous result and also reduce the time intricacy.

• 한국ITS학회 논문지
• /
• 제9권5호
• /
• pp.80-86
• /
• 2010

본 논문에서는 차량 내의 멀티미디어 시스템에 장착되는 엔터테인먼트 기능 중의 하나인 음악스토리 자동생성 기술을 소개한다. 음악스토리 비디오 자동생성 기술은 개인이 소지하고 있는 휴대폰을 차량 내의 멀티미디어 시스템과 연결하여, 휴대폰 안에 저장된 음악과 사진의 결합을 통해 음악비디오를 자동으로 생성하는 멀티미디어 요소기술로서, 사용자에게 분위기에 맞게 음악을 들으면서 생성된 음악스토리 비디오를 즐기는 기능을 제공한다. 음악스토리 비디오 자동생성 기술에 대한 성능은 음악분류, 사진분류, 핵심단어 검출 등의 정확도와 생성된 음악스토리 비디오를 시청한 사용자의 MOS 결과를 통해 측정되었다.

• 방송공학회논문지
• /
• 제4권2호
• /
• pp.187-196
• /
• 1999

본 논문에서는 내용 기반 동영상 검색을 위하여 컬러 정보 및 모션 정보를 사용하는 효율적인 자동 특징 추출 알고리즘을 제안하고, 이를 동영상 검색 시스템에 적용한다. 컬러 정보의 경우 기존의 key-frame단위의 컬러 특징 추출의 한계를 극복하고, 동영상의 컬러 히스토그램 정보와 컬러의 공간분포 정보를 반영할 수 있는 컬러 특징 추출 알고리즘을 제안한다. 또한 MPEG-1 동영상 내의 모션 벡터와 컬러 정보를 조합한 컬러-모션 특징을 추출하여, 기존의 위치 기반 특징 추출 알고리즘의 한계를 극복하였다. 최종적으로 추출된 특징을 이용한 검색 시스템을 구현하여, 제안된 알고리즘의 성능을 평가하였다.

• 한국항행학회논문지
• /
• 제27권3호
• /
• pp.306-313
• /
• 2023

실사 및 그래픽 기반 가상현실 콘텐츠는 360도 영상을 기반으로 하며, 시청자의 의도나 자동 추천 기능을 통한 뷰포트 추출이 필수적이다. 본 논문은 360도 영상에서 다중 객체 추적 기반의 뷰포트 추출 시스템을 설계하고, 다중 뷰포트 추출에 필요한 병렬화된 연산 구조를 제안한다. 360도 영상에서 뷰포트 추출 과정을 ERP 좌표의 3D 구 표면 좌표 변환과 3D 구 표면 좌표의 뷰포트 내 2D 좌표 변환 과정을 순서대로 픽셀 단위의 스레드로 구성하여 연산을 병렬화하였다. 제안 구조는 항공 360도 영상 시퀀스들에 대하여 최대 30개의 뷰포트 추출 과정에 대한 연산 시간이 평가되었으며, 뷰포트 수에 정비례하는 CPU 기반 연산 시간에 비해 최대 5240배 가속화됨을 확인하였다. ERP 프레임 I/O 시간을 줄일 수 있는 고속의 I/O나 메모리 버퍼를 사용 시 뷰포트 추출 시간을 7.82배 추가 가속화가 가능하다. 제안하는 뷰포트 추출 병렬화 구조는 360도 비디오나 가상현실 콘텐츠들에 대한 동시 다중 접속 서비스나 사용자별 영상 요약 서비스 등에 활용될 수 있다.

• 융합신호처리학회논문지
• /
• 제24권4호
• /
• pp.221-228
• /
• 2023

감정으로 인해 생기는 신체적 정신적인 변화는 운전이나 학습 행동 등 다양한 행동에 영향을 미칠 수 있다. 따라서 이러한 감정을 인식하는 것은 운전 중 위험한 감정 인식 및 제어 등 다양한 산업에서 이용될 수 있기 때문에 매우 중요한 과업이다. 본 논문에는 서로 도메인이 다른 음성과 영상 데이터를 모두 이용하여 감정을 인식하는 멀티모달 모델을 구현하여 감정 인식 연구를 진행했다. 본 연구에서는 RAVDESS 데이터를 이용하여 영상 데이터에 음성을 추출한 뒤 2D-CNN을 이용한 모델을 통해 음성 데이터 특징을 추출하였으며 영상 데이터는 Slowfast feature extractor를 통해 영상 데이터 특징을 추출하였다. 감정 인식을 위한 제안된 멀티모달 모델에서 음성 데이터와 영상 데이터의 특징 벡터를 통합하여 감정 인식을 시도하였다. 또한 멀티모달 모델을 구현할 때 많이 쓰인 방법론인 각 모델의 결과 스코어를 합치는 방법, 투표하는 방법을 이용하여 멀티모달 모델을 구현하고 본 논문에서 제안하는 방법과 비교하여 각 모델의 성능을 확인하였다.

• International Journal of Computer Science & Network Security
• /
• 제22권6호
• /
• pp.230-240
• /
• 2022

Sharing of online videos via internet is an emerging and important concept in different types of applications like surveillance and video mobile search in different web related applications. So there is need to manage personalized web video retrieval system necessary to explore relevant videos and it helps to peoples who are searching for efficient video relates to specific big data content. To evaluate this process, attributes/features with reduction of dimensionality are computed from videos to explore discriminative aspects of scene in video based on shape, histogram, and texture, annotation of object, co-ordination, color and contour data. Dimensionality reduction is mainly depends on extraction of feature and selection of feature in multi labeled data retrieval from multimedia related data. Many of the researchers are implemented different techniques/approaches to reduce dimensionality based on visual features of video data. But all the techniques have disadvantages and advantages in reduction of dimensionality with advanced features in video retrieval. In this research, we present a Novel Intent based Dimension Reduction Semi-Supervised Learning Approach (NIDRSLA) that examine the reduction of dimensionality with explore exact and fast video retrieval based on different visual features. For dimensionality reduction, NIDRSLA learns the matrix of projection by increasing the dependence between enlarged data and projected space features. Proposed approach also addressed the aforementioned issue (i.e. Segmentation of video with frame selection using low level features and high level features) with efficient object annotation for video representation. Experiments performed on synthetic data set, it demonstrate the efficiency of proposed approach with traditional state-of-the-art video retrieval methodologies.