• Journal of the Institute of Electronics Engineers of Korea CI
• /
• v.38 no.1
• /
• pp.46-57
• /
• 2001

To access the multimedia data, such as video data with temporal properties, the content-based image retrieval technique is required. Moreover, one of the basic techniques for content-based image retrieval is an extraction of representative key-frames. Not only did we implement this method, but also by analyzing the video data, we have proven the proposed method to be both effective and accurate. In addition, this method is expected to solve the real world problem of building video databases, as it is very useful in building an index.

• Journal of IKEEE
• /
• v.24 no.4
• /
• pp.1050-1057
• /
• 2020

Immersive 360-degree media has a problem of slowing down the video recognition speed when the video is processed by the conventional method using a variety of rendering methods, and the video size becomes larger with higher quality and extra-large volume than the existing video. In addition, in most cases, only one scene is captured by fixing the camera in a specific place due to the characteristics of the immersive 360-degree media, it is not necessary to extract feature information from all scenes. In this paper, we propose a reference frame selection method for immersive 360-degree media and describe its application process to copyright protection technology. In the proposed method, three pre-processing processes such as frame extraction of immersive 360 media, frame downsizing, and spherical form rendering are performed. In the rendering process, the video is divided into 16 frames and captured. In the central part where there is much object information, an object is extracted using an RGB vector per pixel and deep learning, and a reference frame is selected using object feature information.

• Proceedings of the Korea Institute of Convergence Signal Processing
• /
• 2000.08a
• /
• pp.297-300
• /
• 2000

본 논문에서는 MPEG 비디오 스트림을 분석하여 DCT DC 계수를 추출하고 이들로 구성된 DC 이미지로부터 제안하는 robust feature를 이용하여 shot을 구하고 각 feature들의 통계적 특성을 이용하여 스트림의 특징에 따라 weight를 부가하여 구해진 characterizing value의 시간변화량을 구한다. 구해진 변화량의 local maxima와 local minima는 MPEG 비디오 스트림에서 각각 가장 특징적인 frame과 평균적인 frame을 나타낸다. 이 순간의 frame을 구함으로서 효과적이고 빠른 시간 내에 key frame을 추출한다. 추출되어진 key frame에 대하여 원영상을 복원한 후, 색인을 위하여 다수의 parameter를 구하고 사용자가 질의한 영상에 대해서 이들 파라메터를 구하여 key frame들과 가장 유사한 대표영상들을 검색한다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.30 no.7C
• /
• pp.675-686
• /
• 2005

In this paper, we propose an efficient face region detection technique for the content-based video summarization. To segment video, shot changes are detected from a video sequence and key frames are selected from the shots. We select one frame that has the least difference between neighboring frames in each shot. The proposed face detection algorithm detects face region from selected key frames. And then, we provide user with summarized frames included face region that has an important meaning in dramas or movies. Using Bayes classification rule and statistical characteristic of the skin pixels, face regions are detected in the frames. After skin detection, we adopt the projection method to segment an image(frame) into face region and non-face region. The segmented regions are candidates of the face object and they include many false detected regions. So, we design a classifier to minimize false lesion using CART. From SGLD matrices, we extract the textual feature values such as Inertial, Inverse Difference, and Correlation. As a result of our experiment, proposed face detection algorithm shows a good performance for the key frames with a complex and variant background. And our system provides key frames included the face region for user as video summarized information.

• Journal of KIISE:Computing Practices and Letters
• /
• v.9 no.1
• /
• pp.1-12
• /
• 2003

Recently, many researches into distributed processing on Internet, and multimedia data processing have been performed. Rapid and convenient multimedia services supplied with high quality and high speed are to be needed. In this paper, we design and implement clip-based video retrieval system on the Web enviroment in real-time. Our system consists of the content-based indexing system supporting convenient services for video content providers, and the Web-based retrieval system in order to make it easy and various information retrieval for users in the Web. Three important methods are used in the content-based indexing system, key frame extracting method by dividing video data, clip file creation method by clustering related information, and video database construction method by using clip unit. In Web-based retrieval system, retrieval method ny using a key word, two dimension browsing method of key frame, and real-time display method of the clip are used. In this paper, we design and implement the system that supports real-time display method of the clip are used. In this paper, we design and implement the system that supports real-time retrieval for video clips on Web environment and provides the multimedia service in stability. The proposed methods show a usefulness of video content providing, and provide an easy method for serching intented video content.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.196-199
• /
• 2020

밝기 차이가 발생할 때마다 비동기적으로 영상을 획득하는 이벤트 카메라는 기존의 프레임 기반 카메라가 가지고 있는 한계점을 보완하기 위해 사용된다. 이벤트는 비동기적으로 획득되고 프레임보다 훨씬 빠르게 작동할 수 있기 때문에, 이를 활용하는 방안은 다양하다. 본 논문에서는 기존의 프레임 기반 카메라를 대체하여 사용하기 위해 이벤트만 활용하여 프레임 형태의 영상을 복원한 선행연구를 기반으로 한다. 복원한 영상의 노이즈를 제거하는 방법을 제시하고, 기존의 노이즈 제거 방법들과 비교하여 성능을 평가한다. 또한 기존에 있는 대표적인 특징점 추출방법을 노이즈를 제거한 영상에 적용해보고, 복원된 영상에서의 특징점 추출에 적합한 추출방법을 확인한다. 이 결과는 프레임 기반의 특징점을 추출하여 추적하는 다양한 분야에서 기존의 카메라를 체제할 수 있다.

• Journal of the Korea Society of Computer and Information
• /
• v.3 no.4
• /
• pp.27-34
• /
• 1998

In this paper we present a method for automatic motion vector and brightness based video indexing and retrieval. We extract a representational frame from each shot and compute some motion vector and brightness based features. For each R-frame we compute the optical flow field; motion vector features are then derived from this flow field, BMA(block matching algorithm) is used to find motion vectors and Brightness features are related to the cut detection of method brightness histogram. A video database provided contents based access to video. This is achieved by organizing or indexing video data based on some set of features. In this paper the index of features is based on a B+ search tree. It consists of internal and leaf nodes stores in a direct access a storage device. This paper defines the problem of video indexing based on video data models.

• Electronics and Telecommunications Trends
• /
• v.20 no.5 s.95
• /
• pp.127-138
• /
• 2005

메신저로 대표되는 IMPP 서비스의 핵심 기술로 프레즌스 프로토콜이 필요하며, SIP기반 프레즌스 프로토콜에 대한 표준화 작업이 IETF SIMPLE WG에서 진행중에 있다. 이러한 프레즌스 서비스는 앞으로 인터넷상에서 핵심 통신 기술로 사용되어 프레즌스기반 통합된 서비스가 많이 등장하리라 예상된다. 그러나, SIP 기반 프레즌스 서비스에서 간단한 상태 정보 등의 변화를 전달하기 위하여 전달되는 프레즌스 메시지 트래픽의 양이 상당히 많은 것이 문제점으로 대두되었다. 이는 대역폭이 제한된 무선 환경의 경우 특히 많은 문제를 야기한다. 따라서, 본 고에서는 SIP 기반 프레즌스 프로토콜 관련 표준화 현황을 통한 기본 개념을 살펴보고 프레즌스 메시지 트래픽을 줄이기 위한 다양한 방법들에 대한 최근 표준화 동향을 살펴보고자 한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.318-321
• /
• 2021

최근 정보통신의 발달과 함께 인터넷에 접속하는 사용자 수와 그에 따른 비디오 데이터의 전송량이 늘어나는 추세이다. 이렇게 늘어나는 많은 비디오 데이터를 관리하고 분석하기 위해서 최근에는 딥 러닝 기법을 많이 활용하게 된다. 일반적으로 비디오 데이터에 딥 러닝 모델을 학습할 때 컴퓨터 자원의 한계로 인해 전체 비디오 프레임에서 균등한 간격 또는 무작위로 프레임을 선택하는 방법을 많이 사용한다. 하지만 학습에 사용되는 비디오 데이터는 항상 시간 축에 따라 같은 문맥을 담고 있는 Trimmed 비디오라고 가정할 수가 없다. 만약 같지 않은 문맥을 지닌 Untrimmed 비디오에서 균등한 간격 또는 무작위로 프레임을 선택해서 사용하게 된다면 비디오의 범주와 관련이 없는 프레임이 샘플링 될 가능성이 있기 때문에 모델의 학습 및 최적화에 전혀 도움이 되지 않는다. 이를 해결하기 위해 우리는 각 비디오 프레임에서 심층 특징을 추출하여 평균값을 계산하고 이와 각 추출된 심층특징들과 코사인 유사도를 계산해서 얻은 유사도 점수를 바탕으로 Untrimmed 비디오에서 의미 있는 비디오 프레임을 추출하는 기법을 제안한다. 그리고 Untrimmed 비디오로 구성된 데이터셋으로 유명한 ActivityNet 데이터셋에 대해서 대표적인 2가지 프레임 샘플링 방식(균등한 간격, 무작위)과 비교하여 우리가 제안하는 기법이 Untrimmed 비디오에서 효과적으로 비디오의 범주에 해당하는 의미 있는 프레임 추출이 가능함을 보일 것이다. 우리가 실험에 사용한 코드는 https://github.com/titania7777/VideoFrameSampler에서 확인할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.212-214
• /
• 2020

본 논문에서는 비디오의 피처레벨 분석을 통해 비디오의 장면 구성 특징을 파악하고, 그에 적응적으로 대표 프레임을 선택하는 방법을 제안한다. 제안된 방법으로 생성된 캡셔닝 피처는 비디오를 잘 요약하고, 이를 통해 효과적인 캡셔닝을 수행할 수 있다. 기존 비디오 캡셔닝 연구에서는 비디오의 장면 구성을 고려하지 않고 단순 등간격으로 프레임 추출을 통하여 비디오 캡셔닝을 수행하였다. 이는 다양한 장면의 모임으로 이루어진 비디오의 특성을 고려하지 않은 방법으로, 경우에 따라 주요 장면을 놓치거나, 불필요하게 중복된 프레임을 선택하는 문제가 발생한다. 본 논문에서는 비디오의 피처레벨 분석을 통해 비디오의 구성 특징을 파악하고, 이를 고려해 적응적으로 주요 프레임을 추출하여 이와 같은 문제를 해결하여 비디오 캡셔닝 에서의 성능향상을 보인다. 제안 알고리즘을 이용하여 생성된 피처는 비디오를 잘 요약하여 비디오 캡셔닝 수행 시, MSVD 데이터 셋에서 4 개의 평가지표에 대해 약 0.78%의 성능향상을 보였고, MSR-VTT 데이터 셋에서 약 0.6%의 성능향상을 보였다.