• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권6호
• /
• pp.3074-3091
• /
• 2019

With the widespread use of the Internet, services for providing large-capacity multimedia data such as video-on-demand (VOD) services and video uploading sites have greatly increased. VOD service providers want to be able to provide users with high-quality keyframes of high quality videos within a few minutes after the broadcast ends. However, existing keyframe extraction tends to select keyframes whose quality as a keyframe is insufficiently considered, and it takes a long computation time because it does not consider an HD class image. In this paper, we propose a keyframe selection method that flexibly applies multiple keyframe quality metrics and improves the computation time. The main procedure is as follows. After shot boundary detection is performed, the first frames are extracted as initial keyframes. The user sets evaluation metrics and priorities by considering the genre and attributes of the video. According to the evaluation metrics and the priority, the low-quality keyframe is selected as a replacement target. The replacement target keyframe is replaced with a high-quality frame in the shot. The proposed method was subjectively evaluated by 23 votes. Approximately 45% of the replaced keyframes were improved and about 18% of the replaced keyframes were adversely affected. Also, it took about 10 minutes to complete the summary of one hour video, which resulted in a reduction of more than 44.5% of the execution time.

• 한국차세대컴퓨팅학회논문지
• /
• 제14권6호
• /
• pp.7-14
• /
• 2018

다중 뷰 비디오로부터 두드러진 정보 추출은 인터뷰, 인트라 뷰간 상관관계와 계산 비용 때문에 매우 어려운 영역입니다. 매우 높은 계산 복잡성을 지닌 멀티 뷰 비디오에서 키프레임을 추출하기 위해 개발된 몇 가지 기술이 있습니다. 이 논문에서, 우리는 내부에 존재하는 엔트로피와 복잡한 정보를 사용하여 멀티 뷰 비디오의 키프레임 추출 접근 방식을 제시합니다. 첫 번째 단계에서는 프레임 사이의 SSIM값을 기반으로 각 보기에서 전체 비디오의 대표 샷을 추출합니다. 두 번째 단계에서는 서로 다른 보기의 모든 샷 프레임에 대한 엔트로피와 복잡성 점수가 계산됩니다. 마지막으로 엔트로피와 복잡성 점수가 가장 높은 프레임은 키 프레임으로 간주됩니다. 제안된 시스템은 사용 가능한 Office벤치마크 데이터 세에서 주관적으로 평가되며, 정확성과 시간 복잡성의 측면에서 결과는 편리합니다.

• International Journal of Contents
• /
• 제15권4호
• /
• pp.59-64
• /
• 2019

In recent years, emotion recognition has been an interesting and challenging topic. Compared to facial expressions and speech modality, gesture-based emotion recognition has not received much attention with only a few efforts using traditional hand-crafted methods. These approaches require major computational costs and do not offer many opportunities for improvement as most of the science community is conducting their research based on the deep learning technique. In this paper, we propose an end-to-end deep learning approach for classifying emotions based on bodily gestures. In particular, the informative keyframes are first extracted from raw videos as input for the 3D-CNN deep network. The 3D-CNN exploits the short-term spatiotemporal information of gesture features from selected keyframes, and the convolutional LSTM networks learn the long-term feature from the features results of 3D-CNN. The experimental results on the FABO dataset exceed most of the traditional methods results and achieve state-of-the-art results for the deep learning-based technique for gesture-based emotion recognition.

• 한국시뮬레이션학회:학술대회논문집
• /
• 한국시뮬레이션학회 1998년도 추계학술대회 및 정기총회
• /
• pp.120-123
• /
• 1998

In animating an articulated entity with motion capture data, especially when the reconstruction is based on forward kinematics, there could be large discrepancies at the end effector. The small errors in joint angles tend to be amplified as the forward kinematics positioning progresses toward the end effector. In this paper, we present an algorithm that enhances the motion capture data to reduce positional errors at the end effector. The process is optimized so that the characteristics of the original joint angle data is preserved in the resulting motion. The frames at which the end-effector position needs to be accurate are designated as“keyframes”(e.g. starting and ending frames). In the algorithm, corrections by inverse kinematics are performed at sparse keyframes and they are interpolated with a cubic spline which produces a curve best approximating the measured joint angles. The experiment proves that our algorithm is a valuable tool to improve measured motion especially when end-effector trajectory contains a special goal.

• 방송공학회논문지
• /
• 제13권5호
• /
• pp.662-676
• /
• 2008

본 논문은 불법복제된 DTV 방송프로그램의 온라인 불법전송을 차단하기 위한 비디오 복사본 검출 알고리즘을 제안한다. 제안한 알고리즘은 급격한 휘도 변화가 나타나는 방송영상의 비디오 프레임을 선별하여 키프레임(keyframe)을 구성한 후, 키프레임의 시 공간적 특징정보를 추출하여 사전에 등록된 방송영상 저작물들의 특징정보와 비교함으로써 해당 방송영상의 불법복제 여부를 판별하는 동영상 필터링(filtering) 기능을 제공한다. 특히 모든 프레임을 이용하지 않고 키프레임만을 추출함으로써 대용량 방송영상물의 저작권 침해 여부를 효율적으로 판단할 수 있으며, 온라인 전송과정에서 빈번히 적용되는 영상비 변환, 로고 삽입, 자막 삽입, 화질 열화 및 해상도 감소 등의 다양한 동영상 편집효과에도 강인함을 실험을 통하여 확인하였다. 또한 기존 알고리즘들과의 성능비교실험을 통하여 상대적 우수성을 평가하였다.

• 실천공학교육논문지
• /
• 제14권2호
• /
• pp.439-445
• /
• 2022

온라인 미디어 플랫폼의 발전 및 코로나19 사태로 디지털 영상 콘텐츠의 양산과 소비가 급증하고 있다. 이용자들은 디지털 영상 콘텐츠를 선택하기 위해 썸네일, 티저 영상 등을 통하여 짧은 시간에 콘텐츠를 파악하고 본인에게 맞는 디지털 영상 콘텐츠를 선정하여 시청하고 있다. 세계 곳곳에서 생산되는 모든 디지털 영상 콘텐츠를 일일이 확인하고, 이용자가 선택할 수 있게 티저 영상을 수작업으로 편집하는 것은 매우 불편한 작업이다. 본 연구에서는 티저 영상을 자동으로 생성하기 위해 YCbCr 컬러 모델을 기반으로 키프레임을 추출하고, 클러스터링 기법을 통해 추출된 키프레임을 최적화한다. 마지막으로 최종 추출된 키프레임을 연결하여 사용자들의 디지털 영상 콘텐츠 확인을 도와 주기 위한 티저 영상을 제작하는 방법을 제시한다.

• Journal of information and communication convergence engineering
• /
• 제20권4호
• /
• pp.288-294
• /
• 2022

The media content market has been growing, as various types of content are being mass-produced owing to the recent proliferation of the Internet and digital media. In addition, platforms that provide personalized services for content consumption are emerging and competing with each other to recommend personalized content. Existing platforms use a method in which a user directly inputs video metadata. Consequently, significant amounts of time and cost are consumed in processing large amounts of data. In this study, keyframes and audio spectra based on the YCbCr color model of a movie trailer were extracted for the automatic generation of metadata. The extracted audio spectra and image keyframes were used as learning data for genre recognition in deep learning. Deep learning was implemented to determine genres among the video metadata, and suggestions for utilization were proposed. A system that can automatically generate metadata established through the results of this study will be helpful for studying recommendation systems for media super-personalization.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1249-1252
• /
• 2022

In this paper, we propose a conceptual framework that identifies video frames in motion containing the movement of people and vehicles in traffic videos. The automatic selection of video frames in motion is an important topic in security and surveillance video because the number of videos to be monitored simultaneously is simply too large due to limited human resources. The conventional method to identify the areas in motion is to compute the differences over consecutive video frames, which has been costly because of its high computational complexity. In this paper, we reduced the overall complexity by examining only the keyframes (or I-frames). The basic assumption is that the time period between I-frames is rather shorter (e.g., 1/10 ~ 3 secs) than the usual length of objects in motion in video (i.e., pedestrian walking, automobile passing, etc.). The proposed method estimates the possibility of videos containing motion between I-frames by evaluating the difference of consecutive I-frames with the long-time statistics of the previously decoded I-frames of the same video. The experimental results showed that the proposed method showed more than 80% accuracy in short surveillance videos obtained from different locations while keeping the computational complexity as low as 20 % compared to the HM decoder.

• Journal of information and communication convergence engineering
• /
• 제21권4호
• /
• pp.287-293
• /
• 2023

With the rapid development of domestic and international over-the-top markets, a large amount of video content is being created. As the volume of video content increases, consumers tend to increasingly check data concerning the videos before watching them. To address this demand, video summaries in the form of plot descriptions, thumbnails, posters, and other formats are provided to consumers. This study proposes an approach that automatically generates posters to effectively convey video content while reducing the cost of video summarization. In the automatic generation of posters, face recognition and clustering are used to gather and classify character data, and keyframes from the video are extracted to learn the overall atmosphere of the video. This study used the facial data of the characters and keyframes as training data and employed technologies such as DreamBooth, a text-to-image generation model, to automatically generate video posters. This process significantly reduces the time and cost of video-poster production.

• 한국컴퓨터정보학회논문지
• /
• 제10권5호
• /
• pp.65-76
• /
• 2005

디지털 비디오는 대용량의 저장 공간을 필요로 하는 매우 긴 데이터이다. 따라서 비디오 시청자들은 원래의 긴 비디오를 시청하기 전에 요약된 버전을 시청하기를 원한다. 특히, 스포츠 분야에서 하이라이트 비디오는 자주 시청된다. 다시 말해서, 하이라이트 비디오는 비디오 시청자에게 그 비디오를 시청할 가치가 있는지를 결정하게 한다. 본 논문에서는 시간과 공간 형태로 된 자막의 구조적 특징을 이용하여 축구 비디오 하이라이트를 생성한다. 이와 같은 구조적 특징들은 자막 프레임 구간과 자막 키 프레임을 추출하는데 사용된다. 하이라이트 비디오는 자막 키 프레임의 장면 재설정, 논리적 색인화, 그리고 하이라이트 생성 규칙에 의하여 생성된다. 마지막으로, 하이라이트 비디오와 비디오 세그먼트들은 비디오 시청자가 브라우저를 통하여 원하는 항목을 선택함으로서 검색되고 브라우징 될 수 있다