• Journal of KIISE
• /
• v.43 no.11
• /
• pp.1281-1297
• /
• 2016

In recent years, personal videos have seen a tremendous growth due to the substantial increase in the use of smart devices and networking services in which users create and share video content easily without many restrictions. However, taking both into account would significantly improve event detection performance because videos generally have multiple modalities and the frame data in video varies at different time points. This paper proposes an event detection method. In this method, high-level features are first extracted from multiple modalities in the videos, and the features are rearranged according to time sequence. Then the association of the modalities is learned by means of DNN to produce a personal video event detector. In our proposed method, audio and image data are first synchronized and then extracted. Then, the result is input into GoogLeNet as well as Multi-Layer Perceptron (MLP) to extract high-level features. The results are then re-arranged in time sequence, and every video is processed to extract one feature each for training by means of DNN.

• The KIPS Transactions:PartB
• /
• v.14B no.2
• /
• pp.89-98
• /
• 2007

For browsing, searching, and manipulating video documents, an indexing technique to describe video contents is required. Until now, the indexing process is mostly carried out by specialists who manually assign a few keywords to the video contents and thereby this work becomes an expensive and time consuming task. Therefore, automatic classification of video content is necessary. We propose a fully automatic and computationally efficient method for analysis and summarization of spots news video for 5 spots news video such as soccer, golf, baseball, basketball and volleyball. First of all, spots news videos are classified as anchor-person Shots, and the other shots are classified as news reports shots. Shot classification is based on image preprocessing and color features of the anchor-person shots. We then use the dominant color of the field and motion features for analysis of sports shots, Finally, sports shots are classified into five genre type. We achieved an overall average classification accuracy of 75% on sports news videos with 241 scenes. Therefore, the proposed method can be further used to search news video for individual sports news and sports highlights.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.334-335
• /
• 2018

최근 수 년간 비디오 콘텐츠 소비 공간이 인터넷으로 확장되며 지능적 비디오 콘텐츠 추천 기술 개발이 진행되어 왔다. 하지만 지능적 비디오 콘텐츠 추천 기술은 사용자의 기호나 업로드된 비디오 콘텐츠의 제목 등을 기반으로 하여 비디오 콘텐츠 클래스에 대한 분석 없이 유사한 비디오 콘텐츠를 탐색하고 추천해주는 기술이 대부분이다. 본 논문에서는 지능적 콘텐츠 추천을 위한 딥러닝 기반 방송 콘텐츠 클래스 분류 시스템을 제안한다. 방송 콘텐츠 내 영상 정보를 이용하여 방송 콘텐츠 클래스를 분류하며 높은 분류 정확도를 보여주는 것을 확인할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.732-735
• /
• 2020

기존에 지도학습 방법은 성능은 좋지만, 학습할 때 비디오 데이터와 정답 라벨이 있어야 한다. 그러나 이러한 데이터의 라벨을 수동으로 붙여줘야 하는 문제점과 그에 필요한 시간과 돈이 크다는 것이다. 이러한 문제점을 해결하기 위한 다양한 방법 중 자기지도학습(Self-Supervised Learning) 중 하나인 회전 방법을 비디오 데이터에 적용하여 학습하는 연구를 진행하였다. 본 연구에서는 두가지 방법을 제안한다. 먼저 기존의 비디오 데이터를 입력으로 받으면 단순히 비디오 자체를 회전시키는 것이 아닌 입력으로 들어온 비디오의 각각 프레임이 시간이 지나면서 일정한 속도로 회전을 시킨다. 이때의 회전은 총 네 가지 각도[0, 90, 180, 270]를 분류하도록 하는 방법론이다. 두 번째로 비디오의 프레임이 시간이 지나면서 변할 때 프레임 별로 고정된 각도로 회전시키는데 이때 회전하는 속도 네 가지 [1x, 0.5x, 0.25x, 0.125]를 분류하도록 하는 방법론이다. 이와 같은 제안하는 pretext task들을 통해 네트워크를 학습한 뒤, 학습된 모델을 fine tune 시켜 비디오 분류에 대한 실험을 수행 및 결과를 도출하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.574-576
• /
• 2001

본 논문에서는 최근 관심이 증가하고 있는 축구 경기 MPEG 비디오에서 정면이 변하는 부분을 검출하고 동일한 의미의 장면들을 분류하는 기술을 제안한다. MPEG 비디오에서 디코딩 과정을 거치지 않고 직접 에지(edge) 정보와 색상 분포 정보를 추출하여 적은 연산량으로 장면 전환 검출의 정확성을 높이고, 검출된 결과를 기반으로 샷(shot)을 특징 지울 수 있는 특정 색상들과 에지 정보를 이용해서 축구 MPEG 비디오내의 장면들을 내용적으로 분류한다. 제안한 방법은 카메라 움직임으로 발생하는 글러벌 모션의 변화에 대해서도 효과적으로 장면 전환을 검출하고 의미적으로 유사한 샷들에 대하여 장면 분류를 수행하는 결과를 확인하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.11a
• /
• pp.755-758
• /
• 2005

뉴스 데이터를 구조적으로 분할하고 의미적으로 분류하여 내용별로 세분화하여 검색하는 방법을 제안한다. 구조적 분할은 공간 밝기 분포와 명암도의 불연속성 그리고 시간적인 관계 등 프레임간의 상관 정보를 이용하여 장면을 분할한다. 의미적 분류는 키 프레임에서 추출된 특징 정보를 사전 지식 정보와 비교하여 뉴스 비디오의 세부 내용을 기사별로 분류한다. 뉴스의 진행이 앵커 프레임을 중심으로 주기적으로 반복된다는 특징을 이용하여 앵커 장면과 비 앵커 장면으로 기사를 분류한다. 비 앵커 장면은 연설장면, 인터뷰장면, 일반 장면으로 세분화하고 기사별로 분류하여 검색하도록 한다. 또한 뉴스 아이콘에 의한 요약 검색 기능 그리고 자막 통합 처리에 의한 자막 검색을 하여 뉴스 비디오를 내용별로 분류하고 인덱싱하여 신속하게 뉴스 비디오를 검색할 수 있도록 설계한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10b
• /
• pp.443-445
• /
• 2000

모든 물체의 표면은 독특한 성질을 보유하고 있으므로, 비디오 검색에 있어 텍스처는 형상이나 색과 더불어 중요한 변수로 사용될 수 있다. 비디오 검색에 있어서 중요한 것은 어떤 영상의 특징을 올바르게 추출하고 잘 분류하여 표현하는 것이다. Temporal texture는 무한한 시공간적 범위의 복잡하고, 추상적인 움직임 패턴도 특징화시킬 수 있으므로, temporal texture 패턴을 얼마나 잘 이용할 수 있느냐는 비디오 검색의 성능에 많은 영향을 끼칠 수 있다. 본 논문은 temporal texture의 서로 다른 특징을 가진 세 가지의 모델을 선정하여 비교한다. 특히, 특징 추출의 분류가 정확하게 이루어지느냐에 초점을 맞추어서 분석하였다. 분류의 성능은 두 가지 변수 즉, 어떤 성질의 모델이며 비디오 데이터인가에 따라 달라지게 된다. 이들 모델링이 분류하기까지 걸리는 시간의 차이는 무시할 수 있을 정도의 시간차이므로 정확도를 위주로 성능을 분석했다.

• The KIPS Transactions:PartB
• /
• v.18B no.6
• /
• pp.365-374
• /
• 2011

Recently, malicious video classification and filtering techniques are of practical interest as ones can easily access to malicious multimedia contents through the Internet, IPTV, online social network, and etc. Considerable research efforts have been made to developing malicious video classification and filtering systems. However, the malicious video classification and filtering is not still being from mature in terms of reliable classification/filtering performance. In particular, the most of conventional approaches have been limited to using only the spatial features (such as a ratio of skin regions and bag of visual words) for the purpose of malicious image classification. Hence, previous approaches have been restricted to achieving acceptable classification and filtering performance. In order to overcome the aforementioned limitation, we propose new malicious video classification framework that takes advantage of using both the spatial and temporal features that are readily extracted from a sequence of video frames. In particular, we develop the effective temporal features based on the motion periodicity feature and temporal correlation. In addition, to exploit the best data fusion approach aiming to combine the spatial and temporal features, the representative data fusion approaches are applied to the proposed framework. To demonstrate the effectiveness of our method, we collect 200 sexual intercourse videos and 200 non-sexual intercourse videos. Experimental results show that the proposed method increases 3.75% (from 92.25% to 96%) for classification of sexual intercourse video in terms of accuracy. Further, based on our experimental results, feature-level fusion approach (for fusing spatial and temporal features) is found to achieve the best classification accuracy.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.8 no.6
• /
• pp.1175-1181
• /
• 2004

This paper proposes a system to analyze and summarize the video shots of baseball game TV program into fifteen categories. Our System consists of three modules: feature extraction, Hidden Markov Model (HMM) training, and video shot categorization. Video Shots belongs to the same class are not necessarily similar, so we require that the training set is large enough to include video shot with all possible variations to create a robust Hidden Markov Model. In the experiments, we have illustrated that our system can recognize the 15 different shot classes with a success ratio of 84.72%.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.10b
• /
• pp.1661-1664
• /
• 2000

내용 기반의 비디오 검색에 있어 텍스처는 중요한 변수로 사용될 수 있다. 모든 물체의 표면은 독특한 성질을 보유하고 있으므로, 텍스처는 형상이나 색과 더불어 중요한 변수로 사용될 수 있다. 어떤 영상의 특징을 올바르게 추출하고 잘 분류하여 표현하는 것은 비디오 검색에 있어서 매우 중요하다. Temporal texture는 무한한 시공간적 범위의 복잡하고, 추상적인 움직임 패턴이며 자연 세계에 흔히 나타난다. 그러므로 이를 특징화시킬 수 있고, temporal texture 패턴을 얼마나 잘 이용할 수 있느냐는 비디오 검색의 성능에 많은 영향을 끼칠 수 있다. 본 논문은 temporal texture 모델링들 중 서로 다른 특징을 가진 세 가지의 모델을 선정하여 비교, 분석한다. 특히, 특징 추출의 분류가 정확하게 이루어지느냐에 초점을 맞추어서 분석하였다. 분류의 성능은 두 가지 변수 즉, 어떤 성질의 모델이며 비디오 데이터인가에 따라 달라지게 된다. 이들 모델링이 분류하기까지 걸리는 시간의 차이는 무시할 수 있을 정도의 시간차이므로, 정확도를 위주로 성능을 분석했다.