• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10c
• /
• pp.315-317
• /
• 1998

많은 양의 비디오 데이터가 디지털화 되면서 사용자가 쉽게 자신이 원하는 비디오 데이터를 검색할 수 있는 내용 기반 검색이 필요하게 되었다. 내용 기반 검색을 위해서는 비디오 데이터를 연속된 카메라 모션으로 구성된 셧으로 나누고, 셧의 내용을 대표 할 수 있는 대표 프레임을 찾아야 한다. 대표 프레임은 비디오 데이터의 요약과 색인의 중요한 수단이다. 본 논문에서는 셧의 내용 기반으로 대표 프레임을 찾기 위해서 프레임에 존재하는 영역 정보를 바탕으로 셧의 내용을 알 수 있는 핵심 정보인 카메라 모션을 검출 하고, 이를 기반으로 대표 프레임을 선택하는 방법을 제안한다.

• Journal of Korea Multimedia Society
• /
• v.6 no.5
• /
• pp.797-804
• /
• 2003

Scene change detection algorithm, which is very important preprocessing technique for video indexing and retrieval and determines the performance of video database system, is being studied widely. In this paper, we propose a more effective abrupt scene change detection, which is robust to large motion, sudden change of light and successive abrupt shot transitions rapidly. And we also propose a new gradual scene change detection algorithm, which can detect dissolve, and fade in/out precisely. Furthermore, we also propose a representative frame extraction algorithm which performs content-based video summary by novel DCT DC image buffering technique and accumulative histogram intersection measure (AHIM).

• Journal of Broadcast Engineering
• /
• v.18 no.2
• /
• pp.185-195
• /
• 2013

In this paper, we propose a video summarization technique on a smartphone, based on spatiotemporal saliency. The proposed technique detects scene changes by computing the difference of the color histogram, which is robust to camera and object motion. Then the similarity between adjacent frames, face region, and frame saliency are computed to analyze the spatiotemporal saliency in a video clip. Over-segmented hierarchical tree is created using scene changes and is updated iteratively using mergence and maintenance energies computed during the analysis procedure. In the updated hierarchical tree, segmented frames are extracted by applying a greedy algorithm on the node with high saliency when it satisfies the reduction ratio and the minimum interval requested by the user. Experimental result shows that the proposed method summaries a 2 minute-length video in about 10 seconds on a commercial smartphone. The summarization quality is superior to the commercial video editing software, Muvee.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.209-212
• /
• 2009

본 논문에서는 MDCT기반의 오디오 특징과 영상 특징을 이용하여 축구 동영상의 하이라이트를 효과적으로 요약하는 방식을 제안한다. 제안하는 방식에서는 입력되는 축구 동영상을 비디오 신호와 오디오 신호로 분리한 후에, 분리된 연속적인 오디오 신호를 압축영역의 MDCT계수를 통해 이벤트 사운드별로 분류하여 오디오 이벤트 후보구간을 추출한다. 입력된 비디오 신호에서는 장면 전환점을 추출하고 추출된 장면 전환점으로부터 페널티 영역을 검출한다. 검출된 오디오 이벤트 후보구간과 검출된 페널티 영역장면을 함께 결합하여 축구 동영상의 이벤트 장면을 검출한다. 검출된 페널티 영역 장면을 통해 검출된 이벤트 구간을 다른 이벤트 구간보다 더 높은 우선순위를 갖는 하이라이트로 선정하여 요약본이 생성된다. 생성된 하이라이트 요약본의 평가는 precision과 recall을 통해 정확도를 평가하였다.

• The KIPS Transactions:PartB
• /
• v.14B no.2
• /
• pp.89-98
• /
• 2007

For browsing, searching, and manipulating video documents, an indexing technique to describe video contents is required. Until now, the indexing process is mostly carried out by specialists who manually assign a few keywords to the video contents and thereby this work becomes an expensive and time consuming task. Therefore, automatic classification of video content is necessary. We propose a fully automatic and computationally efficient method for analysis and summarization of spots news video for 5 spots news video such as soccer, golf, baseball, basketball and volleyball. First of all, spots news videos are classified as anchor-person Shots, and the other shots are classified as news reports shots. Shot classification is based on image preprocessing and color features of the anchor-person shots. We then use the dominant color of the field and motion features for analysis of sports shots, Finally, sports shots are classified into five genre type. We achieved an overall average classification accuracy of 75% on sports news videos with 241 scenes. Therefore, the proposed method can be further used to search news video for individual sports news and sports highlights.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 1999.11b
• /
• pp.187-191
• /
• 1999

비디오 프로그램에서 영상 내에 포함되어 있는 문자정보는 동영상의 내용 검색 및 색인을 위한 비디오 분할에 사용될 수 있다. 일반적으로 장면 내에 포함되어 있는 문자들은 해상도가 낮고 글자 크기와 형태가 다양하기 때문에 추출과 인식이 어려울 뿐만 아니라 의도하지 않은 배경화면의 문자인 경우도 많기 때문에 내용기반 검색에는 사용되기가 어렵다. 그러나 비디오 내에 포함된 문자정보가 나타나는 시작 프레임과 끝나는 프레임을 검출하여 비디오 프로그램을 분할함으로써 내용기반요약정보를 만들 수 있으며, 동영상의 내용 검색 및 색인에 사용할 수 있다. 일반적으로 문자정보의 추출에 의해서 비디오를 분할할 때 음성정보는 전혀 고려되지 않으므로 분할된 비디오 정보를 재생할 경우음성신호가 단어 또는 어절/음절의 임의의 점에서 시작되고 끝나게 되어 듣기에 부자연스럽게 된다 따라서 본 논문에서는 뉴스방송의 비디오 프로그램에서 문자정보가 포함되어 는 비디오의 시작 프레임과 끝 프레임을 중심으로 그에 대응되는 구간의 음성신호를 검출한 후 이를 적절히 처리하여 분할 된 비디오를 재생할 때 음성신호가 보다 자연스럽게 들릴 수 있도록 하는 방법에 대해 연구하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2002.11a
• /
• pp.121-125
• /
• 2002

디지털 TV 서비스의 시작으로 시청자의 효율적인 방송 컨텐츠 이용의 필요성이 제시되었고, 이를 위한 사용자 맞춤형 서비스와 방송 컨텐츠의 특징 추출 및 표현 방법 등, 지능형 TV에 대한 연구가 수행되고 있다. 지능형 TV의 방송 컨텐츠의 비디오 요약과 비디오 하이라이트 등의 제작을 위해 MPEG-7 비주얼 기술자를 이용하여 비주얼 특성을 추출할 수 있다. 특히 비디오의 컬러 특징을 추출하는 MPEG-7 컬러 기술자를 이용한 특징 추출 위해서는 압축된 비디오를 복호하고 비디오의 프레임을 획득하여 특징을 추출하게 되지만, 이 과정은 비주얼 특징 추출 시간을 증가시켜 압축된 방송용 컨텐츠에 MPEG-7 컬러 기술자의 적용을 어렵게 한다. 본 논문은 압축된 비디오의 컬러 특성 추출 속도의 향상을 위해 비디오 압축 영역에서 MPEG-7 컬러 기술자를 적용할 수 있는 방법을 제안하였다. 압축된 비디오에서 DC 프레임을 추출하여 컬러 특징 추출 시간이 감소하였고 검색 율의 변화는 크지 않았다. 본 논문에서 제안한 방식은 방송용으로 압축된 비디오의 비주얼 특징을 고속으로 추출할 수 있는 방법으로의 활용이 가능할 것이다.

• Journal of the Korean Society for information Management
• /
• v.24 no.4
• /
• pp.53-72
• /
• 2007

This study is designed to assess whether storyboard surrogates are useful enough to be utilized for indexing sources as well as for metadata elements using 12 sample videos and 14 participants. Study shows that first, the match rates of index terms and summaries are significantly different according to video types, which means storyboard surrogates are especially useful for the type of videos of conveying their meanings mainly through images. Second, participants could assign subject keywords and summaries to digital video, sacrificing a little loss of full video clips' match rates. Moreover, the match rate of index terms (0.45) is higher than that of summaries (0.40). This means storyboard surrogates could be more useful for indexing videos rather than summarizing them. The study suggests that 1)storyboard surrogates can be used as sources for indexing and abstracting digital videos; 2) using storyboard surrogates along with other metadata elements (e.g., text-based abstracts) can be more useful for users' relevance judgement; and 3)storyboard surrogates can be utilized as match sources of image-based queries. Finally, in order to improve storyboard surrogates quality, this study proposes future studies: constructing key frame extraction algorithms and designing key frame arrangement models.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2001.11b
• /
• pp.193-198
• /
• 2001

최근 대용량 디지털 비디오의 효율적인 이용 및 관리를 위한 데이터 베이스 구축이 절실히 요구되고 있다. 이를 위해서 , 디지털 비디오의 내용 기반 요약이 필요하며, 선행 기술로서 비디오의 샷 경계 검출이 이루어져야 한다. 기존의 샷 경계 검출 방법들은 압축 파일로 저장된 비디오 데이터에 대해 샷 경계 검출을 수행한다. 이러한 기존 방법과 달리, 본 논문에서는 디지털 비디오 카메라로부터 비디오 데이터를 얻어 저장하면서, 실시간으로 샷 경계 검출을 수행하고자 한다. 그리고, 실시간 샷 경계 검출에 있어서 본 논문은 MPEG-7의 Homogeneous Texture와 Edge Histogram 기술자를 적용하여 추출된 각 비디오 프레임의 질감과 에지 정보를 이용한다 이 방법은 비디오의 샷 경계 검출에 있어서 시간적으로 기존 방법들보다 효율적이고, 내용 기반 검색에 유용하다.

• Journal of KIISE:Software and Applications
• /
• v.30 no.7_8
• /
• pp.599-609
• /
• 2003

Video abstraction is a process to pick up some important shots on a video, while the important shots might vary on the persons subjectivity. Previous works on video abstraction use only one low level feature to choose an important shot. This thesis proposes an abstraction scheme that selects a set of shots which simultaneously satisfies the desired features(or objective functions) of a good abstraction. Since the complexity of the computation to find a set of shots which maximizes the sum of object function values is $0({2^n})$, the proposed .scheme uses a simulated annealing based searching method to find the suboptimal value within a short period of time. Upon the experimental results on various videos, we could argue that the proposed abstraction scheme could produce a reasonable video abstraction. The proposed abstraction scheme used to build a digital video library.