• 정보관리학회지
• /
• 제26권3호
• /
• pp.169-188
• /
• 2009

본 연구는 비디오의 오디오 정보를 추출하여 자동으로 요약하는 알고리즘을 설계하고, 제안된 알고리즘에 의해서 구성한 오디오 요약의 품질을 평가하여 효율적인 비디오 요약의 구현 방안을 제안하였다. 구체적인 연구 결과를 살펴보면 다음과 같다. 먼저, 제안 오디오 요약의 품질이 위치 기반 오디오 요약의 품질 보다 내재적 평가에서 더 우수하게 나타났다. 이용자 평가(외재적 평가)의 요약문 정확도에서는 제안 요약문이 위치 기반 요약문 보다 더 우수한 것으로 나타났지만, 항목 선택에서는 이 두 요약문간의 성능 차이는 없는 것으로 나타났다. 이외에 비디오 브라우징을 위한 오디오 요약에 대한 이용자 만족도를 조사하였다. 끝으로 이러한 조사 결과를 기초로 하여 제안된 오디오 요약 기법을 인터넷이나 디지털 도서관에 활용하는 방안들을 제시하였다.

• 스마트미디어저널
• /
• 제9권1호
• /
• pp.23-29
• /
• 2020

This paper presents an approach for dynamic hand gesture recognition by using algorithm based on 3D Convolutional Neural Network (3D_CNN), which is later extended to 3D Residual Networks (3D_ResNet), and the neural network based key frame selection. Typically, 3D deep neural network is used to classify gestures from the input of image frames, randomly sampled from a video data. In this work, to improve the classification performance, we employ key frames which represent the overall video, as the input of the classification network. The key frames are extracted by SegNet instead of conventional clustering algorithms for video summarization (VSUMM) which require heavy computation. By using a deep neural network, key frame selection can be performed in a real-time system. Experiments are conducted using 3D convolutional kernels such as 3D_CNN, Inflated 3D_CNN (I3D) and 3D_ResNet for gesture classification. Our algorithm achieved up to 97.8% of classification accuracy on the Cambridge gesture dataset. The experimental results show that the proposed approach is efficient and outperforms existing methods.

• 한국컴퓨터그래픽스학회논문지
• /
• 제19권2호
• /
• pp.9-18
• /
• 2013

본 논문에서는 육하원칙 정보를 기반으로 홈비디오에서 키프레임을 추출하는 방법을 제시한다. 키프레임 추출방법이란 비디오에서 중요하다고 생각되는 특정 프레임만을 선출하여 비디오를 요약하는 방법이다. 홈비디오의 경우 그 주제가 다양하여 특별한 가정을 통한 정보 추출이 어렵고, 주로 인물이 비디오의 중심이 되기 때문에 인물의 행동을 중심으로 요약을 수행하여야 한다. 본 논문에서는 인물의 얼굴, 인물의 행동, 전체 배경 정보를 분석하여 인물 중심의 보편적인 요약 기준인 육하원칙의 주요 정보를 추출한다. 추가적으로 비디오의 매 프레임의 블러 크기를 측정하여 이용함으로써 프레임별로 얼마나 많은 정보를 포함하고 있는지 측정하고, 가장 많은 정보를 포함한 프레임을 키프레임으로 선출한다. 사용자 실험을 통해 사용자가 홈비디오에서 여러 개의 키프레임을 선택할 경우, 기존의 방법보다 사용자의 선택과 유사함을 확인할 수 있다.

• 한국정보과학회논문지:데이타베이스
• /
• 제37권3호
• /
• pp.127-136
• /
• 2010

정보 통신기술이 발전함에 따라 멀티미디어 데이터를 포함하는 디지털 기록물의 양은 기하급수적으로 증가하고 있다. 특히 뉴스 비디오는 시대상을 반영하는 풍부한 정보를 내포하고 있으므로, 이를 효과적으로 관리하고 분석하기 위한 뉴스 비디오 데이터베이스 및 뉴스 비디오 마이닝은 광범위하게 연구되어왔다. 그러나 현재까지의 뉴스 비디오 관련 연구들은 뉴스 기사에 대한 브라우징, 검색, 요약에 치중되어 있으며, 뉴스 비디오에 내재되어 있는 풍부한 잠재적 지식을 탐사하는 고수준의 의미 분석 단계에는 이르지 못하고 있다. 본 논문에서는 뉴스 비디오 클립과 스크립트를 동시에 이용하는, 멀티모달 방법론과 텍스트 마이닝 기반의 뉴스 비디오 마이닝 시스템을 제안한다. 제안된 시스템은 텍스트 마이닝의 군집분석을 통해 뉴스 기사들을 자동 분류하고, 분류 결과에 대해 기간별 군집 추이그래프, 군집성장도 분석 및 네트워크 분석을 수행함으로써, 뉴스 비디오의 기사별 주제와 관련한 다각적 분석을 수행한다. 제안된 시스템의 타당성 검증을 위하여 "2007년 제2차 남북 정상회담" 관련 뉴스 비디오를 대상으로 뉴스 비디오 분석을 수행하였다.

• Journal of Contemporary Eastern Asia
• /
• 제16권1호
• /
• pp.1-21
• /
• 2017

The Jakarta Provincial Government utilizes the YouTube channel to interact with citizens and enhance transparency. The purpose of this study is to explore online perceptions of local government image perceived by online audiences through the YouTube platform. The concepts of organizational image and credibility in the political image are adapted to analyze online public perceptions on the Jakarta Provincial Government image. Using the video summarization approach on Three hundred and forty-six official YouTube videos, which were uploaded from 1 March 2016 to 31 May 2016, and content analysis of Eight thousand two hundred and thirty-seven comments, this study shows both political and bureaucratic image emerge concurrently in the Jakarta Provincial Government case. The typology model is proposed to describe and explain the four image variations that occurred in the case study. Practical recommendations are suggested to manage YouTube channel as one of the social media used in the local government context.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 추계학술대회
• /
• pp.209-212
• /
• 2009

본 논문에서는 MDCT기반의 오디오 특징과 영상 특징을 이용하여 축구 동영상의 하이라이트를 효과적으로 요약하는 방식을 제안한다. 제안하는 방식에서는 입력되는 축구 동영상을 비디오 신호와 오디오 신호로 분리한 후에, 분리된 연속적인 오디오 신호를 압축영역의 MDCT계수를 통해 이벤트 사운드별로 분류하여 오디오 이벤트 후보구간을 추출한다. 입력된 비디오 신호에서는 장면 전환점을 추출하고 추출된 장면 전환점으로부터 페널티 영역을 검출한다. 검출된 오디오 이벤트 후보구간과 검출된 페널티 영역장면을 함께 결합하여 축구 동영상의 이벤트 장면을 검출한다. 검출된 페널티 영역 장면을 통해 검출된 이벤트 구간을 다른 이벤트 구간보다 더 높은 우선순위를 갖는 하이라이트로 선정하여 요약본이 생성된다. 생성된 하이라이트 요약본의 평가는 precision과 recall을 통해 정확도를 평가하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (B)
• /
• pp.544-548
• /
• 2006

본 논문에서는 광범위한 지역을 감시하기 위해 설치된 여러 대의 카메라로부터 획득된 비디오에 대해 물체를 기반으로 한 비디오 요약 시스템을 제안한다. 제안된 시스템은 시야가 겹쳐지지 않은 다수의 CCTV 카메라를 통해서 촬영한 비디오들을 30분 단위로 나누어 비디오 데이터베이스를 구축하고 시간별, 카메라별 비디오 검색이 가능하다. 비디오에서 물체기반 키프레임을 추출하여 카메라별, 사람별로 비디오를 요약할 수 있도록 하였다. 또한 임계치에 따라 키프레임 검색정도를 조절함으로써 비디오 요약정도를 조절할 수 있다. 이렇게 검색된 키프레임에 대한 카메라별, 시간별 통계를 통해서 감시지역의 물체기반 이벤트를 간단히 확인해 볼 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2002년도 추계학술발표논문집 (상)
• /
• pp.7-10
• /
• 2002

본 논문에서는 MPEG-7의 활동도 기술자를 이용한 비디오 기술을 제안한다. 제안한 방법은 압축상태의 비디오 자료에서 직접 움직임 벡터들을 추출, 각 프레임들의 활동도의 강도를 계산하고 프레임의 흐름에 따라 계산된 활동도의 변화량에 대해 퓨리에 변환을 적용하여 얻어진 주파수 성분을 분석하여 활동도의 시간적 분포도를 계산한다. 계산된 강도 및 분포도는 MPEG-7의 표준에 따르기 위해 양자화하여 비디오 요약에 이용한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2003년도 정기총회 및 학술대회
• /
• pp.3-6
• /
• 2003

방송 서비스상의 교육용 어학 컨텐츠의 증가와 더불어 비디오 컨텐츠의 효율적인 제공, 이용 및 관리를 위한 내용 기반 요약에 대한 연구가 필요하다. 본 논문에서는 교육용 어학 비디오의 내용 기반 요약을 위한 방법을 제안한다. 디지털 비디오로부터 샷 경계를 추출한 후 각 샷을 대표하는 키프레임으로부터 MPEG-7 비주얼 특징 값들을 추출한다. 추출된 특징 값들의 다중 조합을 통해 교육용 어학 비디오의 내용 정보를 세분화하여 요약 결과를 생성한다. 외국어 회화 컨텐츠에 대해 실험하여 알고리즘의 효용성을 검증하였으며. 제안한 방법은 교육용 방송 컨텐츠의 다양한 서비스 제공 및 관리론 위한 비디오 요약 시스템에 효율적으로 이용될 것이다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.694-695
• /
• 2023

최근 ChatGPT 를 각 분야에 활용하는 연구가 활발하게 이루어지고 있다. ChatGPT 는 최신 자연어 처리 모델로, 텍스트를 통해 입출력을 진행한다. 본 논문에서는 이러한 ChatGPT 를 활용하여 영상을 효과적으로 요약할 수 있는 새로운 접근 방식을 제시한다. STT 기술을 사용하여 영상의 자막에 대한 텍스트 파일을 추출하고 이를 ChatGPT 로 요약한다. 최종적으로 기존 텍스트와의 유사도 분석을 통해 유사도가 높은 부분을 선택하여 영상을 편집하고 요약한다.