• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권6호
• /
• pp.3074-3091
• /
• 2019

With the widespread use of the Internet, services for providing large-capacity multimedia data such as video-on-demand (VOD) services and video uploading sites have greatly increased. VOD service providers want to be able to provide users with high-quality keyframes of high quality videos within a few minutes after the broadcast ends. However, existing keyframe extraction tends to select keyframes whose quality as a keyframe is insufficiently considered, and it takes a long computation time because it does not consider an HD class image. In this paper, we propose a keyframe selection method that flexibly applies multiple keyframe quality metrics and improves the computation time. The main procedure is as follows. After shot boundary detection is performed, the first frames are extracted as initial keyframes. The user sets evaluation metrics and priorities by considering the genre and attributes of the video. According to the evaluation metrics and the priority, the low-quality keyframe is selected as a replacement target. The replacement target keyframe is replaced with a high-quality frame in the shot. The proposed method was subjectively evaluated by 23 votes. Approximately 45% of the replaced keyframes were improved and about 18% of the replaced keyframes were adversely affected. Also, it took about 10 minutes to complete the summary of one hour video, which resulted in a reduction of more than 44.5% of the execution time.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
• /
• pp.85-88
• /
• 2022

영상을 구성하는 프레임 중에 키프레임은 일반적으로 영상 정보를 효과적으로 요약하거나 용이한 분석을 위해 선정된다. 화상이 가진 의미는 인물/사물 등의 객체탐지를 통해 추출되는데, 기존의 키프레임 관련 연구는 영상이 가지는 의미를 반영하는 키프레임을 찾아내기 어렵다. 본 논문에서는 영상이 가지는 특정 의미가 있다고 할 때 이를 반영하는 키프레임을 효과적으로 추출하는 방법을 실험적으로 탐구하였다. 구체적으로 영상을 통할하는 의미를 피로라고 가정하고 영상의 졸음 인식 관련 연구에 사용되는 DDD 데이터셋을 이용하여 효과적인 키프레임 추출 기법을 적용해 보았으며, 실험 결과 졸음이라는 특정 정보에 대한 해석을 도울 수 있는 의미 있는 요약을 제공하는 키프레임들을 효과적으로 추출하는 분석 기법을 찾아낼 수 있었다.

• 방송공학회논문지
• /
• 제14권6호
• /
• pp.661-675
• /
• 2009

인터넷과 멀티미디어 기술이 발달함에 따라 무분별한 불법 콘텐츠들의 유통으로 인한 저작권 침해가 심각한 사회적 문제로 대두되고 있어, 불법 복제 영상을 검출하는 시스템의 개발이 시급하다. 본 논문에서는 공간영역 상에서 다양하게 변형된 복제 영상과 원본 영상간의 통계적 특성을 이용하여 그 유사도를 측정하고 복제 여부를 판단하는 계층적 구조의 불법 비디오 감식 방법을 제안한다. 영상의 대표적 특성인 휘도 성분에 따라 순위를 매김으로써 공간적 변형에 영향을 받지 않도록 하였으며, 데이터베이스에 저장된 방대한 양의 영상들에 대한 검색시간과 계산량을 줄이기 위해 순위 표본 프레임을 이용하여 유사한 후보 영상군을 추출한다. 이러한 후보 영상군을 대상으로 일반적인 불법 복제 비디오의 형태를 감안하여 각 프레임의 가장자리에 위치한 검은색 영역을 제외함과 동시에 영상의 중앙 영역을 포함하여 통계 검정을 이용함으로써 복제 여부를 판단한다. 실험 결과, 제안하는 방법은 이전 방법에 비해 순위 표본 프레임의 정확도가 유사하면서 선택된 순위 표본 프레임 수가 약 61% 가량 적게 추출하여 특징 정보에 저장되는 메모리 양을 절약할 수 있었다. 또한 영상의 화질 열화, 대비 변형, 확대 및 축소, 화면비 변환, 자막 삽입 등 다양한 공간적 변형에도 포괄적으로 복제 여부를 판단할 수 있음을 실험을 통해 확인하였다.

• 방송공학회논문지
• /
• 제13권5호
• /
• pp.662-676
• /
• 2008

본 논문은 불법복제된 DTV 방송프로그램의 온라인 불법전송을 차단하기 위한 비디오 복사본 검출 알고리즘을 제안한다. 제안한 알고리즘은 급격한 휘도 변화가 나타나는 방송영상의 비디오 프레임을 선별하여 키프레임(keyframe)을 구성한 후, 키프레임의 시 공간적 특징정보를 추출하여 사전에 등록된 방송영상 저작물들의 특징정보와 비교함으로써 해당 방송영상의 불법복제 여부를 판별하는 동영상 필터링(filtering) 기능을 제공한다. 특히 모든 프레임을 이용하지 않고 키프레임만을 추출함으로써 대용량 방송영상물의 저작권 침해 여부를 효율적으로 판단할 수 있으며, 온라인 전송과정에서 빈번히 적용되는 영상비 변환, 로고 삽입, 자막 삽입, 화질 열화 및 해상도 감소 등의 다양한 동영상 편집효과에도 강인함을 실험을 통하여 확인하였다. 또한 기존 알고리즘들과의 성능비교실험을 통하여 상대적 우수성을 평가하였다.

• 지능정보연구
• /
• 제28권4호
• /
• pp.329-346
• /
• 2022

최근 소셜 미디어의 숏폼(Short form) 동영상(인스타그램, 틱톡, 유튜브) 시장이 점차 증가하면서 인공지능 영역에서는 이를 활용한 연구가 활발히 진행되고 있다. 대표적인 연구분야로 동영상 내의 패션 상품을 탐지하고 상품 이미지를 검색하는 Video to shop 을 들 수 있다. 이와 같은 동영상 기반 인공지능 모델에서는 Convolution 연산을 사용하여 상품의 특징을 추출한다. 하지만 연산 자원의 제한으로 인해, 동영상의 모든 프레임을 사용하여 특징을 추출하는 것은 현실적으로 불가능하다. 이로 인해, 기존 연구에서는 전체 프레임 중 일부만 샘플링해서 사용하거나, 주제의 특성을 활용한 샘플링 방법을 개발하여 이를 통해 위 문제점을 개선하고, 모델의 성능도 향상시켰다. 기존의 Video to shop 연구에서는 프레임을 샘플링 할 때, 무작위로 일부분의 프레임을 샘플링하거나 균등한 간격으로 샘플링 한다. 하지만 이러한 샘플링 방법은 상품이 존재하지 않는 노이즈 프레임을 샘플링 하면서 패션 상품 검색 모델의 성능을 저하시킨다. 이에 본 연구는 노이즈 프레임을 제거하고 검색 모델의 성능을 향상시키는 샘플링 방법 MF(Missing Fashion items on frame) sampler를 제안한다. MF sampler는 키 프레임 메커니즘(Mechanism)을 발전시켜 자원 한계의 문제점을 개선했다. 또한, 노이즈 탐지 모델을 활용한 노이즈 프레임 제거를 통해 검색 모델의 성능을 향상시켰다. 이와 같은 결과는 실험을 통해 확인되었고, Video to shop 패션 상품 검색에 있어 성능 향상과 효과적인 학습이 가능하다는 것을 확인할 수 있었다.

• 지능정보연구
• /
• 제21권1호
• /
• pp.83-98
• /
• 2015

TV를 보면서 방송에 관련된 정보를 검색하려는 많은 시청자들은 정보 검색을 위해 주로 포털 사이트를 이용하고 있으며, 무분별한 정보 속에서 원하는 정보를 찾기 위해 많은 시간을 소비하고 있다. 이와 같은 문제를 해결하기 위한 연구로써, 인터랙티브 비디오에 대한 연구가 활발하게 진행되고 있다. 인터랙티브 비디오는 일반적인 비디오에 추가 정보를 갖는 클릭 가능한 객체, 영역, 또는 핫스팟을 동시에 제공하여 사용자와 상호작용이 가능한 비디오를 말한다. 클릭 가능한 객체를 제공하는 인터랙티브 비디오를 저작하기 위해서는 첫째, 증강 객체를 생성하고, 둘째, 어노테이터가 비디오 위에 클릭 가능한 객체의 영역과 객체가 등장할 시간을 지정하고, 셋째, 객체를 클릭할 때 사용자에게 제공할 추가 정보를 지정하는 과정을 인터랙티브 비디오 저작 도구를 이용하여 수행한다. 그러나 기존의 저작 도구를 이용하여 인터랙티브 비디오를 저작할 때, 객체의 영역과 등장할 시간을 지정하는데 많은 시간을 소비하고 있다. 본 논문에서는 이와 같은 문제를 해결하기 위해 유사한 샷들의 모임인 샷 시퀀스의 모든 샷에서 얼굴 영역을 검출한 샷 시퀀스 메타데이터 모델과 객체의 어노테이션 결과를 저장할 인터랙티브 오브젝트 메타데이터 모델, 그리고 어노테이션 후 발생될 수 있는 부정확한 객체의 위치 문제를 보완할 사용자 피드백 모델을 적용한 얼굴영역을 기반으로 하는 새로운 형태의 어노테이션 방법을 제안한다. 마지막으로 제안한 어노테이션 방법의 성능을 검증하기 위해서 인터랙티브 비디오 저작 시스템을 구현하여 기존의 저작도구들과 저작 시간을 비교하였고, 사용자 평가를 진행 하였다. 비교 분석 결과 평균 저작 시간이 다른 저작 도구에 비해 2배 감소하였고, 사용자 평가 결과 약 10% 더 유용한다고 평가 되었다.