Scene Change Detection and Key Frame Selection Using Fast Feature Extraction in the MPEG-Compressed Domain

MPEG 압축 영상에서의 고속 특징 요소 추출을 이용한 장면 전환 검출과 키 프레임 선택

In this paper, we propose novel scene change detection and key frame selection techniques, which use two feature images, i.e., DC and edge images, extracted directly from MPEG compressed video. For fast edge image extraction. we suggest to utilize 5 lower AC coefficients of each DCT. Based on this scheme, we present another edge image extraction technique using AC prediction. Although the former is superior to the latter in terms of visual quality, both methods all can extract important edge features well. Simulation results indicate that scene changes such as cut. fades, and dissolves can be correctly detected by using the edge energy diagram obtained from edge images and histograms from DC images. In addition. we find that our edge images are comparable to those obtained in the spatial domain while keeping much lower computational cost. And based on HVS, a key frame of each scene can also be selected. In comparison with an existing method using optical flow. our scheme can select semantic key frames because we only use the above edge and DC images.

본 논문은 새로운 장면 전환 검출과 키 프레임 선태 기법을 제안하였다. 이를 위해 본 논문에서는 MPEG 압축 동영상에서 직접 DC 영상 및 에지(edge) 영상을 추출하여 이용하는데, 공간 영역으로 변환 후 에지 연상을 추출할 경우 계산량이 많다는 문제점이 있다. 따라서 본 논문에서는 그 계산량을 줄이기 위해 DCT 블록 당 5개의 저 대역 AC 계수들만을 이용하여 축소된 에지 영상을 고속으로 추출하는 방법을 제안하고, 이를 바탕으로 AC 예측(prediction)을 이용한 고속 에지 추출 기법도 추가적으로 제안하였다. 화질 측면에서 전자가 후자보다 약간 우수하지만, 두 방법 모두 영상의 중요한 에지 특징들을 잘 추출할 수 있다. 이와 같이 얻어진 에지 영상 및DC 영상을 이용하여 에지 에너지 다이어그램(dege energy diagram)과 히스토그램(histogram)을 구하여 급진적인 장면 전환 및 페이드(fade), 디졸브(dissolve) 같은 점진적인 장면 전환을 정확하게 검출함을 모의 실험을 통해 확인하였다. 또한 공간 영역에서 구한 에지 영상들에 비해 제안한 방법들에 의한 에지 영상들이 점진적인 장면 검출에 있어 훨씬 적은 계산량으로 비슷한 성능을 보임을 확인하였다. 마지막으로 HVS(human visual system)에 기반하여 각 장면에서 키 프레임을 선택하는 방법도 제안하였다. 위에서 얻어진 에지 및 DC 영상을 이용하기 때문에 optical flow를 이용하는 기존 방법에 비해 적은 계산량으로 의미 있는 키 프레임을 선택할 수 있었다.