Spatio-temporal Mode Selection Methods of Fast H.264 Using Multiple Reference Frames

H.264 provides a good coding efficiency compared with existing video coding standards, H.263, MPEG-4, based on the use of multiple reference frame for variable block size motion estimation, quarter-pixel motion estimation and compensation, $4{\times}4$ integer DCT, rate-distortion optimization, and etc. However, many modules used to increase its performance also require H.264 to have increased complexity so that fast algorithms are to be implemented as practical approach. In this paper, among many approaches, fast mode decision algorithm by skipping variable block size motion estimation and spatial-predictive coding, which occupies most encoder complexity, is proposed. This approach takes advantages of temporal and spatial properties of fast mode selection techniques. Experimental results demonstrate that the proposed approach can save encoding time up to 65% compared with the H.264 standard while maintaining the visual perspectives.

다중 참조 영상을 이용한 고속 H.264의 움직임 예측 모드 선택 기법

ITU-T와 MPEG에 의해 최근 표준화가 완성된 H.264는 가변 블록 크기 움직임 예측, 다중 참조 영상, 1/4화소단위 움직임 예측 및 보상, $4{\times}4$ 정수 단위 DCT, 비트율-왜곡 최적화(Rate-Distortion Optimization)등의 새로운 부호화 기술로 H.263, MPEG-4 등 기존 비디오 표준에 비해 더 좋은 부호화 효율을 제공하고 있다. 그러나 새로운 부호화 기술들은 H.264의 전반적인 복잡도를 심화시키는 주된 요인이므로, H.264의 실제 응용을 용이하게 하기 위해서는 이러한 기술에 대한 고속 알고리즘이 요구된다. 제안하는 방식은 부호화기의 복잡도에서 가장 큰 비중을 차지하는 가변 블록 크기 움직임 예측 부호화에서 부호화 모드를 효율적으로 생략함으로써 모드 결정을 빠르게 수행하는 고속 모드 결정법으로, 참조 영상의 수를 줄이는 방법과 예측 모드를 생략하는 방법으로 구분될 수 있다. 참조 영상의 수를 줄이는 방법의 경우 상위 $16{\times}16$ 매크로블록에서 최소의 SAD를 갖는 참조 영상을 선택하여 $16{\times}8$과 $8{\times}16$ 모드의 움직임을 예측하고, 이 중 다시 최적의 참조 영상을 선택하여 하위 모드의 움직임을 예측한다. 예측 모드를 생략하는 방법에서는 매크로블록의 가로와 세로 세분화 방향성을 이용하여 만약 $16{\times}16$ 모드가 선택될 경우, $8{\times}8$과 $4{\times}4$ 하위 모드만 수행하고, $16{\times}8$ 모드가 선택되면 $8{\times}4$, $8{\times}16$ 모드가 선택되면 $4{\times}8$ 모드에서만 움직임 예측을 수행할 수 있다. 실험 결과 모든 참조 영상을 사용하는 방식에 비해 평균 65%가량 속도가 향상된 반면 영상의 화질은 H.264 표준 및 기존 방식과 유사함을 PSNR을 통하여 증명한다.