Virtual reference image-based video coding using FRUC algorithm

FRUC 알고리즘을 사용한 가상 참조 이미지 기반 부호화 기술 연구

Frame rate up-conversion (FRUC) algorithm is an image interpolation technology that improves the frame rate of moving pictures. This solves problems such as screen shake or blurry motion caused by low frame rate video in high-definition digital video systems, and provides viewers with a more free and smooth visual experience. In this paper, we propose a video compression technique using deep learning-based FRUC algorithm. The proposed method compresses and transmits after excluding some images from the original video, and uses a deep learning-based interpolation method in the decoding process to restore the excluded images, thereby compressing them with high efficiency. In the experiment, the compression performance was evaluated using the decoded image and the image restored by the FRUC algorithm after encoding the video by skipping 1 or 3 pages. When 1 and 3 sheets were excluded, the average BD-rate decreased by 81.22% and 27.80%. The reason that excluding three images has lower encoding efficiency than excluding one is because the PSNR of the image reconstructed by the FRUC method is low.

Frame rate up-conversion (FRUC) 알고리즘은 동영상의 프레임율을 향상시키는 영상 보간 기술이다. 이는 고화질 디지털 비디오 시스템에서 저프레임율 동영상으로 인한 화면 떨림이나 흐릿한 움직임 등의 문제를 해소하고 시청자에게 보다 자유롭고 매끄러운 시각 경험을 제공한다. 본 논문에서는 딥러닝 기반의 FRUC 알고리즘을 이용하여 동영상을 압축하는 기술을 제안한다. 제안 방법은 원시 동영상에서 일부 영상을 제외한 후 압축 및 전송하고, 복호화 과정에서 딥러닝 기반의 보간 방법을 이용하여 제외된 영상을 복원함으로써 고효율로 압축한다. 실험에서는 동영상을 1, 3장 단위로 건너뛰며 부호화한 후 복호된 영상과 FRUC 알고리즘에 의해 복원한 영상으로 압축 성능을 평가했다. 1장 및 3장씩 제외했을 때 실험결과는 평균 81.22%, 27.80% BD-rate 감소를 보였다. 3 장씩 제외하는 것이 1장의 제외에 비해 부호화 효율이 낮은 이유는 FRUC 방법으로 복원한 영상의 PSNR이 낮기 때문이다.