Improving immersive video compression efficiency by reinforcement learning

강화학습 기반 몰입형 영상 압축 성능 향상 기법

In this paper, we propose a new method for improving compression efficiency of immersive video using reinforcement learning. Immersive video means a video that a user can directly experience, such as 3DOF+ videos and Point Cloud videos. It has a vast amount of information due to their characteristics. Therefore, lots of compression methods for immersive video are being studied, and generally, a method, which projects an 3D image into 2D image, is used. However, in this process, a region where information does not exist is created, and it can decrease the compression efficiency. To solve this problem, we propose the reinforcement learning-based filling method with considering the characteristics of images. Experimental results show that the performance is better than the conventional padding method.

본 논문에서는 강화학습을 이용하여 몰입형 영상의 압축 효율을 향상시키는 기법을 제안한다. 몰입형 영상이란 3DOF+ 영상 혹은 Point Cloud 영상과 같이 사용자가 직접 체험할 수 있는 영상을 의미한다. 또한 몰입형 영상은 그 특성에 의해 방대한 양의 정보를 가지고 있다. 따라서 이를 압축하기 위한 압축 방법들이 연구되고 있으며, 일반적으로 3D 공간의 영상을 2D 공간으로 사영하는 방식을 사용한다. 하지만 이 과정에서 정보가 존재하지 않는 영역이 생성되며 이는 압축 효율 저하의 원인이 된다. 이러한 문제를 해결하기 위하여 영상의 특성을 반영할 수 있도록 강화학습을 통한 채우기 기법을 제안한다. 실험 결과 제안한 기법이 기존 기법에 비해 좋은 성능을 보임을 확인할 수 있다.