Neural Network based Pixel to Intra Prediction Mode Decision

신경망 기반 원본영상에서 화면 내 예측 모드로 변환

VVC(Versertile Video Codec)의 화면 내 예측은 인코더에서 영상을 적절하게 사각형 블록으로 분할하고, 블록 주변의 먼저 재구성된 참조샘플들을 이용하여 예측블록을 형성한다. 인코더는 화면 내 예측 모드에서 각 PU(Prediction Unit)에 대하여 MIP(Matrix-based weighted Intra Prediction) 적용 여부, MIP에서 matrix의 인덱스, MRL(Multi Reference Line)의 인덱스, DC/Planar/Angular 모드에 대한 최적모드를 고려하여 각 정보를 디코더로 전송하며 각 후보모드들의 압축효율을 비교하는 과정에서 높은 연산량을 요구한다. 본 논문에서는 이러한 모드 결정은 원본영상으로도 대략적인 결정이 가능하다는 전제를 가지고 NN(Nueral Netwrok)의 일종인 CNN(Convolutional Nerual Network)를 이용하여 복잡한 모드 결정 방법을 생략하는 방법을 제안한다.