End-to-End Learning-based Spatial Scalable Image Compression with Multi-scale Feature Fusion Module

다중 스케일 특징 융합 모듈을 통한 종단 간 학습기반 공간적 스케일러블 영상 압축

  • Shin Juyeon (Electronic and Electrical Department and Graduate Program in Smart Factory, Ewha Womans University) ;
  • Kang Jewon (Electronic and Electrical Department and Graduate Program in Smart Factory, Ewha Womans University)
  • 신주연 (전자전기공학과 스마트팩토리융합전공 + 이화여자대학교 ) ;
  • 강제원 (전자전기공학과 스마트팩토리융합전공 + 이화여자대학교 )
  • Published : 2022.11.18

Abstract

최근 기존의 영상 압축 파이프라인 대신 신경망의 종단 간 학습을 통해 압축을 수행하는 알고리즘의 연구가 활발히 진행되고 있다. 본 논문은 종단 간 학습 기반 공간적 스케일러블 압축 기술을 제안한다. 보다 구체적으로 본 논문은 신경망의 각 계층에서 하위 계층의 학습된 특징 (feature)을 융합하여 상위 계층으로 전달하는 다중 스케일 특징 융합 (multi-scale feature fusion) 모듈을 도입해 상위 계층이 더욱 풍부한 특징 정보를 학습하고 계층 사이의 특징 중복성을 더욱 잘 제거할 수 있도록 한다. 기존 방법 대비 향상 계층(enhancement layer)에서 1.37%의 BD-rate가 향상된 결과를 볼 수 있다.

Keywords

Acknowledgement

This work is supported by the NRF grant funded by MSIT (No.NRF-2022R1A2C4002052).