DOI QR코드

DOI QR Code

Super Resolution Performance Analysis of GAN according to Feature Extractor

특징 추출기에 따른 SRGAN의 초해상 성능 분석

  • Park, Sung-Wook (Interdisciplinary Program in IT-Bio Convergence System, Sunchon National University) ;
  • Kim, Jun-Yeong (Interdisciplinary Program in IT-Bio Convergence System, Sunchon National University) ;
  • Park, Jun (Interdisciplinary Program in IT-Bio Convergence System, Sunchon National University) ;
  • Jung, Se-Hoon (Dept. of Computer Engineering, Sunchon National University) ;
  • Sim, Chun-Bo (Interdisciplinary Program in IT-Bio Convergence System, Sunchon National University)
  • 박성욱 (순천대학교 IT-Bio융합시스템 전공) ;
  • 김준영 (순천대학교 IT-Bio융합시스템 전공) ;
  • 박준 (순천대학교 IT-Bio융합시스템 전공) ;
  • 정세훈 (순천대학교 컴퓨터공학과) ;
  • 심춘보 (순천대학교 IT-Bio융합시스템 전공)
  • Published : 2022.11.21

Abstract

초해상이란 해상도가 낮은 영상을 해상도가 높은 영상으로 합성하는 기술이다. 딥러닝은 영상의 해상도를 높이는 초해상 기술에도 응용되며 실현은 2아4년에 발표된 SRCNN(Super Resolution Convolutional Neural Network) 모델로부터 시작됐다. 이후 오토인코더 (Autoencoders) 구조로는 SRCAE(Super Resolution Convolutional Autoencoders), 합성된 영상을 실제 영상과 통계적으로 구분되지 않도록 강제하는 GAN (Generative Adversarial Networks) 구조로는 SRGAN(Super Resolution Generative Adversarial Networks) 모델이 발표됐다. 모두 SRCNN의 성능을 웃도는 모델들이나 그중 가장 높은 성능을 끌어내는 SRGAN 조차 아직 완벽한 성능을 내진 못한다. 본 논문에서는 SRGAN의 성능을 개선하기 위해 사전 훈련된 특징 추출기(Pre-trained Feature Extractor) VGG(Visual Geometry Group)-19 모델을 변경하고, 기존 모델과 성능을 비교한다. 실험 결과, VGG-19 모델보다 윤곽이 뚜렷하고, 실제 영상과 더 가까운 영상을 합성할 수 있는 모델을 발견할 수 있을 것으로 기대된다.

Keywords

Acknowledgement

This research was supported by Basic Science Research Program through the National Research Foundation of Korea(NRF) funded by the Ministry of Education(2020RlIlA3054843) and this work was supported by the BK21 plus program through the National Research Foundation (NRF) funded by the Ministry of Education of Korea(5199990214660).