CNN based Image Restoration Method for the Reduction of Compression Artifacts

압축 왜곡 감소를 위한 CNN 기반 이미지 화질개선 알고리즘

Abstract

As realistic media are widespread in various image processing areas, image or video compression is one of the key technologies to enable real-time applications with limited network bandwidth. Generally, image or video compression cause the unnecessary compression artifacts, such as blocking artifacts and ringing effects. In this study, we propose a Deep Residual Channel-attention Network, so called DRCAN, which consists of an input layer, a feature extractor and an output layer. Experimental results showed that the proposed DRCAN can reduced the total memory size and the inference time by as low as 47% and 59%, respectively. In addition, DRCAN can achieve a better peak signal-to-noise ratio and structural similarity index measure for compressed images compared to the previous methods.

1. 서 론

초고속 유무선 네트워크의 발달 및 고해상도 영상서비스 수요가 증가함에 따라, 주어진 네트워크 대역폭 내에서 고화질의 고해상도 영상을 제공하기 위한 압축 기술은 필수적으로 요구된다. 대표적인 이미지 압축 기술[1-2]중 하나인 JPEG(Joint Photographic Experts Group)[3]은 한 장의 이미지를 8x8픽셀 크기의 블록 단위로 분할 한 후, 각 블록을 DCT(Dis- creteCosineTransform)변환 및 양자화(Quantiza- tion)과정을 통해 고주파 영역을 제거하는 손실 압축기술이다. 이때, 양자화 과정에서 발생하는 고주파 성분에 대한 정보량 손실로 인해 복원된 이미지 화질을 저해하는 압축 결함(Compression Artifacts)이 발생할 수 있으며, 이러한 저해상도 이미지를 입력으로 초 해상도(Super Resolution)[4-6], 대비 향상(Contrast Enhancement)[7-9] 및 에지 감지(Edge Detection)[10-12]기법을 적용 시에 입력 영상 열화에 따른 성능 저하가 발생할 수 있다.

압축 결함에 따른 영상 열하 문제를 해결하기 위해 필터 기반 알고리즘들이 연구되었으며, 주로 평균값 필터(Mean Filter), 중앙값 필터(Median Filter), 가우시안 필터(Gaussian Filter)등의 방법을 사용하였다. 여기서 평균값 필터 적용 시 필터에 적용되는 내부의 모든 픽셀 값을 평균으로 계산하게 되므로 필터를 통해 만들어지는 픽셀 주변과 멀리 존재하는 픽셀의 가중치가 동일하게 적용되어 원본 이미지에 비해 왜곡될 수 있다.다음으로중앙값 필터는 임펄스 잡음(Impulse Noise) 또는 점 잡음(Salt and Pepper Noise)에서만 좋은 성능을 보였으며, 가우시안 필터는 엣지(Edge)영역을 부드럽게 만들기 때문에 전제적으로 영상이 흐려지는 단점이 있었다. 이에따라 필터 기반 화질개선 연구 대다수는 압축 결함으로 인한 블러링(Blurring), 블로킹(Blocking)그리고링잉 왜곡(Ringing Artifacts)를 효과적으로 감소시키는데 한계를 보여주었다.

최근 기계학습 분야에서 딥러닝(Deep Learning) 기반 이미지 처리 연구[13-14]가 활발히 진행되고 있으며, 특히 CNN(Convolutional Neural Network) [15]기반의 AR(Artifacts Reduction)방법들은 압축 후 복원된 저해상도 이미지를 원본에 근접하게 화질 개선을 수행하도록 학습하여, 기존 필터 기반의 방법대비 우수한 객관적[16]및 주관적[17]화질개선 결과를 보여주고 있다.대부분의 CNN기반 접근 방식은 네트워크의 성능을 높이기 위해 보다 많은 신경망 매개변수 사용 및 이에 따른 고 복잡도 네트워크 구조로 설계되며, 이러한 구조는 하드웨어 성능 및 메모리 사용에 제한적인 모바일 단말에서 동작하기 어렵기 때문에 경량 AR네트워크 설계가 필수적으로 요구된다.본 논문에서는 제안 방법 내 특징 추출기 (Feature Extractor)설계에서 기존 방법 대비 적은 수의 CNN사용하여 딥러닝 기반 신경망의 복잡도를 줄일 수가 있고, Reblock과 CBA(Channel Bottle-neck Attention) block의 융합구조를 통해 복원된 저해상도 이미지의 화질을 기존 방법대비 향상시킬 수 있는 경량화 된 CNN기반 AR네트워크를 제안한다.

본 논문의 구성은 다음과 같다. 2장에서는 기존에 제안되었던 딥러닝 기반 AR관련 연구를 소개하고, 3장에서는 딥러닝 기반 경량 AR네트워크를 제안한다. 4장은 제안 방법에 대한 실험환경 및 결과를 보여준 후, 5장에서 결론을 맺는다.

2. 관련 연구

딥러닝 기술의 발전으로 초해상도(Super Resolution), 이미지 노이즈 제거(Image Denoising), 왜곡감소(Artifact Reduction)과 같은 컴퓨터 비전 연구는 기존 이미지 처리 기법 대비 높은 이미지 복원성능을 보여주고 있다.현재 딥러닝 기반 AR연구는 Fig.1의 방법과 같이 원본 이미지를 JPEC압축 이미지로 변환한 후, 딥러닝 네트워크를 통해 원본과 유사한 이미지로 개선할 수 있도록 진행되고 있다. 최초의 딥러닝 기반 AR 기법은 ARCNN(Artifact Reduction Convolutional Neural Network)[18]으로 AR을 해결하기 위해 4개의 컨볼루션 레이어로 파라미터를 훈련하며, 압축된 이미지를 입력으로 피처 추출부, 피처 강화부, 매핑부, 복원부의 4가지 구조로 구성되어 있다.ARCNN은 복잡도가 낮은 저경량 네트워크로 설계되어, 최근 연구되는 AR신경망 성능대비 복원된 이미지의 화질개선 성능에 일부 한계가 발생하고 있다. DnCNN(Denoising Convolutional Neural Network)[19]는 컨볼루션 레이어, 활성화 함수(Activation Function) ReLU(Rectified Linear Unit)[20], 배치 정규화와 잔차 학습(Residual Learning)을 이용하여 네트워크가 설계되었다.DnCNN 은 3×3커널과 64개의 필터를 사용하였고, 컨볼루션레이어와 ReLU사이 배치 정규화를 추가하여 학습 과정 중 기울기 손실 및 확장 문제를 해결하였다.

Fig. 1. Flowchart of the single image artifacts reduction based on deep learning.

MWCNN(Multi level Wavelet CNN for Image Restoration)[21]방법은 U-Net[22]구조를 채택하여 총 24개의 컨벌루션 레이어로 네트워크가 구성되어 있다.MWCNN은 4개의 컨벌루션과 다운샘플링 (Down-sampling)을 각각 3번 진행하고 4개의 컨볼루션과 업샘플링(Up-sampling)각각 3번을 거쳐 피처 맵이 추출되며, 다운샘플링이 끝나는 피처 맵에서 업샘플링이 시작되는 피처맵에 잔차신호를 전달하는 구조로 설계되어 있다.DCSC(Deep Convolutional Sparse Coding)[23]는 희소 코딩을 사용한 재귀적 심층 모델이며, 입력 이미지에서 서로 다른 3개의 Dilation Factor를 사용하여 입력 이미지의 피처를 추출한 후, 동일한 네트워크 파라미터를 가지는 1개의 컨볼루션 레이어를 40회 반복 사용하는 재귀적 인구 조로 구성되었다.Dilation Factor와 재귀적인 40 개의 컨볼루션 레이어를 통해 기존의 방법보다 피처 맵을 효율적으로 추출할 수 있지만 네트워크 복잡도 대비 최대 신호 대 잡음비(Peak Signal-to-Noise Ratio, PSNR)의 성능이 낮고 중간 단계의 피처 맵을 저장하기 위해 필요한 메모리 요구량이 높은 단점을 가지고 있다.상술한 네트워크들은 매개변수의 수와 이에 따른 합성곱 연산량이 증가됨에 따라 성능이 향상되는 반면, 복잡한 네트워크 구조를 가지고 있어 제한된 하드웨어 플랫폼 환경에서 동작하기 어려운 문제가 발생할 수 있으며, 화질개선을 최대한 보장하면서 저복잡도 환경에서 동작할 수 있는 경량화 된 AR 신경망 설계의 필요성이 대두되고 있다.

Fig.2는 CNN에서 사용되는 대표적인 네트워크 구성요소 세 가지를 보여주고 있다. Fig.2(a)에 도시된 Residual Block은 Residual Network[24]에서 Skip Connection을 통해 입력 값이 출력 값에 더해짐에 따라 심층신경망 설계 시, 컨벌루션 레이어가 깊어지더라도 입력 신호의 정보 손실을 보상해 줄 수 있는 잔차(Residual)신호를 훈련하여 전체 네트워크의 성능 및 훈련 속도를 감소시킬 수 있다.Fig.2(b) 는 DenseNet[25]에서 기울기 소실 문제를 해결하기 위해 Dense Layer를 사용하여 많은 레이어를 거치는 입력값 또는 기울기에 대한 정보가 네트워크 끝단 또는 시작점에 도달할 때 대부분 사라지는 기울 기소실 문제를 해결하기 위해 제안되었다.이는 각 레이어의 피처 맵의 정보를 이후 진행되는 레이어에 연결 해줌으로써 모든 레이어들로부터 추가적인 정보를 얻게됨에 따라 피처 맵의 정보가 소실되는 것을 막아주는 기법으로 네트워크의 성능을 높이는 역할을 하지만 컨벌루션 레이어가 깊어질수록 생성되는 피처 맵에 대한 컨벌루션 연산 및 메모리 요구량이 비례하여 증가하게 된다.Fig.2(c)는 SENet(Squeeze and Excitation Network)[26]에서 제안된 방법이며, 입력 피처 맵(C)을 Global Average Pooling 방법으로 1×1×C형태의 벡터로 변환되어 각 채널의 가중치를 훈련하고 Sigmoid활성화 함수를 통해 출력되는 구조를 가지고 있다.따라서 입력 피처맵과 Squeeze and Excitation에서 도출된 각 채널의 가중치가 곱해져 최종 출력을 구하게 된다.본 논문에서는 Residual Block과 Channel Attention Block방법을 적용하여 기존 AR네트워크 대비 높은 화질개선 개선 성능을 내는 저경량 AR 네트워크를 설계하였다.

Fig. 2. Component of CNN-based network blocks. (a) Residual Block, (b) Dense Block, and (c) Channel Attention Block.

3. 제안 방법

본 논문에서는 Fig.3와 같이JPEG압축으로 생성된 압축 아티팩트를 제거하기 위한 DRCAN(Deep Residual Channel-Attention Network)을 제안한다. 제안 방법은 입력 레이어(Input layer), 특징 추출기 (Feature Extractor), 출력 레이어(Output layer) 의구조이며, 특징 추출기(Feature Extractor) 설계에서 딥러닝 기반 신경망의 복잡도를 줄이기 위해 기존방법 대비 적은 수의 CNN사용하였으며, 복원된 저해상도 이미지의 화질을 향상시키기 위해 Reblock과 CBAblock의 융합구조로4개의 Resblock과 Con-catenatelayer, Bottleneck layer, CA-block을 연결한 2개의 CBAblock그리고 2개의 skip connection 으로 설계하였다.컨볼루션 i번째 레이어의 연산은 \(H_{i}\)로 표시되고 식 (1)과 같이 이전 피처 맵(\(F_{1-1}\))에서출력 피처 맵(\(F_{i}\))을 계산한다.

\(F_{i}=H_{i}\left(F_{i-1}\right)=a\left(W_{i} \cdot F_{i-1}+B_{i}\right)\)       (1)

Fig. 3. Overall architecture of the proposed DRCAN. Symbol ‘+’ indicates the element-wise sum.

식(1)에서 \(\alpha, W_{i}, B_{1}\) 그리고 ∙는 각각 활성화 함수, 필터 가중치, 편향 그리고 컨볼루션 연산 표기법을 나타낸다.Fig.4는 특징 추출기 (Feature Extractor)의 Resblock과 CBA block의 구조를 나타내고, Fig.4(a)는 입력 값 \(F_{9}, F_{4}\)을 받은 뒤 64개의 출력 피처 맵을 가진 컨볼루션 레이어 5개를 가진다. 그리고 입력 값과 Skip Connection으로 연결되어 출력되 \(H_{i}^{R}\)은 식 (2)와 같이

Fig. 4. Architecture of Feature Extractor block. (a) Resblock and (b) CBA block. Symbol ‘+’ indicates the element-wise sum.

\(F_{1}=H_{3}^{N}\left(H_{\mathrm{a}}^{\mathbb{R}}\left(H_{\mathrm{s}}^{R}\left(H_{2}^{N}\left(H_{1}^{\mathbb{P}}\left(F_{\mathrm{e}}\right)\right)\right)\right)\right)+F_{0}\)       (2)

Fig.4(b)는 2개의 Resblock의 출력값이 Concatenate 되어 128개의 피처 맵을 가지고 Bottleneck layer를 통해 64개의 피처 맵이 출력으로 나온 뒤 Channel Attention Block을 지나게 된다.이에 따라 64개의 피처 맵들은 Global Average Pooling을 거쳐 1×1×64 벡터 형태로 변형되고 2번의 컨볼루션과 Sigmoid 활성화 함수를 통해 훈련된 가중치 값들이 입력 값과 곱해져 출력된다.마지막으로 출력 레이어는 64개의 피처 맵을 입력으로 받은 뒤 1개의 피처 맵으로 출력 값이 생성된다.

Fig. 4. Architecture of Feature Extractor block. (a) Resblock and (b) CBA block. Symbol ‘+’ indicates the element-wise sum.

Table 1 은 본 연구에서 제안 네트워크를 훈련하기 위해 적용된 하이퍼 파라미터를 나타낸다. Loss Function은 L2 loss를 사용하였으며, Optimizer, Batch Size는 각각 Adam과 128로 설정하였다. Epoch 의 수, 가중치 초기 값 그리고 Activation Function은 각각 총 50번, Xavier, ParametricReLU를 사용하였다.

Table 1. Hyper parameters of the proposed DRCAN. Hyper Parameters

4. 실험 결과

본 연구에서 훈련 데이터로 2K(1920×1080) 해상도와 총 800개의 이미지를 가지고 있는 DIV2K[27] 를 사용하였다. 모든 훈련 이미지들은 RGB에서 YUV로 변환하여 Y영역을 3가지 이미지 Quality Factor(10, 20, 30)를 적용하여 JPEG코덱으로 인코딩 및 디코딩하였고 40×40으로 겹치는 부분 없이 패치하여 사용하였다.본 과정을 통해 40×40으로 패치된 1, 364, 992개의 이미지를 추출하였고, 제안 방법을 평가하기 위해 다섯 개의 이미지를 가진 Classic5 [28]와 29개의 이미지를 가진 LIVE1[29]를 테스트데이터 세트로 사용하였으며, Classic5를 검증 데이터 세트로 사용하였다.그리고 모든 실험을 수행하기 위해 Intel Xeon Gold 5120(14cores@2.20GHz), 177 GBRAM, 2개의 NVIDIA Tesla V 100 GPU를 사용하였고 실험환경은 Table 2와 같이 진행하였다.

Table 2. Experimental environments.

이미지 복원성능을 측정하기 위해 제안 방법 DRCAN 과 JPEG, ARCNN그리고 DCSC를 비교하였다.AR 성능을 측정하기 위해 PSNR[16]과 SSIM[17]을 계산하였고, 네트워크의 복잡도를 측정하기 위해 파라미터의 개수와 네트워크의 총 메모리 크기를 조사하였다. 또한 동일한 데이터 세트에서 추론 시간 (Inference Time)측정을 수행하여 비교하였다.Table 3, 4는 제안 방법과 기존방법을 비교하기 위해 테스트 데이터 세트 Classic 5와 LIVE1 각각의 PSNR과 SSIM을 측정한 결과이다.결과를 통해 제안 방법이 기존방법보다 성능이 우수한 것을 보여준다.

Table 3. PSNR (dB) comparisons on the test dataset. The best results of dataset are shown in bold.

Table 4. SSIM comparisons on the test dataset. The best results of dataset are shown in bold.

Table5에서 네트워크 복잡도 측면에서 파라미터의 개수와 총 메모리 크기를 비교하였다.제안 방법인 DRCAN은 ARCNN과 DCSC와 파라미터 개수를 비교하였을 때 기존 네트워크보다 높은 것을 확인할 수가 있다.그리고 네트워크별 총 메모리 크기를 비교하였을 때 DCSC보다 약 47%줄어든 것을 확인할 수 있다.여기서 DCSC는 동일한 파라미터를 40번 반복하여 사용하였기 때문에 네트워크의 파라미터의 수는 적지만 총 메모리 크기는 가장 높다.그리고 Fig.5는 Classic5데이터 세트를 사용하여 추론 시간 (Inference Time)을 측정한 결과를 보여준다. 제안방법은 ARCNN을 제외하고 DCSC와 비교하였을 때 약 59%의 시간을 줄인 것을 확인할 수 있다. 제안방법은 간단한 구조의 초기 네트워크인 ARCNN에비해 느리지만 Table3, 4에서와 같이 높은 성능을 제시한다.

Table 5. Comparisons of the network complexity between the proposed DRCAN and the previous methods.

Fig. 5. Inference speed on Classic5.

추가로 LossFunction에 따른 PSNR성능을 평가하기 위해 Loss Function을 제외한 Hyper Parameter를 고정하고 DRCAN에 검증데이터를 적용하여 측정하였다. Fig. 6, Table 6에서 Mean Absolute Error(L1)와 Mean Squared Error(L2)의 성능을 비교하였을 때 L2가 적용된 네트워크의 성능이 높게 나오는 것을 확인할 수 있다.Fig.7은 테스트 데이터 세트를 적용한 DRCAN과 이전 네트워크의 시각적 비교 결과를 보여주며, 결과적으로 DRCAN이 다른 네트워크에 비해 구조적인 정보와 이미지 Texture 정확도 측면에서 우수한 것을 확인할 수 있다.

Fig. 6. Verification of loss functions.

Table 6. AR performances according to loss functions on test dataset.

5. 결 론

딥러닝 기반 이미지 처리 연구는 필터 기반 방법대비 높은 성능을 보이며, 제한된 대역폭 환경에서 동작하기 위해 경량 딥러닝 네트워크 설계가 필요하게 된다.이에 따라 본 논문에서 CNN기반 경량 AR 네트워크인 DRCAN (Deep Residual Channel-attention Network)을 제안하였다.DRCAN은 JPEG으로 압축된 이미지의 화질을 향상시키는 것을 목적으로 하며, 입력 레이어 (Input layer), 특징 추출기 (Feature Extractor), 출력 레이어 (Output layer) 로구성되었다.또한 DIV2K데이터 세트에서 800개의 훈련데이터 세트를 추출하여 훈련하였고, 실험 결과에서 DRCAN은 압축 JPEG이미지의 화질 향상 결과 PSNR과 SSIM에서 가장 높은 성능을 보여주었다. 네트워크의 복잡도 측면에서 DRCAN은 이전 제안 방법인 DCSC와 비교하였을 때 메모리 크기와 추론 시간 (Inference Time)은 각각 약 47%, 약 59% 감소한 것을 확인할 수 있었다. 비록 제안 방법이 ARCNN보다 메모리 크기와 추론 시간 (Inference Time)은 높게 나오지만 PSNR과 SSIM성능에서 높은 결과를 보이는 것을 확인할 수 있다. DRCAN은이미지 처리 분야 외에도 이미지 분류, 초해상화, 이미지 노이즈 제거와 같은 컴퓨터 비전 문제에 대해서도 네트워크를 적용하여 성능향상을 기대할 수 있다.

Fig. 7. Visual comparisons on a JPEG compressed images where the figures of the second row represent the zoom-in for the area represented by the red box.