• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권5호
• /
• pp.2539-2554
• /
• 2017

Regression-based image super resolution (SR) methods have shown great advantage in time consumption while maintaining similar or improved quality performance compared to other learning-based methods. In this paper, we propose a novel single image SR method based on hierarchical regression to further improve the quality performance. As an improvement to other regression-based methods, we introduce a hierarchical scheme into the process of learning multiple regressors. First, training samples are grouped into different clusters according to their geometry similarity, which generates the structure layer. Then in each cluster, a compact dictionary can be learned by Sparse Coding (SC) method and the training samples can be further grouped by dictionary atoms to form the detail layer. Last, a series of projection matrixes, which anchored to dictionary atoms, can be learned by linear regression. Experiment results show that hierarchical scheme can lead to regression that is more precise. Our method achieves superior high quality results compared with several state-of-the-art methods.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.113-117
• /
• 2020

Images were taken under various weather such as rain, haze, snow often show low visibility, which can dramatically decrease accuracy of some tasks in computer vision: object detection, segmentation. Besides, previous work to enhance image usually downsample the image to receive consistency features but have not yet good upsample algorithm to recover original size. So, in this research, we jointly implement removal streak in heavy rain image and super resolution using a deep network. We put forth a 2-stage network: a multi-model network followed by a refinement network. The first stage using rain formula in the single image and two operation layers (addition, multiplication) removes rain streak and noise to get clean image in low resolution. The second stage uses refinement network to recover damaged background information as well as upsample, and receive high resolution image. Our method improves visual quality image, gains accuracy in human action recognition task in datasets. Extensive experiments show that our network outperforms the state of the art (SoTA) methods.

• 한국멀티미디어학회논문지
• /
• 제20권11호
• /
• pp.1750-1758
• /
• 2017

In super-resolution, various methods with Convolutional Neural Network(CNN) have recently been proposed. CNN based methods provide much higher image quality than conventional methods. Especially, VDSR outperforms other CNN based methods in terms of image quality. However, it requires a high computational complexity which prevents real-time processing. In this paper, the method to apply a deconvolution layer to VDSR is proposed to reduce computational complexity. Compared to original VDSR, the proposed method achieves the 4.46 times speed-up and its degradation in image quality is less than -0.1 dB which is negligible.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제37권4호
• /
• pp.264-272
• /
• 2010

예제기반 초해상도 영상복원은 영상 패치의 대한 학습 및 검색을 통해 저해상도 영상으로부터 고해상도 영상을 복원하는 방법으로써 성능이 좋고 한 장의 저해상도 영상에 대하여도 적용 가능하다. 그러나 복원 과정에서 패치 검색에 많은 비교 연산이 요구되기 때문에 속도가 매우 느리다. 복원 속도를 향상시키기 위해서는 효과적인 패치 검색 알고리즘이 요구된다. 본 논문에서는 패치 검색에 사용 가능한 다양한 고차원 특징 검색 방법들을 실제 초해상도 영상복원 시스템에 적용하여 그 성능을 비교하였다. 또한 문자 인식 분야에서 성공적으로 적용되어왔으나 초해상도 영상복원에서는 사용되지 않았던 단계적 후보축소 방법을 패치 검색 단계에 적용할 것을 제안한다. 실험 결과 기존의 방법 중에서는 LSH가 가장 좋은성능을 나타내었다. 본 논문에서 제안한 단계적 후보 축소에 의한 패치 검색 방법은 LSH보다 더욱 우수하여 $1024{\times}1024$ 영상의 복원 시 LSH보다 최대 3.12배 빠른 복원 속도를 나타내었다.

• 방송공학회논문지
• /
• 제28권1호
• /
• pp.90-99
• /
• 2023

본 연구에서는 전통적인 RGB 영상보다 데이터양이 적은 로우 센서 영상을 이용한 초해상화 네트워크를 제안하고 이에 대한 실험결과를 정리하였다. 로우 센서 영상의 초해상화는 일반적인 RGB 초해상화와 달리 카메라에서 일어나는 후처리 가공이 없는 무손실영상을 이용하기 때문에 결과물의 성능이 일반 RGB 초해상화 연구와 달리 색상 보정에 따라 많이 좌우된다. 따라서, 본 연구에서는색상 보정을 위한 모듈을 개발하여 기존 RGB 기반 네트워크에 삽입해 이를 이용해 성능 결과를 비교하였다. 연구 결과 색상 보정 모듈을 적용함으로 성능 지표의 향상이 있음을 확인하였다. 다만, 출력 영상의 의도하지 않은 아티팩트가 발생하는 현상을 확인하였고, 성능 지표 중 PSNR의 향상이 분명하나 SSIM의 성능이 일부 떨어지는 것으로 확인하였다.

• 방송공학회논문지
• /
• 제25권6호
• /
• pp.935-943
• /
• 2020

본 논문에서는 위상 홀로그램의 고해상도 디스플레이를 위하여 딥러닝을 사용하는 방법을 제안한다. 일반적인 보간법을 사용하면 복원결과의 밝기가 낮아지고 노이즈와 잔상이 생기는 문제점이 발생한다. 이를 해결하고자 SISR(Single-Image Super Resolution) 분야에서 좋은 성능을 보였던 신경망 구조로 홀로그램을 학습시켰다. 그 결과로 복원결과에서 발생한 문제를 개선하며 해상도를 증가시킬 수 있었다. 또한 성능을 높이기 위해 채널 수를 조절하여 동일한 학습 시에 0.3dB 이상의 결과 상승을 보였다.

• 한국통신학회논문지
• /
• 제37권6A호
• /
• pp.464-472
• /
• 2012

본 논문에서는 연속된 프레임을 갖는 영상의 프레임간 움직임 추정 기법을 응용하여 고해상도 영상을 생성하는 초해상도 기법을 제안한다. 단일 영상을 이용한 초해상도 기법의 경우 영상에서의 고주파 대역을 찾기 위해 확률 및 이산 웨이블릿 변환(discrete wavelet transform: DWT) 기반 등 다양한 방법이 제시되었으나, 연산에 사용할 수 있는 정보가 제한적이라는 문제가 존재한다. 이러한 문제를 해결하기 위해 연속된 프레임을 이용한 초해상도 기법이 다양하게 제안되었다. 연속 프레임 기반 초해상도 기법의 핵심인 입력 저해상도 영상 간 정합(registration)의 정확도는 초해상도 기법의 결과에 큰 영향을 갖는다. 본 논문에서는 영상 간 정합의 정확도를 높이기 위하여 6-tap FIR(finite impulse response) 필터를 부화소(sub-pixel) 단위의 정합에 사용한다. 실험을 통하여 제안하는 기법의 결과영상이 기존의 최단입점(nearest neighborhood), 이중선형(bi-linear), 고등차수(bi-cubic) 보간법 보다는 우수하고 DWT 기반의 초해상도 기법과는 비슷한 성능을 가진다는 것을 확인할 수 있었다.

• 디지털정책학회지
• /
• 제3권1호
• /
• pp.27-32
• /
• 2024

본 논문은 초해상도 결과의 품질을 향상시키기 위해 질감 특징을 세분화하여 각각을 대조하고, 그 결과를 가중치로 이용하는 초해상도 방법을 제안하였다. 초해상도에서 중요한 평가 기준인 품질의 향상을 위해서는 경계 영역과 같은 세부사항에서의 정확하고 명확한 복원 결과가 필요하며, 인공물과 같은 불필요한 잡음을 최소화하는 것이 중요하다. 제안하는 방법은 품질 향상을 위해 기존 CNN(Convolutional Neural Network) 기반의 초해상도 방법에서 특징 추정을 위해 다중 경로의 잔차 블록 구조와 skip-connection을 구성하였다. 추가적인 질감 분석을 위한 선명 및 흐림 이미지 결과를 추가로 학습하였다. 이를 활용하여 초해상도 수행 결과 또한 각각을 대조하여 가중치를 할당하는 방법을 이용해 영상의 세부사항 영역과 평활화 영역에 대해 개선된 품질을 얻을 수 있도록 하였다. 제안하는 방법의 실험 결과 평가 기준으로 활용되는 PSNR과 SSIM 값이 기존 알고리즘 대비 높은 결과 값을 얻어 품질이 개선됨을 확인할 수 있었다.

• 전자공학회논문지
• /
• 제52권3호
• /
• pp.154-161
• /
• 2015

기존의 예제기반 초해상도 복원은 다수의 외부영상을 이용한 사전 생성 방법과 단일 영상을 이용한 자기참조 예제기반 복원 방법이 있지만, 입력영상의 특성과 패치사전에 따라 복원 성능이 저하되는 문제점이 있다. 이러한 문제점을 개선하기 위해서, 본 논문에서는 멀티 프레임의 움직임 정보를 이용하여 적응적 패치 선택을 통한 초해상도 영상복원 방법을 제안한다. 제안하는 초해상도 영상 복원 방법은 3가지 단계로 구성된다. i) 인접한 프레임간의 움직임 정보를 이용한 로컬 영역을 정의, ii) 단계적 열화를 이용한 적응적 패치 검색 방법, iii) 최적의 패치검색을 통한 패치 결합 및 초고해상도 영상복원이다. 결과적으로 제안하는 방법은 인접한 프레임간의 움직임 정보와 단계적 열화를 이용하여 패치를 검색함으로써 패치 검색의 정확성을 높여주고, 동영상에서 부자연스러운 현상이 제거된 초해상도 영상 복원이 가능하다. 실험결과에서는 기존의 초해상도 영상복원 방법과 비교할 때 복원 부작용이 감소되어 자연스럽게 복원된 영상을 제공하는 동시에, peak-to-peak signal noise ratio (PSNR)과 structural similarity measure (SSIM)를 사용한 객관적 성능 향상을 보인다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권11호
• /
• pp.4065-4083
• /
• 2021

Super-resolution can improve the clarity of low-resolution (LR) images, which can increase the accuracy of high-level compute vision tasks. Portable devices have low computing power and storage performance. Large-scale neural network super-resolution methods are not suitable for portable devices. In order to save the computational cost and the number of parameters, Lightweight image processing method can improve the processing speed of portable devices. Therefore, we propose the Enhanced Information Multiple Distillation Network (EIMDN) to adapt lower delay and cost. The EIMDN takes feedback mechanism as the framework and obtains low level features through high level features. Further, we replace the feature extraction convolution operation in Information Multiple Distillation Block (IMDB), with Ghost module, and propose the Enhanced Information Multiple Distillation Block (EIMDB) to reduce the amount of calculation and the number of parameters. Finally, coordinate attention (CA) is used at the end of IMDB and EIMDB to enhance the important information extraction from Spaces and channels. Experimental results show that our proposed can achieve convergence faster with fewer parameters and computation, compared with other lightweight super-resolution methods. Under the condition of higher peak signal-to-noise ratio (PSNR) and higher structural similarity (SSIM), the performance of network reconstruction image texture and target contour is significantly improved.