• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권5호
• /
• pp.1814-1828
• /
• 2021

Low-light image enhancement is a key technique to overcome the quality degradation of photos taken under scotopic vision illumination conditions. The degradation includes low brightness, low contrast, and outstanding noise, which would seriously affect the vision of the human eye recognition ability and subsequent image processing. In this paper, we propose an approach based on deep learning and Retinex theory to enhance the low-light image, which includes image decomposition, illumination prediction, image reconstruction, and image optimization. The first three parts can reconstruct the enhanced image that suffers from low-resolution. To reduce the noise of the enhanced image and improve the image quality, a super-resolution algorithm based on the Laplacian pyramid network is introduced to optimize the image. The Laplacian pyramid network can improve the resolution of the enhanced image through multiple feature extraction and deconvolution operations. Furthermore, a combination loss function is explored in the network training stage to improve the efficiency of the algorithm. Extensive experiments and comprehensive evaluations demonstrate the strength of the proposed method, the result is closer to the real-world scene in lightness, color, and details. Besides, experiments also demonstrate that the proposed method with the single low-light image can achieve the same effect as multi-exposure image fusion algorithm and no ghost is introduced.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제8권1호
• /
• pp.232-248
• /
• 2014

A series of kernel regression (KR) algorithms, such as the classic kernel regression (CKR), the 2- and 3-D steering kernel regression (SKR), have been proposed for image and video super-resolution. In existing KR frameworks, a single algorithm is usually adopted and applied for a whole image/video, regardless of region characteristics. However, their performances and computational efficiencies can differ in regions of different characteristics. To take full advantage of the KR algorithms and avoid their disadvantage, this paper proposes a kernel regression framework for video super-resolution. In this framework, each video frame is first analyzed and divided into three types of regions: flat, non-flat-stationary, and non-flat-moving regions. Then different KR algorithm is selected according to the region type. The CKR and 2-D SKR algorithms are applied to flat and non-flat-stationary regions, respectively. For non-flat-moving regions, this paper proposes a similarity-assisted steering kernel regression (SASKR) algorithm, which can give better performance and higher computational efficiency than the 3-D SKR algorithm. Experimental results demonstrate that the computational efficiency of the proposed framework is greatly improved without apparent degradation in performance.

• 한국통신학회논문지
• /
• 제38A권3호
• /
• pp.240-248
• /
• 2013

본 논문에서는 이산 웨이블릿 변환(Discrete Wavelet Transform: DWT)과 적응적 가중치 보간법을 이용한 효율적인 초해상도 기법을 제안한다. 기존의 단일 영상에 적용되는 초해상도 기법들의 경우, 영상에서의 고주파 대역을 찾기 위하여 확률 기반의 방법들을 많이 사용하였다. 따라서 연산의 복잡도가 증가하고 처리시간 증가라는 문제점을 발생시킨다. 제안된 기법에서는 고주파 대역을 찾기 위한 방법으로 DWT와 적응적 가중치 보간법을 이용한다. 먼저 주어진 영상에 대하여 DWT를 수행하고, 생성된 고주파 부대역(sub-band)들을 적응적 가중치 보간법을 이용하여 입력 받은 영상과 동일한 크기의 고주파 부대역을 생성한다. 이 부대역들과 입력 받은 영상을 조합하여 이산 웨이블릿 역변환(Inverse DWT : IDWT)을 수행함으로써 고해상도의 영상을 획득하게 된다. 실험을 위하여 원본 영상($512{\times}512$)을 다운 샘플링하여 실험 영상($256{\times}256$)을 획득한다. 실험을 통하여 제안된 기법이 기존의 보간법에 비해 향상된 효율을 보이며, 확률 기반의 기법들과 비슷한 성능을 갖지만 처리시간에서 많은 이득을 보이는 것을 확인할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.5-8
• /
• 2019

단일 영상 초해상도 (Single Image Super-Resolution - SISR)기법은 카메라로 획득된 저해상도 영상에 필터 기반의 연산을 적용하여 좋은 화질의 고해상도 영상을 복원하는 과정이다. 최근에 심층 합성곱 신경망 학습의 발전에 따라 단일 영상 초해상도에 적용되는 심층 학습 기법들은 좋은 성과를 보여 주고 있다. 본 논문은 단일 영상 초해상도 성능을 개선하기 위해 웨이블릿 예측 네트워크를 효율적으로 적용하는 방법에 대해 연구하였으며, 저해상도 입력 영상의 특징을 잘 추출해내기 위해 네트워크 내부에 RDB를 적용하여 기존 방식보다 효율적으로 고해상도 영상 복원하는 기법을 제안한다. 모의실험을 통해 제안하는 방법이 기존 방법보다 화질은 약 PSNR 0.18dB만큼 우수하며 속도는 1.17배 빠른 것을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.102-105
• /
• 2019

In the classical single-image super-resolution (SISR) reconstruction method using convolutional neural networks, the extracted features are not fully utilized, and the training time is too long. Aiming at the above problems, we proposed an improved SISR method based on a residual network. Our proposed method uses a feature fusion technology based on improved residual blocks. The advantage of this method is the ability to fully and effectively utilize the features extracted from the shallow layers. In addition, we can see that the feature fusion can adaptively preserve the information from current and previous residual blocks and stabilize the training for deeper network. And we use the global residual learning to make network training easier. The experimental results show that the proposed method gets better performance than classic reconstruction methods.

• IEIE Transactions on Smart Processing and Computing
• /
• 제4권1호
• /
• pp.10-15
• /
• 2015

This paper proposes the parallel implementation of a self-similarity based image SR (super-resolution) algorithm using OpenCL. The SR algorithm requires tremendous computations to search for a similar patch. This becomes a bottleneck for the real-time conversion from a FHD image to UHD. Therefore, it is imperative to accelerate the processing speed of SR algorithms. For parallelization, the SR process is divided into several kernels, and memory optimization is performed. In addition, two GPUs are used for further acceleration. The experimental results shows that a GPGPU implementation can speed up over 140 times compared to a single-core CPU. Furthermore, it was confirmed experimentally that utilizing two GPUs can speed up the execution time proportionally, up to 277 times.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2015년도 제52차 하계학술대회논문집 23권2호
• /
• pp.264-267
• /
• 2015

본 논문에서는 개선된 고속의 Back Projection 기법과 에지맵 보간을 이용한 단일영상 기반의 초해상도(super resolution) 영상을 생성하는 알고리즘을 제안한다. 본 논문에서 제안하는 알고리즘은 영상의 색채 왜곡을 방지하기 위해 RGB 컬러 도메인에서 HSV 컬러 도메인으로 변경하여 밝기정보인 V만 이용한다. 먼저 잡음제거와 속도 향상을 위해 개선된 고속 back projection을 이용해 영상을 확대 재구성한다. 이와 함께 LoG(laplacian of gaussian) 필터링을 이용하여 에지 맵을 추출한다. 에지의 정보와 back projection의 결과를 이용하여 고해상도 영상을 재구성한다. 제안하는 알고리즘을 이용하여 복원한 영상은 부자연스러운 인공물을 효과적으로 제거하고, blur현상을 줄여 에지 정보를 보정하고 강조해준다. 또한 실험을 통해 제안하는 알고리즘이 기존의 보간법과 전통적인 back projection 결과보다 주관적인 화질이 우수하고 객관적으로 우수한 성능을 나타내는 것을 입증한다.

• 정보처리학회논문지B
• /
• 제17B권4호
• /
• pp.295-302
• /
• 2010

예제기반 초해상도 영상 복원(EBSR)은 고해상도 영상과 저해상도 영상간의 패치간 대응관계를 학습함으로써 고해상도 영상을 복원하는 방법으로, 한 장의 저해상도 영상으로부터도 고해상도 영상을 복원할 수 있는 장점이 있다. 그러나, 폰트의 종류나 크기가 학습 영상과 다른 텍스트 영상을 적용할 경우 잡영을 많이 발생시킨다. 그 이유는 복원 과정 중 매칭 단계에서 입력 패치들이 사전 내의 고해상도 패치와 부적절하게 매칭될 수 있기 때문이다. 본 논문에서는 이러한 문제점을 극복하기 위한 새로운 패치 매칭 방법을 제안한다. 제안하는 방법은 영상 관찰 모델을 이용하여 입력 영상과 출력 영상간의 상관 관계를 보존함으로써 잘못 매칭된 패치로 인한 잡영을 효과적으로 억제한다. 이는 출력 영상의 화질을 개선할 뿐 아니라, 다양한 종류 및 크기의 폰트를 포함한 대용량 패치 사전을 적용할 수 있게 함으로써 폰트의 종류 및 크기의 변이에 대한 적응력을 크게 향상시킨다. 실험에서 제안하는 방법은 폰트와 크기가 다양한 영상에 대하여 기존의 방법보다 우수한 영상 복원 성능을 나타내었다. 뿐만 아니라, 인식 성능도 88.58%에서 93.54%로 개선되어 제안하는 방법이 인식 성능의 개선에도 효과적임을 확인하였다.

• 방송공학회논문지
• /
• 제28권1호
• /
• pp.124-131
• /
• 2023

원거리에서 특정 영역의 물리적 특성 또는 상황에 대한 정보를 얻기 위해 원격 탐사 영상에 객체 검출 기법이 연구되고 있다. 이때 저해상도인 원격 영상은 정보의 손실로 인해 객체 검출의 정확도가 떨어지는 문제가 발생한다. 본 논문에서는 이러한 문제점을 해결하기 위해 초고해상도 기법과 객체 검출 방법을 하나의 네트워크로 구성하여 원격 영상에서 객체 검출의 성능을 높이는 방법을 제안한다. 제안한 방법은 심층 잔차 밀집 기반의 네트워크를 구성하여 저해상도 영상에서 객체의 특징을 복원하고자 하였다. 추가적으로 이를 객체 검출 단계인 YOLOv5와 하나의 네트워크로 구성함으로써 객체 검출의 성능을 향상시키고자 하였다. 제안한 방법은 저해상도 영상을 위해 VEDAI 데이터를 이용하였으며 차량 검출에서 VISIBLE 기준으로 mAP@0.5에 대해 81.38%까지 향상됨을 확인하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제1권2호
• /
• pp.103-108
• /
• 2012

최근 고성능 모바일기기의 보급과 멀티미디어 콘텐츠의 활용이 커짐에 따라 저해상도 영상을 고해상도로 재구성하는 초해상도(super resolution) 기법이 중요하게 대두되고 있다. 모바일기기에서는 초해상도를 사용하기 위해서는 연산량과 메모리 등의 제한적인 자원의 사용을 고려한 초해상도 알고리즘이 요구된다. 본 논문에서는 모바일기기에 적용하기 위해 단일영상을 통한 빠른 초해상도 기법을 제안한다. 제안한 알고리즘은 색채 왜곡을 방지하기 위해 RGB 컬러 도메인에서 HSV 컬러 도메인으로 변경하여 인간의 시각인지 특성이 가장 뚜렷한 밝기정보인 V만 처리한다. 먼저 잡음제거 및 속도향상을 고려하여 개선된 고속 back projection에 의해 영상을 확대 재구성한다. 이와 함께 2차 미분을 사용하는 LoG (laplacian of gaussian) 필터링을 이용하여 신뢰할 수 있는 에지 맵을 추출한다. 최종적으로 에지 정보와 개선된 back projection 결과를 이용하여 고해상도 영상을 재구성한다. 제안한 알고리즘을 사용하여 복원한 영상은 부자연스러운 인공물을 효과적으로 제거하고, blur현상을 최소화하여 에지 정보를 보정하고 강조해준다. 실험결과를 통해 제안하는 알고리즘이 기존의 보간법이나 전통적인 back projection 결과보다 주관적인 화질이 우수하고, 객관적으로 우수한 성능을 나타냄을 입증한다.