• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권5호
• /
• pp.2366-2395
• /
• 2018

Multi-view super-resolution (MVSR) refers to the process of reconstructing a high-resolution (HR) image from a set of low-resolution (LR) images captured from different viewpoints typically by different cameras. These multi-view images are usually obtained by a camera array. In our previous work [1], we super-resolved multi-view LR images via image fusion (IF) and blind deblurring (BD). In this paper, we present a new MVSR method that jointly realizes IF and BD based on an integrated energy function optimization. First, we reformulate the MVSR problem into a multi-channel blind deblurring (MCBD) problem which is easier to be solved than the former. Then the depth map of the desired HR image is calculated. Finally, we solve the MCBD problem, in which the optimization problems with respect to the desired HR image and with respect to the unknown blur are efficiently addressed by the alternating direction method of multipliers (ADMM). Experiments on the Multi-view Image Database of the University of Tsukuba and images captured by our own camera array system demonstrate the effectiveness of the proposed method.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제18권3호
• /
• pp.653-669
• /
• 2024

Dynamic scene deblurring is a complex computer vision problem owing to its difficulty to model mathematically. In this paper, we present a novel approach for image deblurring with the help of the sharp reference image, which utilizes the reference image for high-quality and high-frequency detail results. To better utilize the clear reference image, we develop an encoder-decoder network and two novel modules are designed to guide the network for better image restoration. The proposed Reference Extraction and Aggregation Module can effectively establish the correspondence between blurry image and reference image and explore the most relevant features for better blur removal and the proposed Spatial Feature Fusion Module enables the encoder to perceive blur information at different spatial scales. In the final, the multi-scale feature maps from the encoder and cascaded Reference Extraction and Aggregation Modules are integrated into the decoder for a global fusion and representation. Extensive quantitative and qualitative experimental results from the different benchmarks show the effectiveness of our proposed method.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권10호
• /
• pp.5129-5152
• /
• 2016

Multi-view super-resolution (MVSR) aims to estimate a high-resolution (HR) image from a set of low-resolution (LR) images that are captured from different viewpoints (typically by different cameras). MVSR is usually applied in camera array imaging. Given that MVSR is an ill-posed problem and is typically computationally costly, we super-resolve multi-view LR images of the original scene via image fusion (IF) and blind deblurring (BD). First, we reformulate the MVSR problem into two easier problems: an IF problem and a BD problem. We further solve the IF problem on the premise of calculating the depth map of the desired image ahead, and then solve the BD problem, in which the optimization problems with respect to the desired image and with respect to the unknown blur are efficiently addressed by the alternating direction method of multipliers (ADMM). Our approach bridges the gap between MVSR and BD, taking advantages of existing BD methods to address MVSR. Thus, this approach is appropriate for camera array imaging because the blur kernel is typically unknown in practice. Corresponding experimental results using real and synthetic images demonstrate the effectiveness of the proposed method.

• 전자공학회논문지
• /
• 제49권11호
• /
• pp.47-55
• /
• 2012

본 논문에서는 객체의 모션 블러(motion blur)를 포함하고 있는 다중시점(multi-view) 영상을 이용하여 객체의 3차원 형상 복원시 영상을 효과적으로 디블러링(deblurring)하여 3차원 형상 복원의 정확도를 높이는 기법을 제안한다. 다중시점 영상의 디블러링 수행시 다중시점 영상 간의 기하학적 상관관계를 고려하여 보다 정확히 PSF (point spread function)를 구함으로써 결과적으로 보다 정확한 3차원 형상 복원을 수행할 있다. 제안하는 기법은 각각의 입력 영상에서 초기 2D PSF를 독립적으로 구한 후, 3차원 PSF의 후보를 각 입력 영상의 카메라 행렬에 의해 투영했을 때 이들에 전역적으로 가장 잘 부합하는 3D PSF를 탐색한다. 3D PSF는 방향과 밀도 성분으로 구성되며 이는 결국 3차원 공간에서의 물체의 움직임 궤적과 동일하다. 추정된 3D PSF는 각 영상으로 다시 투영되어 각 영상의 2D PSF로 추정되고, 이에 의해 각 영상의 디블러링을 수행한다. 본 논문에서 제안하는 기법을 이용하여 다중시점 영상 디블러링과 3차원 형상 복원을 수행한 결과, 단일 영상만을 이용하여 복원할 경우에 비하여 디블러링과 3차원 형상 복원 모두 현저히 개선된 결과를 확인할 수 있다.

• 충청수학회지
• /
• 제33권4호
• /
• pp.505-516
• /
• 2020

This study shows that image deblurring problems can be transformed into the multi-parameter Tikhonov type with multiple right hand sides. Also, this paper proposes the extension of the global generalized cross validation to obtain an appropriate choice of the regularization parameters for this problem. The experimental results of using the preconditioned Gl-CGLS algorithm were analyzed.

• 한국멀티미디어학회논문지
• /
• 제22권10호
• /
• pp.1149-1159
• /
• 2019

We present a novel deep learning architecture for obtaining a latent image from a single blurry image, which contains dynamic motion blurs through object/camera movements. The proposed architecture consists of two sub-modules: blur image restoration and optical flow estimation. The tasks are highly related in that object/camera movements make cause blurry artifacts, whereas they are estimated through optical flow. The ablation study demonstrates that training multi-task architecture simultaneously improves both tasks compared to handling them separately. Objective and subjective evaluations show that our method outperforms the state-of-the-arts deep learning based techniques.

• Journal of the Korean Society for Industrial and Applied Mathematics
• /
• 제27권1호
• /
• pp.56-74
• /
• 2023

In order to obtain practical and high-quality satellite images containing high-frequency components, a large aperture optical system is required, which has a limitation in that it greatly increases the payload weight. As an attempt to overcome the problem, many multi-aperture optical systems have been proposed, but in many cases, these optical systems do not include high-frequency components in all directions, and making such an high-quality image is an ill-posed problem. In this paper, we use deep learning to overcome the limitation. A deep learning model receives low-quality images as input, estimates the Point Spread Function, PSF, and combines them to output a single high-quality image. We model images obtained from three rectangular apertures arranged in a regular polygon shape. We also propose the Modulation Transfer Function Loss, MTF Loss, which can capture the high-frequency components of the images. We present qualitative and quantitative results obtained through experiments.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권2호
• /
• pp.83-90
• /
• 2023

컴퓨터 비전에서 흐릿한 영상은 영상 인식률을 저하시키는 중요한 요인이다. 이것은 주로 카메라가 불안정하게 초점을 맞추지 못하거나, 노출시간동안 장면의 물체가 빠르게 움직일 때 발생한다. 흐릿한 영상은 시각적 품질을 크게 저하시켜 가시성을 약화시키며, 이러한 현상은 디지털카메라의 기술이 지속적으로 발전하고 있음에도 불구하고 빈번하게 일어난다. 본 논문에서는 합성곱 신경망으로 설계된 심층 멀티 패치 계층 네트워크(Deep multi patch hierarchical network)를 기반으로 수정된 빌딩 모듈을 대체하여 입력 영상의 디테일을 잡고 주의 집중 기법을 도입하여 흐릿한 영상 속 물체에 대한 초점을 다방면으로 맞추어 영상을 강화한다. 이것은 서로 다른 스케일에서 각각의 가중치를 측정 및 부여하여 흐림의 변화를 차별적으로 처리하고 영상의 거친 수준에서 미세한 수준까지 순차적으로 복원하여 글로벌한 영역과 로컬 영역 모두 조정한다. 이러한 과정을 통해 저하된 화질을 복구하고 효율적인 객체 인식 및 특징을 추출하며 색 항상성을 보완하는 우수한 결과를 보여준다.

• 대한원격탐사학회지
• /
• 제32권6호
• /
• pp.551-566
• /
• 2016

위성 원격 탐사에서는 센서 운영 환경으로 인하여 영상을 수집하는 동안 영상의 질 저하가 일어나며 이러한 영상의 질 저하는 관측된 자료로부터 유용한 정보를 확인하거나 추출하는 데 악 영향을 미치는 번짐 현상(blurring)과 잡음 (noise)을 야기시킨다. 특히 이러한 질 저하는 도시 지역과 같은 조밀한 구조를 가지는 scene으로부터 관측된 영상 자료의 분석에 더욱 영향을 끼친다. 본 연구는 고해상도 범색 영상 자료의 질 저하 현상을 개선시켜 영상이 포함하고 있는 복잡한 구조에 대한 자세한 분석의 정확성을 제고하기 위한 다중 단계 영상 복원 과정을 제안한다. 본 연구는 질 저하 현상을 모형화 하기 위해 Gaussian 가산 잡음과 Markov random field로 정의되는 공간적 연결성, 중심 화소와 이웃 화소 간의 거리에 비례하는 번짐을 가정하였다. 본 연구는 잡음 완화와 번짐 제거를 위해 Point-Jacobian Iteration Maximum A Posteriori (PJI-MAP) 추정 법을 제안한다. 그리고 화소 연결 후 지역 확장을 통한 영상 분할을 사용하였다. 본 연구는 지역 확장을 위하여 동질성과 대조성을 동시에 고려하는 비유사 계수를 제안하고 있다. 본 연구에서는 모의 자료 실험을 통하여 정량적 평가를 실시하였으며 2 개의 고해상도 범색 영상 자료에 대해 적용하여 복원의 효과에 대해 실험하였다. 사용된 원격 탐사 자료는 1 m급의 미국 LA지역에서 수집된 Dubaisat -2 자료와 0.7 m급의 한반도 대전 지역에서 수집된 KOMPSAT3 자료이다. 실험 결과는 제안된 다중 단계 복원 과정이 고해상 자료의 복잡한 구조의 자세한 분석에서 정확성 향상에 기여할 수 있다는 것을 보여주고 있다.