• 한국정보통신학회논문지
• /
• 제24권12호
• /
• pp.1604-1611
• /
• 2020

마이크로렌즈 어레이 기반의 카메라로 촬영된 라이트필드 영상은 낮은 공간해상도 및 각해상도로 인하여 실제 사용하기에는 많은 제약이 따른다. 고해상도의 공간해상도 영상은 최근 많이 연구되고 있는 단일 영상 초해상도 기법으로 쉽게 얻을 수 있으나 고해상도의 각해상도 영상은 영상사이에 내재된 시점차 정보를 이용하는 과정에서 왜곡이 발생하여 좋은 품질의 각해상도 영상을 얻기 힘든 문제가 있다. 본 논문에서는 영상 사이에 내재된 시점차 정보를 효과적으로 추출하기 위해서 팽창 합성곱 신경망을 이용하여 초기 특징맵을 추출하고 잔차 신경망으로 새로운 시점 영상을 생성하는 라이트 필드 각 초해상도 영상 기법을 제안한다. 제안하는 네트워크는 기존의 각 초해상도 네트워크와 비교하여 PSNR 및 주관적 화질 비교에서 우수한 성능을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.254-257
• /
• 2009

In this paper, we propose a learning-based super-resolution algorithm. In the proposed algorithm, a multi-resolution wavelet approach is adopted to perform the synthesis of local high-frequency features. To obtain a high-resolution image, wavelet coefficients of two dominant LH- and HL-bands are estimated based on wavelet frames. In order to prepare more efficient training sets, the proposed algorithm utilizes the LH-band and transposed HL-band. The training sets are then used for the estimation of wavelet coefficients for both LH- and HL-bands. Using the estimated high frequency bands, a high resolution image is reconstructed via the wavelet transform. Experimental results demonstrate that the proposed scheme can synthesize high-quality images.

• 한국융합학회논문지
• /
• 제9권6호
• /
• pp.45-52
• /
• 2018

본 논문은 단일 이미지에서 초해상도 영상 생성을 위해 저해상도 이미지에서 생성한 패치정보를 기반으로 선형보간하는 방법을 제안하였다. 기존의 초해상도 생성 방법인 전역 공간의 회귀 모델을 사용하면 특정 영역에 대해 참조할 정보가 부족하여 일반적으로 품질이 떨어지는 결과가 나타난다. 이러한 결과를 보완하기 위해 제안하는 방법은 초해상도 이미지 생성 과정에서 영상을 패치 단위로 지역을 분할하여 의미있는 정보를 수집하고, 수집된 정보를 기반으로 초해상도 이미지 생성을 위해 확장시킨 이미지 매트릭스 영역의 구성정보를 분석하여 선형 보간 과정을 거치고 패치정보를 대응시켜 탐색한 최적의 패치 정보를 기준으로 선형 보간하는 방법을 제안하였다. 실험을 위해 원본 이미지를 복원된 영상과 PSNR, SSIM으로 비교 평가하였다.

• 대한전자공학회논문지SP
• /
• 제49권4호
• /
• pp.23-31
• /
• 2012

본 논문은 움직임이 큰 저해상도 영상을 초고해상도 영상으로 복원하는 움직임 추정기반의 초고해상도 알고리즘을 제안한다. 일반적인 실험영상에 비해 실제 사용되는 움직임이 큰 영상은 부화소 움직임을 찾기가 어렵다. 또한 일반 움직임 추정기법을 이용한 참조이미지와 후보이미지를 찾기 위해서는 매우 높은 계산 복잡도를 가지는 단점이 있다. 이러한 문제점을 보완하기 위해 기존의 2차원적 움직임 추정기법을 이용하여 제안한 임계값을 기준으로 등록 조건을 만족하는 참조이미지를 결정하고, 후보 이미지들 사이의 최소 가중치를 가진 최적의 후보 이미지들을 찾아 초고해상도 복원과정을 진행하는 새로운 영상 등록 알고리즘을 제안하였다. 실험 결과에 따르면, 제안한 기법은 평균 PSNR이 31.89dB로 전통적인 초고해상도 기법보다 높은 PSNR을 보이며 계산 복잡도도 향상되는 결과가 나타났다.

• 한국컴퓨터정보학회논문지
• /
• 제16권4호
• /
• pp.53-60
• /
• 2011

본 논문에서는 저해상도 영상에서 번호판 인식 성능 향상을 위해 번호판 검출 기술과 초해상도 복원 기술의 융합 방법을 제안한다. 제안된 알고리즘에서 번호판 검출 부분은 구조적 패턴 특징을 기반으로 하였으며, 초해상도 부분은 칼만 필터 기반 순차적 데이터 방법으로 구성된다. 제안한 융합 방법은 입력 영상에서 번호판 검출 여부에 따라 (i) 전체 영상에 대한 초해상도 복원 과정을 거친 후 고해상도 번호판 영상을 얻는 방법과, (ii) 번호판 검출 후 검출된 번호판 영역에 대해 초해상도 복원을 수행하여 고해상도 번호판 영상을 얻는 방법으로 나뉜다. 다양한 환경에서의 모의 실험을 통해 제안된 융합 방법의효용성을 입증하였다. 다양한 환경에서의 모의 실험을 통해 제안된 융합 방법의 효용성을 입증하였다.

• Journal of Information Processing Systems
• /
• 제19권4호
• /
• pp.427-438
• /
• 2023

Plenty of works have indicated that single image super-resolution (SISR) models relying on synthetic datasets are difficult to be applied to real scene text image super-resolution (STISR) for its more complex degradation. The up-to-date dataset for realistic STISR is called TextZoom, while the current methods trained on this dataset have not considered the effect of multi-scale features of text images. In this paper, a multi-scale and attention fusion model for realistic STISR is proposed. The multi-scale learning mechanism is introduced to acquire sophisticated feature representations of text images; The spatial and channel attentions are introduced to capture the local information and inter-channel interaction information of text images; At last, this paper designs a multi-scale residual attention module by skillfully fusing multi-scale learning and attention mechanisms. The experiments on TextZoom demonstrate that the model proposed increases scene text recognition's (ASTER) average recognition accuracy by 1.2% compared to text super-resolution network.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.218-220
• /
• 2021

본 논문에서는 CAR(content adaptive resampler)로 축소된 저해상도 이미지를 직접 다른 모델에 여러가지 방식으로 훈련을 시켜 성능을 개선시키고자 하였다. 본 논문에서는 단일 영상 super resolution 에 관하여 여러 기술이 존재하는 상황에 더 나은 기술을 테스트하려 하고 그를 위해 과거의 모델들에 대한 이해가 필요하여 이를 구현하였다. 현재 가장 뛰어난 성능을 보이고 있는 모델 중의 하나인 CAR 에서 복원 전 이미지를 사용하여 훈련을 시키면 더 나은 성능의 모델을 만들 수 있을 것이라고 가정하고 다양한 훈련을 통해 성능을 개선시키고자 하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제29권5호
• /
• pp.31-40
• /
• 2023

디스플레이의 해상도의 증가에 따라 고해상도 텍스처 맵을 내장한 앱들도 함께 증가하는 추세에 있다. 최근 딥러닝 기반 이미지 초해상도 기법들의 발전은 이러한 고해상도 텍스처 생성 작업을 자동화할 수 있는 가능성을 만들고 있다. 하지만 이러한 적용 사례에 대해 심층적으로 분석한 연구는 아직 부족한 상태이다. 그래서 본 논문에서는 최신 초해상도 기법들 중 BSRGAN, Real-ESRGAN, SwinIR(classical 및 real-world image SR)을 택하여 텍스처 맵의 업스케일링(upscaling)에 적용한 후 그 결과를 정량적, 정성적으로 비교, 분석하였다. 실험 결과 업스케일링 후 나타나는 다양한 아티팩트(artifact)들을 발견할 수 있었으며, 이를 통해 기존 초해상도 기법들을 텍스처 맵 업스케일링에 곧바로 적용하기에는 일부 미흡한 부분이 존재한다는 점을 확인하였다.

• Molecules and Cells
• /
• 제45권1호
• /
• pp.41-50
• /
• 2022

The recently developed correlative super-resolution fluorescence microscopy (SRM) and electron microscopy (EM) is a hybrid technique that simultaneously obtains the spatial locations of specific molecules with SRM and the context of the cellular ultrastructure by EM. Although the combination of SRM and EM remains challenging owing to the incompatibility of samples prepared for these techniques, the increasing research attention on these methods has led to drastic improvements in their performances and resulted in wide applications. Here, we review the development of correlative SRM and EM (sCLEM) with a focus on the correlation of EM with different SRM techniques. We discuss the limitations of the integration of these two microscopy techniques and how these challenges can be addressed to improve the quality of correlative images. Finally, we address possible future improvements and advances in the continued development and wide application of sCLEM approaches.

• International journal of advanced smart convergence
• /
• 제11권2호
• /
• pp.13-21
• /
• 2022

In this paper, we propose a learning based joint demosaicing and super-resolution framework which uses only the mosaiced color filter array(CFA) image as the input. As the proposed method works only on the mosaicied CFA image itself, there is no need for a large dataset. Based on our framework, we proposed two different structures, where the first structure uses one deep image prior network, while the second uses two. Experimental results show that even though we use only the CFA image as the training image, the proposed method can result in better visual quality than other bilinear interpolation combined demosaicing methods, and therefore, opens up a new research area for joint demosaicing and super-resolution on raw images.