• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.217-219
• /
• 2020

기존 초해상화 방법들은 주로 자연 영상에 대해서는 많이 다뤄져 왔지만 단조$로운 배경과 복잡한 문양, 질감을 가진 문화재 영상에 대해 적용한 사례가 많지 않다. 또한 대부분의 초해상화 기술은 현재 딥러닝을 적용하고 있지만 복잡도와 구현 난이도에서 상대적으로 수월한 비딥러닝 방법을 사용하여 4 배와 8 배로 초해상화를 실현하는 연구 또한 많지 않다. 본 연구에서는 선형 매핑을 이용한 SI (Super Interpolation)을 기반으로 하여 2 배까지 초해상화에 특화된 기존 연구를 문화재 영상에 대하여 4 배 및 8 배로 초해상화 하였다. 간단한 윤곽선 방향 분석 및 선형 매핑으로 4 배 초해상화에서는 PSNR 값을 0.44dB 가량 개선하였으며, 8 배 초해상화에서는 PSNR 값을 0.31dB 가량 개선하였다. 또한 결과 영상에서도 단순 보간법인 Bicubic Interpolation 보다 더욱 선명하고 질감을 잘 표현하는 것을 알 수 있다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2005년도 추계종합학술대회
• /
• pp.481-484
• /
• 2005

Inherent opportunities on research for restoring high resolution image from low resolution images are increasing in these days. Super resolution image reconstruction is the process of combining multiple low resolution images to form a higher resolution one. To achieve super resolution reconstruction, proper observation model which is based on subpixel shift information is required. In this context, the importance of the subpixel registration cannot be estimated because subpixel shift information cannot be obtained from original image. This paper presents a regularized adaptive super resolution reconstruction method based on phase correlated subpixel registration, where the Constrained Least Squares(CLS) Restoration is adopted as a post process.

• 융합신호처리학회논문지
• /
• 제24권1호
• /
• pp.21-26
• /
• 2023

지식 증류는 깊은 모델의 지식을 가벼운 모델로 전달하는 모델 경량화 기술이다. 대부분의 지식 증류 방법들은 분류 모델을 위해 개발되었으며, 초해상화를 위한 지식 증류 연구는 거의 없었다. 본 논문에서는 다양한 지식 증류 방법들을 초해상화 모델에 적용하고 성능을 비교한다. 구체적으로, 초해상화 모델에 각 지식 증류 방법을 적용하기 위해 손실 함수를 수정하고, 각 지식 증류 방법을 사용하여 교사 모델을 약 27배 경량화한 학생 모델을 학습하여 2배 초해상화하는 실험을 진행하였다. 실험을 통해, 일부 지식 증류 방법은 초해상화 모델에 적용할 경우 유효하지 않음을 알 수 있었으며, 관계 기반 지식 증류 방법과 전통적인 지식 증류 방법을 결합했을 때 성능이 가장 높은 것을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제22권11호
• /
• pp.1242-1250
• /
• 2019

Super resolution technique aims to convert a low-resolution image with coarse details to a corresponding high-resolution image with refined details. In the past decades, the performance is greatly improved due to progress of deep learning models. However, universal solution for various objects is a still challenging issue. We observe that learning super resolution with a general dataset has poor performance on faces. In this paper, we propose a super resolution fusion scheme that works well for both general- and face datasets to achieve more universal solution. In addition, object-specific feature extractor is employed for better reconstruction performance. In our experiments, we compare our fusion image and super-resolved images from one- of the state-of-the-art deep learning models trained with DIV2K and FFHQ datasets. Quantitative and qualitative evaluates show that our fusion scheme successfully works well for both datasets. We expect our fusion scheme to be effective on other objects with poor performance and this will lead to universal solutions.

• 방송공학회논문지
• /
• 제27권1호
• /
• pp.104-123
• /
• 2022

신경망 기반 스타일 전이 기법은 영상의 고차원적 구조적 특징을 반영하여 높은 품질의 스타일 전이 결과를 제공함으로써 최근 크게 주목받고 있다. 본 논문은 이러한 신경망 기반 스타일 전이의 GPU 메모리 제한에 따른 해상도 한계에 대한 문제를 다룬다. 신경망 출력이 가진 제한적 수용장 특징을 바탕으로, 부분 영상 기반의 스타일 전이 손실함수 경사도 연산이 전체 영상을 대상으로 구한 경사도 연산과 동일한 결과를 생성할 수 있을 것으로 기대할 수 있다. 이러한 아이디어를 기반으로, 본 논문에서는, 스타일 전이 손실함수의 각 구성 요소에 대한 경사도 연산 구조를 분석하고, 이를 통해 부분 영상의 생성 및 패딩에 대한 필요조건을 구하고, 전체 영상의 신경망 출력에 좌우되는 경사도 연산 요구 데이터를 확인하여 구조화함으로써 재귀적 초고해상도 스타일 전이 알고리즘을 개발하였다. 제안된 기법은, 사용하는 GPU 메모리가 처리할 수 있는 크기로 초고해상도 입력을 분할하여 스타일 전이를 수행함으로써, GPU 메모리 한계에 따른 해상도 제한을 받지 않으며, 초고해상도 스타일 전이에서만 감상할 수 있는 독특한 세부 영역의 전이 스타일 특징을 제공할 수 있다.

• 지적과 국토정보
• /
• 제53권2호
• /
• pp.5-18
• /
• 2023

드론과 센서의 발달이 가속화됨에 따라 드론에 장착된 다양한 센서로 취득된 데이터를 융합하여 새로운 서비스 및 가치를 창출하고 있다. 그러나 데이터 융합을 통한 공간정보 구축은 주로 영상에 의존하여 구축하며, 하드웨어의 사양 및 성능에 따라 데이터 품질이 결정된다. 또한, 고품질 공간정보를 구축하기 위해 고가 장비가 요구되므로 실제 현장에서 사용하기에는 어려운 실정이다. 본 연구에서는 드론에 장착된 RGB 및 THM 카메라를 통해 취득된 저해상도 영상을 딥러닝에 적용하여 초해상화를 수행하고, 이를 통해 생성된 고해상도 영상의 정량적 평가 및 특징점 추출에 대한 평가를 수행하였다. 실험 결과 초해상화를 수행하여 생성된 고해상도 영상은 원본 영상의 특징을 유지하고 있었으며, 해상도가 개선됨에 따라 원본 영상 대비 많은 특징을 추출할 수 있었다. 따라서, 저해상도 영상을 초해상화 딥러닝 모델에 적용하여 고해상도 영상을 생성할 경우 하드웨어에 제약을 받지 않고 고품질의 공간정보를 구축하기 위한 새로운 방법일 것으로 판단하였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
• /
• pp.661-662
• /
• 2021

본 논문에서는 인공신경망 기반의 슈퍼 해상도(Super-resolution, SR) 기법을 이용하여 저해상도(Low-resolution, LR) 헤어 시뮬레이션을 고해상도(High-resolution, HR)로 노이즈 없이 표현할 수 있는 기법을 제안한다. LR과 HR 머리카락 간의 쌍은 헤어 시뮬레이션을 통해 얻을 수 있으며, 이렇게 얻어진 데이터를 이용하여 HR-LR 데이터 쌍을 설정한다. 학습할 때 사용되는 데이터는 머리카락의 위치를 지오메트리 이미지로 변환하여 사용한다. 우리가 제안하는 헤어 네트워크는 LR 이미지를 HR 이미지로 업스케일링 시키는 이미지 합성기를 위해 사용된다. 테스트 결과로 얻어진 HR 이미지가 HR 머리카락으로 다시 변환되면, 하나의 매핑 함수로 표현하기 어려운 머리카락의 찰랑거리는(Elastic) 움직임을 잘 표현할 수 있다. 합성 결과에 대한 성능으로는 전통적인 물리 기반 시뮬레이션보다 빠른 성능을 보였으며, 복잡한 수치해석을 몰라도 쉽게 실행이 가능하다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.221-223
• /
• 2022

최근 CNN(Convolutional Neural Network)은 초해상화(super-resolution)를 포함한 다양한 컴퓨터 비전 분야에서 우수한 성능을 보이며 널리 사용되고 있다. 그러나 CNN은 계산 집약적이고 많은 메모리가 요구되어 한정적인 하드웨어 자원인 모바일이나 IoT(Internet of Things) 기기에 적용하기 어렵다는 문제가 있다. 이런 한계를 해결하기 위해, 기 학습된 깊은 CNN 모델의 성능을 최대한 유지하며 네트워크의 깊이나 크기를 줄이는 경량화 연구가 활발히 진행되고 있다. 본 논문은 네트워크 경량화 기술인 지식증류(knowledge distillation) 중 자가증류(self-distillation)를 초해상화 CNN 모델에 적용하여 성능을 평가, 분석한다. 실험 결과, 정량적 평가지표를 통하여 자가증류를 통해서도 성능이 우수한 경량화된 초해상화 모델을 얻을 수 있음을 확인하였다.

• 정보저장시스템학회논문집
• /
• 제4권1호
• /
• pp.1-5
• /
• 2008

Super-resolution near-field structure (super-RENS) technology and solid immersion lens (SIL) based near-field (NF) technology have been expected as promising approaches to increase data capacity or areal density of optical disc. Super-RENS technology has been studied until now using mainly numerical aperture (NA) of 0.85 far-field optical system and possibility of tangential data density increment have been presented. NF technology has been studied with NA over 1 and presented demonstration of removable performance. To achieve much higher density, approach to increase NA of super-RENS by NF technology (Near-Field Super-Resolution, NFSR) can be a candidate and we think this technology would be advantageous compared to wavelength reduction or much higher NA increment of NF technology or much smaller effective optical spot size reduction of far-field super-resolution technology. In this paper we present readout result of ROM media having monotone pits using NF optical system with wavelength of 405nm and NA of 1.84 surface type SIL. GeSbTe material was used for super resolution active layer and pit length is 37.5nm which is shorter than resolution limit 55nm. We present the feasibility of NFSR technology by confirming the CNR threshold according to readout power (Pr) and CNR 33dB over threshold Pr.

• 디지털콘텐츠학회 논문지
• /
• 제18권8호
• /
• pp.1517-1522
• /
• 2017

단일 영상 기반 초해상도(SR) 기법 중 TV 기반 초해상도 기법은 에지 보존과 artifact가 없다는 점에서 성공적인 방법으로 평가되어 왔으나, 텍스쳐 성분에서는 개선을 보이지 못했다. 본 논문에서는 이와 같은 문제점을 개선하기 위해서 새로운 TV-G 분해 기반 초해상도 기법을 제안하였다. 제안된 초해상도 방법에서는 에지와 같은 구조적 성분의 해상도를 보다 더 개선하기 위해 SVR 기반 up-sampling 방법을 제안하였다. 또한, Neighbor Embedding(NE)을 개선하기 위해 완화된 제약조건을 이용한 Non-negative Embedding(NNE) 방법에 기반한 학습 방법을 이용하여 텍스쳐 성분의 해상도를 개선하였다. 실험을 통하여 본 논문에서 제안된 방법이 기존의 보간법, ScSR, 기존의 TV 및 NNE 기법들에 비해 정량적인 척도 및 시각적으로도 향상된 좋은 결과들을 보였다.