• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.220-223
• /
• 2020

초해상화란, 저해상도의 영상으로부터 고해상도 영상을 복원하는 이미지 처리 기법이다. 최근 영상 출력 장치의 발전으로 고해상도의 영상을 출력할 장치는 많아지는 한편, 이에 맞는 고해상도 영상을 찍을 영상 기록 장치의 보급은 이에 비해 부족한 실정이다. 따라서 저해상도의 영상을 고해상도 영상으로 변환하는 초해상화 연구는 많은 분야에서 활용되고 있다. 문화재 영상에서의 초해상화는 특히 기존 문화재의 질감, 무늬 등을 보존해야하기 때문에 정교한 초해상화 과정이 요구된다. 본 논문에서는 문화재 영상의 초해상화 과정에 집중해, 기존 문화재의 질감, 무늬 등을 잘 보존하면서 영상 데이터의 양이 상대적으로 적은 경우에도 활용 가능한 기계학습 기범, GLM-SI를 이용한 문화재 영상 초해상화 방법을 제안한다. GLM-SI 를 사용한 초해상화 결과, 문화재 영상에서 선행 방법인 SI 에 비하여 4 배 초해상화에서 PSNR 0.12dB, SSIM 0.017, 8 배 초해상화에서 PSNR 0.23dB, 0.033 의 성능적 향상을 얻을 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.07a
• /
• pp.75-77
• /
• 2015

디스플레이 해상도가 지속적으로 고해상화가 되면서, 기존 저해상도 영상을 고해상도 디스플레이 크기에 맞춰 해상도를 키우는 기법인 초해상화(super-resolution, SR) 기법에 많은 관심이 쏟아지고 있으며 이에 대한 많은 초해상화 논문들이 게재되었다. 이 중 현재 최상 품질의 고해상도 영상을 복원하는 한 초해상화 기법은, 입력 받은 저해상도 영상을 자가 예제(self-examples)로 사용하여 선형 매핑(linear mapping)을 통해 점진적으로 여러 레벨(level)를 거쳐 조금씩 키우는 방법이다. 이때 각 레벨마다 기존 저해상도 영상 크기로 반복적으로 줄여 오차를 줄이는 역투영법(back-projection)을 사용하는데, 이 방법은 처리된 영상에 시각적 품질을 낮추는 링 아티팩트(ringing artifacts)를 생산하며, 이는 매 레벨마다 계속 누적이 되어 고해상도 결과 이미지 품질에 악영향을 미치는 단점이 있다. 이를 보완하기 위해, 본 논문에서는 저해상도 정지 영상을 고해상도 정지 영상으로 점진적으로 키울 때 일반적인 역투영법 대신 비국소적 평균법(non-local means, NLM) 기반 역투영법을 사용하는 초해상화 기법을 제안한다. 제안하는 기법은 매 레벨마다 생기는 링 아티팩트를 효과적으로 제거하여 높은 시각적 품질의 고해상도 영상을 복원할 수 있게 한다. 실험을 통해 제안된 초해상화 기법을 사용 시 기존 초해상화 기법보다 향상된 고품질 고해상도 영상 복원이 가능한 것을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1322-1324
• /
• 2022

최근 딥러닝의 발전에 따라 단일 이미지 초해상도 분야에 좋은 성과를 보여주고 있다. 그러나 보다 더 높은 성능을 획득하기 위해 네트워크의 깊이 및 파라미터의 수가 크게 증가하였고, 모바일 및 엣지 디바이스에 원활하게 적용되기 위하여 딥러닝 모델 경량화의 필요성이 대두되고 있다. 이에 본 논문에서는 초해상도 모델 중 하나인 EDSR(Enhanced Deep Residual Network)에 대조 학습 기반 지식 전이를 적용한 경량화 기법을 제안한다. 실험 결과 제안한 지식 전이 기법이 기존의 다른 지식 증류 기법보다 향상된 성능을 보임을 확인하였다.

• Journal of Digital Policy
• /
• v.3 no.1
• /
• pp.27-32
• /
• 2024

In this paper, proposes a super resolution method that enhances the quality of results by refining texture features, contrasting each, and utilizing the results as weights. For the improvement of quality, a precise and clear restoration result in details such as boundary areas is crucial in super resolution, along with minimizing unnecessary artifacts like noise. The proposed method constructs a residual block structure with multiple paths and skip-connections for feature estimation in conventional Convolutional Neural Network (CNN)-based super resolution methods to enhance quality. Additional learning is performed for sharpened and blurred image results for further texture analysis. By contrasting each super resolution result and allocating weights through this process, the proposed method achieves improved quality in detailed and smoothed areas of the image. The experimental results of the proposed method, evaluated using the PSNR and SSIM values as quality metrics, show higher results compared to existing algorithms, confirming the enhancement in quality.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2008.05a
• /
• pp.1779-1783
• /
• 2008

영상해석을 통한 흐름해석의 방법인 Large-Scale Particle Image Velocimetry (LSPIV)는 실험실내의 소규모 흐름해석에 이용하던 Particle Image Velocimetry (PIV)를 자연하천이나 실험실에서 넓은 영역($4m^2{\sim}45,000m^2$)에 적용할 수 있도록 확장시킨 것으로 지난 10여년전부터 세계적으로 널리 이에 대한 연구가 진행되고 있다. PIV는 seeding, illumination, recording 그리고 image processing으로 구성된다. LSPIV(Large Scale PIV)는 PIV의 기본원리를 근거로 하여 기존의 PIV에 비하여 실험실 내에서의 수리모형실험이나 일반 하천에서의 유속측정과 같은 큰 규모의 흐름해석을 할 수 있도록 seeding, illumination에 대한 조정이 필요 하고, 촬영된 image에 대한 왜곡을 없애는 작업이 필요하다. LSPIV는 PIV의 네 가지 단계를 포함하여 seeding, illumination, recording, image transformation, image processing 및 post-processing의 여섯 단계로 구성되어진다 (Li, 2002). LSPIV의 적용시 각 단계마다 유속계산시 오차를 발생시키는 27가지의 요인들이 존재하고 있는바 (Kim, 2006), 본 연구에서는 이들 중 실내의 실험실에서 파악이 가능한 인자들에 대해 그들 각각의 인자들이 유속 측정에 미치는 오차의 정도를 파악하고자 하였다. 본 연구에서는 LSPIV의 적용시 이용되는 이미지의 개수와 이미지 촬영시 적용된 이미지의 해상도에 따른 오차의 발생 정도를 조사하였다. 이미지 촬영에 있어서 비디오카메라를 이용할 경우 촬영시간에 따라 많은 수의 이미지를 취득할 수 있은바 이미지의 수에 따른 유속계산오차를 파악하고자 하였다. 또한 디지털 카메라를 이용할 경우 여러 가지 이미지 해상도를 이용할 수 있으므로 적용한 이미지 해상도에 따른 유속계산에 미치는 오차의 크기를 파악하고자 하였다. 이미지의 갯수가 유속계산시 미치는 오차의 영향의 정도를 조사하기 위해서 초당 30 frame을 촬영할 수 있는 비디오카메라를 이용하여 91초 동안 촬영된 이미지로부터 매 5번째의 이미지를 추출하여 455개의 이미지를 준비하였고 이로부터 이미지수를 10, 50, 100, 200, 300, 400의 순서로 증가시키면서 이미지 개수로부터 나타나는 유속계산 오차를 조사한 결과 이미지의 개수가 50매 이상인 경우는 이로 인한 오차가 1% 이하로 감소함을 파악하였다. 촬영된 이미지의 해상도가 유속계산시 미치는 영향을 조사하기 위해 디지털카메라를 적용하여 세가지 이미지 해상도(640*480, 1280*960, 2048*1536 pixel)로 변화시키면서 유속측정 오차를 분석한 결과 저해상도의 이미지를 이용한 경우 고해상도 이미지를 이용한 경우와 비교하여 3% 가량의 차이를 나타내었다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2023.05a
• /
• pp.417-417
• /
• 2023

도시홍수는 도시의 주요 기능을 마비시킬 수 있는 수재해로서, 최근 집중호우로 인해 홍수 및 침수 위험도가 증가하고 있다. 집중호우는 한정된 지역에 단시간 동안 집중적으로 폭우가 발생하는 현상을 의미하며, 도시 지역에서 강우 추정 및 예보를 위해 레이더의 활용이 증대되고 있다. 레이더는 수상체 또는 구름으로부터 반사되는 신호를 분석해서 강우량을 측정하는 장비이다. 기상청의 기상레이더(S밴드)의 주요 목적은 남한에 발생하는 기상현상 탐지 및 악기상 대비이다. 관측반경이 넓기에 도시 지역에 적합하지 않는 반면, X밴드 이중편파레이더는 높은 시공간 해상도를 갖는 관측자료를 제공하기에 도시 지역에 대한 강우 추정 및 예보의 정확도가 상대적으로 높다. 따라서, 본 연구에서는 딥러닝 기반 초해상화(Super Resolution) 기술을 활용하여 저해상도(Low Resolution. LR) 영상인 S밴드 레이더 자료로부터 고해상도(High Resolution, HR) 영상을 생성하는 기술을 개발하였다. 초해상도 연구는 Nearest Neighbor, Bicubic과 같은 간단한 보간법(interpolation)에서 시작하여, 최근 딥러닝 기반의 초해상화 알고리즘은 가장 일반화된 합성곱 신경망(CNN)을 통해 연구가 이루어지고 있다. X밴드 레이더 반사도 자료를 고해상도(HR), S밴드 레이더 반사도 자료를 저해상도(LR) 입력자료로 사용하여 초해상화 모형을 구성하였다. 2018~2020년에 발생한 서울시 호우 사례를 중심으로 데이터를 구축하였다. 구축된 데이터로부터 훈련된 초해상도 심층신경망 모형으로부터 저해상도 이미지를 고해상도로 변환한 결과를 PSNR(Peak Signal-to-noise Ratio), SSIM(Structural SIMilarity)와 같은 평가지표로 결과를 평가하였다. 본 연구를 통해 기존 방법들에 비해 높은 공간적 해상도를 갖는 레이더 자료를 생산할 수 있을 것으로 기대된다.

• Journal of Korea Multimedia Society
• /
• v.14 no.11
• /
• pp.1392-1400
• /
• 2011

In most digital imaging applications, high-resolution images or videos are usually desired for later image processing and analysis. The image signal obtained from general imaging system occurs image degradation during the process of image acquirement caused by the optics, physical constraints and the atmosphere effects. Super-resolution reconstruction, one of the solution to address this problem, is image reconstruction technique that produces a high-resolution image from several low-resolution frames in video sequences. In this paper, we propose an improved super-resolution method using Projection onto Convex Sets (POCS) method based on Shift & Add (S&A). The image using conventional algorithms is sensitive to noise. To solve this problem, we propose a fusion algorithm of S&A and POCS. Also we solve the problem using BLPF (Butterworth Low-pass Filter) in frequency domain as optical blur. Our method is robust to noise and has sharpness enhancement ability. Experimental results show that the proposed super-resolution method has better resolution enhancement performance than other super-resolution methods.

• Journal of Korea Water Resources Association
• /
• v.56 no.10
• /
• pp.641-653
• /
• 2023

As climate change and urbanization are causing unprecedented natural disasters in urban areas, it is crucial to have urban flood predictions with high fidelity and accuracy. However, conventional physically- and deep learning-based urban flood modeling methods have limitations that require a lot of computer resources or data for high-resolution flooding analysis. In this study, we propose and implement a method for improving the spatial resolution of urban flood analysis using a deep learning based super-resolution technique. The proposed approach converts low-resolution flood maps by physically based modeling into the high-resolution using a super-resolution deep learning model trained by high-resolution modeling data. When applied to two cases of retrospective flood analysis at part of City of Portland, Oregon, U.S., the results of the 4-m resolution physical simulation were successfully converted into 1-m resolution flood maps through super-resolution. High structural similarity between the super-solution image and the high-resolution original was found. The results show promising image quality loss within an acceptable limit of 22.80 dB (PSNR) and 0.73 (SSIM). The proposed super-resolution method can provide efficient model training with a limited number of flood scenarios, significantly reducing data acquisition efforts and computational costs.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.47 no.1
• /
• pp.120-127
• /
• 2010

This paper presents a SR method using adaptive interpolation based on local gradient features to obtain a high quality SR image. In this method, the distance between the interpolated pixel and the neighboring valid pixel is considered by using local gradient properties. The interpolation coefficients take the local gradient of the LR images into account. The smaller the local gradient of a pixel is, the more influence it should have on the interpolated pixel. And the median filter is finally applied to reduce the blurring and noise of the interpolated HR image. Experiment results show the effectiveness of the proposed method in comparison with other methods, especially in the edge areas of the images.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.82-84
• /
• 2022

최근 자율주행에서 안전한 주행을 위해 영상 기반 다중객체 검출 기술이 활발히 연구되고 있다. 이때, 저해상도 영상은 객체 검출 단계에서 정확도가 떨어지는 한계가 있다. 본 논문에서는 이러한 문제점을 해결하기 위해 초해상화와 객체 검출을 위한 방법을 함께 사용하는 기법을 제안한다. 더 나아가 초해상화 단계에서 하나의 구분자만 사용하는 기존의 방법과 다르게 이미지 생성 과정 중간에서 추가의 구분자를 사용하여 총 두 개의 구분자를 사용하여 성능을 향상하고자 하였다. 본 논문은 한국 고속도로 교통 데이터를 사용하여 실험하였으며, 그 결과 제안된 방법의 성능이 mAP@0.5 및 F1 점수 측면에서 기존 방법보다 우수하다는 것을 확인하였다.