• Journal of the Korea Society of Computer and Information
• /
• v.16 no.4
• /
• pp.53-60
• /
• 2011

This paper proposes fusion methods of license plate detection and super-resolution for improving license plate recognition in low-resolution images. In the proposed method, we apply the license plate detection based on local structure pattern feature and the sequential super-resolution based on Kalman filter. The proposed fusion methods are divided into two according to whether the license plate is detected or not in the input image : (i) performing license plate detection after restoring whole image through super resolution, and (ii) restoring only the detected region through super-resolution after detecting the license plate. We demonstrated effectiveness of the proposed methods in various environments.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.34 no.10B
• /
• pp.1124-1132
• /
• 2009

We proposed a new method to improve the resolution of elemental image set in the integral imaging system using super-resolution image reconstruction method. Adjacent elemental images have same image region which is projected from the common area of object. These projected images in the elemental image can be used for low resolution images of super-resolution method. Two methods for resolution improvement of elemental image set using super-resolution method are proposed. One is super-resolution among the elemental image sets and the other is among the elemental images. Simulation results are compared with resolution improved elemental image set using interpolated method.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.220-223
• /
• 2020

초해상화란, 저해상도의 영상으로부터 고해상도 영상을 복원하는 이미지 처리 기법이다. 최근 영상 출력 장치의 발전으로 고해상도의 영상을 출력할 장치는 많아지는 한편, 이에 맞는 고해상도 영상을 찍을 영상 기록 장치의 보급은 이에 비해 부족한 실정이다. 따라서 저해상도의 영상을 고해상도 영상으로 변환하는 초해상화 연구는 많은 분야에서 활용되고 있다. 문화재 영상에서의 초해상화는 특히 기존 문화재의 질감, 무늬 등을 보존해야하기 때문에 정교한 초해상화 과정이 요구된다. 본 논문에서는 문화재 영상의 초해상화 과정에 집중해, 기존 문화재의 질감, 무늬 등을 잘 보존하면서 영상 데이터의 양이 상대적으로 적은 경우에도 활용 가능한 기계학습 기범, GLM-SI를 이용한 문화재 영상 초해상화 방법을 제안한다. GLM-SI 를 사용한 초해상화 결과, 문화재 영상에서 선행 방법인 SI 에 비하여 4 배 초해상화에서 PSNR 0.12dB, SSIM 0.017, 8 배 초해상화에서 PSNR 0.23dB, 0.033 의 성능적 향상을 얻을 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.07a
• /
• pp.75-77
• /
• 2015

디스플레이 해상도가 지속적으로 고해상화가 되면서, 기존 저해상도 영상을 고해상도 디스플레이 크기에 맞춰 해상도를 키우는 기법인 초해상화(super-resolution, SR) 기법에 많은 관심이 쏟아지고 있으며 이에 대한 많은 초해상화 논문들이 게재되었다. 이 중 현재 최상 품질의 고해상도 영상을 복원하는 한 초해상화 기법은, 입력 받은 저해상도 영상을 자가 예제(self-examples)로 사용하여 선형 매핑(linear mapping)을 통해 점진적으로 여러 레벨(level)를 거쳐 조금씩 키우는 방법이다. 이때 각 레벨마다 기존 저해상도 영상 크기로 반복적으로 줄여 오차를 줄이는 역투영법(back-projection)을 사용하는데, 이 방법은 처리된 영상에 시각적 품질을 낮추는 링 아티팩트(ringing artifacts)를 생산하며, 이는 매 레벨마다 계속 누적이 되어 고해상도 결과 이미지 품질에 악영향을 미치는 단점이 있다. 이를 보완하기 위해, 본 논문에서는 저해상도 정지 영상을 고해상도 정지 영상으로 점진적으로 키울 때 일반적인 역투영법 대신 비국소적 평균법(non-local means, NLM) 기반 역투영법을 사용하는 초해상화 기법을 제안한다. 제안하는 기법은 매 레벨마다 생기는 링 아티팩트를 효과적으로 제거하여 높은 시각적 품질의 고해상도 영상을 복원할 수 있게 한다. 실험을 통해 제안된 초해상화 기법을 사용 시 기존 초해상화 기법보다 향상된 고품질 고해상도 영상 복원이 가능한 것을 확인하였다.

• Journal of Digital Policy
• /
• v.2 no.3
• /
• pp.1-7
• /
• 2023

In this paper, I proposes a method for performing single image super resolution by separating texture-spatial domains and then classifying features based on detailed information. In CNN (Convolutional Neural Network) based super resolution, the complex procedures and generation of redundant feature information in feature estimation process for enhancing details can lead to quality degradation in super resolution. The proposed method reduced procedural complexity and minimizes generation of redundant feature information by splitting input image into two channels: texture and spatial. In texture channel, a feature refinement process with step-wise skip connections is applied for detail restoration, while in spatial channel, a method is introduced to preserve the structural features of the image. Experimental results using proposed method demonstrate improved performance in terms of PSNR and SSIM evaluations compared to existing super resolution methods, confirmed the enhancement in quality.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.5-8
• /
• 2019

단일 영상 초해상도 (Single Image Super-Resolution - SISR)기법은 카메라로 획득된 저해상도 영상에 필터 기반의 연산을 적용하여 좋은 화질의 고해상도 영상을 복원하는 과정이다. 최근에 심층 합성곱 신경망 학습의 발전에 따라 단일 영상 초해상도에 적용되는 심층 학습 기법들은 좋은 성과를 보여 주고 있다. 본 논문은 단일 영상 초해상도 성능을 개선하기 위해 웨이블릿 예측 네트워크를 효율적으로 적용하는 방법에 대해 연구하였으며, 저해상도 입력 영상의 특징을 잘 추출해내기 위해 네트워크 내부에 RDB를 적용하여 기존 방식보다 효율적으로 고해상도 영상 복원하는 기법을 제안한다. 모의실험을 통해 제안하는 방법이 기존 방법보다 화질은 약 PSNR 0.18dB만큼 우수하며 속도는 1.17배 빠른 것을 확인하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.05a
• /
• pp.691-694
• /
• 2022

최근 고해상도 영상이 필요하게 되었으며, 저해상도 영상을 고해상도 영상으로 변환하는 딥러닝 기반의 초해상도 알고리즘에 대한 연구가 활발히 진행되고 있다. 그럼에도 불구하고 딥러닝 기반의 초해상도 알고리즘은 하드웨어의 한계로 인해 임베디드 시스템에서 실행시간이 느린 단점이 있다. 본 논문에서는 심층신경망 기반의 초해상도 알고리즘의 네트워크 구조를 제시하고 다양한 활성화 함수에 따른 화질 및 실행시간 성능을 분석한다. 실험 결과, 젯슨 나노보드의 다양한 활성화 함수 중 화질과 실행 시간의 관계에서 도출한 최적의 활성화 함수가 PReLU 함수임을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.540-543
• /
• 2020

기존의 초해상도 딥러닝 기법은 모델의 깊이가 깊어지면서, 좋은 성능을 내지만 점점 더 복잡해지고 있고, 실제로 사용하는데 있어 많은 시간을 요구한다. 이를 해결하기 위해, 우리는 딥러닝 모델의 가중치를 양자화 하여 추론시간을 줄이고자 한다. 초해상도 모델은 feature extraction, non-linear mapping, reconstruction 세 부분으로 나누어져 있으며, 레이어 사이에 많은 skip-connection 이 존재하는 특징이 있다. 따라서 양자화 시 최종 성능 하락에 미치는 영향력이 레이어 별로 다르며, 이를 감안하여 강화학습으로 레이어 별 최적 bit 를 찾아 성능 하락을 최소화한다. 본 논문에서는 Skip-connection 이 많이 존재하는 MSRN 을 사용하였으며, 결과에서 feature extraction, reconstruction 부분과 블록 내 특정 위치의 레이어가 항상 높은 bit 를 가짐을 알 수 있다. 기존에 영상 분류에 한정되어 사용되었던 혼합 bit 양자화를 사용하여 초해상도 딥러닝 기법의 모델 사이즈를 줄인 최초의 논문이며, 제안 방법은 모바일 등 제한된 환경에 적용 가능할 것으로 생각된다.

• Journal of the Korea Computer Graphics Society
• /
• v.29 no.5
• /
• pp.31-40
• /
• 2023

As display resolution increases, many apps also tend to include high-resolution texture maps. Recent advancements in deep-learning-based image super-resolution techniques make it possible to automate high-resolution texture generation. However, there is still a lack of comprehensive analysis of the application of these techniques to texture maps. In this paper, we selected three recent super-resolution techniques, namely BSRGAN, Real-ESRGAN, and SwinIR (classical and real-world image SR), and applied them to upscale texture maps. We then conducted a quantitative and qualitative analysis of the experimental results. The findings revealed various artifacts after upscaling, which indicates that there are still limitations in directly applying super-resolution techniques to texture-map upscaling.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.193-196
• /
• 2021

홀로그램(Hologram)은 3차원 물체에서 나오는 빛의 정보를 제어하는 기술이다. 현재는 컴퓨터 생성 홀로그램(CGH)으로 생성한 디지털 홀로그램에 관한 연구, 특히 물체에서 나오는 빛의 정보를 최대한 기록하고 재현하여 디지털 홀로그램의 해상도를 향상 시키려는 연구가 활발히 진행되고 있다. 이에 본 논문에서는 고해상도 홀로그램 영상을 얻기 위해 딥러닝 기반 초해상도(Super Resolution) 네트워크를 훈련 및 최적화하여, 저해상도 위상 홀로그램 영상으로부터 높은 화질의 홀로그램 영상을 재현하는 고해상도 위상 홀로그램 영상을 생성하는 것을 목표로 한다. 이때 위상 홀로그램 영상의 특성을 이용한 순환 손실 함수(Circular loss function)를 새롭게 제안하며, 기존의 이미지 초해상도 신경망 모델을 학습시킬 때 자주 사용하는 L1 손실 함수와 비교했을 때 약 0.13dB 정도의 성능 향상이 있었다.