• Broadcasting and Media Magazine
• /
• v.25 no.2
• /
• pp.7-16
• /
• 2020

최근 Ultra-High Definition(UHD) 등의 고해상도 디스플레이가 시장에 등장하고 이에 따라 소비자의 요구가 커지면서 기존의 Full-High Definition(FHD)과 같은 저해상도(Low Resolution, LR) 영상을 고해상도(High Resolution, HR) 영상으로 변환할 수 있는 초해상화(Super-Resolution) 알고리즘에 대한 관심이 커지고 있다. 그러나 기존의 전통적인 초해상화 기법들은 고해상도 영상을 복원하는 과정에서 디테일한 부분의 화질 저화 및 열화가 존재하는 것을 확인할 수 있다. 본 논문에서는 이러한 문제를 해결하기 위해 최근 널리 연구되고 있는 딥러닝 기반의 초해상화 알고리즘 연구의 최신 기술 현황 및 동향을 소개하고자 한다. 딥러닝 기반의 초해상화 알고리즘은 기존의 전통적인 기법들에 비해 높은 성능을 보여주고 있으며 현재까지도 다양한 네트워크가 제안되며 활발히 연구되고 있다. 본 논문에서는 딥러닝 기반의 초해상화 알고리즘 중 대표적인 네트워크들을 분석하고 다양한 데이터 셋에 대한 해당 네트워크의 실험 결과를 통해 딥러닝 기반의 초해상화 알고리즘의 우수성을 확인하고자 한다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2023.05a
• /
• pp.417-417
• /
• 2023

도시홍수는 도시의 주요 기능을 마비시킬 수 있는 수재해로서, 최근 집중호우로 인해 홍수 및 침수 위험도가 증가하고 있다. 집중호우는 한정된 지역에 단시간 동안 집중적으로 폭우가 발생하는 현상을 의미하며, 도시 지역에서 강우 추정 및 예보를 위해 레이더의 활용이 증대되고 있다. 레이더는 수상체 또는 구름으로부터 반사되는 신호를 분석해서 강우량을 측정하는 장비이다. 기상청의 기상레이더(S밴드)의 주요 목적은 남한에 발생하는 기상현상 탐지 및 악기상 대비이다. 관측반경이 넓기에 도시 지역에 적합하지 않는 반면, X밴드 이중편파레이더는 높은 시공간 해상도를 갖는 관측자료를 제공하기에 도시 지역에 대한 강우 추정 및 예보의 정확도가 상대적으로 높다. 따라서, 본 연구에서는 딥러닝 기반 초해상화(Super Resolution) 기술을 활용하여 저해상도(Low Resolution. LR) 영상인 S밴드 레이더 자료로부터 고해상도(High Resolution, HR) 영상을 생성하는 기술을 개발하였다. 초해상도 연구는 Nearest Neighbor, Bicubic과 같은 간단한 보간법(interpolation)에서 시작하여, 최근 딥러닝 기반의 초해상화 알고리즘은 가장 일반화된 합성곱 신경망(CNN)을 통해 연구가 이루어지고 있다. X밴드 레이더 반사도 자료를 고해상도(HR), S밴드 레이더 반사도 자료를 저해상도(LR) 입력자료로 사용하여 초해상화 모형을 구성하였다. 2018~2020년에 발생한 서울시 호우 사례를 중심으로 데이터를 구축하였다. 구축된 데이터로부터 훈련된 초해상도 심층신경망 모형으로부터 저해상도 이미지를 고해상도로 변환한 결과를 PSNR(Peak Signal-to-noise Ratio), SSIM(Structural SIMilarity)와 같은 평가지표로 결과를 평가하였다. 본 연구를 통해 기존 방법들에 비해 높은 공간적 해상도를 갖는 레이더 자료를 생산할 수 있을 것으로 기대된다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2017.06a
• /
• pp.190-191
• /
• 2017

본 논문에서는 딥 콘볼루션 신경망 구조를 사용하여 학습된 초해상화 알고리즘을 GPU 프로그래밍을 통해 실시간 동작이 가능하도록 하는 방법을 제시하였다. 딥 러닝이 많이 대중화 되면서 많은 영상처리 알고리즘이 딥러닝을 기반으로 연구가 되었다. 하지만 계산 량이 많이 필요로 하는 딥 러닝 기반 알고리즘은 UHD 이상의 고해상도 영상처리에는 실시간 처리가 어려웠다. 이런 문제를 해결하기 위해서 고속 병렬 처리가 가능한 GPU 를 사용해서 2K 입력영상을 4K 출력 영상으로 확대하는 딥 초해상화 알고리즘을 30 fps 이상의 처리 속도로 동작이 가능하도록 구현을 하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.05a
• /
• pp.691-694
• /
• 2022

최근 고해상도 영상이 필요하게 되었으며, 저해상도 영상을 고해상도 영상으로 변환하는 딥러닝 기반의 초해상도 알고리즘에 대한 연구가 활발히 진행되고 있다. 그럼에도 불구하고 딥러닝 기반의 초해상도 알고리즘은 하드웨어의 한계로 인해 임베디드 시스템에서 실행시간이 느린 단점이 있다. 본 논문에서는 심층신경망 기반의 초해상도 알고리즘의 네트워크 구조를 제시하고 다양한 활성화 함수에 따른 화질 및 실행시간 성능을 분석한다. 실험 결과, 젯슨 나노보드의 다양한 활성화 함수 중 화질과 실행 시간의 관계에서 도출한 최적의 활성화 함수가 PReLU 함수임을 확인하였다.

• Journal of the Korean Society of Radiology
• /
• v.15 no.2
• /
• pp.153-158
• /
• 2021

X-ray image analysis is a very important field to improve the early diagnosis rate and prediction accuracy of periodontal disease. Research on the development and application of artificial intelligence-based algorithms to improve the quality of such dental X-ray images is being widely conducted worldwide. Thus, the aim of this study was to design a super-resolution algorithm for predicting periodontal disease and to evaluate its applicability in dental X-ray images. The super-resolution algorithm was constructed based on the convolution layer and ReLU, and an image obtained by up-sampling a low-resolution image by 2 times was used as an input data. Also, 1,500 dental X-ray data used for deep learning training were used. Quantitative evaluation of images used root mean square error and structural similarity, which are factors that can measure similarity through comparison of two images. In addition, the recently developed no-reference based natural image quality evaluator and blind/referenceless image spatial quality evaluator were additionally analyzed. According to the results, we confirmed that the average similarity and no-reference-based evaluation values were improved by 1.86 and 2.14 times, respectively, compared to the existing bicubic-based upsampling method when the proposed method was used. In conclusion, the super-resolution algorithm for predicting periodontal disease proved useful in dental X-ray images, and it is expected to be highly applicable in various fields in the future.

• Korean Journal of Remote Sensing
• /
• v.38 no.5_1
• /
• pp.559-570
• /
• 2022

When a satellite image has low spatial resolution, it is difficult to detect small objects. In this research, we aim to check the effect of super resolution on object detection. Super resolution is a software method that increases the resolution of an image. Unpaired super resolution network is used to improve Sentinel-2's spatial resolution from 10 m to 3.2 m. Faster-RCNN, RetinaNet, FCOS, and S²ANet were used to detect vessels in the Sentinel-2 images. We experimented the change in vessel detection performance when super resolution is applied. As a result, the Average Precision (AP) improved by at least 12.3% and up to 33.3% in the ship detection models trained with the super-resolution image. False positive and false negative cases also decreased. This implies that super resolution can be an important pre-processing step in object detection, and it is expected to greatly contribute to improving the accuracy of other image-based deep learning technologies along with object detection.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.345-347
• /
• 2021

단일 이미지 초해상도는 딥러닝의 발전과 함께 놀라운 성능 향상이 이루어 졌다. 이러한 딥러닝 모델은 매우 많은 파라미터를 갖고 있어 많은 연산량과 메모리를 필요로 한다. 하지만 사용할 수 있는 리소스는 한정되어 있기 때문에 네트워크를 경량화 시키려는 연구도 지속되어 왔다. 본 논문에서는 Stochastic Weight Averaging (SWA) 알고리즘을 이용하여 상대적으로 적은 양의 메모리와 연산을 추가해 이미지 초해상도 모델의 성능을 높이고 안정적인 학습을 달성하였다. SWA 알고리즘을 적용한 모델은 그렇지 않은 모델에 비해 테스트셋에서 최대 0.13dB 의 성능 향상을 보였다.

• The Journal of The Korea Institute of Intelligent Transport Systems
• /
• v.22 no.5
• /
• pp.137-147
• /
• 2023

LiDAR is used in autonomous driving and various industrial fields to measure the size and distance of an object. In addition, the sensor also provides intensity images based on the amount of reflected light. This has a positive effect on sensor data processing by providing information on the shape of the object. LiDAR guarantees higher performance as the resolution increases but at an increased cost. These conditions also apply to LiDAR intensity images. Expensive equipment is essential to acquire high-resolution LiDAR intensity images. This study developed artificial intelligence to improve low-resolution LiDAR intensity images into high-resolution ones. Therefore, this study performed parameter analysis for the optimal super-resolution neural network model. The super-resolution algorithm was trained and verified using 2,500 LiDAR intensity images. As a result, the resolution of the intensity images were improved. These results can be applied to the autonomous driving field and help improve driving environment recognition and obstacle detection performance

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.25 no.4
• /
• pp.543-548
• /
• 2021

The higher the resolution of the image, the higher the satisfaction of the viewers of the image, and the super-resolution imaging has a considerable increase in research value among the fields of computer vision and image processing. In this study, the main features of low-resolution image LR are extracted mainly using deep learning super-resolution models. It learns and reconstructs the extracted features, and focuses on reconstruction-based algorithms that generate high-resolution image HR. In this paper, we investigate SRCNN and VDSR in a super-resolution algorithm model based on reconstruction. The structure and algorithm process of the SRCNN and VDSR model are briefly introduced, and the multi-channel and special form are also examined in the improved performance evaluation function, and understand the performance of each algorithm through experiments. In the experiment, an experiment was performed to compare the results of the SRCNN and VDSR models with the peak signal-to-noise ratio and image structure similarity, so that the results can be easily judged.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.26 no.12
• /
• pp.1816-1825
• /
• 2022

In this paper, we propose a new approach for tracking each human in a surveillance camera network with various resolution cameras. When tracking human on multiple non-overlapping cameras, the traditional appearance features are easily affected by various camera viewing conditions. To overcome this limitation, the proposed system utilizes facial information along with appearance information. In general, human images captured by the surveillance camera are often low resolution, so it is necessary to be able to extract useful features even from low-resolution faces to facilitate tracking. In the proposed tracking scheme, texture-based face descriptor is exploited to extract features from detected face after face frontalization. In addition, when the size of the face captured by the surveillance camera is very small, a super-resolution technique that enlarges the face is also exploited. The experimental results on the public benchmark Dana36 dataset show promising performance of the proposed algorithm.