• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.25 no.6
• /
• pp.774-784
• /
• 2021

The object detection and recognition process is a very important task in the field of computer vision, and related research is actively being conducted. However, in the actual object recognition process, the recognition accuracy is often degraded due to the resolution mismatch between the training image data and the test image data. To solve this problem, in this paper, we designed and developed an integrated object recognition and super-resolution framework by proposing an image super-resolution technique to improve object recognition accuracy. In detail, 11,231 license plate training images were built by ourselves through web-crawling and artificial-data-generation, and the image super-resolution artificial neural network was trained by defining an objective function to be robust to the image flip. To verify the performance of the proposed algorithm, we experimented with the trained image super-resolution and recognition on 1,999 test images, and it was confirmed that the proposed super-resolution technique has the effect of improving the accuracy of character recognition.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.701-704
• /
• 2020

이미지 초해상도는 딥러닝의 발전과 함께 이를 활용하며 눈에 띄는 성능향상을 이루었다. 딥러닝을 기반으로 한 대부분의 이미지 초해상도 연구는 딥러닝 네트워크 모델의 구조에 대한 연구 위주로 진행되어 왔다. 그러나 최근 들어 딥러닝 기반의 이미지 초해상도가 합성된 데이터에 대해서는 높은 성능을 보이지만 실제 데이터에 대해서는 높은 성능을 보이지 못한다는 사실이 주목받고 있다. 이에 따라 모델 구조를 바꿔 성능을 향상 시키는 것에는 한계가 있어 데이터의 활용이나 학습 방법에 대한 연구의 필요성이 증대되고 있다. 따라서 본 논문은 이미지 초해상도를 위한 난이도 조절 기반 전이학습법(transfer learning)을 제안한다. 제안된 방법에서는 이미지 초해상도를 배율을 난이도가 쉬운 낮은 배율부터 순차적으로 전이학습을 진행한다. 이는 이미지 초해상도의 배율이 높아질수록 학습이 어렵기 때문이다. 결과적으로 본 논문에서는 높은 배율의 이미지 초해상도를 진행하기 위해 낮은 배율의 이미지 초해상도, 즉 난이도가 쉬운 학습부터 점진적으로 학습을 진행하였을 때 더욱 빠르고 효과적으로 학습할 수 있음을 보여준다. 제안된 전이학습 방법을 통해 적은 횟수의 업데이트로 학습을 진행하였을 때 일반적인 학습방법 대비 약 0.18 dB 의 PSNR 상승을 얻어, RealSR [9] 데이터셋에서 28.56 dB의 성능으로 파라미터 수 대비 높은 성능을 얻을 수 있었다.

• Journal of the Korea Convergence Society
• /
• v.9 no.6
• /
• pp.45-52
• /
• 2018

In this paper, we propose a linear interpolation method based on patch information generated from a low - resolution image for generating a super resolution image in a single image. Using the regression model of the global space, which is a conventional super resolution generation method, results in poor quality in general because of lack of information to be referred to a specific region. In order to compensate for these results, we propose a method to extract meaningful information by dividing the region into patches in the process of super resolution image generation, analyze the constituents of the image matrix region extended for super resolution image generation, We propose a method of linear interpolation based on optimal patch information that is searched by correlating patch information based on the information gathered before the interpolation process. For the experiment, the original image was compared with the reconstructed image with PSNR and SSIM.

• Journal of Broadcast Engineering
• /
• v.24 no.4
• /
• pp.633-642
• /
• 2019

Recently, the convolution neural network (CNN) model at a single image super-resolution (SISR) have been very successful. The residual learning method can improve training stability and network performance in CNN. In this paper, we propose a SISR using recursive residual network architecture by introducing dense skip connections for learning nonlinear mapping from low-resolution input image to high-resolution target image. The proposed SISR method adopts a method of the recursive residual learning to mitigate the difficulty of the deep network training and remove unnecessary modules for easier to optimize in CNN layers because of the concise and compact recursive network via dense skip connection method. The proposed method not only alleviates the vanishing-gradient problem of a very deep network, but also get the outstanding performance with low complexity of neural network, which allows the neural network to perform training, thereby exhibiting improved performance of SISR method.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.139-143
• /
• 2021

본 논문에서는 꾸준히 연구되어 오던 이미지 복원 문제에서 초해상화와 인페인팅이라는 복합적 이미지 복원을 동시에 처리하는 해결 방법을 제안한다. 초해상화는 국지적 픽셀 정보를 이용하여 고해상도의 영상을 복원하고, 인페인팅은 이미지 전체 정보를 활용하여 영상 내 비어 있는 영역을 생성해야 하므로, 이러한 두 가지 영상 복원 기법을 동시에 수행하는 것은 상당히 어려운 문제이다. 그렇기에 인페인팅과 초해상화는 이미지 복원에서 널리 활용되는 기술인 만큼 동시에 해결할 수 있는 기법에 대한 수요는 있음에도 지금까지 거의 연구되지 않았다. 본 논문은 초해상화 및 인페인팅 합동 처리에 있어 복합적인 정보를 모두 다뤄야하는 네트워크가 서로의 성능을 저하시키지 않도록 개략적 복원 네트워크 (Coarse network), 디테일 복원 네트워크 (Refinement network), 초해상화 네트워크 (SR network)로 분리하여 초해상화 및 인페인팅 합동 처리를 수행하며, 각 단계마다 결과 영상을 얻어 스케일 별 정답 영상과 손실함수를 계산하여 복합적인 성능을 올릴 수 있는 방법을 제시한다. 또한 순차적 단일 모델에 비하여 인페인팅과 초해상화를 합동 학습하는 제안 모델이 개선된 화질의 결과 영상을 획득할 수 있다는 것을 실험적으로 보인다.

• Annual Conference of KIPS
• /
• 2007.05a
• /
• pp.357-360
• /
• 2007

초해상도 영상 복원은 저해상도 이미지를 고해상도 이미지로 변환하는 기술이다. 저해상도를 고해상도로 변환 시 정보가 없는 화소에 대한 정확한 화소값을 예측하는 보간법을 이용하게 되며 영상의 스케일링에 따른 앨리어싱 (aliasing) 이 발생하는 문제를 해결해야 한다. 본 논문에서는 Sobel 연산자를 통해 구한 에지 성분의 크기와 방향성을 이용하여, 초해상도 영상의 앨리어싱과 블러링(blurring) 을 줄이는 기법을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.85-87
• /
• 2022

최근 CCTV 출입 기록, 휴대폰 보안, 스마트 매장 등에서 얼굴 인식을 통해 개인을 식별하는 기술이 널리 사용되고 있다. 카메라의 각도, 조명, 사람의 움직임 등 얼굴 인식에 많은 외부 환경이 영향을 미치고 있지만 그중에서도 실제 영상에서 얼굴이 차지하는 영역이 작아 저해상도 얼굴 인식에 어려움을 겪고 있다. 이러한 문제점을 해결하고자 본 논문에서는 이미지 해상도가 얼굴 인식에 끼치는 영향을 알아보고 이미지 초해상화를 통해 얼굴 인식 성능을 개선하고자 한다. 쌍선형, 양3차 회선 보간법과 딥러닝 기반의 이미지 초해상화 모델인 RCAN을 이용하여 업스케일링한 데이터셋에 대해 학습한 ArcFace를 통해 얼굴 검증 평가를 진행하였다. 고해상도 이미지는 얼굴 인식 성능을 향상시키며, RCAN을 사용한 이미지 초해상화가 보간법을 사용한 방법보다 더 좋은 성능을 보였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1191-1194
• /
• 2022

인터넷의 발전으로 수많은 이미지와 비디오를 손쉽게 이용할 수 있게 되었다. 이미지와 비디오 데이터의 양이 기하급수적으로 증가함에 따라, JPEG, HEVC, VVC 등 이미지와 비디오를 효율적으로 저장하기 위한 부호화 기술들이 등장했다. 최근에는 인공신경망을 활용한 학습 기반 모델이 발전함에 따라, 이를 활용한 이미지 및 비디오 압축 기술에 관한 연구가 빠르게 진행되고 있다. NNIC (Neural Network based Image Coding)는 이러한 학습 가능한 인공신경망 기반 이미지 부호화 기술을 의미한다. 본 논문에서는 NNIC 모델과 인공신경망 기반의 초해상화(Super Resolution) 모델을 합동훈련하여 기존 NNIC 모델보다 더 높은 성능을 보일 수 있는 방법을 제시한다. 먼저 NNIC 인코더(Encoder)에 이미지를 입력하기 전 다운 스케일링(Down Scaling)으로 쌍삼차보간법을 사용하여 이미지의 화소를 줄인 후 부호화(Encoding)한다. NNIC 디코더(Decoder)를 통해 부호화된 이미지를 복호화(Decoding)하고 업 스케일링으로 초해상화를 통해 복호화된 이미지를 원본 이미지로 복원한다. 이때 NNIC 모델과 초해상화 모델을 합동훈련한다. 결과적으로 낮은 비트량에서 더 높은 성능을 볼 수 있는 가능성을 보았다. 또한 합동훈련을 함으로써 전체 성능의 향상을 보아 학습 시간을 늘리고, 압축 잡음을 위한 초해상화 모델을 사용한다면 기존의 NNIC 보다 나은 성능을 보일 수 있는 가능성을 시사한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.303-306
• /
• 2021

이미지 초해상도는 영상 취득 과정에서 센서와 렌즈의 물리적인 한계 등으로 인하여 의해 화질이 저하된 이미지를 더 높은 배율로 복원하는 문제이다. 이미지 초해상도는 딥러닝을 통해 놀라운 성능향상을 이루었지만, 카메라로 촬영된 실제 이미지에서는 좋은 성능을 내지 못하였다. 이는 딥러닝에서는 'bicubic' 커널로 down-sampling된 합성 이미지 데이터를 사용하였던 것과 달리 실제 이미지에서는 'bicubic' 커널을 통한 화질 저하와는 다른 화질 저하, 즉 다른 커널을 통한 화질 저하가 발생하기 때문이다. 따라서 실제 이미지에 대한 성능을 높이기 위해서는 이에 대한 정확한 커널 예측이 필요하다. 최근 주목받기 시작한 이미지 초해상도를 위한 커널 예측은 초해상도를 잘 시켜주는 커널을 직접 찾는 방법[10, 13]과 이미지의 분포와 커널을 통해 다운샘플된 이미지에 대한 분포를 일치시켜주면서 커널을 예측하는 방법[14]으로 나누어져 있다. 그러나 두 방법 모두 ill-posed problem 인 커널 예측 문제를 한 장의 이미지만으로 해결하려는 것이기 때문에 정확한 예측에는 어려움이 발생한다. 따라서 본 논문에서는 두 장의 이미지를 활용한 이미지 화질 저하 커널 예측 방법을 제안한다. 제안된 방법은 두 장의 이미지가 같은 카메라를 통해 촬영되었으며 이때 이미지 화질 저하는 카메라에 의해서만 영향을 받는다는 가정을 기반으로 한다. 즉, 두 장의 이미지는 같은 커널을 통해 저하된 이미지라는 가정을 한다. 제안된 방법은 [14]에서처럼 이미지 분포를 기반으로 한 커널 예측을 진행하며, 이미지 초해상도를 진행하고자 하는 이미지 외에 참고 이미지 또한 같은 커널에서 화질 저하를 시켰을 때 본래의 이미지와 같은 분포에 있도록 학습을 진행한다. 결과적으로 본 논문에서는 두 장의 이미지를 사용하였을 때 더욱 정확하게 커널을 찾을 수 있음을 보여준다. 두 장의 이미지를 활용하는 방식이 한 장의 이미지만을 활용하는 기존의 최고 수준의 방법에 비해 합성된 다양한 커널 데이터셋[14]에서 약 0.17dB 성능 향상이 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.72-75
• /
• 2022

야외 환경을 카메라로 촬영한 일반 영상에서 텍스트 이미지를 검출하고 인식하는 기술은 로봇 비전, 시각 보조 등의 기반이 되는 기술로 활용될 수 있어 매우 중요한 기술이다. 하지만 저해상도의 텍스트 이미지의 경우 텍스트 이미지에 포함된 노이즈나블러 등이 더 두드러지기 때문에 텍스트 내용을 인식하는 것이 어렵다. 이에 본 논문은 일반 영상에서의 저해상도 한글 및 영어 텍스트에 대한 이미지 초해상화를 통해 텍스트 인식 정확도를 개선하였다. 트랜스포머에 기반한 모델로 한글 및 영어 텍스트에 대한 이미지 초해상화를 수행하였으며, 영어 및 한글 데이터셋에 대해 제안한 초해상화 방법을 적용했을 때 그렇지 않을 때보다 텍스트 인식 성능이 개선되는 것을 확인하였다.