• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.92-94
• /
• 2016

저해상도 영상을 고해상도 영상으로 복원하기 위한 다양한 방법의 초해상도 기법이 존재한다. 다양한 기법들 중에서도 ELBP 분류기를 이용한 초해상도 기법[1]은 단일 영상 기반의 초해상도 기법으로 사전에 학습된 필터를 이용하여 고해상도 영상을 획득하는 기법이다. 그러나 해당 알고리즘을 일반적인 CPU 환경에서 수행할 경우 실시간으로 영상을 획득하는데 어려움이 존재한다. 본 논문에서는 지역메모리를 이용한 GPU 환경에서의 최적화를 수행하여 ELBP 분류기를 이용한 초해상도 기법의 가속성을 보인다. 먼저, 알고리즘에 대하여 간단히 설명하고 CUDA 가속화 기법[2]을 차례로 적용했을 때 얻을 수 있는 가속 성능을 확인한다. 최종적으로 본 논문은 CPU 환경과 비교했을 때 5 배의 가속 효과를 얻을 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.313-314
• /
• 2021

최근 많은 단일 영상 초해상도 네트워크에서 입력 저 화질 영상 자체의 내부 정보를 테스트 타임에 이용하여 파라미터를 업데이트하는 방법을 통해 높은 성능 향상을 이루어냈다. 본 원고에서는, 해당 방법에서 더 나아가 동영상 초해상도네트워크의 파라미터를 테스트 타임의 저 화질 영상만을 가지고 업데이트 하는 기법을 소개한다. 첫째로, 동영상 내에 일반적으로 존재하는 반복되는 패치의 특성을 분석하고, 다음으로 기존의 복원된 동영상을 관찰하여 자기 지도 적응의 가능성을 보인다. 마지막으로, 폭넓은 실험을 통해 제안하는 기법을 검증한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.337-339
• /
• 2020

오디오 초 해상도 기술은 저 해상도의 오디오 신호를 이용하여 고 해상도의 오디오를 복원 또는 생성해 내는 기술이다. 본 기술 분야는 기존에 주파수 대역 확장, 인공 대역 확장 기술 등으로 연구되었으나, 최근 딥러닝 기술의 발전, 이미지 초 해상도 기술 연구 등에 힘입어 오디오 초 해상도 기술 이라는 이름으로 주로 연구되고 있다. 본 논문에서는 이러한 오디오 초 해상도 기술에 연구 동향에 대하여 설명하고, 기존의 논문 들에서 주로 다루고 있는 음성 데이터 베이스가 아닌 MedleyDB 음악 데이터 베이스를 활용하여 실험을 수행하였다. 실험은 4-폴드 교차 검증을 통해 수행되었으며, 실험 결과 제안하는 컨벌루션 신경망 구조 기반 오디오 초 해상도 기술은 입력 저해상도 오디오 대비 SNR 이 3.41 dB 향상됨을 확인하였다.

• Journal of Korea Multimedia Society
• /
• v.14 no.11
• /
• pp.1392-1400
• /
• 2011

In most digital imaging applications, high-resolution images or videos are usually desired for later image processing and analysis. The image signal obtained from general imaging system occurs image degradation during the process of image acquirement caused by the optics, physical constraints and the atmosphere effects. Super-resolution reconstruction, one of the solution to address this problem, is image reconstruction technique that produces a high-resolution image from several low-resolution frames in video sequences. In this paper, we propose an improved super-resolution method using Projection onto Convex Sets (POCS) method based on Shift & Add (S&A). The image using conventional algorithms is sensitive to noise. To solve this problem, we propose a fusion algorithm of S&A and POCS. Also we solve the problem using BLPF (Butterworth Low-pass Filter) in frequency domain as optical blur. Our method is robust to noise and has sharpness enhancement ability. Experimental results show that the proposed super-resolution method has better resolution enhancement performance than other super-resolution methods.

• Journal of the Korea Society of Computer and Information
• /
• v.16 no.6
• /
• pp.71-77
• /
• 2011

In this paper, we propose a learning based super resolution algorithm using local block for image enhancement of vehicle license plate. Local block is defined as the minimum measure of block size containing the associative information in the image. Proposed method essentially generates appropriate local block sets suitable for various imaging conditions. In particular, local block training set is first constructed as ordered pair between high resolution local block and low resolution local block. We then generate low resolution local block training set of various size and blur conditions for matching to all possible blur condition of vehicle license plates. Finally, we perform association and merging of information to reconstruct into enhanced form of image from training local block sets. Representative experiments demonstrate the effectiveness of the proposed algorithm.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.04a
• /
• pp.348-351
• /
• 2012

본 논문에서는 많은 양의 외부 데이터를 활용할 수 있는 예제기반 초해상도(example-based super-resolution) 방법을 보다 효율적으로 할 수 있는 예제선정과 그를 위한 최적화기반의 방법론을 제안한다. 외부 데이터베이스 전체에 의존하는 것이 아니라, 예제선정을 위해 영상검색 (image retrieval) 방법을 도입하여 입력 영상과 관련 있는 영상을 외부 데이터베이스로부터 찾고 영상들로부터 초해상도 영상을 얻는다. 기존의 방법은 외부 데이터베이스를 모두 사용하기 때문에 입력영상에 불필요한 정보들이 복원되어 초해상도 결과의 질을 저하시킨다. 하지만 제안하는 방법에서는 영상검색을 통해 불필요한 정보들을 미리 제거하여 좋은 결과를 얻을 수 있다. 또한 외부 데이터베이스를 크기에 상관없이 검색된 몇 장의 영상을 사용하기 때문에 기존의 방법에 비해서 속도가 향상되었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.11a
• /
• pp.235-236
• /
• 2019

본 논문에서는 초해상도, 압축 열화 제거 등 영상 화질 복원 연구에서 영상의 다운샘플링에 딥러닝을 적용한 연구들에 대해 소개한다. 첫 번째 연구는 두 개의 컨볼루셔널 신경망과 영상 압축 코덱을 이용하여 압축 영상의 화질을 향상시켰다. 두 번째 연구는 초해상도 문제를 해결함에 있어 다운샘플링 역시 딥러닝을 통해 학습하여 복원 영상의 화질을 향상시켰다. 두 연구를 통해 영상 화질 개선 문제 해결에 있어 적절한 딥러닝 학습 방법을 영상 다운샘플링에 적용하여 좋은 결과를 얻을 수 있다는 것을 확인할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.11a
• /
• pp.62-65
• /
• 2018

신경망은 깊어질수록 gradient vanishing/exploding과 같은 네트워크가 불안정해지는 문제가 발생 한다. 잔차 블록을 이용하여 이러한 문제를 해결 할 수 있다. 본 논문에서는 영상 인식 분야에서 훌륭한 성능을 보여준 잔차 블록 기반의 깊은 합성곱 신경망을 통한 단일 영상 초해상도 복원 기법을 제안 한다. 제안한 알고리듬은 EDSR에 사용된 잔차 블록을 다양한 크기의 합성곱 연산을 통해 영상의 특징들을 다르게 분석하도록 수정하고 VDSR과 비슷한 수준의 복잡도로 구성하여 향상된 성능을 얻었다. 실험 결과, VDSR에 비해 PSNR이 최대 0.1dB까지 증가했다.

• The KIPS Transactions:PartB
• /
• v.17B no.4
• /
• pp.295-302
• /
• 2010

Example-based super resolution(EBSR) is a method to reconstruct high-resolution images by learning patch-wise correspondence between high-resolution and low-resolution images. It can reconstruct a high-resolution from just a single low-resolution image. However, when it is applied to a text image whose font type and size are different from those of training images, it often produces lots of noise. The primary reason is that, in the patch matching step of the reconstruction process, input patches can be inappropriately matched to the high-resolution patches in the patch dictionary. In this paper, we propose a new patch matching method to overcome this problem. Using an image observation model, it preserves the correlation between the input and the output images. Therefore, it effectively suppresses spurious noise caused by inappropriately matched patches. This does not only improve the quality of the output image but also allows the system to use a huge dictionary containing a variety of font types and sizes, which significantly improves the adaptability to variation in font type and size. In experiments, the proposed method outperformed conventional methods in reconstruction of multi-font and multi-size images. Moreover, it improved recognition performance from 88.58% to 93.54%, which confirms the practical effect of the proposed method on recognition performance.

• Journal of the Institute of Electronics Engineers of Korea SD
• /
• v.48 no.9
• /
• pp.22-30
• /
• 2011

Recently, the rising demand for intelligent video surveillance system leads to high-performance face recognition systems. The solution for low-resolution images acquired by a long-distance camera is required to overcome the distance limits of the existing face recognition systems. For that reason, this paper proposes a hardware design of an image resolution enhancement algorithm for real-time intelligent video surveillance systems. The algorithm is synthesizing a high-resolution face image from an input low-resolution image, with the help of a large collection of other high-resolution face images, called training set. When we checked the performance of the algorithm at 32bit RISC micro-processor, the entire operation took about 25 sec, which is inappropriate for real-time target applications. Based on the result, we implemented the hardware module and verified it using Xilinx Virtex-4 and ARM9-based embedded processor(S3C2440A). The designed hardware can complete the whole operation within 33 msec, so it can deal with 30 frames per second. We expect that the proposed hardware could be one of the solutions not only for real-time processing at the embedded environment, but also for an easy integration with existing face recognition system.