• Journal of the Institute of Electronics and Information Engineers
• /
• v.52 no.3
• /
• pp.154-161
• /
• 2015

A novel multiframe super-resolution (SR) algorithm is presented to overcome the limitation of existing single-image SR algorithms using motion information from adjacent frames in a video. The proposed SR algorithm consists of three steps: i) definition of a local region using interframe motion vectors, ii) multiscale patch generation and adaptive selection of multiple optimum patches, and iii) combination of optimum patches for super-resolution. The proposed algorithm increases the accuracy of patch selection using motion information and multiscale patches. Experimental results show that the proposed algorithm performs better than existing patch-based SR algorithms in the sense of both subjective and objective measures including the peak signal-to-noise ratio (PSNR) and structural similarity measure (SSIM).

• Journal of Broadcast Engineering
• /
• v.19 no.1
• /
• pp.109-117
• /
• 2014

This paper presents a superresolution restoration technique that can restore high-resolution images from differently blurred low resolution images rather than using the motion information between low-resolution images. In order to restore the super-resolution image the rotatable aperture mask lens system is proposed. The proposed technique does not need to estimate point spread function at each frame. In addition, it does not require image registration because there is no global translational motion between low resolution images. By using a rotatable rectangular aperture, two consecutive captured images provide sufficiently exclusive information for superresolution. Therefore, the proposed method can reduce the registration error between the low-resolution image as well as the calculation amount for superresolution restoration. The existing lens system of the camera can be extended to obtain a superresolution image by only adding an rotatable rectangular aperture mask. Finally, in order to verify the performance of the proposed system, experimental results are performed. By comparing with the existing superresolution methods, the proposed method showed the significant improvements in the sense of spatial resolution.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1191-1194
• /
• 2022

인터넷의 발전으로 수많은 이미지와 비디오를 손쉽게 이용할 수 있게 되었다. 이미지와 비디오 데이터의 양이 기하급수적으로 증가함에 따라, JPEG, HEVC, VVC 등 이미지와 비디오를 효율적으로 저장하기 위한 부호화 기술들이 등장했다. 최근에는 인공신경망을 활용한 학습 기반 모델이 발전함에 따라, 이를 활용한 이미지 및 비디오 압축 기술에 관한 연구가 빠르게 진행되고 있다. NNIC (Neural Network based Image Coding)는 이러한 학습 가능한 인공신경망 기반 이미지 부호화 기술을 의미한다. 본 논문에서는 NNIC 모델과 인공신경망 기반의 초해상화(Super Resolution) 모델을 합동훈련하여 기존 NNIC 모델보다 더 높은 성능을 보일 수 있는 방법을 제시한다. 먼저 NNIC 인코더(Encoder)에 이미지를 입력하기 전 다운 스케일링(Down Scaling)으로 쌍삼차보간법을 사용하여 이미지의 화소를 줄인 후 부호화(Encoding)한다. NNIC 디코더(Decoder)를 통해 부호화된 이미지를 복호화(Decoding)하고 업 스케일링으로 초해상화를 통해 복호화된 이미지를 원본 이미지로 복원한다. 이때 NNIC 모델과 초해상화 모델을 합동훈련한다. 결과적으로 낮은 비트량에서 더 높은 성능을 볼 수 있는 가능성을 보았다. 또한 합동훈련을 함으로써 전체 성능의 향상을 보아 학습 시간을 늘리고, 압축 잡음을 위한 초해상화 모델을 사용한다면 기존의 NNIC 보다 나은 성능을 보일 수 있는 가능성을 시사한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.05a
• /
• pp.357-360
• /
• 2007

초해상도 영상 복원은 저해상도 이미지를 고해상도 이미지로 변환하는 기술이다. 저해상도를 고해상도로 변환 시 정보가 없는 화소에 대한 정확한 화소값을 예측하는 보간법을 이용하게 되며 영상의 스케일링에 따른 앨리어싱 (aliasing) 이 발생하는 문제를 해결해야 한다. 본 논문에서는 Sobel 연산자를 통해 구한 에지 성분의 크기와 방향성을 이용하여, 초해상도 영상의 앨리어싱과 블러링(blurring) 을 줄이는 기법을 제안한다.

• Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
• /
• 2010.06a
• /
• pp.312-313
• /
• 2010

초해상도 영상복원은 동일 지역에서 획득한 다수의 영상을 통해 고해상도의 영상으로 복원하는 영상처리 알고리즘 기법이다. 이 기법은 비디오 영상, 위성 영상, 의료 영상과 같이 동일지역에 대한 다수의 저해상도 영상을 획득 할 수 있는 분야에 적용이 가능하다. 본 연구에서는 세계최초의 정지궤도 해양위성인 GOCI 센서의 육상 활용도를 높이기 위한 초해상도 기법 개발을 위해 MODIS 영상을 활용한 시뮬레이션을 수행하여, GOCI 센서를 위한 효율적인 초해상도 알고리즘을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.313-314
• /
• 2021

최근 많은 단일 영상 초해상도 네트워크에서 입력 저 화질 영상 자체의 내부 정보를 테스트 타임에 이용하여 파라미터를 업데이트하는 방법을 통해 높은 성능 향상을 이루어냈다. 본 원고에서는, 해당 방법에서 더 나아가 동영상 초해상도네트워크의 파라미터를 테스트 타임의 저 화질 영상만을 가지고 업데이트 하는 기법을 소개한다. 첫째로, 동영상 내에 일반적으로 존재하는 반복되는 패치의 특성을 분석하고, 다음으로 기존의 복원된 동영상을 관찰하여 자기 지도 적응의 가능성을 보인다. 마지막으로, 폭넓은 실험을 통해 제안하는 기법을 검증한다.

• Proceedings of the Optical Society of Korea Conference
• /
• 2009.02a
• /
• pp.243-245
• /
• 2009

광학 현미경의 분해능이 파장에 따른 회절에 의해 결정된다. 이것을 극복하기 위해서 나노미터까지 분해능을 향상시키기 위해서 근접장 광학이 각광을 받고 있다. 본 보고에서는 흡수 에지 근처의 위상변화 특성에 기인한 초해상을 보고한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.04a
• /
• pp.348-351
• /
• 2012

본 논문에서는 많은 양의 외부 데이터를 활용할 수 있는 예제기반 초해상도(example-based super-resolution) 방법을 보다 효율적으로 할 수 있는 예제선정과 그를 위한 최적화기반의 방법론을 제안한다. 외부 데이터베이스 전체에 의존하는 것이 아니라, 예제선정을 위해 영상검색 (image retrieval) 방법을 도입하여 입력 영상과 관련 있는 영상을 외부 데이터베이스로부터 찾고 영상들로부터 초해상도 영상을 얻는다. 기존의 방법은 외부 데이터베이스를 모두 사용하기 때문에 입력영상에 불필요한 정보들이 복원되어 초해상도 결과의 질을 저하시킨다. 하지만 제안하는 방법에서는 영상검색을 통해 불필요한 정보들을 미리 제거하여 좋은 결과를 얻을 수 있다. 또한 외부 데이터베이스를 크기에 상관없이 검색된 몇 장의 영상을 사용하기 때문에 기존의 방법에 비해서 속도가 향상되었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.5-8
• /
• 2019

단일 영상 초해상도 (Single Image Super-Resolution - SISR)기법은 카메라로 획득된 저해상도 영상에 필터 기반의 연산을 적용하여 좋은 화질의 고해상도 영상을 복원하는 과정이다. 최근에 심층 합성곱 신경망 학습의 발전에 따라 단일 영상 초해상도에 적용되는 심층 학습 기법들은 좋은 성과를 보여 주고 있다. 본 논문은 단일 영상 초해상도 성능을 개선하기 위해 웨이블릿 예측 네트워크를 효율적으로 적용하는 방법에 대해 연구하였으며, 저해상도 입력 영상의 특징을 잘 추출해내기 위해 네트워크 내부에 RDB를 적용하여 기존 방식보다 효율적으로 고해상도 영상 복원하는 기법을 제안한다. 모의실험을 통해 제안하는 방법이 기존 방법보다 화질은 약 PSNR 0.18dB만큼 우수하며 속도는 1.17배 빠른 것을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.72-75
• /
• 2022

야외 환경을 카메라로 촬영한 일반 영상에서 텍스트 이미지를 검출하고 인식하는 기술은 로봇 비전, 시각 보조 등의 기반이 되는 기술로 활용될 수 있어 매우 중요한 기술이다. 하지만 저해상도의 텍스트 이미지의 경우 텍스트 이미지에 포함된 노이즈나블러 등이 더 두드러지기 때문에 텍스트 내용을 인식하는 것이 어렵다. 이에 본 논문은 일반 영상에서의 저해상도 한글 및 영어 텍스트에 대한 이미지 초해상화를 통해 텍스트 인식 정확도를 개선하였다. 트랜스포머에 기반한 모델로 한글 및 영어 텍스트에 대한 이미지 초해상화를 수행하였으며, 영어 및 한글 데이터셋에 대해 제안한 초해상화 방법을 적용했을 때 그렇지 않을 때보다 텍스트 인식 성능이 개선되는 것을 확인하였다.