• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.220-223
• /
• 2020

초해상화란, 저해상도의 영상으로부터 고해상도 영상을 복원하는 이미지 처리 기법이다. 최근 영상 출력 장치의 발전으로 고해상도의 영상을 출력할 장치는 많아지는 한편, 이에 맞는 고해상도 영상을 찍을 영상 기록 장치의 보급은 이에 비해 부족한 실정이다. 따라서 저해상도의 영상을 고해상도 영상으로 변환하는 초해상화 연구는 많은 분야에서 활용되고 있다. 문화재 영상에서의 초해상화는 특히 기존 문화재의 질감, 무늬 등을 보존해야하기 때문에 정교한 초해상화 과정이 요구된다. 본 논문에서는 문화재 영상의 초해상화 과정에 집중해, 기존 문화재의 질감, 무늬 등을 잘 보존하면서 영상 데이터의 양이 상대적으로 적은 경우에도 활용 가능한 기계학습 기범, GLM-SI를 이용한 문화재 영상 초해상화 방법을 제안한다. GLM-SI 를 사용한 초해상화 결과, 문화재 영상에서 선행 방법인 SI 에 비하여 4 배 초해상화에서 PSNR 0.12dB, SSIM 0.017, 8 배 초해상화에서 PSNR 0.23dB, 0.033 의 성능적 향상을 얻을 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.701-704
• /
• 2020

이미지 초해상도는 딥러닝의 발전과 함께 이를 활용하며 눈에 띄는 성능향상을 이루었다. 딥러닝을 기반으로 한 대부분의 이미지 초해상도 연구는 딥러닝 네트워크 모델의 구조에 대한 연구 위주로 진행되어 왔다. 그러나 최근 들어 딥러닝 기반의 이미지 초해상도가 합성된 데이터에 대해서는 높은 성능을 보이지만 실제 데이터에 대해서는 높은 성능을 보이지 못한다는 사실이 주목받고 있다. 이에 따라 모델 구조를 바꿔 성능을 향상 시키는 것에는 한계가 있어 데이터의 활용이나 학습 방법에 대한 연구의 필요성이 증대되고 있다. 따라서 본 논문은 이미지 초해상도를 위한 난이도 조절 기반 전이학습법(transfer learning)을 제안한다. 제안된 방법에서는 이미지 초해상도를 배율을 난이도가 쉬운 낮은 배율부터 순차적으로 전이학습을 진행한다. 이는 이미지 초해상도의 배율이 높아질수록 학습이 어렵기 때문이다. 결과적으로 본 논문에서는 높은 배율의 이미지 초해상도를 진행하기 위해 낮은 배율의 이미지 초해상도, 즉 난이도가 쉬운 학습부터 점진적으로 학습을 진행하였을 때 더욱 빠르고 효과적으로 학습할 수 있음을 보여준다. 제안된 전이학습 방법을 통해 적은 횟수의 업데이트로 학습을 진행하였을 때 일반적인 학습방법 대비 약 0.18 dB 의 PSNR 상승을 얻어, RealSR [9] 데이터셋에서 28.56 dB의 성능으로 파라미터 수 대비 높은 성능을 얻을 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.337-339
• /
• 2020

오디오 초 해상도 기술은 저 해상도의 오디오 신호를 이용하여 고 해상도의 오디오를 복원 또는 생성해 내는 기술이다. 본 기술 분야는 기존에 주파수 대역 확장, 인공 대역 확장 기술 등으로 연구되었으나, 최근 딥러닝 기술의 발전, 이미지 초 해상도 기술 연구 등에 힘입어 오디오 초 해상도 기술 이라는 이름으로 주로 연구되고 있다. 본 논문에서는 이러한 오디오 초 해상도 기술에 연구 동향에 대하여 설명하고, 기존의 논문 들에서 주로 다루고 있는 음성 데이터 베이스가 아닌 MedleyDB 음악 데이터 베이스를 활용하여 실험을 수행하였다. 실험은 4-폴드 교차 검증을 통해 수행되었으며, 실험 결과 제안하는 컨벌루션 신경망 구조 기반 오디오 초 해상도 기술은 입력 저해상도 오디오 대비 SNR 이 3.41 dB 향상됨을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.07a
• /
• pp.75-77
• /
• 2015

디스플레이 해상도가 지속적으로 고해상화가 되면서, 기존 저해상도 영상을 고해상도 디스플레이 크기에 맞춰 해상도를 키우는 기법인 초해상화(super-resolution, SR) 기법에 많은 관심이 쏟아지고 있으며 이에 대한 많은 초해상화 논문들이 게재되었다. 이 중 현재 최상 품질의 고해상도 영상을 복원하는 한 초해상화 기법은, 입력 받은 저해상도 영상을 자가 예제(self-examples)로 사용하여 선형 매핑(linear mapping)을 통해 점진적으로 여러 레벨(level)를 거쳐 조금씩 키우는 방법이다. 이때 각 레벨마다 기존 저해상도 영상 크기로 반복적으로 줄여 오차를 줄이는 역투영법(back-projection)을 사용하는데, 이 방법은 처리된 영상에 시각적 품질을 낮추는 링 아티팩트(ringing artifacts)를 생산하며, 이는 매 레벨마다 계속 누적이 되어 고해상도 결과 이미지 품질에 악영향을 미치는 단점이 있다. 이를 보완하기 위해, 본 논문에서는 저해상도 정지 영상을 고해상도 정지 영상으로 점진적으로 키울 때 일반적인 역투영법 대신 비국소적 평균법(non-local means, NLM) 기반 역투영법을 사용하는 초해상화 기법을 제안한다. 제안하는 기법은 매 레벨마다 생기는 링 아티팩트를 효과적으로 제거하여 높은 시각적 품질의 고해상도 영상을 복원할 수 있게 한다. 실험을 통해 제안된 초해상화 기법을 사용 시 기존 초해상화 기법보다 향상된 고품질 고해상도 영상 복원이 가능한 것을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.139-143
• /
• 2021

본 논문에서는 꾸준히 연구되어 오던 이미지 복원 문제에서 초해상화와 인페인팅이라는 복합적 이미지 복원을 동시에 처리하는 해결 방법을 제안한다. 초해상화는 국지적 픽셀 정보를 이용하여 고해상도의 영상을 복원하고, 인페인팅은 이미지 전체 정보를 활용하여 영상 내 비어 있는 영역을 생성해야 하므로, 이러한 두 가지 영상 복원 기법을 동시에 수행하는 것은 상당히 어려운 문제이다. 그렇기에 인페인팅과 초해상화는 이미지 복원에서 널리 활용되는 기술인 만큼 동시에 해결할 수 있는 기법에 대한 수요는 있음에도 지금까지 거의 연구되지 않았다. 본 논문은 초해상화 및 인페인팅 합동 처리에 있어 복합적인 정보를 모두 다뤄야하는 네트워크가 서로의 성능을 저하시키지 않도록 개략적 복원 네트워크 (Coarse network), 디테일 복원 네트워크 (Refinement network), 초해상화 네트워크 (SR network)로 분리하여 초해상화 및 인페인팅 합동 처리를 수행하며, 각 단계마다 결과 영상을 얻어 스케일 별 정답 영상과 손실함수를 계산하여 복합적인 성능을 올릴 수 있는 방법을 제시한다. 또한 순차적 단일 모델에 비하여 인페인팅과 초해상화를 합동 학습하는 제안 모델이 개선된 화질의 결과 영상을 획득할 수 있다는 것을 실험적으로 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.217-219
• /
• 2020

기존 초해상화 방법들은 주로 자연 영상에 대해서는 많이 다뤄져 왔지만 단조$로운 배경과 복잡한 문양, 질감을 가진 문화재 영상에 대해 적용한 사례가 많지 않다. 또한 대부분의 초해상화 기술은 현재 딥러닝을 적용하고 있지만 복잡도와 구현 난이도에서 상대적으로 수월한 비딥러닝 방법을 사용하여 4 배와 8 배로 초해상화를 실현하는 연구 또한 많지 않다. 본 연구에서는 선형 매핑을 이용한 SI (Super Interpolation)을 기반으로 하여 2 배까지 초해상화에 특화된 기존 연구를 문화재 영상에 대하여 4 배 및 8 배로 초해상화 하였다. 간단한 윤곽선 방향 분석 및 선형 매핑으로 4 배 초해상화에서는 PSNR 값을 0.44dB 가량 개선하였으며, 8 배 초해상화에서는 PSNR 값을 0.31dB 가량 개선하였다. 또한 결과 영상에서도 단순 보간법인 Bicubic Interpolation 보다 더욱 선명하고 질감을 잘 표현하는 것을 알 수 있다.

• 한국공간정보시스템학회:학술대회논문집
• /
• 2005.05a
• /
• pp.263-266
• /
• 2005

고해상도 영상은 원격탐사, 의료영상 등 다양한 분야에서 사용되며, 향후에 많은 수요가 예상된다. 초해상도 영상복원은 동일한 지역을 촬영한 여러 장의 저해상도 영상을 이용하여 고해상도 영상으로 복원하는 소프트웨어적인 영상 해상도 향상 방법이며, 공간 영역과 주파수 영역의 초해상도 영상복원으로 구분된다. 본 연구에서는 공간 영역에서 확률적 접근법을 이용하여 CCD 영상의 초해상도 영상복원을 수행하였다.

• Broadcasting and Media Magazine
• /
• v.25 no.2
• /
• pp.7-16
• /
• 2020

최근 Ultra-High Definition(UHD) 등의 고해상도 디스플레이가 시장에 등장하고 이에 따라 소비자의 요구가 커지면서 기존의 Full-High Definition(FHD)과 같은 저해상도(Low Resolution, LR) 영상을 고해상도(High Resolution, HR) 영상으로 변환할 수 있는 초해상화(Super-Resolution) 알고리즘에 대한 관심이 커지고 있다. 그러나 기존의 전통적인 초해상화 기법들은 고해상도 영상을 복원하는 과정에서 디테일한 부분의 화질 저화 및 열화가 존재하는 것을 확인할 수 있다. 본 논문에서는 이러한 문제를 해결하기 위해 최근 널리 연구되고 있는 딥러닝 기반의 초해상화 알고리즘 연구의 최신 기술 현황 및 동향을 소개하고자 한다. 딥러닝 기반의 초해상화 알고리즘은 기존의 전통적인 기법들에 비해 높은 성능을 보여주고 있으며 현재까지도 다양한 네트워크가 제안되며 활발히 연구되고 있다. 본 논문에서는 딥러닝 기반의 초해상화 알고리즘 중 대표적인 네트워크들을 분석하고 다양한 데이터 셋에 대한 해당 네트워크의 실험 결과를 통해 딥러닝 기반의 초해상화 알고리즘의 우수성을 확인하고자 한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.11a
• /
• pp.310-313
• /
• 2011

초해상도 영상복원은 저해상도 영상을 이용하여 하나의 고해상도 영상을 획득하는 기법이다. 초해상도 영상복원은 크게 두 가지 방법으로 구현된다. 단일 영상을 이용한 초해상도 영상복원과, 여러 장의 저해상도 영상을 이용한 초해상도 영상복원 기법이 연구되고 있다. 여러 장의 저해상도 영상을 이용한 공간영역에서의 초해상도 영상복원 알고리즘은 크게 정합, 보간, 후처리 과정을 거치게 된다. 본 논문에서는 정합과정 이전에 입력영상보정을 통한 전처리과정을 수행하여 잡음으로 인한 부정확한 위치정보추정 확률을 감소시키고, 입력영상보정과정인 전처리과정으로 인해 후처리과정을 통한 영상복원 영상보다 향상된 영상을 획득하는 기법을 제안하며, 실험결과에서 기존의 방법보다 좋은 영상을 얻음을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.656-659
• /
• 2020

초해상화 딥러닝 기법은 학습 시 수렴하기까지 최소 수백 번의 에폭을 필요로 하며 오랜 시간이 걸린다. 최근, 영상 인식용 딥러닝 모델에서는 학습 수렴 속도를 향상시키기 위해 픽셀, 채널간 불필요한 상호연관 정보를 제거하는 Deconvolution 기술이 제안되었다. 본 논문에서는 최초로 Deconvolution 기술을 초해상화 딥러닝 방법에 적용하여 학습 수렴 속도 증가를 시도했다. 영상 인식 딥러닝 기법과 다르게 초해상화 딥러닝 기법은 이미지 특성 추출 부분과 이미지 복원 부분의 정보를 보존하는 것이 중요하기 때문에, EDSR을 Baseline 모델로 사용하여 양쪽 끝의 레이어는 기존의 Convolution 연산을 그대로 유지하고, 중간 레이어의 ResBlock 내의 Convolution 연산만 Deconvolution 연산으로 바꿔서 구성하였다. 초해상화 벤치마크 데이터셋을 사용한 실험 결과, 수렴속도가 빨라지지 않는 결과를 도출했다. 본 논문에서는 Deconvolution 기술이 Baseline 모델의 성능을 개선하지 못하는 이유를 초해상화 분야에서 기본적으로 적용되는 Residual Learning 기법 때문으로 분석했다.