• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 하계학술대회
• /
• pp.9-11
• /
• 2016

최근 UHDTV(ultra high definition television) 등의 고해상도 디스플레이가 시장에 등장하면서, 기존의 저해상도 FHD(full high definition) 영상을 고해상도 영상으로 변환할 수 있는 초해상화(super-resolution, SR) 기법들이 각광을 받고 있다. 그 중, 선형 매핑(linear mapping)을 사용하여 저해상도 패치(patch)로부터 고해상도 패치를 복원하는 초해상화 기법은 상대적으로 낮은 복잡도로 좋은 품질의 고해상도 영상을 생성한다. 그러나 이러한 기법은 단순한 선형 매핑을 기반으로 하기 때문에 복잡한 비선형적(nonlinear) 저해상도-고해상도 관계를 예측하기 힘든 단점이 있다. 최근 각광받는 딥러닝(deep learning) 기술은 다층(multi-layer) 네트워크를 쌓아 입력과 출력 간의 복잡한 비선형 관계를 훈련시켜 좋은 성능을 보이는데, 이를 바탕으로 본 논문에서는 다중의 레이어로 구성된 다층 선형 매핑(multi-layer linear mappings, MLLM)을 기반으로 하는 초해상화 기법을 새롭게 제안한다. 제안하는 다층 선형 매핑은 기존 선형 매핑보다 비선형적 관계를 더 잘 예측하여 높은 품질의 고해상도 영상을 생성할 수 있게 한다. 제안된 초해상화 기법은 딥러닝 기반 초해상화 기법과 필적하는 품질의 고해상도 영상을 생성하면서도 더 낮은 복잡도를 지니는 것을 확인하였다.

• 전기전자학회논문지
• /
• 제22권2호
• /
• pp.491-494
• /
• 2018

본 논문은 표본 기반 단일 영상 초해상도 복원 방식의 성능 개선을 위한 혼합 놈을 이용한 패치 유사도 검색 방식에 대해 제안한다. 초해상도 영상 복원 과정에서 패치의 국부 통계 특성을 반영하기 위해 패치 경사도에 따른 놈의 차수를 결정하고, 놈의 차수를 패치간의 유사도 검색을 위한 함수로 사용하는 방식에 대해 제안한다. 실험 결과를 통해 제안하는 유사도 검색 방식은 기존 검색 방식의 성능을 개선할 수 있는 능력이 있음을 확인할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.118-122
• /
• 2020

문화재 영상 데이터는 방대한 양으로 인해 고해상도로 모두 저장이 어렵거나 시간이 지나 상대적으로 화질이 낮은 영상들이 다수 존재하기에 초해상화가 필요한 상황이 많다. 따라서 본 논문에서 처음으로 문화재 영상에 특화된 4 배 및 8 배 딥러닝 기반 초해상화 방식을 제안한다. 문화재 영상 데이터는 배경이 단조롭고 물체가 영상 중간에 위치한다는 특징이 있어 이를 고려해 중간 부분에서만 패치를 추출하는 방식을 적용하여 의미 있는 패치로 학습이 되도록 한다. 또 자연 영상 데이터 셋인 DIV2K 를 사용해 학습하는 방식과 직접 구성한 문화재 데이터 셋을 이용해 학습하는 방식, 그 둘을 적절히 함께 사용하여 학습하는 전이 학습 방법까지 세 가지로 학습하여 초해상화의 성능을 향상시키는 방법을 제안한다. 그 결과, 쌍삼차 보간법(Bicubic interpolation)보다 4 배 초해상화에서는 약 1.25dB, 8 배 초해상화에서는 약 1.26dB 의 성능 개선을 확인하였으며, 단순 DIV2K 로 학습한 방식보다는 4 배에서는 0.06dB, 8 배에서는 0.17dB 의 성능 개선을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.205-207
• /
• 2020

본 논문에서는 딥러닝 기반의 깊이 영상 초해상도 기술에 대해서 제안한다. 기존 깊이 영상의 초해상도 기술은 고해상도의 컬러 영상과 저해상도 깊이 영상을 이용하여 화소 값을 개선시켜 고해상도의 깊이 영상을 예측하였다. 하지만 이라한 방법들은 단순히 화소 값을 증가 또는 혹은 감소시키는 방법으로 언더슈팅 또는 오버슈팅과 문제를 발생시켜 성능 향상을 제한한다. 제안하는 기법에서는 이러한 한계를 극복하기 위해 화소의 위치를 이동하여 영상을 복원하는 격자 워핑 방식을 반복적으로 적용하여 고해상도 깊이 영상을 예측하였다. 실험 결과, 제안한 방식이 기존 방법들에 비해 정량적, 시각적 품질을 개선시켰음을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.85-87
• /
• 2022

최근 CCTV 출입 기록, 휴대폰 보안, 스마트 매장 등에서 얼굴 인식을 통해 개인을 식별하는 기술이 널리 사용되고 있다. 카메라의 각도, 조명, 사람의 움직임 등 얼굴 인식에 많은 외부 환경이 영향을 미치고 있지만 그중에서도 실제 영상에서 얼굴이 차지하는 영역이 작아 저해상도 얼굴 인식에 어려움을 겪고 있다. 이러한 문제점을 해결하고자 본 논문에서는 이미지 해상도가 얼굴 인식에 끼치는 영향을 알아보고 이미지 초해상화를 통해 얼굴 인식 성능을 개선하고자 한다. 쌍선형, 양3차 회선 보간법과 딥러닝 기반의 이미지 초해상화 모델인 RCAN을 이용하여 업스케일링한 데이터셋에 대해 학습한 ArcFace를 통해 얼굴 검증 평가를 진행하였다. 고해상도 이미지는 얼굴 인식 성능을 향상시키며, RCAN을 사용한 이미지 초해상화가 보간법을 사용한 방법보다 더 좋은 성능을 보였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
• /
• pp.683-684
• /
• 2021

논문은 재구성에 기반을 둔 초 해상도 알고리즘 모델에서 SRCNN과 VDSR의 전반에 걸쳐 구조와 성능에 대하여 알아본다. SRCNN 모델과 VDSR 모델의 구조와 각 방법의 알고리즘 프로세스를 간단히 소개하고 성능 평가 함수의 개선에 대하여 알아보도록 한다.

• 대한전자공학회논문지SP
• /
• 제44권1호
• /
• pp.17-25
• /
• 2007

모든 전자 영상응용에는 고해상도 영상이 요구된다. 고해상도는 영상 안에 픽셀의 밀집도가 높음을 나타내며, 이로 인해 더 세밀하고 중요한 정보를 얻어 다양한 응용에 사용된다. 하지만 CCD 나 CMOS 카메라로 획득된 디지털 영상들은 영상인식 시스템 구현 시 많은 저해상도영상을 가지게 된다. 초해상도 기술은 이와 같은 한계를 넘어서서 영상인식시스템에 적용이 가능하다. 초해상도 기술은 다수의 영상으로부터 정보를 결합하여 해상도를 증가시키는 것으로써, 이 기술은 추정과 이동을 위한 정합알고리즘과 획득된 프레임과 현재 프레임의 가중치를 이용한 최소거리 이웃보간법으로 되어있다. 본 논문에서는 초해상도에 웨이브렛 변환 기저 함수 계수를 이용한 영상 보간 기법을 제안하고자 한다. 기존 초해상도 보간 방식 대신 웨이브렛 기저 계수를 적용한 B-스플라인 보간 함수를 이용하여, 움직이는 영상의 한 부분을 확대할 때 정확한 영상과 자연스러운 영상을 구현하기 위하여 적용하였다. 제안된 보간 알고리즘은 최소거리 이웃보간 알고리즘, bilinear 보간 알고리즘, bicubic 보간 알고리즘 적용한 확대 영상보다 우수한 결과를 얻었음을 모의실험을 통하여 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 춘계학술발표대회
• /
• pp.504-507
• /
• 2020

ReLU(Rectified Linear Unit) 함수는 제안된 이후로 대부분의 깊은 인공신경망 모델들에서 표준 활성함수로써 지배적으로 사용되었다. 이후에 ReLU 를 대체하기 위해 Leaky ReLU, Swish, Mish 활성함수가 제시되었는데, 이들은 영상 분류 과업에서 기존 ReLU 함수 보다 향상된 성능을 보였다. 따라서 초해상화(Super Resolution) 과업에서도 ReLU 를 다른 활성함수들로 대체하여 성능 향상을 얻을 수 있는지 실험해볼 필요성을 느꼈다. 본 연구에서는 초해상화 과업에서 안정적인 성능을 보이는 EDSR(Enhanced Deep Super-Resolution Network) 모델의 활성함수들을 변경하면서 성능을 비교하였다. 결과적으로 EDSR 의 활성함수를 변경하면서 진행한 실험에서 해상도를 2 배로 변환하는 경우, 기존 활성함수인 ReLU 가 실험에 사용된 다른 활성함수들 보다 비슷하거나 높은 성능을 보였다. 하지만 해상도를 4 배로 변환하는 경우에서는 Leaky ReLU 와 Swish 함수가 기존 ReLU 함수대비 다소 향상된 성능을 보임을 확인하였다. 구체적으로 Leaky ReLU 를 사용했을 때 기존 ReLU 보다 영상의 품질을 정량적으로 평가할 수 있는 PSNR 과 SSIM 평가지표가 평균 0.06%, 0.05%, Swish 를 사용했을 때는 평균 0.06%, 0.03%의 성능 향상을 확인할 수 있었다. 4 배의 해상도를 높이는 초해상화의 경우, Leaky ReLU 와 Swish 가 ReLU 대비 향상된 성능을 보였기 때문에 향후 연구에서는 다른 초해상화 모델에서도 성능 향상을 위해 활성함수를 Leaky ReLU 나 Swish 로 대체하는 비교실험을 수행하는 것도 필요하다고 판단된다.

• 융합신호처리학회논문지
• /
• 제24권1호
• /
• pp.21-26
• /
• 2023

지식 증류는 깊은 모델의 지식을 가벼운 모델로 전달하는 모델 경량화 기술이다. 대부분의 지식 증류 방법들은 분류 모델을 위해 개발되었으며, 초해상화를 위한 지식 증류 연구는 거의 없었다. 본 논문에서는 다양한 지식 증류 방법들을 초해상화 모델에 적용하고 성능을 비교한다. 구체적으로, 초해상화 모델에 각 지식 증류 방법을 적용하기 위해 손실 함수를 수정하고, 각 지식 증류 방법을 사용하여 교사 모델을 약 27배 경량화한 학생 모델을 학습하여 2배 초해상화하는 실험을 진행하였다. 실험을 통해, 일부 지식 증류 방법은 초해상화 모델에 적용할 경우 유효하지 않음을 알 수 있었으며, 관계 기반 지식 증류 방법과 전통적인 지식 증류 방법을 결합했을 때 성능이 가장 높은 것을 확인하였다.

• 디지털정책학회지
• /
• 제3권3호
• /
• pp.9-14
• /
• 2024

본 논문은 단일 영상 기반의 초해상도에서 결과의 품질을 개선하기 위해 적응형 가중치를 적용한 잔차 블록으로 구성된 다중 블록 구조를 이용하는 방법을 제안하였다. 딥러닝을 이용한 초해상도를 생성하는 과정에서 품질 향상을 위한 가장 중요한 요소는 특징 추출 및 적용이다. 해상도가 낮아 이미 손실된 세부사항을 복원하기 위해 다양한 특징을 추출하는 것이 최우선이지만 네트워크의 구조가 깊어지거나 복잡해지는 등의 문제가 발생하기 때문에 실제 적용에서 제한사항이 있다. 따라서 특징 추출 과정은 효율적으로 구성하고 적용 과정을 개선하여 품질을 개선하였다. 이를 위해 최초 특징 추출 이후 다중 블록 구조를 구성하였고 블록 내부에는 중첩된 잔차 블록을 구성한 뒤 적응형 가중치를 적용하였다. 또한 최종 고해상도 복원을 위해 다중 커널을 이용한 영상 재구성 과정을 적용함으로써 결과물의 품질을 향상시켰다. 평가를 위해 원본 영상 대비 PSNR과 SSIM 값을 구하였고 기존 알고리즘과 비교하여 제안하는 방법의 성능 향상을 확인하였다.