• 대한전자공학회논문지SP
• /
• 제44권1호
• /
• pp.17-25
• /
• 2007

모든 전자 영상응용에는 고해상도 영상이 요구된다. 고해상도는 영상 안에 픽셀의 밀집도가 높음을 나타내며, 이로 인해 더 세밀하고 중요한 정보를 얻어 다양한 응용에 사용된다. 하지만 CCD 나 CMOS 카메라로 획득된 디지털 영상들은 영상인식 시스템 구현 시 많은 저해상도영상을 가지게 된다. 초해상도 기술은 이와 같은 한계를 넘어서서 영상인식시스템에 적용이 가능하다. 초해상도 기술은 다수의 영상으로부터 정보를 결합하여 해상도를 증가시키는 것으로써, 이 기술은 추정과 이동을 위한 정합알고리즘과 획득된 프레임과 현재 프레임의 가중치를 이용한 최소거리 이웃보간법으로 되어있다. 본 논문에서는 초해상도에 웨이브렛 변환 기저 함수 계수를 이용한 영상 보간 기법을 제안하고자 한다. 기존 초해상도 보간 방식 대신 웨이브렛 기저 계수를 적용한 B-스플라인 보간 함수를 이용하여, 움직이는 영상의 한 부분을 확대할 때 정확한 영상과 자연스러운 영상을 구현하기 위하여 적용하였다. 제안된 보간 알고리즘은 최소거리 이웃보간 알고리즘, bilinear 보간 알고리즘, bicubic 보간 알고리즘 적용한 확대 영상보다 우수한 결과를 얻었음을 모의실험을 통하여 확인하였다.

• 한국음향학회지
• /
• 제37권1호
• /
• pp.12-20
• /
• 2018

측면주사 소나 영상 획득의 효율성을 향상시키고자 저해상도의 수중 영상을 복원 기법을 이용하여 고화질 영상으로 개선시키는 연구가 시도되고 있다. 측면주사 소나 영상은 광학 영상과 같은 2차원 신호를 사용한다는 측면에서 기존 광학 영상 복원에 적용된 기법의 응용을 고려할 수 있다. 광학 영상에 대한 가장 대표적인 복원 방법 중 하나는 스파스 코딩이며, 수중 영상의 희소성을 분석하여 스파스 코딩 기법을 수중 영상에 적용할 수 있음을 증명하는 연구가 진행되었다. 스파스 코딩은 입력 신호에 대하여 사전과 스파스 계수의 선형 결합으로 복원 신호를 얻는 방식이다. 하지만 스파스 계수의 값을 정확히 추정하기 위해서는 많은 연산량을 필요로 한다. 본 연구에서는 스파스 코딩 기반의 수중 영상 초해상도 복원을 수행하되, 수중 영상 내 객체 영역에 한해서 선택적으로 복원 기법을 적용하는 방법을 제안함으로써 전체 연산 시간을 단축시킨다. 이를 위하여 수중 영상에서 경계를 검출하고 그 분포에 따라 객체 영역과 비객체 영역을 구분하는 방법을 제안하고, 이를 스파스 코딩 기반의 초해상도 복원 기법과 접목시킨다. 실험을 통해 제안하는 방법이 기존 방식과 동일 수준의 PSNR(Peak Signal-to-Noise Ratio) 수치를 유지하며, 영상 복원에 필요한 시간은 32 % 만큼 단축시킴을 확인함으로써 제안 방법의 유효성을 증명하였다.

• 방송공학회논문지
• /
• 제28권1호
• /
• pp.90-99
• /
• 2023

본 연구에서는 전통적인 RGB 영상보다 데이터양이 적은 로우 센서 영상을 이용한 초해상화 네트워크를 제안하고 이에 대한 실험결과를 정리하였다. 로우 센서 영상의 초해상화는 일반적인 RGB 초해상화와 달리 카메라에서 일어나는 후처리 가공이 없는 무손실영상을 이용하기 때문에 결과물의 성능이 일반 RGB 초해상화 연구와 달리 색상 보정에 따라 많이 좌우된다. 따라서, 본 연구에서는색상 보정을 위한 모듈을 개발하여 기존 RGB 기반 네트워크에 삽입해 이를 이용해 성능 결과를 비교하였다. 연구 결과 색상 보정 모듈을 적용함으로 성능 지표의 향상이 있음을 확인하였다. 다만, 출력 영상의 의도하지 않은 아티팩트가 발생하는 현상을 확인하였고, 성능 지표 중 PSNR의 향상이 분명하나 SSIM의 성능이 일부 떨어지는 것으로 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 춘계학술발표대회
• /
• pp.504-507
• /
• 2020

ReLU(Rectified Linear Unit) 함수는 제안된 이후로 대부분의 깊은 인공신경망 모델들에서 표준 활성함수로써 지배적으로 사용되었다. 이후에 ReLU 를 대체하기 위해 Leaky ReLU, Swish, Mish 활성함수가 제시되었는데, 이들은 영상 분류 과업에서 기존 ReLU 함수 보다 향상된 성능을 보였다. 따라서 초해상화(Super Resolution) 과업에서도 ReLU 를 다른 활성함수들로 대체하여 성능 향상을 얻을 수 있는지 실험해볼 필요성을 느꼈다. 본 연구에서는 초해상화 과업에서 안정적인 성능을 보이는 EDSR(Enhanced Deep Super-Resolution Network) 모델의 활성함수들을 변경하면서 성능을 비교하였다. 결과적으로 EDSR 의 활성함수를 변경하면서 진행한 실험에서 해상도를 2 배로 변환하는 경우, 기존 활성함수인 ReLU 가 실험에 사용된 다른 활성함수들 보다 비슷하거나 높은 성능을 보였다. 하지만 해상도를 4 배로 변환하는 경우에서는 Leaky ReLU 와 Swish 함수가 기존 ReLU 함수대비 다소 향상된 성능을 보임을 확인하였다. 구체적으로 Leaky ReLU 를 사용했을 때 기존 ReLU 보다 영상의 품질을 정량적으로 평가할 수 있는 PSNR 과 SSIM 평가지표가 평균 0.06%, 0.05%, Swish 를 사용했을 때는 평균 0.06%, 0.03%의 성능 향상을 확인할 수 있었다. 4 배의 해상도를 높이는 초해상화의 경우, Leaky ReLU 와 Swish 가 ReLU 대비 향상된 성능을 보였기 때문에 향후 연구에서는 다른 초해상화 모델에서도 성능 향상을 위해 활성함수를 Leaky ReLU 나 Swish 로 대체하는 비교실험을 수행하는 것도 필요하다고 판단된다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.75-77
• /
• 2015

디스플레이 해상도가 지속적으로 고해상화가 되면서, 기존 저해상도 영상을 고해상도 디스플레이 크기에 맞춰 해상도를 키우는 기법인 초해상화(super-resolution, SR) 기법에 많은 관심이 쏟아지고 있으며 이에 대한 많은 초해상화 논문들이 게재되었다. 이 중 현재 최상 품질의 고해상도 영상을 복원하는 한 초해상화 기법은, 입력 받은 저해상도 영상을 자가 예제(self-examples)로 사용하여 선형 매핑(linear mapping)을 통해 점진적으로 여러 레벨(level)를 거쳐 조금씩 키우는 방법이다. 이때 각 레벨마다 기존 저해상도 영상 크기로 반복적으로 줄여 오차를 줄이는 역투영법(back-projection)을 사용하는데, 이 방법은 처리된 영상에 시각적 품질을 낮추는 링 아티팩트(ringing artifacts)를 생산하며, 이는 매 레벨마다 계속 누적이 되어 고해상도 결과 이미지 품질에 악영향을 미치는 단점이 있다. 이를 보완하기 위해, 본 논문에서는 저해상도 정지 영상을 고해상도 정지 영상으로 점진적으로 키울 때 일반적인 역투영법 대신 비국소적 평균법(non-local means, NLM) 기반 역투영법을 사용하는 초해상화 기법을 제안한다. 제안하는 기법은 매 레벨마다 생기는 링 아티팩트를 효과적으로 제거하여 높은 시각적 품질의 고해상도 영상을 복원할 수 있게 한다. 실험을 통해 제안된 초해상화 기법을 사용 시 기존 초해상화 기법보다 향상된 고품질 고해상도 영상 복원이 가능한 것을 확인하였다.

• 방송과미디어
• /
• 제25권2호
• /
• pp.7-16
• /
• 2020

최근 Ultra-High Definition(UHD) 등의 고해상도 디스플레이가 시장에 등장하고 이에 따라 소비자의 요구가 커지면서 기존의 Full-High Definition(FHD)과 같은 저해상도(Low Resolution, LR) 영상을 고해상도(High Resolution, HR) 영상으로 변환할 수 있는 초해상화(Super-Resolution) 알고리즘에 대한 관심이 커지고 있다. 그러나 기존의 전통적인 초해상화 기법들은 고해상도 영상을 복원하는 과정에서 디테일한 부분의 화질 저화 및 열화가 존재하는 것을 확인할 수 있다. 본 논문에서는 이러한 문제를 해결하기 위해 최근 널리 연구되고 있는 딥러닝 기반의 초해상화 알고리즘 연구의 최신 기술 현황 및 동향을 소개하고자 한다. 딥러닝 기반의 초해상화 알고리즘은 기존의 전통적인 기법들에 비해 높은 성능을 보여주고 있으며 현재까지도 다양한 네트워크가 제안되며 활발히 연구되고 있다. 본 논문에서는 딥러닝 기반의 초해상화 알고리즘 중 대표적인 네트워크들을 분석하고 다양한 데이터 셋에 대한 해당 네트워크의 실험 결과를 통해 딥러닝 기반의 초해상화 알고리즘의 우수성을 확인하고자 한다.

• 전기학회논문지
• /
• 제57권2호
• /
• pp.294-302
• /
• 2008

In this paper, we present a new image up-sampling method which registers low resolution images to the high resolution grid when Bayesian super-resolution image processing is performed. The proposed up-sampling method interpolates high-resolution pixels using high-frequency data lying in all the low resolution images, instead of up-sampling each low resolution image separately. The interpolation is based on B-spline non-uniform re-sampling, adjusted for the super-resolution image processing. The experimental results demonstrate the effects when different up-sampling methods generally used such as zero-padding or bilinear interpolation are applied to the super-resolution image reconstruction. Then, we show that the proposed hybird up-sampling method generates high-resolution images more accurately than conventional methods with quantitative and qualitative assess measures.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.709-710
• /
• 2024

Super resolution에서 High-frequency Details를 개선하는 것이 최근 문제이다. 기존에는 Super resolution을 Regression task로 접근하므로써 L2 Loss를 사용하여 이미지가 흐릿하게 되었다. 이를 해결하기위해, Classification task로 바꾸므로써 Cross Entropy Loss을 적용하여 Cross-entropy Super-resolution (CS)를 설계한다. CS를 통해 선명도와 Details이 개선되지만, 저주파의 CE Loss 학습으로인한 Black Artifacts가 발생한다. 그래서, L2 Loss는 저주파와 같이 큰 신호에 더 초점을 맞추므로, 성능 개선을 위해 저주파를 L2 Loss에서, 고주파를 CE Loss에서 학습시킨 Frequency-specific Cross-entropy Super-resolution (FCS)을 제안한다. 우리는 왜곡에 강하며 Human의 인식과 유사한 측정지표인 Learned Perceptual Image Patch Similarity (LPIPS)로 평가한다. 실험한 모든 데이터 셋에서 우리의 FCS는 Baseline보다 LPIPS가 약 1.7배 정도 개선되었다.

• 방송공학회논문지
• /
• 제24권2호
• /
• pp.306-314
• /
• 2019

영상의 해상도가 빠른 속도로 증가하기 때문에 계속된 전송 대역폭의 증가에도 불구하고 여전히 효과적인 영상 압축 방법에 대한 연구의 요구가 계속 되고 있다. 이와 같은 요구를 충족하기 위해서 영상의 해상도를 줄인 뒤 압축하여 전송한 뒤에 복원 시에 초해상화 기법을 사용하여 원 해상도로 복원하는 방법에 대한 연구가 제안되었다. 이 방법은 입력 영상의 해상도를 낮추기 때문에 동일한 크기로 압축한다고 할 때, 픽셀 당 비트의 수가 증가되어 영상 압축에서 발생되는 손실을 줄여 복원 영상을 화질을 높일 수 있다. 하지만, 이러한 초해상화를 이용한 비디오 압축 방법의 경우 모든 목표 전송 대역에서 효과적인 것이 아니다. 영상 해상도를 줄이면서 발생되는 손실의 크기와 압축에서 발생되는 손실의 크기를 비교해서 영상 압축에서 발생되는 왜곡이 더 큰 경우에만 기존 압축 성능보다 향상된 결과를 얻을 수 있다. 특히, HEVC의 경우 이전의 표준 압축에 비해 상당히 높은 압축 성능을 가지고 있기 때문에 압축 왜곡이 더 커지는 경우가 상당히 저 대역폭 전송 에서만 생기는 것을 실험적으로 확인할 수 있었다. 본 논문에서는 다양한 영상에서 HEVC 기반 초해상화를 이용한 비디오 코딩을 적용해보고 효과적으로 적용될 수 있는 목표 대역폭을 측정해보았다.

• 방송공학회논문지
• /
• 제25권1호
• /
• pp.105-108
• /
• 2020

본 논문은 초고해상도 기법을 이용한 실시간 저해상도 얼굴 인식 시스템을 제안한다. 기존의 비대면 얼굴인식은 거리에 따라 해상도가 저하되면서 얼굴인식의 성능이 저하되는 한계가 있다. 이러한 문제를 해결하기 위해서 초고해상도 기법에 대한 연구도 진행되었으나 비대면 얼굴인식 전 과정에 대한 통합적인 설계에 관한 연구는 미흡하다. 제안한 비대면 얼굴인식은 저해상도 영상으로 키프레임 검출, 얼굴검출, 초고해상도 기법, 특징추출 및 얼굴인식 결과까지 약 2초 이내에 수행함으로써 먼 거리에서도 비대면 얼굴인식의 성능을 향상하였다. 다양한 형태의 영상에 대한 실험을 통해 제안한 방법은 기존 방법에 비해 실시간 및 성능측면에서 저해상도 얼굴 인식이 우수함을 확인하였다.