• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.221-223
• /
• 2022

최근 CNN(Convolutional Neural Network)은 초해상화(super-resolution)를 포함한 다양한 컴퓨터 비전 분야에서 우수한 성능을 보이며 널리 사용되고 있다. 그러나 CNN은 계산 집약적이고 많은 메모리가 요구되어 한정적인 하드웨어 자원인 모바일이나 IoT(Internet of Things) 기기에 적용하기 어렵다는 문제가 있다. 이런 한계를 해결하기 위해, 기 학습된 깊은 CNN 모델의 성능을 최대한 유지하며 네트워크의 깊이나 크기를 줄이는 경량화 연구가 활발히 진행되고 있다. 본 논문은 네트워크 경량화 기술인 지식증류(knowledge distillation) 중 자가증류(self-distillation)를 초해상화 CNN 모델에 적용하여 성능을 평가, 분석한다. 실험 결과, 정량적 평가지표를 통하여 자가증류를 통해서도 성능이 우수한 경량화된 초해상화 모델을 얻을 수 있음을 확인하였다.

• 한국멀티미디어학회지
• /
• 제14권3호
• /
• pp.39-47
• /
• 2010

• 대한전자공학회논문지SP
• /
• 제49권1호
• /
• pp.73-80
• /
• 2012

초해상도 영상복원은 동일한 노출을 가진 다수의 저해상도 영상을 사용하며, 각 영상들 간의 부화소 이동량을 통해 높은 해상도를 가지는 영상을 복원하는 방법이다. 최근에는 노출이 다른 다수의 입력 영상들을 사용하여 해상도와 동적범위 모두를 향상시키는 방법들이 제시되고 있다. 기존의 방법들은 장면의 휘도 변환을 위한 카메라 응답곡선과 톤 맵핑 방법을 필수적으로 요구한다. 이러한 과정에서 CRC 곡선은 추가적인 영상 획득을 요구하며, 과정 또한 복잡하다. 특히 톤 맵핑은 방법에 따라 결과 영상의 화질을 일정하게 나타내지 못하는 장점이 있다. 따라서 본 연구에서는 가중치 맵을 사용한 고해상도 동적 범위 확장 영상 재현 방법을 제시한다. 제안된 방법에서 먼저 각 입력 영상에서 인간 시각에 가장 잘 보이는 영역을 가중치 맵(weight map)이라 정의하고, 가중치 맵이 적용된 입력 영상을 초해상도 복원방법에 적용함으로써, 해상도와 동적 범위가 모두 확장된 결과 영상을 획득한다. 이 방법은 카메라 응답곡선과 톤 맵핑을 사용하지 않음으로 일정한 화질을 획득한다. 또한 제안된 방법은 입력 영상의 구성에 따라 결과 영상의 화질이 다르게 나타남으로, 수수의 불규칙한 입력에도 유사한 결과를 획득하기 위한 밝기 보상 요소를 제안한다.

• 한국융합학회논문지
• /
• 제11권8호
• /
• pp.7-13
• /
• 2020

기상과 기후는 인간의 생활과 밀접하게 연관되어 있다. 특히 고해상도 기상 데이터를 활용하여 정밀한 연구나 실생활에 유용한 서비스가 가능하므로, 고해상도 기상·기후 데이터를 생산해야할 필요성이 증가하고 있다. 기존의 고해상도 기상 데이터는 적절한 보간법에 따라 데이터를 생산하지만, 본 논문에서는 SRCNN을 이용하여 기온 데이터를 초해상화 하는 방안을 제안한다. 기온 데이터 초해상화에 가장 적절한 SRCNN 모델을 구축하고, 기온 데이터를 초해상화 한다. 결과 데이터를 평가하기 위해 역거리 가중법을 이용하여 비 관측 지점에 대한 기온을 구하고, 제안한 방법을 적용한 기온 데이터와 보간법을 이용한 기온 데이터를 비교한다. 비교 결과, 기온 데이터를 초해상화하기 위한 적절한 SRCNN 모델을 구축하였고, 제안한 방법이 보간법을 이용한 방법보다 약 10.8% 더 높은 예측 성능을 보였다.

• 한국멀티미디어학회논문지
• /
• 제14권11호
• /
• pp.1392-1400
• /
• 2011

최근 대부분의 디지털 이미지 응용분야에서는 영상 처리 및 분석을 위해 고해상도 이미지나 비디오가 요구되고 있다. 한편, 일반적인 영상획득시스템으로부터 획득한 영상신호는 획득하는 과정에서 물리적 영향, 제조 기술의 한계 및 환경적인 영향 등으로 인하여 영상의 화질 저하를 가져온다. 이러한 문제를 해결하기위해 연구되고 있는 방법 중 하나인 초해상도 복원 기술은 동일한 물체를 촬영한 다수의 저해상도 영상으로 고해상도 영상을 만들어내는 영상복원기술이다. 본 논문에서는 S&A (Shift & Add) 방법에 POCS (Projection onto Convex Sets) 이론을 적용하여 기존의 방법보다 개선된 알고리즘을 제안한다. 기존의 알고리즘은 잡음에 약하다는 문제점이 있다. 이를 해결하기 위해 제안한 방법에서는 복원단계에 사용되는 참조영상을 POCS이론에 적용하여 기존의 S&A방법과 결합하였다. 또한 광학적 왜곡에 해당하는 카메라 블러(blur) 연산자로 주파수 영역에서 BLPF (Butterworth Low-pass Filter)를 사용하여 기존방법의 문제점인 링잉현상을 해결하였다. 실험결과를 통해 잡음에 강하고 영상의 고주파영역을 향상시킨 제안한 초해상도 방법의 우수성을 확인하였고, 객관적 평가를 위해 기존의 방법과 PSNR (peak signal to noise ratio)을 비교하였다.

• 전자공학회논문지
• /
• 제53권10호
• /
• pp.84-91
• /
• 2016

최근 어라운드 뷰 모니터링 시스템이나 보안 시스템 등에서는 광각 카메라를 이용하여 사용자에게 영상을 제공하고 있다. 광각 카메라로 촬영된 영상은 보다 넓은 범위의 장면을 제공하는 장점이 있으나 영상에 왜곡이 존재하고 특히 영상 외곽 부분은 초점이 맞지 않아 영상의 선명도가 저하되는 단점이 존재한다. 따라서 광각 영상에 대하여 초해상도 기법을 적용할 경우 영상 외곽에서의 블러 영향이 그대로 남아 있어 고해상도 영상의 선명도가 저하되고 아티팩트가 발생하는 등 결과적으로 초해상도 기법의 성능 저하로 이어진다. 따라서 본 논문에서는 자기 유사성 기반의 전처리 기법을 적용하여 영상 외곽부에서의 화질 저하를 개선하고자 한다. 추가로 전체 알고리즘에 대하여 GPU 환경에서의 가속화를 수행하여 알고리즘의 가속성을 확인한다.

• 한국통신학회논문지
• /
• 제38A권3호
• /
• pp.240-248
• /
• 2013

본 논문에서는 이산 웨이블릿 변환(Discrete Wavelet Transform: DWT)과 적응적 가중치 보간법을 이용한 효율적인 초해상도 기법을 제안한다. 기존의 단일 영상에 적용되는 초해상도 기법들의 경우, 영상에서의 고주파 대역을 찾기 위하여 확률 기반의 방법들을 많이 사용하였다. 따라서 연산의 복잡도가 증가하고 처리시간 증가라는 문제점을 발생시킨다. 제안된 기법에서는 고주파 대역을 찾기 위한 방법으로 DWT와 적응적 가중치 보간법을 이용한다. 먼저 주어진 영상에 대하여 DWT를 수행하고, 생성된 고주파 부대역(sub-band)들을 적응적 가중치 보간법을 이용하여 입력 받은 영상과 동일한 크기의 고주파 부대역을 생성한다. 이 부대역들과 입력 받은 영상을 조합하여 이산 웨이블릿 역변환(Inverse DWT : IDWT)을 수행함으로써 고해상도의 영상을 획득하게 된다. 실험을 위하여 원본 영상($512{\times}512$)을 다운 샘플링하여 실험 영상($256{\times}256$)을 획득한다. 실험을 통하여 제안된 기법이 기존의 보간법에 비해 향상된 효율을 보이며, 확률 기반의 기법들과 비슷한 성능을 갖지만 처리시간에서 많은 이득을 보이는 것을 확인할 수 있었다.

• 한국컴퓨터정보학회논문지
• /
• 제16권6호
• /
• pp.71-77
• /
• 2011

본 논문에서는 번호판 인식 시스템에서 번호판 영상의 화질 개선을 위하여 국부 블록(Local block : LB) 학습기반의 초해상도 알고리즘을 제안한다. 본 논문에서 국부 블록은 영상 내에서 정보를 담고 있는 최소 단위로 정의하였으며, 학습의 기본 단위가 된다. 제안된 방법은 먼저 다양한 환경에 적합한 훈련 국부 블록 set을 생성하였다. 훈련 국부 블록 set은 고해상도 국부 블록과 저해상도 국부 블록의 순서쌍으로 구성되며 다양한 크기의 번호판과 열화 영상에 대응하기 위하여 다양한 크기와 열화를 갖는 저해상도 국부 블록 훈련 set을 구성하였다. 그 다음으로는 저해상도 입력 영상에서 복원해야할 정보를 훈련 국부 블록 set에서 추출/융합하는 과정을 제안하였다. 모의 실험결과, 열화된 저해상도 번호판 영상에 대해 제안한 방법이 효과적인 복원 성능을 나타내는 것을 확인할 수 있었다.

• 한국정보통신학회논문지
• /
• 제18권12호
• /
• pp.2946-2952
• /
• 2014

표본 기반 초해상도(Super Resolution 이하 SR) 방법들 중 네이버 임베딩(Neighbor Embedding 이하 NE) 기법의 기본 원리는 지역적 선형 임베딩이라는 매니폴드 학습방법의 개념과 같다. 그러나, 네이버 임베딩은 국부 학습 데이터 집합의 크기가 너무 작기 때문에 이에 따른 빈약한 일반화 능력으로 인하여 알고리즘의 성능을 크게 저하시킨다. 본 논문에서는 이와 같은 문제점을 해결하기 위해서 일반화 능력이 뛰어난 Support Vector Regression(이하 SVR)을 이용한 Sparse-Neighbor 영상 표현 학습 방법에 기반한 새로운 알고리즘을 제안하였다. 저해상도 입력 영상이 주어지면 bicubic 보간법을 이용하여 확대된 영상을 얻고, 이 확대된 영상으로부터 패치를 얻은 후 저주파 패치인지 고주파 패치 인지를 판별한 후 각 영상 패치의 가중치를 얻은 후 두 개의 SVR을 훈련하였으며 훈련된 SVR을 이용하여 고해상도의 해당 화소 값을 예측하였다. 실험을 통하여 제안된 기법이 기존의 보간법 및 네이버 임베딩 기법 등에 비해 정량적인 척도 및 시각적으로 향상된 결과를 보여 주었다.

• 한국음향학회지
• /
• 제37권1호
• /
• pp.12-20
• /
• 2018

측면주사 소나 영상 획득의 효율성을 향상시키고자 저해상도의 수중 영상을 복원 기법을 이용하여 고화질 영상으로 개선시키는 연구가 시도되고 있다. 측면주사 소나 영상은 광학 영상과 같은 2차원 신호를 사용한다는 측면에서 기존 광학 영상 복원에 적용된 기법의 응용을 고려할 수 있다. 광학 영상에 대한 가장 대표적인 복원 방법 중 하나는 스파스 코딩이며, 수중 영상의 희소성을 분석하여 스파스 코딩 기법을 수중 영상에 적용할 수 있음을 증명하는 연구가 진행되었다. 스파스 코딩은 입력 신호에 대하여 사전과 스파스 계수의 선형 결합으로 복원 신호를 얻는 방식이다. 하지만 스파스 계수의 값을 정확히 추정하기 위해서는 많은 연산량을 필요로 한다. 본 연구에서는 스파스 코딩 기반의 수중 영상 초해상도 복원을 수행하되, 수중 영상 내 객체 영역에 한해서 선택적으로 복원 기법을 적용하는 방법을 제안함으로써 전체 연산 시간을 단축시킨다. 이를 위하여 수중 영상에서 경계를 검출하고 그 분포에 따라 객체 영역과 비객체 영역을 구분하는 방법을 제안하고, 이를 스파스 코딩 기반의 초해상도 복원 기법과 접목시킨다. 실험을 통해 제안하는 방법이 기존 방식과 동일 수준의 PSNR(Peak Signal-to-Noise Ratio) 수치를 유지하며, 영상 복원에 필요한 시간은 32 % 만큼 단축시킴을 확인함으로써 제안 방법의 유효성을 증명하였다.