적외선 영상을 위한 적응적 언샤프 마스킹을 이용한 초고해상도 알고리즘

Super-resolution Algorithm Using Adaptive Unsharp Masking for Infra-red Images

Abstract

일반 가시광선 영상의 확대를 위한 알고리즘을 선명도가 떨어지는 적외선 영상에 적용시켰을 때 개선효과가 미흡한 문제점을 해결하기 위해 본 논문은 적외선 영상을 위한 영상 확대 알고리즘을 제안한다. 제안 알고리즘은 적외선 영상이 가시광선 영상에 비해 디테일이 적다는 특성과 에지 영역에 대해 사람이 시각적으로 민감하다는 특성을 고려하여 ADRC(Adaptive Dynamic Range Coding)와 같은 단순한 분류기법을 적용시켰으며, 에지 영역에 대해서만 알고리즘을 적용시켜 연산량을 절약한다. 또한 확대 영상의 선명도 개선을 위해 합성과정에서 전처리나 후처리를 추가시키는 방법 대신 학습과정에서 전처리를 추가하여 합성과정에서 연산량 증가 없이 확대 영상의 선명도를 개선하였다. 제안 알고리즘은 크게 학습과정과 합성과정으로 나뉜다. 이와 같은 방법으로 영상 확대 알고리즘을 수행하였을 때 최신의 영상확대 기법인 A+ (Anchored neighborhood regression)기법 대비 JNB(Just Noticeable Blur)수치가 평균 0.0201만큼 높은 결과를 확인할 수 있었다.

When up-scaling algorithms for visible light images are applied to infrared (IR) images, they rarely work because IR images are usually blurred. In order to solve such a problem, this paper proposes an up-scaling algorithm for IR images. We employ adaptive dynamic range encoding (ADRC) as a simple classifier based on the observation that IR images have weak details. Also, since human visual systems are more sensitive to edges, our algorithm focuses on edges. Then, we add pre-processing in learning phase. As a result, we can improve visibility of IR images without increasing computational cost. Comparing with Anchored neighborhood regression (A+), the proposed algorithm provides better results. In terms of just noticeable blur, the proposed algorithm shows higher values by 0.0201 than the A+, respectively.

Ⅰ. 서 론

적외선(Infrared)영상을 얻기 위해 사용하는 적외선 열화상 카메라는 CCD(Charge Coupled Device) 카메라와 같이 가시광선의 유무나 반사되는 빛의 세기 차이로 관측하는 기존의 영상장비와는 다르게 외부로부터 빛의 공급 없이도 물체가 방사하는 복사에너지를 모아 적절한 변환을 통해 가시화 시켜주는 장비이다. 물체의 단위 면적당, 단위 시간당 방출되는 복사에너지의 차이를 영상화시켜 주기 때문에 일반 카메라와 다르게 야간에도 관측이 가능하고 시계가 불량한 대기조건에서도 양호하게 표적을 탐지할 수 있다는 장점이 있다. 따라서 적외선 영상은 주로 군사용이나 특수 목적용으로 많이 사용되어 왔다. 최근에는 보안에 대한 중요성이 높아짐에 따라 민간에서도 수요가 증가하고 있고 화질에 대한 소비자의 수준이 향상되면서 고해상도 적외선 영상에 대한 수요가 지속적으로 증가되고 있다. 또한 물체인식측면에서도 고해상도 적외선 영상일수록 검출률이 향상되기 때문에 고해상도 적외선 영상에 대한 중요도는 증가하고 있다. 고해상도의 적외선 영상을 획득하기 위해서는 피사체가 방사하는 복사열을 정밀하게 감지할 수 있는 적외선 센서가 필요로 한다. 하지만 이러한 성능을 가지는 적외선 센서의 경우 가격이 매우 높기 때문에 군사용이나 특수목적이 아닌 민간에서 사용하기에 비용적인 측면에서 부담스러운 부분이 있다. 따라서 저가의 적외선 센서로 획득한 저해상도의 영상을 가지고 다양한 영상처리 기술들을 적용시켜 고가의 적외선 센서로 획득한 고해상도의 영상과 유사한 화질을 가지는 영상을 만들어 낼 수 있는 기술이 필요하다.

먼저 일반영상에서 적용시킨 사례에 대해 살펴보면 저해상도 영상을 고해상도 영상으로 만들기 위한 다양한 기법들이 존재했다. 그 이유는 하드웨어가 발달하면서 UHD급 해상도를 지원하고 있지만 그에 상응하는 해상도의 컨텐츠들은 부족하다는 실정이기 때문이다. 따라서 저해상도의 컨텐츠 들을 확대할 수 있는 많은 알고리즘 들이 연구되어 왔다. 여기에는 일반적으로 사용되는 선형 보간 기법들이 있다. 대표적으로 Bi-cubic interpolation을 들 수 있다. 하지만 이 기법을 이용하여 일반영상을 확대했을 경우 결과 영상이 다소 선명하지 못하다는 단점이 있었다. 이러한 문제점은 적외선 영상에 적용시켰을 때도 동일하게 나타났으며, 일반영상에 경우 확대영상의 선명도를 개선시키기 위해 선형 보간 기법을 대신하여 다양한 SR(Super-resolution) 기법들이 연구되어 왔다. 따라서 이러한 기법들을 응용하여 적외선 영상에 적용시킨다면 선명도가 개선된 결과를 얻을 수 있을 것으로 기대할 수 있다.

일반영상에서 현재까지 연구되어온 SR기법들을 보면 크게 단일 영상정보를 활용한 방법과 다중 영상정보를 활용한 방법으로 나뉜다. 다중 영상정보를[1] 이용할 경우 결과는 단일 영상정보를 이용한 것 대비 더 우수하지만 많은 연산량이 요구되어 실시간 처리가 어렵다는 단점이 있다. 단일 영상 정보를 이용한 SR기법에는 대표적으로 영상의 자기유사성을[2] 이용한 기법이 있고, 학습기반의 SR기법들이있고[3-5] 이외에도 다양한 SR기법들이[6-8] 존재한다. 영상의 자기유사성을 이용한 기법의 경우 사전에 학습한 정보없이 현재 입력된 영상을 가지고 학습하기 때문에 학습기반의 SR기법들에 비해 연산량이 많이 소모된다. 따라서 우리는 학습기반의 SR 기법을 기반하여 전체 알고리즘을 구성하였다.

본 논문에서는 다음과 같이 구성하였다. 제안 알고리즘은 학습기반의 SR기법이기 때문에 크게 학습과정과 합성과정으로 나뉜다. 먼저 학습과정에서 기존에는 단순히 LR-HR 패치 쌍을 다양한 분류기를 통해 분류하여 학습하지만, 제안 알고리즘의 경우 HR VIS영상을 AUM(Adap- tive Unsharp Masking)[9] 기법으로 HR의 선명도를 더 향상시켜 학습한다. 또한 적외선 영상이 일반 영상에 비해 디테일은 거의 없고 에지 위주의 단순한 영상이라는 특징과 에지 영역에 대해 사람이 시각적으로 민감하다는 특성을 고려하여 에지 영역에 대해서ADRC(Adaptive Dynamic Range Encoding)[10] 기법과 같은 단순한 분류 기법을 이용하여 패턴을 추출하고 학습과정을 진행한다. 이렇게 생성된 사전을 정보를 합성과정에 이용하여 선명도가 더욱 향상된 결과를 얻을 수 있었다. 제안 기법의 경우 학습과정에 전처리 과정을 추가함으로써 합성과정에서 추가적인 연산량 증가 없이 영상의 화질을 더욱 향상시켰다는 점에서 효율적인 알고리즘이라고 할 수 있다. 실험 결과에서 제안 기법이 선명도 측정 기준인 CPBD (Cumulative Probability of Blur Detection)[11]와 JNB(Just Noticeable Blur)[12] 기법 중 JNB를 이용하여 정량적 평가를 하였으며, 그 결과 최신의 SR 알고리즘이라고 할 수 있는 A+(Anchored neighborhood regression)[5] 기법 평균 0.0202 더 높아졌으며, 학습과정에 전처리 과정을 추가하였을 때 이전보다 평균 0.0014만큼 더 좋아진 것을 확인할 수 있었다. 주관적 화질 측면에서는 A+기법과 거의 유사한 결과가 나왔으며, Yang[4]과 bi-cubic보다는 제안 기법이 더 선명하다는 것을 실험 결과를 통해 확인 할 수 있다.

본 논문은 다음과 같이 구성하였다. 2절에서 제안하는 알고리즘에 사용된 배경 지식에 대해 설명을 하고, 3절에서 제안하는 알고리즘에 대한 설명을 하고, 4절에서는 알고리즘 성능을 실험을 통해서 확대된 IR영상의 선명도가 향상되는 것을 확인한다. 끝으로 5절에서는 본 논문에 대한 결론을 맺는다.

 

Ⅱ. 배경 지식

1. Infrared 영상의 특징

적외선 영상은 일반 가시광선 영상과는 다른 특성을 가지고 있다[13]. 먼저 일상생활에서도 쉽게 접할 수 있는 근적외선에 대해 살펴보면, 근적외선의 경우 가시광선(0.4~0.7 ㎛) 영역에서 벗어나 사람의 육안으로 볼 수 없는 광선이다. 특징적으로 근적외선의 경우 미소의 광원을 필요로 한다. 하지만 우리가 관심을 가지고 있는 원적외선의 경우, 장파장 대역으로서 물체가 방사하는 복사에너지를 감지하며, 근적외선과 마찬가지로 육안으로 식별할 수 없다. 따라서 장파장을 인식할 수 있는 특수한 광학계와 센서를 이용해야만이 식별이 가능하다. 그림 1은 파장에 따른 센서의 분류를 나타내며, 우리가 실험에 사용한 열적외선 카메라의 경우 8~14 ㎛파장을 감지하는 센서인 μ - Bolometer 를 사용한다.

그림 1.파장에 따른 센서의 분류 Fig. 1. Classification of sensors according to wavelength

적외선 센서는 물체에서 발생하는 적외선 복사열을 감지함으로써 빛이 없는 곳에서도 물체를 인식할 수 있다는 특징을 갖는다. 이를 위해 피사체가 방사하는 복사열을 정밀하게 감지할 수 있는 기술이 요구되고 있다. 이러한 적외선 센서의 특징으로 인해 일반영상과 다르게 적외선 영상에서 나타나는 특징이 있다. 첫째로 적외선 센서가 피사체가 방사하는 복사열만을 감지하여 보여주기 때문에 영상에서 그림 2에서 볼 수 있듯이 영상의 디테일 정보가 거의 없다는 것을 볼 수 있다. 두 번째로 일반영상에 비해 에지 주변에서 약간에 블러가 더 생긴다는 점이다. 이러한 이유는 앞서 살펴본 센서의 검출 특징 때문이라고 생각된다. 적외선 센서가 피사체의 복사열을 감지하기 때문에 일반 CCD 센서로 촬영되었을 때처럼 에지가 선명하게 되지 않고 복사열로 인해 블러가 생기게 된다. 이러한 이유로 그림 3의 (c)와 같이 에지 주변에서 더 블러 된다는 것을 확인할 수 있다. 이러한 현상은 저가의 센서를 사용할수록 두드러진다. 저가의 적외선 센서일수록 피사체로부터 방사되는 복사열을 정밀하게 감지하지 못하기 때문이다. 따라서 본 논문에서는 위 두 가지 특징 중 먼저 적외선 영상이 일반영상에 비해 디테일 정보가 거의 없다는 점에 주목하여 비교적 간단한 알고리즘을 가지고 전체 알고리즘을 구성하였다.

그림 2.일반영상과 적외선 영상 비교; (a) 일반영상, (b) IR영상, (c) 일반영상 확대영상, (d) 적외선 영상 확대영상 Fig. 2. Comparison of VIS images and IR images; (a) VIS image, (b) IR image, (c) upscaling of a part of (a), (d) upscaling of a part of (b)

그림 3.적외선 영상에서 에지가 블러 되는 현상; (a) 일반영상에서 에지, (b) 적외선 영상에서 에지, (c) 적외선 영상 Fig 3. Edge blur in IR images; (a) a usual edge of VIS image, (b) an edge of an IR image (c), (c) the IR image

2. Adaptive Dynamic Range Encoding

이 섹션에서는 본 논문이 제안하는 분류기의 기본이 되는 ADRC에 대하여 간략히 설명한다. ADRC는 Kondo에 의해 처음 제안된 간단한 연산량을 갖는 전형적인 패턴 분류기로, 영상내의 지역 별 부호화를 필요로 하는 많은 분야에 쓰인다. ADRC는 패치 내의 중간 값 Q를 정의하고 이웃한 픽셀 Xr,p 사이의 대소관계를 통해 Xr,p 가 Q보다 크면 1, 작으면 0으로 표현하는 방식으로 이웃한 픽셀의 개수가 P이고 중심 픽셀과의 거리가 r일 때 다음과 같이 정의된다.

예를 들어 그림 4와 같이 3x3 패치의 패턴을 구하는 경우 즉 P = 9일 경우 그림 5과 같은 순서로 9bit 패턴을 추출하게 된다. 이 경우 분류하여 얻을 수 있는 class의 개수는 29 = 512가 된다. 계산된 Q의 값은 중간 값을 대신하여 평균 값으로 계산하여 결과를 얻었다.

그림 4.ADRC 패턴 추출의 예시 Fig. 4. An example of ADRC pattern

그림 5.ADRC 패턴 추출 방식 Fig. 5. ADRC pattern extraction method

ADRC는 비교적 연산량이 간단하여 구현이 용이 하다는 장점을 가지고 있다. 물론 ADRC보다 성능이 좋은 분류방법들이 다양하게 존재한다. 하지만 IR영상이 디테일이 일반영상에 비해 적고 에지 위주의 단순한 영상이라는 점을 고려하여 ADRC를 이용하였다.

3. Learning-Based Super-Resolution

이 장에서는 본 논문이 제안하는 SR방식의 기본이 되는 학습기반 SR방식[3]에 대하여 간략히 설명한다. 그림 6는 학습기반 SR방식의 기본 개념을 나타낸다. 학습기반 SR 방식은 크게 학습 과정과 합성 과정으로 나뉜다. 먼저 학습과정에서는 다양한 학습 영상으로부터 LR-HR 패치 쌍을 얻어 사전을 구성한다. 이후 합성 과정에서 입력 LR VIS영상을 학습 과정에서 만들어진 사전을 이용한다. 입력 LR패치와 가장 유사한 LR패치를 사전으로부터 찾아와 해당 LR 패치의 쌍인 HR 정보를 합성과정에서 이용한다. 따라서 학습기반의 SR방식은 학습 데이터에 영향을 많이 받게 된다. 즉 입력 LR과 얼마나 유사한 데이터를 사전이 가지고 있느냐에 따라 성능이 달라진다. 이러한 이유로 충분한 수의 LR-HR 패치 쌍이 사전에 포함되어 있어야 하며 이 때문에 사전의 용량이 커지게 되고 사전을 저장하기 위해 막대한 양의 메모리가 소비된다. 또한 사전의 데이터가 커지는 만큼 매칭 과정에서 많은 연산량을 소모되게 된다. 따라서 본 논문에서는 중요한 데이터라고 할 수 있는 에지 영역에 대해서만 ADRC로 패턴을 분류하고 클러스터링하여 사전의 크기를 줄이고 매칭 과정에서의 연산량을 줄였다.

그림 6.학습기반 SR의 기본 개념 Fig. 6. Basic concept of learning-based super-resolution

 

Ⅲ. 제안 알고리즘

1. 학습 과정

제안 알고리즘의 학습과정의 전체적인 블록도는 그림 7와 같다. 먼저 전처리 과정을 통해 HR 영상의 선명도를 향상시키고, 에지를 판별한 후, ADRC 패턴을 추출하고 최종적으로 추출된 패턴 별로 필터 계수를 생성하여 사전에 저장시킨다. 전체 학습과정에 대한 자세한 설명은 다음과 같다.

그림 7.제안 알고리즘의 학습과정 Fig. 7. Learning phase of the proposed algorithm

학습영상의 HR-LR 쌍이 입력되면 제안 알고리즘은 우선 HR 영상에 AUM기법을 적용하여 선명도를 향상시킨다. 이렇게 함으로써 사전에 전처리로 선명도를 향상시켜 실제 합성과정에서 추가적인 전처리나 후처리 없이 영상의 선명도를 향상시킬 수 있다는 장점을 가진다. 이렇게 전처리된 HR-LR 쌍을 가지고 에지 판별 과정으로 넘어가게 된다. 에지를 판별하는 이유는 앞서 언급하였듯이 적외선 영상 특성상 영상 열화로 인해 일반영상에 비해 디테일이 거의 존재하지 않는다. 또한 사람의 시각적 특성상 에지 영역에 대해 민감함으로 전체 영상을 전부 처리하는 것보다 에지 영역 중심으로 처리하는 것이 알고리즘 상 더 효율적인 방법이기 때문이다. 따라서 식 2을 이용하여 에지를 판별한다.

식(2)에서 분산은 패치단위로 구한다. X는 패치의 중심을 나타내며, xi 는 중심에서 인접한 픽셀 값을 나타내며, μ는 이들의 평균을 나타낸다. 이렇게 계산된 값을 사전에 정의한 문턱치와 비교하여 이를 만족 할 경우 ADRC을 이용하여 패턴을 추출하는 단계로 넘어가게 된다. 기존 ADRC을 식 3과 그림 8와 같이 변경하여 패턴을 추출한다.

그림 8.패턴 추출 방식 Fig. 8. Our pattern extraction

식 (3)에서 Xr,p 는 그림 8의 선택된 9개의 픽셀 값을 의미하며 μr 는 선택된 9개 픽셀의 평균값을 나타낸다. S(·)을 이용하여 0과 1을 결정하고 최종적으로 9bit 패턴을 추출한다. 제안 알고리즘에서는 기존 ADRC와는 다르게 중간값을 평균값으로 대체하여 연산량을 줄였다. 일반영상의 경우 평균값으로 대체할 경우 분류 성능이 떨어지게 되지만 적외선 영상의 경우 에지 위주의 단순한 영상이라는 점과 에지 영역에서의 블러로 인해 평균값으로 대체하여도 분류 성능의 저하가 없었다.

이렇게 추출된 9bit패턴 별로 필터 계수를 생성하여 사전을 구성하게 되는데 각 그룹에 해당하는 필터를 생성하기 위해 다음과 같이 그룹별 패턴을 벡터로 정의한다.

여기서 LRk 과 HRk 는 K개의 패턴을 가지고 있는 임의의 그룹에 속한 k번째 LR과 HR의 1차원 행 벡터를 의미하고, (·)T 는 행렬의 전치를 뜻 한다. 한편, 우리는 수식 표기의 편의를 위해 X, Y를 식 (6), (7)으로 정의한다.

와 의 사이즈는 이며, 결과적으로 식(8)과 같은 관계식을 가지기 때문에 은 완벽한 2D FIR filter가 된다. 예를 들어 합성 과정에서 k 패턴을 가지는 LR 패치는 Wk 을 이용하여 다음과 같이 합성된다.

(i, j )와 (m, n )는 LR과 HR 패치의 픽셀값을 의미한다. Wk 는 식(10)과 같이 구성되어 있다.

이렇게 각 패턴마다 필터 계수로 이루어진 사전을 생성하게 된다. 이렇게 만들어진 사전은 합성 과정에서 사용된다.

본 논문에서는 일반영상에서 일반적으로 사용되는 학습기반 영상확대 알고리즘의 학습과정을 그대로 수행하여 만들어진 사전으로 가지고 적외선 영상에 적용시켜 영상을 확대하였을 때 일반영상에 비해 선명도가 떨어진다는 것을 확인하였다. 따라서 일반적으로 사용되는 학습기반 알고리즘에 전처리를 추가시켜 사전을 구성함으로써 그림 9과 같이 결과영상에서 선명도가 개선된 효과를 나타낸다.

그림 9.학습과정에 전처리 추가 후 결과 비교; (a) AUM 전처리 미적용 결과 (b) AUM 전처리 적용 결과 Fig. 9. Effect of pre-processing in learning phase on the visual quality; (a) without AUM, (b) with AUM

2. 합성 과정

제안 알고리즘의 합성과정에 대한 간략한 설명은 그림 10와 같으며, 다음과 같은 순서로 진행된다. 입력 영상인 LR IR 영상이 들어오게 되면 우선 에지 판별을 수행한다. 에지 영역만을 처리하더라도 사람의 시각적 특성과 적외선 영상의 특성을 고려하였을 때 효율적이기 때문이다. 에지판별은 앞선 학습 과정의 에지 판별처럼 합성과정에서도 영상의 분산을 계산하여 에지를 판별한다. 에지 영역이라고 판단될 경우 학습 과정에서처럼 ADRC 패턴 추출과정으로 넘어가며, 에지가 아닌 영역은 bi-cubic 선형 보간 기법으로 영상을 확대시킨다. 즉 사람의 시각적 특성상 민감한 에지 영역에 대해서는 제안 알고리즘을 이용하여 영상을 확대하고, 에지가 아닌 영역에 대해서는 bi-cubic 선형 보간 기법으로 영상을 확대시켜 적외선 영상에 약하게 존재하는 디테일 정보를 보존시켜주는 효과가 있다. 에지 영역에 대해 ADRC를 이용하여 9bit 패턴을 추출하고 나면 사전에 학습한 사전 정보에서 해당 패턴의 필터 계수 정보를 찾아온다. 이렇게 찾은 필터 계수를 식 11을 이용하여 정합 및 합성 과정을 거쳐 최종적으로 HR 영상을 얻는다.

그림 10.제안 알고리즘의 합성과정 Fig. 10. Synthesis phase of the proposed algorithm

위 식에서 HR(i, j)과 LR(i, j)은 HR 패치와 LR 패치의 (i,j)와, (m,n)위치에 있는 픽셀을 나타낸다. 여기서 wi,j(m,n)은 (m,n)위치의 coefficient로서 HR(i, j)을 복원하는데 사용된다. 따라서 HR(i, j)과 LR(i, j)의 weight sum이라 할 수 있으며 wi,j(m,n) 은 LR(i, j)로부터 HR(i, j)을 복원하기 위한 2D FIR filter이다.

 

Ⅳ. 실험 및 결과

실험영상은 직접 촬영한 15개의 적외선영상을 사용하였으며, 384x296크기의 영상을 768x592로 2배 확대하는 실험을 하였다. 또한 학습과정에서 사용한 HR VIS영상은 그림 11와 같이 1920x1080 크기의 일반영상 6개를 가지고 학습하였다. 학습 후 481개의 class가 생성되었다. HR 이미지에 적용시킨 AUM의 선명도의 정도를 결정하는 임계값은 7, 49이고 gain 값은 각각 1, 3, 2로 설정하였다. 또한 제안 알고리즘은 5x5 패치단위로 처리되며, 연산량을 줄이기 위해 에지 판별과정에서 분산을 구할 때 센터 중심3x3 블록에 대해서만 계산하고, 문턱치는 100으로 고정하였다. 또한 비교기법으로 사용한 Yang기법[4]및 A+[5]은 저자코드를 사용하여 실험하였으며 사전 또한 저자코드에 있는 사전을 그대로 사용하였다. 모든 실험은 Intel i5-3470 3.2GHz 프로세서와 12 GB RAM의 PC환경에서 실시하였다.

그림 11.학습과정에 사용한 HR VIS영상 Fig. 11. HR VIS images used for learning phase

제안 알고리즘과의 영상확대 성능 비교를 위해 일반적으로 사용되는 선형 기법인 bi-cubic, Yang기법 그리고 A+과 비교하였다. 먼저 주관적 화질에 대해 평가하면 그림 12~16에서 볼 수 있듯이 비교기법 대비 주관적 화질측면에서 제안 기법으로 수행한 방법이 영상이 더 선명하거나 유사하다는 것을 볼 수 있다. 하지만 그림 16에서 보면 선명도가 향상되는 한편으로 에지 주변에서 약간에 아티펙트가 관찰된다. 이는 저가 적외선 센서의 특성으로 피사체로부터 방출된 방사열로 인해 경계부분에서 미세하기 띠가 생기게 된다. 이러한 띠가 에지 영역으로 판단되어 SR기법이 적용되어 살아나면서 부각되어 보이게 된 것이다. 따라서 이러한 현상을 방지하기 위해 합성과정에서 입력영상에 대한 전처리가 필요할 것으로 보인다.

그림 12.Test image2실험결과; (a) Bi-cubic (b) Yang (c) A+ (d) 전처리 전 결과 (e) 전처리 후 결과 Fig. 12. Comparison result for test image2; (a) Bi-cubic (b) Yang (c) A+ (d) proposed without AUM (e) proposed with AUM

그림 13.Test image11실험결과; (a) Bi-cubic (b) Yang (c) A+ (d) 전처리 전 결과 (e) 전처리 후 결과 Fig. 13. Comparison result for test image11; (a) Bi-cubic (b) Yang (c) A+ (d) proposed without AUM (e) proposed with AUM

그림 14.Test image14실험결과; (a) Bi-cubic (b) Yang (c) A+ (d) 전처리 전 결과 (e) 전처리 후 결과 Fig. 14. Comparison result for test image14; (a) Bi-cubic (b) Yang (c) A+ (d) proposed without AUM (e) proposed with AUM

그림 15Test image15실험결과; (a) Bi-cubic (b) Yang (c) A+ (d) 전처리 전 결과 (e) 전처리 후 결과 Fig. 15. Comparison result for test image15; (a) Bi-cubic (b) Yang (c) A+ (d) proposed without AUM (e) proposed with AUM

그림 16.Test image10실험결과; (a) Bi-cubic (b) Yang (c) A+ (d) 전처리 전 결과 (e) 전처리 후 결과 Fig. 16. Comparison result for test image10; (a) Bi-cubic (b) Yang (c) A+ (d) proposed without AUM (e) proposed with AUM

다음으로 정량적 평가를 위해 영상의 선명도를 측정하는 방법인 CPBD[11]와 JNB[12]를 두 가지 방법 중 JNB 을 이용하여 결과를 비교하였다. JNB로 값을 측정하였을 때 표 1에서 확인할 수 있듯이 전체적으로 bi-cubic기법 대비 약 0.8638 정도 높게 측정되는 것을 확인하였으며 전처리 과정을 추가하였을 때 전처리를 적용시키기 전보다 약 0.6165 만큼 좋다는 확인할 수 있다. 반면에 Yang 기법보다는 평균 .8155만큼 감소되었는데, 이는 제안 알고리즘의 경우 에지만을 처리하는데 반에 Yang기법은 영상 전체를 처리하기 때문에 IR영상의 잔존하는 노이즈 들이 같이 부스팅되어 JNB값이 높게 측정된 것으로 보인다. 실제로 결과영상에서 확인해 보면 Yang 기법의 경우 아트펙트가 관찰되는 것을 확인 할 수 있다. 마지막으로 최신의 A+기법과 비교하였을 때 평균 0.0202만큼 JNB 값이 높아진 것을 확인할 수 있었다. A+기법이 성능이 우수한 알고리즘으로 알려져 있지만, IR영상의 경우 일반영상과 다른 특성을 가지고 있기 때문에 일반영상을 가지고 학습한 사전을 그대로 A+기법에 적용시켰을 때 그 효과가 크지 않은 것으로 생각된다.

표 1.JNB 측면 비교 결과 Table 1. Comparison result in terms of JNB

 

Ⅴ. 결 론

본 논문은 적외선 영상이 일반영상에 비해 디테일이 적은 에지 위주의 영상이라는 점과 사람의 시각적 특성에 초점을 맞추어 에지 영역에 대해서만 알고리즘을 수행하고 ADRC와 같은 단순한 알고리즘을 적용시켜 영상의 패턴을 추출하여 학습과정을 진행하였으며, 학습과정에서 HR영상을 AUM기법으로 전처리하여 사전을 만들어 실제 동작 알고리즘 상에서 연산량 추가 없이 영상의 선명도를 향상시키는 효과를 얻을 수 있었다. 실험 결과를 통해 최신의 알고리즘인 A+기법과 비교하였을 때 주관적 화질 측면에서는 거의 유사하다는 확인 할 수 있으며, 정량적 평가에서는 제안 알고리즘을 적용시켰을 때 더 우수하다는 것을 확인 할 수 있었다. 따라서 본 논문에서 제안한 알고리즘은 적외선 영상의 선명도 향상에 도움이 될 뿐만 아니라 저가의 적외선 센서를 사용하기 때문에 적외선 카메라의 생산단가를 낮추는 효과를 낼 수 있을 것이다. 향후에는 적외선 영상이 일반영상에 비해 에지 주변에서 블러되어 있다는 점을 고려하여 블러를 제거할 수 있는 전처리 과정을 추가할 생각이며, 현재 알고리즘에서 학습에 사용한 영상은 고화질의 일반영상을 사용하였는데 이를 고화질의 적외선 영상으로 변경하여 사전을 꾸며 효과를 비교할 계획이다. 또한 다중 프레임을 활용한 영상확대 기법이나 서로 다른 센서로부터 얻은 적외선 영상과 일반영상과의 융합[14-15]을 통해 영상 확대 알고리즘의 효과를 높이기 위한 연구를 진행할 것이다.