Adaptive Image Interpolation Using Pixel Embedding

화소 삽입을 이용한 적응적 영상보간

Abstract

This paper presents an adaptive image interpolation method using a pixel-based neighbor embedding which is modified from the patch-based neighbor embedding of contemporary super resolution algorithms. Conventional interpolation methods for high resolution detect at least 16-directional edges in order to remove zig-zaging effects and selectively choose the interpolation strategy according to the direction and value of edge. Thus, they require much computation and high complexity. In order to develop a simple interpolation method preserving edge's directional shape, the proposed algorithm adopts the simplest Haar wavelet and suggests a new pixel-based embedding scheme. First, the low-quality image but high resolution, magnified into 1 octave above, is acquired using an adaptive 8-directional interpolation based on the high frequency coefficients of the wavelet transform. Thereafter, the pixel embedding process updates a high resolution pixel of the magnified image with the weighted sum of the best matched pixel value, which is searched at its low resolution image. As the results, the proposed scheme is simple and removes zig-zaging effects without any additional process.

1. 서 론

최근 SD(standard definition)급의 공중파 텔레비전 방송 송출이 중단되고 대부분의 멀티미디어 장치들이 full HD(high definition)급으로 변경되고 있다. 또한, 텔레비전 제조사들은 한발 더 나아가 full HD의 4배(4K) 해상도인 UHD(ultra HD) TV를 앞 다투어 출시하고 있는 상황이다. 그러나, UHD급 수상기의 보급이 확대되어도 동급으로의 방송장비 교체가 이루어져야지만 사용자들이 진정한 UHD 방송 화질을 접할 수 있을 것이다[1]. 그러므로, 과거 HD급 수상기의 보급은 이루어졌지만 SD급 방송을 송신할 때와 마찬가지로, UHD급 수상기에는 full HD급 LR(low resolution) 영상을 열화(degradation) 없이 UHD급 HR(high resolution) 영상으로 확대할 수 있는 보간(interpolation)기법이 필요할 것이다. 10여년전 SD영상을 HD로 변환할 때의 영상 크기는 현재보다 매우 작았고 프레임 활성화율도 낮았지만, 현재 TV는 영상의 크기뿐만 아니라 프레임 활성화율도 120~240Hz로 높기 때문에 UHD 화질을 얻기 위해서는 고속 및 고성능의 영상보간 기법이 필요하다.

전통적인 보간기법은 고려하는 주변 화소의 폭에 따라 0차에서 3차까지 활용되고 있으며, 이 중에서 양방향 1차(bi-linear)와 3차(bi-cubic) 보간법이 많이 사용되고 있다[2]. 차수가 낮을수록 속도는 빠르지만 블록현상(block artifact)의 발생이 심하며, 고차에서는 경계(edge)영역에서 고주파성분이 많이 차단되어 선명도가 떨어지는 단점이 있다. 또한, 차수와 무관하게 대부분의 보간법은 수평 및 수직 양방향(bi-direction)만 고려하므로 경계부분의 화질열화가 심하다. 그러므로, 경계를 보존하는 다양한 보간 및 복원기법들이 제안되었다[2-5]. 이들은 영상에서 경계를 추출하여 그 방향에 적합한 보간기법을 선택적으로 사용하기 때문에 성능은 개선되었지만 계산량이 많다는 단점이 있다.

최근 10년 동안 HD급 멀티미디어 장비들이 보편화됨에 따라, 많은 연구자들은 초고해상도인 수퍼해상도(SR : super resolution) 분야 연구를 활발히 하고 있다. 왜냐하면, 현재 반도체 기술이 광학 필름해상도에 근접하는 영상 센서의 크기 40μm2(0.35μm CMOS공정)를 추월하였지만, 인간은 보다 더 높은 해상도를 요구하기 때문이다[5]. 과거 SR 연구는 여러 장의 LR영상으로부터 한 장의 SR영상을 얻는 방법[6]이 보편적이었으나, 최근 한 장의 LR영상에서 SR영상을 획득하는 방법이 다양하게 제시되고[7-10] 있어서 영상보간과 SR 영상복원기법의 경계가 불분명해지고 있다. 한 장의 LR영상에서 SR영상을 복원하는 기법은 데이터베이스에 다양한 SR영상을 보관한 후, LR영상의 특정 patch에 가장 적합한 SR영상 부분의 예제를 활용하여 LR영상을 확대 및 갱신한다. 복원 과정에서 학습[7-9]과 구조적 해석[7,10] 등을 이용하고 최적 예제 patch 화소에 가중치를 두어 현재 patch 화소 값을 이웃삽입(neighbor embedding) 방식으로 갱신한다. 이들 방식은 데이터베이스에 저장된 예제 영상을 작은 patch로 분리하는 과정, 저해상도로 변환하는 과정, 영상 정합을 통해 가장 적합한 예제를 찾는 과정 및 patch 갱신과정 등에서 막대한 계산시간이 요구되므로 시간제약이 없는 곳에서 활용되고 있다.

본 논문에서는 HD급 해상도 영상으로부터 4K또는 16K급의 초고해상도 영상을 획득하는 환경에 적용가능하게 하기 위해, 기존의 SR분야에서 활용되는 패치기반 이웃삽입 기법을 화소기반에 변형적용하여 부수적인 처리없이 경계부분의 계단현상이 나타나지 않는 단순한 보간기법을 제시하려고 한다.

 

2. 관련 연구

2.1 영상보간기법

전통적인 보간기법의 단점을 보완하기 위해, 경계의 방향을 활용하는 방법 중, 본 절에서는 참고문헌[2](방법 1)과 [3,4](방법 2)의 방법을 언급하기로 한다. 각 방법의 순서는 다음과 같다.

[방법1]

1) LR영상에서 local covariance를 계산함

2) LR영상을 HR영상으로 split함[X(i,j) = Y(2i, 2j)], 여기서 X는 H×W 크기의 LR영상이고 Y는 2H×2W 크기의 HR영상임(0≤i≤H, 0≤j≤W)

3) 수평/수직 방향의 홀수점 Y(2i+1, 2j+1)을 LR영상의 local covariance와 동일한 HR영상의 covariance 계수를 기하학적 쌍대성(geometric duality) 성질을 적용하여 예측함, 이 때 평가척도는 MMSE(minimum mean squared error)를 이용함

[방법2]

1) LR영상이 래스터 스캔으로 입력될 때, 현재 화소이전에 입력된 주변점(past causal neighbors)을 이용하여 예측모델을 정의함, 현재 화소 위치가 (i,j)이면 주변점은 (i-1, j-1),(i-1,j),(i-1,j+1),(i,j-1)임

2) 모든 화소에서 1)과정의 국부평균과 분산을 계산하여 평균보다 큰 화소와 작은 화소 그룹으로 분리한 후, 각각 그룹의 평균과 분산을 계산하여 그룹별 평균과 분산을 이용하여 경계를 판단함.(참고문헌 [4]의 경우는 Sobel연산자를 이용하여 경계를 추출함)

3) 경계화소의 경우, 경계방향을 추출하여 방향성 보간을 적용하고 비경계화소는 bi-linear 보간을 적용함

방법 1은 경계방향 정보를 보간기법에 처음 적용 하였지만, 보간기법을 제외하더라도 기하학적 규칙성을 계산하기 위해 covariance 행렬의 국부 고려폭이 M인 경우, LR영상에서 M2×H×W 만큼의 계산이 필요하다[3]. 방법 2(참고문헌 [3]의 경우)는 경계 예측을 위해 4개의 화소가 활용되어져서 복잡도가 방법 1에 비해 감소되었지만, 4개화소의 평균과 분산 및 2개(평균보다 큰 화소 및 작은 화소들) 그룹의 평균과 분산을 다시 계산하므로 여전히 계산량이 많다. 또한 이들의 결과를 보면, 경계의 방향성이 45° 간격으로 보간된 것 같은 특징이 있어 방향성 분해능력을 선할 필요가 있다. 참고문헌 [4]의 방법 2의 경우에는 Sobel 연산자를 사용하므로 tan-1(수직강도/수평강도) 함수를 활용하면 연속적인 경계 방향을 얻을수 있지만, 이 방법 또한 계산량이 크게 감소되지는 않는다.

2.2 수퍼해상도 기법

과거 SR기법은 연속적인 프레임이나 동일 위치에서 획득된 여러 장의 LR 영상에서 ‘관측 위치가 미세하게 이동되었다는 가정’하에서 소수점(sub-pixel) 단위의 이동 위치를 영상 정합으로 찾은 후, 확대된 정수 차원의 HR 영상을 획득한다[5,6]. SR 복원 기법은 전통적으로 nonuniform interpolation, frequency domain, regularization 접근법 등으로 나누어지며 [5], 최근에는 아래와 같이 이웃삽입을 이용한 예제 기반 접근방법이 제시되고 있다[7-10].

[예제기반 SR 복원 방법]

1) 입력 LR영상은 M×M, 예제 SR영상은 2M×2M patch로 분할하고, SR영상의 patch를 decimation 하여 M×M patch를 획득함(이와 반대로 LR영상을 보간하여 2M×2M patch를 획득하는 경우도 있음[9])

2) 각 patch에서 특징(경계정보, 주파수성분, 히스토그램, 평균 및 분산 등)을 추출하여 여러 그룹으로 분류함

3) 최적의 patch를 탐색하고 patch를 구성하는 각 화소에 대해 embedding 가중치를 학습하거나 Maximum likelihood 또는 최소비용 함수를 사용하여 예측한 뒤, 기존 LR patch가 단순 보간법으로 확대된 2M×2M patch를 갱신하여 SR patch를 복원함

예제기반 SR 복원은 Freeman[7]에 의해 처음 제시된 후, 현재까지 다양한 연구가 진행되어오고 있지만 기본적인 알고리즘 순서는 유사하다. 이들의 결과는 데이터베이스에 확보된 예제에 의존적이며[7] 1장에서 언급된 것과 같이 많은 계산량을 요구한다는 단점이 있다.

 

3. 제안한 적응적 영상보간 기법

제안한 기법은 Fig. 1에서와 같이 3단계로 구성된다. 먼저 LR영상에서 경계정보를 빠르게 추출하기 위해서 가장 단순한 Haar 웨이브릿 변환을 거친다. 그 다음 웨이브릿 변환의 HH, HL 및 LH 채널 값에따라 방향성 적응보간을 수행한 후 초기 HR영상을 획득한다. 마지막으로 초기 HR 영상의 각 화소는 LR 영상의 인접 위치에서 정합오차가 가장 작은 patch의 중심 화소 값과의 가중치 합으로 갱신된다.

Fig. 1.Block diagram of the proposed algorithm.

3.1. Haar wavelet transform

Haar 웨이브릿 변환은 잘 알려진 것과 같이 산업계에서 유일하게 사용되는 웨이브릿 변환이며 JPEG 2000 표준안에 포함된 가장 단순한 웨이브릿 변환이다. Haar 웨이브릿의 1D analysis 필터는

와 같이 표현되고 기본적으로 2-화소 단위로 계산된 다. 2D 영상의 경우 2×2 블록당 수평방향의 2행에 대한 h(n)의 상승적분(convolution)은 평균계산과 같기 때문에 덧셈 2회와 나눗셈(bit shift 연산으로 구현가능) 2회, g(n)은 평균과의 차이이므로 뺄셈 2회가 필요하다. 이 결과에 대해 수직방향의 2열에 동일하게 적용하면, 2×2 블록(4-화소)당 총 12번의 연산이 적용되므로 화소당 3회의 평균연산량이 필요하다. 기존의 경계 방향성을 이용한 기법 중 가장 단순한 기법은 Sobel 연산자를 활용하는 경우인데, Sobel 연산자는 1화소당 3×3크기의 수평 및 수직 윈도우를 각각 상승적분해야 한다. 영상 좌표 (x, y)에서의 수평 및 수직 경계 강도를 각각 Sh, Sv라고 한다면, 식 (2) 및 (3)과 같이 경계 강도(Es)와 각도(Ea)를 다시 계산해야만 하므로 Haar 웨이브릿 보다 많은 계산량을 요구한다.

Sobel 연산자와 식(3)을 이용하면, 연속적인 경계의 각도를 계산할 수 있다는 장점이 있다. 그러나, 제안한 기법은 웨이브릿 변환을 사용하여 HL채널에서는 수직경계, LH채널에서는 수평경계 그리고 HH채널에서는 대각선 경계 정보를 추출하므로 Fig. 2(b)에서처럼 8-방향 경계 정보만을 활용할 수 있다는 단점이 있지만, 최종 단계인 화소 삽입 단에서 부족한 경계 방향성이 보상되므로, 단순하면서 연속적인 경계 방향이 고려된 효과가 있다.

Fig. 2.Diagram of the adaptive directional interpolation. (a) LR image (b) Interpolation neighbors in HR image.

3.2 적응적 영상보간

LR 영상으로부터 초기 HR영상을 얻기 위해서 Haar 웨이브릿 변환의 고주파 성분인 HL, LH, HH 채널 값을 이용하여 아래와 같이 4단계의 적응보간 과정을 거친다. up-sample된 4개 화소사이에 12개의 화소가 보간되므로, 2×2 LR영상의 4개 화소(Fig. 2(a))가 4×4 HR영상의 16개 화소(Fig. 2(b))가 된다.

Step 1. LR영상을 1옥타브(↑2) up-sampling하여 split함

Step 2. HH 채널 값을 이용하여 홀수 행과 열의 4개 화소에 대해서 대각선 방향 보간을 수행함

Step 3. LH 채널 값을 이용하여 짝수 행 및 홀수열의 4개 화소에 대해서 수평방향 보간을 수행함

Step 4. HL 채널 값을 이용하여 홀수 행 및 짝수열의 4개 화소에 대해서 수직방향 보간을 수행함

웨이브릿 변환에서 대각선 경계정보를 포함하는 HH 채널 값은 수평 및 수직정보가 포함된 LH 및 HL 채널에서도 응답이 나타나므로, 중복 보간을 피하기 위해 가장 먼저 대각선 보간을 수행한다. Fig. 2(b)의 3개의 회색 사각형 블록은 웨이브릿 변환의 down scaling 함수에 의해 불연속이 발생되는 부화소(sub-pixel) 영역이다. 이는 down sampling 연산이 생략된 RDWT(redundant discrete wavelet transform) 방법으로 최초 제안된 algorithme à trous[11]를 사용하면 불연속 블록을 제거할 수 있다. 그러나 웨이브릿 변환 연산이 4배 증가되는 단점이 있으므로, 본 논문에서는 보간 기법의 단순화를 위해서 LR영상의 화소가 확장된 흰색 블록의 HL, LH, HH 채널 값을 3개의 불연속 회색 부화소 영역의 경계정보로 활용하여 초기 HR영상에 보간하게 하였다.

방향성 적응보간은 고주파 성분 값이 문턱치 이상인 강한 경계에 대해서 경계 방향으로 1차 보간을 적용한다. 왜냐하면 경계 방향을 가로질러 보간을 수행할 경우, 경계가 무너지거나 계단현상이 발생되기 때문이다[2]. Fig. 2(b)에서처럼, HR 영상에서 1옥타브로 up-sampling된 점들 사이의 12개의 점을 Step 2~4에 각각 해당하는 d, h, v 그룹으로 분류한다. 먼저 d 그룹에 속한 화소 dn(1≤n≤4)은 Fig. 3에서처럼 대각선으로 가장 가깝게 up-sample된 4개의 화소 pi를(1≤i≤4) 활용하여

와 같이 계산된다. 여기서 fHH와 THd는 각각 웨이브릿 변환의 HH채널 값과 대각선 경계 판단 문턱치이다. 그러므로, 식(4)는 대각선 경계로 판단된 화소의 대각선 방향으로 1차선형보간을 수행하고 평탄영역이면 양방향 1차선형보간을 수행한다.

다음 단계의 수평방향 보간은 식(5)에서처럼 수평 경계발생시(fLH>THh) 경계방향으로 1차보간을 수행한다. h 그룹에 속한 한 화소 h1의 수평 인접화소가p1과 p2라고 한다면,

와 같이 계산되며, fLH는 웨이브릿 변환의 LH채널 값이고 THh는 수평 경계 판단 문턱치이다. Fig. 3의 수직보간에 해당하는 v1은 식(6)과 같으며, 개념은 식(5)와 동일하다.

식(5)와 (6)이 적용되면 수평과 수직 방향의 평탄 화소만 남게 되는데, 식(4)에 의해 모든 대각선 화소가 계산되었으므로 이들 화소들은 기존 양방향 1차 선형보간을 수행하여 Fig. 4(c)와 같이 초기 HR영상을 획득한다.

Fig. 4.Aquisition steps of the initial HR image. (a) Upsampling (b) Diagonal interpolation (c) Horizontal/vertical interpolation.

Fig. 4와 5는 512×512 원본 ‘Lena’영상을 256×256으로 decimation(LPF+subsampling)한 후, 제안한 기법의 적응적 방향성 보간으로 획득한 초기 HR영상과 기존 보간기법의 결과이다. Fig. 5의 기존 보간기법과 비교할 때, 확실하게 계단현상이 감소된 것을 확인할 수 있다. 특히, 양방향 3차보간은 LR영상에서 4개의 화소(보간 화소기준 좌우 2개 화소) 값을 사용하여 중간 화소를 계산하기 때문에, 평탄영역에서는 저차보간법 보다 좋은 특성이 있으나 오히려 경계의 번짐현상은 큰 인접 고려 화소 크기로 인해 양방향 1차보간 보다 심하다.

Fig. 5.Conventional interpolations. (a) Zero-order (b) Bi-linear (c) Bi-cubic.

3.3 Pixel embedding

2.2절에 언급된 예제기반 SR 기법의 이웃화소 삽입은 최적으로 선택된 patch의 모든 화소가 각각 다른 가중치 합으로 현재 patch 화소에 누적된다. 이는 고해상도 장면이 저해상도 장치로 표본화되면서 세부 고주파 성분이 소실되었다고 가정하여, 원래의 고해상도 영상을 복원하는 개념이다. 그러나 제안한 방법의 화소삽입은 보간 관점에서 LR영상에서의 경계기울기 보존과 평탄영역의 부드러운 변화를 HR영상에서도 유지시키기 위한 것이다.

최대한 경계를 잘 보존하려면 경계 기울기 분해능이 커야하지만, 이는 보간 시스템의 복잡도를 높이게 된다. 제안한 기법의 적응적 방향성 보간 방식은 시스템의 단순성을 위해 45°단계(8방향)를 사용하므로, Fig. 6(b) 예제 영상의 어깨나 모자부분을 살펴보면 6(a)의 1차보간보다는 결과가 좋지만 수평, 수직 및 대각선 45°를 벗어난 각도의 경계에서는 계단현상이 미세하게 발생된다. 그러므로, 초기 HR영상의 보간 화소들은 LR위치의 -1~1 화소범위 내에서 가장 닮은 화소값을 반영하여야만 한다. 왜냐하면 Fig. 3의 p1과 p2사이에 수직 경계가 있는 것으로 웨이브릿 응답이 발생되었을 때, 식(6)에서처럼 v 그룹 화소결정은 용이하지만 h 그룹 화소 결정은 경계의 위치에 따라 판단이 달라진다. 만약 경계가 p2에 가깝다면 h1은 p1이, 반대로 p1에 가깝다면 h1은 p2가 0차 보간되어야만 오차(계단 경계현상)를 줄일 것이다. 이 문제는 v와 d그룹에 속한 화소에서도 동일한 문제를 가지며, LR영상에서 1/2-화소를 예측(half-pixel estimation)하여 해결할 수 있지만 이는 복잡한 계산을 요구한다. 그러므로 제안한 방법은 판단이 용이한 화소를 중심으로 단순 보간을 수행하여 초기 HR영상을 획득한 후, LR영상에서 –1~1화소 거리를 탐색하여 최적 정합 LR화소를 HR화소에 반영하는 효율적인 화소 삽입방식을 제시한다. LR영상에서 상하좌우 1화소 거리차이에서 찾은 최소오차 화소를 pLR이라고 하면, HR영상의 한 화소

와 같이 표현된다. 여기서, we는 삽입 가중치이며 최적정합 화소와의 차이가 가중치 비율만큼 현재 화소에 반영된다. 최적 정합 화소를 찾기 위해 탐색창의 크기가 커지면 창의 크기 전체에 평균적으로 동작되므로, 경계영역에서 정확한 정합화소를 찾으려면 창의 크기가 작아야만 한다[12]. 그러므로, 제안한 기법에서는 작은 3×3창과 오차척도로 SAD(sum of absolute difference)를 사용한 BMA(block matching algorithm)을 적용하였다. 식(7)의 화소 삽입을 적용한 결과는 Fig. 6(c)에 나타내었고 6(b)에서 나타난 미세한 경계현상이 제거된 것을 확인할 수 있다. 만약 식(7)의 we가 1이면 LR영상의 화소 pLR이 pSR을 대체시키게 되고, 이 경우의 결과인 Fig. 7을 보면 경계부분의 급격한 변화는 잘 유지하지만 부드러운 영역에서 계조가 줄어든 것과 같이 거짓 윤곽선(false contour)이 발생하게 된다.

Fig. 6.Comparison examples of the pixel embedding. (a) Bi-linear (b) Before pixel embedding of the proposed method (c) After embedding (d) Original.

Fig. 7.Results when the embedding weight is 1.

3.4 칼라 영상 적용

칼라 TV는 과거 흑백 TV에서의 Y(휘도: luminance) 신호에 색차신호를 추가하여 구현하였기 때문에, 최근 멀티미디어 장비와 관련된 JPEG, MPEG, 디지털HD(ITU-R BT.709) 및 UHDTV(ITU-R BT. 2020) 표준안에서도 YCbCr(감마보정된 Y’CbCr/YPbPr 포함)을 칼라영상 형식으로 사용한다. 또한, 제시한 기법은 HD와 UHD 환경 적용을 목적으로 하기 때문에, 칼라 영상은 Y신호에만 적용하였다. RGB 영상인 경우 YCbCr=4:4:4로 변환된 Y신호에 대해 적응적 방향성 보간을 수행하면, Y영상의 표본화율이 4화소에서 16화소로 1옥타브 증가되지만 색차신호는 4에 머물게 되어 YCbCr=16:4:4, 즉 YCbCr=4:1:1형식으로 HR칼라영상이 복원된다.

 

4. 실 험

제안한 방법의 성능을 평가하기 위해 실험에 사용된 영상은 Fig. 8에서처럼 특성이 다른 4개 영상을 이용하였다. Fig. 8(a)는 급격한 변화가 있도록 인공적으로 만든 문자 흑백 이진영상, Fig. 8(b)는 꽃 경계를 제외하고는 변화가 완만한 칼라영상, Fig. 8(c)는 직선이 포함된 칼라영상, Fig. 8(d)는 색의 변화가 강렬한 칼라영상이다.

Fig. 8.Experimental images. (a) BW1 (b) Color1 (c) Color2 (d) Color3.

주관적 화질평가는 명확한 척도가 불분명하기 때문에[13] 결과 영상을 판단하며, 객관적화질을 비교하기 위해서 PSNR(peak-signal-to-noise-ratio)과 SSIM(structural similarity index measure)[14]을 결과영상의 평가척도로 활용하였다. 먼저 PSNR은 크기 H×W인 영상 f, g에 대해

로 표현된다. 그러므로, PSNR은 객관적인 단순 품질 척도로써 8-bit 최대값(peak)에 대해 원본과 비교영상의 MSE(mean squared error)가 작을수록 큰 값을 dB로 나타내는 척도이다. HVS(human visual system) 의 인지정도가 고려된 객관적 평가척도인 SSIM은

와 같으며, 식(11-13)은 휘도, 대조(contrast) 및 구조적(structural) 비교함수의 곱으로 정의된다. 식(11)은 두 영상의 평균이 같을 때 1이 되고, 식(12)는 대조를 나타내는 두 영상의 표준편차가 동일할 때 1이 되며, 식(13)은 상관분산(covariance, σfg)으로 측정된 상관계수(correlation coefficient)가 1일 때 최대 1이 되며 상관성이 없으면 0이 된다. 그러므로 SSIM 값은 [0,1] 사이이며, f = g이면 SSIM = 1이다. 3개의 상수 Ci는 분모가 0이 되는 것을 방지하는 상수이다.

실험에 사용된 문턱치 THd=0, THh=60, THv=50을 사용하였다. 대각선 문턱치를 0으로 설정한 이유는 웨이브릿 변환이 수행 순서인 HL(수직경계), LH(수평경계), HH(대각선 경계) 순으로 고주파 성분 값이 감소되고 대각선 경계가 중요하기 때문에, HH 채널 값이 존재하면 모두 대각선 경계로 판단하기 위함이다. 또한 화소 삽입 가중치인 we는 실험을 통하여 얻은 최적 값 0.4로 설정하였다. Fig. 9~12은 각 실험영상에 대한 기존 보간기법과 제안한 방법의 결과이며, Table 1은 결과에 대한 객관적 평가 척도 값이다. 기존 보간 방식의 결과는 Fig. 9(a)~(c)의 문자 곡선부분이나 기울기가 수평/수직이 아닌 부분, Fig. 10(a)~(c)의 꽃잎 경계부분, Fig. 11(a)~(c)의 건물 직선부분 및 Fig. 12(a)~(c)의 꽃 수술부분에서 계단현상이 심한 것을 확인할 수 있다. 반면, 제안한 방식에서는 이들 부분에서 계단현상이 없어진 것을 알 수 있다. 실험결과에서 보듯이 Table 1의 객관적인 화질평가척도에서는 제안한 방법이 미세하게 우수하지만, 사선을 포함한 경계 주변의 계단현상을 획기적으로 줄이는 결과를 볼 때, 제안한 방법은 주관적 화질을 크게 개선하는 단순한 기법이라고 할 수 있다. 또한, 제안한 기법은 Haar 웨이브릿 변환을 사용하여 경계정보를 추출하기 때문에 기존의 Sobel 연산자를 이용하는 기법과의 수행시간을 Table 2에 나타내었다. 실험에 사용한 컴퓨터는 Intel i5-2500 쿼드코어 CPU, clock 3.3GHz, RAM 4GB이며, 실험영상은 HD급 color1-3을 사용하여 각 10회 수행한 평균 시간을 기록하였다. Table 2에 나타낸 것과 같이 기존 방식은 경계정보를 추출하기 위해서 식(2-3)을, 제안한 방식은 식(1)을 각각 수행한다. 그 결과 제안한 방식의 경계정보 추출 시간이 Sobel연산자 보다 32.8ms 작게 소요되었으며, 전통적인 보간 기법과의 비교를 위해 Bi-cubic 기법의 수행속도를 같이 표시하였다.

Fig. 9.Results of BW1. (a) 0-order (c) Bi-linear (d) Bicubic (d) The proposed method.

Fig. 10.Results of color1. (a) 0-order (b) Bi-linear (c) Bi-cubic (d) The proposed method (e) Original.

Fig. 11.Results of color2. (a) 0-order (b) Bi-linear (c) Bi-cubic (d) The proposed method (e) Original.

Fig. 12.Results of color3. (a) 0-order (b) Bi-linear (c) Bi-cubic (d) The proposed method (e) Original.

Table 1.The comparison of objective quality metrics for experimental images

Table 2.The comparison of computation time

 

5. 결 론

본 논문에서는 full HD급 이하 해상도 영상으로부터 4K또는 16K급의 초고해상도 영상을 획득하는 환경에 적용할 수 있는 복잡도가 낮고 경계 왜곡이 작은 영상 보간 기법을 제안하기 위해, 가장 단순한 Haar 웨이브릿 변환을 채택하여 적응적 방향성 보간을 수행하였다. 또한, 기존 수퍼해상도 영상복원에서 활용되는 패치기반 이웃삽입 기법을 변형 적용한 새로운 화소기반 삽입 기법을 제시하였다. 제안한 방식은 평균과 뺄셈 연산만으로 경계의 유무를 단순하게 판단할 수 있는 Haar 웨이브릿 변환을 사용하여 upsampling된 화소 주변점을 방향성에 따라 보간한 후, 저해상도 영상의 -1~1 화소간격에서 탐색된 최적 정합 화소 값과의 가중치 합으로 고해상도 화소를 갱신하는 새로운 화소기반 임베딩 방식을 제안하였다. 그 결과, 실험에서 객관적 화질 척도에는 약간의 개선이 있었으나, 단순하면서 부수적인 처리없이 경계부분이 잘 보존되는 보간 결과를 보여주었다.