Efficient Modifications of Cubic Convolution Interpolation Based on Even-Odd Decomposition

짝수 홀수 분해법에 기초한 CCI의 효율적인 변형

Abstract

This paper presents a modified CCI image interpolation method based on the even-odd decomposition (EOD). The CCI method is a well-known technique to interpolate images. Although the method provides better image quality than the linear interpolation, its complexity still is a problem. To remedy the problem, this paper introduces analysis on the EOD decomposition of CCI and then proposes a reduced CCI interpolation in terms of complexity, providing better image quality in terms of PSNR. To evaluate the proposed method, we conduct experiments and complexity comparison. The results indicate that our method do not only outperforms the existing methods by up to 43% in terms of MSE but also requires low-complexity with 37% less computing time than the CCI method.

1. 서 론

이미지 디스플레이, 이미지 압축, 컴퓨터 그래픽과 같은 응용 프로그램에서 이미지 보간법의 사용은 불가피하다. 따라서 다양한 분야에서 많은 기술들이 연구되었다 [1]-[16]. 또한 이미지 보간법은 여전히 활발한 연구 영역이다 [4]-[5], [15]-[17]. 그중에서 선형 보간법(linear interpolation; Ll)과 3차 보간법 [1] (cubic convolution interpolation; CCI)이 복잡도 대비 좋은 화질을 제공함으로써 가장 보편적으로 쓰이 는 기술이다 [2].

보간 과정에서의 화질의 향상은 항상 요구되고 있고 그에 따라 많은 기술들이 나왔다. 현재 나온 많은 기술들은 더 많은 연산 능력을 사용하여 LI와 CCI보다 더 좋은 화질을 제공한다 [4]-[5], [9]-[13]. 예를 들어, CCI에 적응 매개 변수를 적용하는 것은 화질은 향상되지만 적응 매개 변수를 결정하는데 많은 연산비용이 요구된다 [4]-[5], [10]-[12]. 다른 예로는 스플라인과 같은 무한 보간 커널은 보간법의 화질은 향상되지만 CCI보다 연산 비용이 많이 들고 하드웨어에 친화적이지 못하다. 이러한 이유들로 LI와 CCI가 이미지 디스플레이나 디지털 카메라와 같은 하드웨어 시스템에서 주로 사용된다.

최근에 CCI보다 화질을 개선시키고 복잡도는 떨어뜨리는 방법으로 짝수 홀수 분해법(even-odd decomposition; EOD) 이 연구되었다 [18]. EOD는 신호 분해법으로 보간 과정에서 입력 벡터가 들어와 짝수 벡터와 홀수 벡터로 나뉘고 각각 부합하는 보간법을 통해 보간된 함수가 나온다. 이 두 개의 보간된 함수를 합치면 최종적으로 보간된 함수가 되는 것이다. EOD의 가장 큰 특징은 EOD에서 분해된 짝수 벡터와 홀수 벡터가 대칭의 속성을 가진다는 것이다. 이 대칭성은 보간 과정에서의 연산 비용이 절감될 뿐만 아니라 화질개선에도 영향을 미칠 수 있다. 예를 들어, EOD와 선형보간법을 활용하여 가중된 선형보간법(weighted linear interpolation)이 제안되었다 [18].

본 논문에서는 EOD와 CCI를 활용하여 변형된 CCI 보간법을 제안한다. EOD를 통해 얻어진 홀수 벡터의 특징을 활용하면 CCI 보간법이 변형된다. 변형된 식을 분석하면 보간법 결과에 영향을 미치는 중요도가 서로 다른 수식으로 분할된다. 이를 바탕으로 일부 중요도가 낮은 식을 제거하는 과정을 도입할 수 있다. 따라서 복잡도를 낮출 수 있다. EOD를 통해 얻어진 짝수 벡터의 특징을 활용하여 CCI 보간법을 재구성하면 기존식보다 간단한 식으로 정리된다. 또한 가중치를 도입하면 성능을 향상시킬 수 있는 방법이 얻어진다. 이 방법은 홀수 벡터 보간에서 버려진 식을 보상하는 결과로 이어지고 최종적인 보간 성능향상이 얻어진다. 또한 본 논문에서는 실험을 통해 제안된 방법이 화질과 복잡도 면에서 기존의 방법보다 우수하다는 것을 알 수 있다.

본 논문의 구성은 다음과 같다. 2절에서는 기존의 보간법과 EOD에 관한 기본 공식을 소개하고, 3절에서는 EOD와 제안된 방법에 대한 분석과 설계를 설명한다. 4절에서는 제안된 방법의 성능을 실험을 통해 확인하고 마지막으로 5절에서는 본 논문에 대한 결론을 맺는다.

 

2. 기본 공식

2.1 Convolution에 기초한 보간법의 개요

f(xk)는 연속 함수 f(x)의 샘플이라 하자. 샤논의 정리에 따르면 만약 샘플링 주파수가 함수 f(x)의 최대 주파수보다 2배 크다면 sinc 함수를 이용한 보간은 완벽하게 f(xk)의 샘플로부터 연속 함수 f(x)를 복원한다. f(x)와 샘플인 f(xk)사이의 관계는 식 (1)과 같다. 여기서 β(x)는 보간 커널이다.

만약 샘플들이 균일하다면 xk는 정수 k로 대체된다. sinc 보간법에서 β(x)는 sin(πx)/πx 이다. 하지만 sinc 함수의 구현은 이 함수가 무한 영역 (infinite support)을 갖기 때문에 불가능하다. 따라서 유한한 영역 (finite support)을 가진 보 간 커널이 연구되었다 [1]-[2],[7]. 특히, 짧은 영역을 가진 커널은 연산 비용을 낮추기 때문에 이미지 보간법에서 가치가 있다. 짧은 영역을 가진 커널 중에서 선형 보간 커널은 화질대비 복잡도가 낮기 때문에 가장 보편적으로 사용되고 식 (2)와 같이 정의된다.

이 커널은 일차식으로 정의되어있고 이를 개선하기 위해서 이차 또는 삼차 식으로 커널을 정의하는 노력이 있었다. 이 중 가장 알려져 있는 커널은 삼차 식을 활용한 CCI커널이다. 이 커널은 식 (3)과 같다.

식 (3)에서 매개변수 α는 조절이 가능하고 [1]에서 -1/2를 권장한다. CCI 커널을 활용한 보간 결과는 선형 보간법보다 일반적으로 화질이 좋다는 것이 알려져 있지만, CCI는 선형 커널보다 삼차 식을 이용함으로 연산 비용이 증가하고 커널 영역이 4로 선형 보간법보다 메모리 요구량이 두 배가 된다. 따라서 CCI의 복잡도는 하드웨어 시스템에서 여전히 부담된다.

구간별 보간법(piecewise interpolation)은 입력 신호를 구간별로 나누어서 보간하는 방법이다. 한 구간에 보간된 신호 범위를 0≤s≤1로 두고 결과 연속 함수 f(s)라고 정의한다. 샘플로부터 연속 함수의 한 부분을 복원하는 구간별 보간법은 아래 식 (4)와 같이 얻어진다.

여기서 f(k)는 구간별 입력 신호에 대한 샘플이다. 예를 들어 식 (4)에 CCI커널 식 (3)을 대입하면 식 (5)와 같다.

여기서 f(˗1),f(0),f(1),f(2)는 구간별 보간 과정에 대한 입력 벡터이다. CCI의 커널 영역이 4이므로 벡터의 크기는 4가 된다. 식 (5)의 α=-1/2을 대입하면 CCI의 최종적인 보간공식은 식 (6)과 같이 얻어진다.

그림 1EOD의 기본 개념 Fig. 1 Basic concept of EOD

2.2 Even-Odd Decomposition (EOD)

그림 1과 같이 짝수 홀수 분해법(EOD)은 구간별 보간법에서의 입력 벡터를 짝수 벡터와 홀수 벡터로 분해하는 것이다. 분해된 짝수 벡터와 홀수 벡터에 대해서 각각 그에 해당되는 보간법을 적용한다 [18]. 예를 들어, 구간별 보간 과정에서 입력 벡터 f={f(˗1),f(0),f(1),f(2)}라 하자. EOD에 의해서 입력 벡터는 짝수 벡터 fe와 홀수 벡터 fo로 나눠진다. 각 벡터는 식 (7)과 같다.

여기서 i=-1∼2의 범위를 갖는다. 또한 fe(i)와 fo(i)는 각각 짝수 벡터와 홀수 벡터이고 짝수 벡터에 의해서 보간된 함수를 짝수 함수 fe(s)라 하고 홀수 벡터에 의해서 보간된 함수를 홀수 함수 fo(s)라 하자. 최종적으로 얻어지는 연속 함수 f(s)는 식 (8)과 같이 홀수 함수와 짝수 함수의 합으로 이뤄진다 [18].

EOD분해법에 의해 분해된 홀수 벡터와 짝수 벡터에 동일한 커널을 적용시킬 수 있다. 하지만 홀수 벡터와 짝수 벡터의 성질이 다르기 때문에 서로 다른 커널을 도입할 수 있음을 식 (8)에서 보여준다. 즉, 홀수 벡터에 적합한 커널을 도입할 수 있고 짝수 벡터에 적합한 커널을 도입할 수 있다. 따라서 CCI 보간법의 경우에도 EOD 분해 후 동일한 CCI 커널을 사용하는 것보다 새로운 또는 변형된 CCI 커널을 적용하는 것이 더 효율적일 수 있다.

 

3. 제안하는 방법

3.1 짝수 벡터와 홀수 벡터에 대한 분석

EOD의 최대 특징점은 분해된 벡터들이 대칭성을 갖는 것이다. 짝수 벡터를 보간해서 얻어지는 짝수 함수 fe(s)는 s=0.5에서 대칭이고 홀수 벡터를 보간해서 얻어지는 홀수 함수 fo(s)는 점(0.5, 0)에서 점대칭이다. 이런 대칭성은 보간 된 짝수 함수가 보간된 홀수 함수보다 최종 보간 함수 결과에 더 많은 영향력을 주는 것을 내포한다. 예를 들어, 짝수 벡터인 fe(0)과 fe(˗1)의 크기가 홀수 벡터인 fo(0)과 fo(˗1)의 크기와 같다고 할 때 보간되는 짝수 함수 fe(s)의 에너지는 홀 수 함수 fo(s)의 에너지보다 3배가 크다는 것을 쉽게 알 수 있다. 그 이유는 함수 fo(s)는 항상 점 (1/2,0)을 지나기 때문이다. 일반적으로 영상 신호의 경우 고주파 성분보다는 저주파 성분이 강하여 홀수 벡터보다는 짝수 벡터의 에너지가 보다 강하기 때문에 짝수 함수가 홀수 함수보다 보다 더 큰 에너지를 가질 수밖에 없다. 따라서 짝수 벡터가 홀수 벡터보다 보간 결과에 더 중요한 역할을 한다. 또한 홀수 벡터 는 자연적으로 고주파 성분을 함유할 수밖에 없다. 따라서 고주파 잡음 성분이 다량 함유될 수 있다. 일반적으로 고주파 잡음은 보간을 할 때 악영향을 끼치므로 홀수 벡터에 대한 보간은 필터 크기가 작은 것이 필요함을 알 수 있다. CCI 보간법의 경우에서도 동일한 분석이 적용될 수 있고 특히 홀수 벡터에 대한 보간법은 고차식을 줄이는 방향이 필요하다는 것을 알 수 있다.

3.2 홀수 벡터에 대한 보간법 설계

EOD에 의해 분해된 홀수 벡터에 CCI 커널을 대입하고 홀수 대칭성(odd symmetric property)을 적용하여 정리하면 홀수 함수 fo(s)가 식 (9)와 같이 얻어진다.

그림 2홀수 함수식의 가중치 함수들 Fig. 2 Weighted functions of odd function

여기서 fo(˗1)에 해당하는 필터 함수 (˗2s3+3s2˗s)/2를 h˗1(s)라 하고 fo(0)에 해당하는 필터 함수 (6s3˗9s2˗s+2)/2를 h0(s)라 하자. h˗1(s)와 h0(s)는 홀수 함수의 결과에 가중치 역할을 하는 함수로써 분석해볼 필요가 있는 매우 중요한 함수다. 따라서 fo(˗1)과 fo(0)의 값을 1로 동일하게 설정하고 해당되는 가중치 함수를 그림 2에 나타내었다.

그림 2에서 보여주듯이 h0(s)가 h˗1(s)보다 가중치가 더 높음을 알 수 있다. 예를 들어, 입력 홀수 벡터의 성분인 fo(˗1) 과 fo(0)의 크기가 동일하다고 가정했을 때 h0(s)와 h˗1(s)의 에너지를 계산하면 각각 373/1680, 1/1680으로 얻어진다. 이는 fo(0)의 영향력이 fo(˗1)보다 373배 높음을 알 수 있다. 또한 앞 절에서 분석을 했듯이 홀수 벡터에는 고주파 잡음이 포함되어 있음으로 고차식을 최소화하는 방향이 필요했다. 따라서 전체적인 영향력도 약하고 고주파 성분이 더 많은 fo(˗1)를 제거하는 것이 효율적이다. 이런 결과를 활용하여 식 (9)를 근사화하면 식 (10)을 얻을 수 있다.

식 (9)는 덧셈이 7개, 쉬프트연산이 7개, 곱셈이 6개이고 식 (10)은 식 (9)에서의 식 fo(˗1)(˗2s3+3s2˗s)/2 부분이 제거되었으므로 덧셈이 4개, 쉬프트연산이 4개, 곱셈이 3개이다. 따라서 연산량이 약 절반 정도 감소함을 알 수 있다. 이를 홀수 벡터에 대한 변형된 CCI 보간법이라 정의한다.

3.3 짝수 벡터에 대한 보간법 설계

EOD에 의해 분해된 짝수 벡터에 CCI 커널을 대입하고 짝수 대칭성(even symmetric property)을 적용하여 정리하면 짝수 함수 fe(s)가 식 (11)과 같이 얻어진다.

여기서 CCI에 존재하던 3차 다항식이 짝수 대칭성에 의해서 제거됨을 알 수 있다. 따라서 짝수 벡터에 대한 연산은 그 자체로 원 CCI 보간식보다 간략화됨을 알 수 있다.

그림 3짝수 함수에 대한 그래프 Fig. 3 Graph of even function

식 (11)에서 fe(˗1)=1, fe(0)=2라 두고 fe(s)를 그림 3의 검은 색 실선으로 표현된다. 홀수 벡터에 대한 보간식에서 근사화된 부분을 짝수 벡터에 대한 보간식에서 일부 보충을 하기 위해서 식 (11)은 변형이 필요하다. 본 논문에서는 식 (11)을 가장 간단하게 변형하기 위해서 0과 1범위 내에서 가중치를 도입한다. 이는 EOD를 이용한 가중된 선형 보간법 [18]에 제시된 것과 유사한 방법으로 그림 3에서는 점선으로 가중된 선형 보간법의 보간 함수식을 참조하였다. 가중치를 적용한 짝수 함수에 대한 보간식은 식 (12)와 같다.

EOD 분해 후 짝수 벡터에 대한 보간법 함수는 가중된 선형 보간법과 비교하여 상대적으로 값이 작음을 알 수 있다. 가중된 선형 보간법에서 가중치 값을 1보다 작은 값을 도입하여 성능을 개선했다면 변형된 CCI 보간법에서는 오히려 1보다 큰 가중치를 도입하여 성능을 개선할 수 있음을 알 수 있다. 본 논문에서는 이 가중치 값을 결정하기 위해서 일곱 개의 실험 영상에 대해서 실험을 수행하였다. 표 1 의 다섯 번째 열(EOD-CCI, w=5/4)에서 보여주듯이 전체적인 보간 성능이 개선됨을 확인할 수 있다. 그림 5는 EOD-CCI에서 가중치 w={8/8, 9/8, 10/8, 11/8, 12/8, 13/8, 14/8, 15/8}로 설정하고 일곱 개의 실험 영상에 대해 각각 실험을 수행한 후, 실험 결과에 대한 평균을 보여준다. 수행 결과 10/8과 11/8 사이에서 최적의 결과를 얻었다. 따라서 본 논문에서는 10/8을 가중치 값으로 제안한다. 참고로 11/8 값이 다소 더 높은 결과를 보이지만 구현상 10/8이 11/8보다 더 간단함으로 10/8이 선택되었다.

그림 4실험 영상 Fig. 4 Experiment images

그림 5 영상크기변경(1/√2 배 축소 후 √2 배 확대) 실험에 서 EOD-CCI의 가중치 값에 따른 실험영상들에 대 한 평균 PSNR 변화 Fig. 5 Average PSNR changes of seven experimental images by adjusting weighting factor of EOD-CCI in image-scaling experiment (1/√2 times scaling followed by √2 times scaling)

 

4. 실험 및 결과

LI나 CCI와 같은 기존의 방법과의 비교를 통해 그 성능을 분석하고, 제안된 방법이 기존의 방법보다 성능 면에서 우월함을 보이는 지에 대한 실험을 수행하였다. 그림 4에서 보이듯이 실험에서는 512×512 크기의 흑백 영상 7장에 대한 테스트를 수행하였다.

표 1영상크기변경(1/√2 배 축소 후 √2 배 확대) 실험 결과(PSNR) Table 1 PSNR Results of image-scaling experimental (1/√2 times scaling followed by √2 times scaling)

그림 6영상크기변경(1/√2 배 축소 후 √2 배 확대) 실험을 5회 반복 후 얻어진 Baboon영상의 털부분 (a) Linear Interpolation (b) CCI (c) EOD-CCI (w=1) (d) EOD-CCI (w=1.25) Fig. 6 Fur area in Baboon image resulting from five image-scaling experiments (1/√2 times scaling followed by √2 times scaling) (a) Linear Interpolation (b) CCI (c) EOD-CCI (w=1) (d) EOD-CCI (w=1.25)

그림 7영상크기변경(1/√2 배 축소 후 √2 배 확대) 실험을 5회 반복 후 얻어진 Baboon영상의 눈부분 (a) Linear Interpolation (b) CCI (c) EOD-CCI (w=1) (d) EOD-CCI (w=1.25) Fig. 7 Eye area in Baboon image resulting from five image-scaling experiments (1/√2 times scaling followed by √2 times scaling) (a) Linear Interpolation (b) CCI (c) EOD-CCI (w=1) (d) EOD-CCI (w=1.25)

표 2영상크기변경 실험을 5회 반복 후 얻어진 Baboon 영상에 대한 PSNR값 Table 2 Baboon image resulting from five image-scaling experiments

표 3실험 영상을 2π만큼 확대할 때 걸리는 시간(msec) Table 3 Computing time for enlarging images by a factor of 2π (msec)

표 1은 일곱 개의 실험 영상에 대해서 1/√2 로 축소 후 다시 √2로 확대하는 영상크기변경 실험 결과를 PSNR로 보여준다. 선형 보간법은 평균적으로 31.19 dB가 나왔고 CCI 보간법은 33.55 dB으로 얻어졌다. 선형 보간법에 비하여 CCI 보간법이 평균적으로 2.36 dB정도 성능의 향상을 보였다. 가중치 w=1로 두었을 경우에는 평균적으로 33.53 dB가 얻어졌다. w=10/8일 경우에는 33.73 dB가 얻어졌다. 제안된 방법은 선형 보간법보다 2.54 dB, CCI 보간법보다는 0.18 dB 개선됨을 보였다.

표 2는 Baboon 영상을 영상크기변경(1/√2배 축소 후 √2배 확대) 과정을 5번 반복한 실험 결과의 PSNR값이다. 선형 보간법은 21.54 dB가 나왔고 CCI 방법은 24.16 dB로 선형 보간법보다 2.62 dB 개선됨을 보였다. 가중치 w=1로 두었을 경우의 EOD-CCI 방법은 24.08 dB가 나왔고 w=10/8일 경우의 EOD-CCI 방법은 24.31 dB가 얻어졌다. 제안된 방법은 선형 보간법보다 2.77 dB, CCI 방법보다 0.15 dB 성능의 향상을 보였다. 또한 그림 6와 그림 7은 표 2에서의 실험 결과 영상을 2π만큼 늘린 확대 영상의 일부분이다. 확대 영상을 통해 EOD-CCI 방법이 CCI 방법에 비해 객관적인 화질뿐만 아니라 주관적인 화질 또한 좋아진다는 것을 알 수 있다.

표 3은 일곱 개의 실험 영상을 2π만큼 확대하는데 걸리는 시간을 보여준다. 선형 보간법을 기준으로 했을 때, CCI 방법은 선형 보간법 보다 약 4.5배 시간이 더 걸리고 EOD-CCI 방법은 약 2.8배 시간이 더 걸린다. 제안된 방법이 CCI 방법에 비해 수행 시간이 약 37% 감소한 것을 알 수 있다.

 

5. 결 론

본 논문에서는 기존의 보간법인 LI 방법과 CCI 방법과 EOD 방법에 대해 소개하고 EOD 방법의 대칭성에 대해 설명하였다. 또한 기존 방법의 효율성을 높이기 위한 방법으 로 EOD-CCI 방법을 제안하였고 제안된 방법과 기존의 방법과의 비교를 통해 객관적인 성능의 향상과 복잡도도 상당히 떨어진 것을 확인하였다.