Image Enhancement Using The Contrast Sensitivity Function

Contrast Sensitivity 함수를 이용한 영상화질 개선 방법

Abstract

We develop the signal processing method for adaptive implementing direction of signal and the frequency sensitivity of human visual system(HVS). Existing multibnad energy scaling method makes ringing artifact because it does not consider signal direction. To solve this problem, we use block gradient for signal direction in addition to existing method. And we use the fact that frequency component of signal is more sensitive than value of signal over human eyes. we enhance the signal according to contrast sensitivity function(CSF) which is the model of frequency sensitivity of human eye. Compared that the existing analysis models only improve the efficiencies in the existing systems, the developed method can process the image signals to be more desirable and suitable to HVS.

본 논문은 영상 신호의 방향을 고려하여 기존의 multiband energy scaling 방법의 문제점을 보완하면서 human visual system(HVS)에 적합한 영상 local contrast 향상 방법을 개발하였다. 기존의 multiband energy scaling 방법은 신호 방향에 대한 고려 없이 화질을 향상시켜 ringing artifact가 발생하였으나 본 논문에서는 block gradient를 사용하여 신호의 방향을 측정하고 측정된 신호 방향에 따라 주파수 신호를 향상시켜 ringing artifact의 발생 없이 화질을 향상시켰다. 또한 본 논문은 human visual system(HVS)은 각 신호의 값 하나하나 보다는 각 신호가 가지는 주파수에 성분에 민감하게 반응한다는 것을 이용하여 주파수 성분에 대한 인간 시각의 민감도를 모델링한 contrast sensitivity function(CSF)에 따라 영상의 화질을 향상시켰다. 결국 본 논문에서 제안하는 방법은 신호의 특성과 인간 시각의 특성을 모두 고려하여 영상의 화질을 향상시키기 때문에 기존의 화질 향상 방법들에 비해 영상 신호와 인간 시각 특성에 더욱 적합하게 화질을 향상시킬 수 있다.

Ⅰ. 서 론

지금까지의 영상 화질 향상 방법들은 신호의 특성만을 고려하여 신호 에너지를 증가시켜 edge, texture 등의 영역 에서 선명도를 향상시켰다. 그러나 이러한 방법들은 인간이 시각적으로 영상 신호를 느끼는 특성에 대해 고려하지 않았으므로 인간 시각 특징에 적합하게 화질을 향상 시킬 수가 없었다. 하지만 최근에는 인간의 시각 특징에 대한 연구가 활발히 이루어지고 있다. 인간 시각 특징에 대한 연구 중 대표적인 것이 just noticeable difference(JND)이다. JND는 인간이 시각적으로 차이를 느끼지 못하는 정도를 의미하며 영상 압축, 영상 저전력, 영상 화질 향상 등 다양한 분야에서 응용되고 있다. 이에 본 논문에서는 신호의 특성을 고려할 뿐 아니라 인간 시각 특성을 고려하기 위하여 contrast sensitivity function(CSF)을 이용하였다[1]. 인간 시각 특성을 표현하는 모델들 중 contrast sensitivity function(CSF)은 인간이 주파수에 따라 느끼는 특성을 구현하였다. CSF를 보면 인간 시각이 중간 주파수에서 가장 민감하게 반응하는 것을 알 수 있다[1][3]. 이러한 인간 시각의 주파수 특징을 영상 화질 향상 방법에 구현하기 위해서는 CSF에 따라 DCT 영역 에서 영상 신호의 에너지를 조절해야 한다.

기존 DCT 영역에서의 영상 신호 향상 방법 중에는 multiband energy scaling 방법이 있다[7][8]. 이 방법은 local contrast를 주파수 별 에너지 비율로 정의하고 이 비율 자체를 조절하여 영상의 화질을 향상시킨다. Lee는 block artifact를 발생시키는 낮은 주파수 대역에서는 에너지 비율을 조절하지 않고 중간주파수와 높은 주파수 대역에서만 에너지 비율을 조절하여 영상의 화질을 향상시켰다[8]. 그러나 기존의 방법은 강한 edge가 있는 지역에서 ringing artifact를 발생시키며 얼굴과 같이 평평한 곳에서 노이즈를 발생시킨다. 이는 기존의 방법이 신호의 방향에 따라 에너지 비율을 조절하지 않았으며 주파수에 대한 인간 시각 특성을 고려하지 않았기 때문이다. 본 논문에서는 이러한 문제점들을 해결하기 위하여 신호의 방향에 적응적인 multiband energy scaling 방법을 고안하였고 신호의 주파수 에너지를 CSF에 따라 조절하여 인간 시각 특성에 맞게 영상의 화질을 향상시켰다.

본 논문은 다음과 같이 구성되어 있다. 두 번째 장에는 기존의 multiband energy scaling 방법에 대해서 소개하고 세 번째 장에는 신호 특성을 위한 신호방향에 적응적인 multiband energy scaling 방법을 제안한다. 네 번째 장에는 인간 시각 특성을 위한 주파수 민감도를 구현 방법을 제안 하고 다섯 번째 장에는 결론으로 MOS 실험결과 및 예시 영상을 통한 결과 분석을 한다.

 

Ⅱ. Multiband energy scaling 방법

1. Discrete cosine transform(DCT)

N × N 블록의 (i, j) 위치에 있는 픽셀을 f(i, j)라고 하고 F(u, v)를 DCT 계수라고 하면 F(u, v)는 아래의 식으로부터 구할 수 있다.

여기서 이다.

DCT 영역에서 같은 주파수를 가지는 계수들은 다이아몬드 모양의 벤드를 이루고 있다. Ωn 을 n번째 주파수 벤드의 DCT 계수라고 하면 아래와 같이 Ωn 을 표현할 수 있다.

그림 1은 식(2)를 표현한 것이다. 여기서 l(Ωn) 을 Ωn 에서 DCT 계수의 개수라고 하면 식은 아래와 같다.

그림 1.DCT 영역에서 주파수 벤드 형성 Fig 1. Frequency band form in DCT

2. 기존의 multiband energy scaling 방법

DCT 영역에서 영상 화질 향상 방법은 pixel의 값이 아니라 영상의 주파수 성분을 조절하므로 공간 영역에서의 영상 화질 향상 방법에 비해 robust하다. 이에 본 논문은 DCT 영역에서 신호의 에너지를 향상시키는 대표적인 방법인 multiband energy scaling 방법을 통해 영상의 화질을 향상 시켰다[7][8]. 이 방법은 하나의 주파수는 다른 여러 주파수들 과의 에너지 비율에 따라 시각적으로 다르게 나타난다는 것을 이용하여 n번째 주파수 벤드에 대한 local contrast를 n번째 주파수 벤드의 평균 에너지와 0번째부터 n - 1 번째 까지의 주파수 벤드들의 평균 에너지의 비율로 정의한다. 즉, n번째 주파수 벤드의 local contrast를 아래와 같이 측정할 수 있다.

여기서∥∙∥는 L2 - norm 을 의미한다.

을 향상된 영상의 DCT 계수라고 하고 n번째 주파수 벤드들의 향상된 영상의 DCT 계수들의 집합을 라고 하면 향상된 local contrast와 원본 local contrast의 관계는 아래와 같다.

여기서 λ는 energy scaling factor이며 λ가 1보다 클수록 local contrast가 향상된다. 위의 식을 간단히 정리하면 다음과 같이 될 수 있다.

여기서 이다. Rn은 향상된 DCT 계수들의 에너지 합과 원본 DCT 계수들의 에너지 합의 비율이며 주파수 벤드들의 에너지 비율을 반복적으로 축적함으로써 계산할 수 있다. 식 (6)에 따라 local contrast 가 향상된 영상의 DCT 계수는 원본 DCT 계수들로부터 아래와 같이 유도될 수 있다.

낮은 주파수 성분은 블록의 전체적인 밝기에 영향을 주므로 낮은 주파수 성분에 갑작스러운 변화를 주면 block artifact라고 불리는 부자연스러운 artifact가 발생한다[7]. 이러한 block artifact를 줄이기 위해서 Lee는 8 × 8 block의 경우 세 번째 이하의 주파수 벤드에 대해서 에너지의 변화를 주지 않았다. 그러므로 block artifact가 발생하지 않는 multiband energy scaling 방법에 대한 식은 다음과 같이 된다

여기서 N 은 block의 크기이며 λ는 일정한 상수값을 사용하였다.

그림 1에서 보면 기존의 방법은 주파수 벤드를 다이아몬드 모양으로 형성하므로 식 (8)에 따라 에너지를 조절할 때 주파수 에너지가 대각선 방향으로만 조절된다. 그러므로 수직이나 수평방향의 신호에 대해서는 edge 부근에서 값이 지나치게 변화하여 ringing artifact가 발생한다. ringing artifact는 원본 edge방향의 수직 성분이 강조되어 나타나며 가시성이 높아 원본의 edge보다 더욱 두드러지게 보인다. 이 문제를 해결하기 위해서는 신호의 방향에 따라 에너지를 조절해야 한다. 또한 식(8)을 보면 기존의 방법은 λ을 모든 주파수 벤드에 일정한 상수 값을 사용하였다. 결국 신호의 에너지 정도에 따라 Rn이 변화하므로 인간 시각 특징을 고려하지 않은 채 신호 특징만을 고려한 것을 알 수 있다. 그러므로 인간 시각 특징을 고려하기 위해서는 주파수 벤드 별로 λ값을 조절해야 한다.

 

Ⅲ. 제안하는 multiband energy scaling

1. 신호 특징을 고려한 multiband energy scaling 방법

본 절에서는 원본 신호의 방향에 따라 주파수 에너지 성분을 조절하여 ringing artifact를 발생시키지 않는 multi-band energy scaling 방법을 소개한다. DCT 영역의 성분들은 주파수 정보뿐만 아니라 각 방향에 대한 정보를 가지고 있으며 ringing artifact는 DCT에서 방향에 대한 정보를 고려 하지 않아 발생한다. 예를 들면 수직의 edge 신호에서 수평방향에 대한 주파수 성분을 증가시키면 ringing artifact가 발생 된다. 그러므로 ringing artifact를 발생시키지 않으려면 신호의 방향을 측정하고 방향에 해당하는 주파수 성분만을 증가시켜야 한다. 이전의 연구들에서 block gradient가 block내의 이미지 신호의 방향을 예측하는 데에 충분한 정확도를 가지고 있는 것이 입증되었다[9][10]. 본 논문은 block내의 이미지 신호의 방향을 예측하기 위하여 block gradient를 사용하였다. N × N block에서 신호의 방향을 측정하기 위하여 아래와 같이 block gradient를 사용할 수 있다.

여기서 ▽ver, ▽hor 을 각각 수직, 수평 방향의 block gradient라고 하고 을 각각 수직, 수평 방향의 단위벡터라고 하면 block gradient는 block을 반으로 나누어 각각의 합의 변화로부터 구할 수 있다. 즉. 수평 block gradient 는 아래와 같이 구할 수 있다.

수직 block gradient는

이다. [10]에서 소개한 바와 같이 block gradient는 DCT 계수들로도 구할 수 있다. 예를 들면 8 × 8 block의 각 방향에 대한 block gradient는 다음과 같이 계산된다.

DCT에서는 수직, 수평 방향에 대해 각각 계산할 수 있으므로, DCT 계수를 수직과 수평방향으로 나눈다. 을 각각 uth 수직, vth 수평 주파수 벤드라고 하면 는 각각

이 된다. 또한 uth, vth에 대해 향상된 주파수 벤드의 DCT 계수들의 벡터를 각각 라고 하면 식(6)으로각 방향에 대한 향상된 신호는 아래와 같이 얻을 수 있다.

여기서 는 각 방향에 대한 에너지 비율이며 에 대한 계산은

이다. 그러면 식(7)으로부터 각 방향에 대한 향상된 영상신호의 DCT 계수는

이다.

위에서 구한 각 방향에 대한 block gradient를 방향에 따른 가중치로 식(13)에 사용하면 신호의 방향에 따라 에너지를 조절할 수 있다. 따라서 신호 방향에 적응적으로 에너지가 조절된 DCT 계수는 다음과 같이 표현될 수 있다.

여기서 이다. 원본 신호가 완전한 수평향방의 성분만을 가졌을 때 방향에 대한 가중치는 이며 수직방향의 신호에 대해서는 반대의 가중치를 가지게 된다. 만약 이미지 신호의 방향이 대각선이면 두 방향에 대한 가중치는 모두 1/2이 된다.

그림 2는 기존의 multiband method과 제안한 방법으로 화질이 향상된 영상을 비교해 놓았다. 그림 2의 (b)는 기존의 방법으로 ringing artifact를 발생하였지만 제안한 방법인 그림 2의 (c)에서는 신호의 방향에 따라 에너지를 증가시켰기 때문에 ringing artifact를 시각적으로 감지하기 어렵다. 이에 본 절에서는 신호의 특징인 신호 방향을 고려한 영상의 화질 향상 방법을 소개하였다.

그림 2.DCT 영역에서 에너지 향상 방법 비교 (a) 원본 영상의 block gradient, (b) 기존의 에너지 향상 방법[12], (c) 제안하는 방법 Fig. 2. Comparison of the energy scaling methods in DCT domain (a) Original image with block gradient, (b) The existing energy scaling multiband[8] and (c) The proposed method

2. 인간 시각 특징을 고려한 multiband energy scaling 방법

인간의 시각은 망막에 분포되어 있는 광수용기(photo-receptor)를 통해 정보를 인식한다. 광수용기의 생리적 특징에 의해 광수용기의 감각적 민감도는 신호의 주파수 성분에 따라 다르게 나타나며 중간 주파수에서 가장 민감하게 반응한다[1]. 그림 3에서처럼 광수용기의 생리적 주파수 민감도는 contrast sensitivity function(CSF)에 의해 모델화 되어 있다[3][4]. CSF에 따르면 인간의 눈은 중간주파수 대역에서 가장 민감하게 반응하며 높은 주파수 대역에서는 민감도가 낮다. 그러므로 영상 신호의 스펙트럼 모양을 CSF에 따라 다른 주파수 대역에 비해 상대적으로 중간 주파수 대역을 증가시키면 인간 시각에 선호되게 영상의 화질을 향상시킬 수 있다. 그러므로 본 절에서는 contrast sensitivity function(CSF)을 이용하여 인간 시각의 주파수의 민감도를 구현하였다. 주파수의 민감도를 multiband energy scaling 방법에 적용하기 위해서는 energy scaling factor(λ)를 모든 주파수 밴드에 대해 상수 값으로 유지하던 기존의 방법과 달리 CSF에 따라서 energy scaling factor(λ)의 값을 주파수 벤드마다 다르게 조절해야 한다.

그림 3.주파수에 따른 인간 시각 민감도 함수 Fig. 3. Contrast sensitivity function(CSF)

CSF는 연속적인 공간 주파수f(cycle/degree)로 측정된다. CSF는 아래와 같이 표현될 수 있다.

vd(pixel)는 시각 거리이고 d(pixel)가 거리일 때 연속적인 공간 주파수 f을 이산 정규화 주파수 fd로 다음과 같은 방법으로 변환할 수 있다[4].

여기서 conversion factor β는

이다. β는 인간의 눈으로부터 한 pixel이 가지는 최대와 최소 각도의 차이이며 그림 4는 이를 시각적으로 표현하였다. 연속 공간 주파수 f는 N × N DCT block에서 k번째 벤드의 이산 주파수에 따라 아래와 같은 관계를 가지고 있다.

그림 4.인간의 눈과 픽셀간의 물리적 특징 Fig. 4. Physical property between human eye and pixel

(19)에서 거리에 따른 특성을 제하면 d = 0 이 되고 β = 2tan-1(1/2vd) 된다. 그러므로 식(17)에 식(20)을 대입하면 N × N DCT 에서 CSF는

이 된다.

주파수 민감도를 구현하기 위해서 energy scaling factor (λ)를 CSF에 따라 조절하였다. blocking artifact를 막기 위해서 낮은 주파수 벤드에서는 energy를 유지해야 하므로 낮은 주파수 벤드에 대해서는 energy scaling factor(λ)를 1로 정하였다. 그러므로 energy scaling factor는 아래와 같이 될 수 있다.

여기서 αk는 k번째 주파수 벤드에 대한 가중치이다. 본 논문에서는 CSF에 따라 인간 시각 특징을 구현시키기 위해 αk의 값을 중간 주파수에 대해서는 1보다 큰 값을 가지게 하였고 반면에 높은 주파수에 대해서는 1보다 작은 값을 가지게 하였다. 이에 본 절에서는 인간 시각 특징을 고려한 영상의 화질 향상 방법을 소개하였다.

3. 신호 특징과 인간 시각 특징을 고려한 multiband energy scaling 방법

지금까지는 신호 특징을 고려한 영상 화질 향상 방법과 인간 시각 특징을 고려한 영상 화질 향상 방법을 각각 소개하였다. 본 논문에서 제안하는 신호 특징과 인간 시각 특징을 모두 고려한 영상 화질 향상 방법을 구현하기 위해서는 먼저 식(13)과 식(22)에 의하여 인간 시각 특징을 고려한 에너지가 향상된 주파수 성분을 수평과 수직의 각 방향에 대해서 구해야 한다. 식은 아래와 같이 나타낼 수 있다.

식(23)에서 구한 인간 시각 특징에 따라 에너지가 향상된 수평과 수직의 주파수 성분들을 식(14)에 대입하면 신호의 특징을 고려한 주파수 성분을 구할 수 있다. 그러므로 결과적으로 얻게 되는 에너지가 향상된 주파수 성분은 신호 특징과 인간 시각 특징을 모두 고려한 것이 된다.

본 논문에서 제안하는 전체적인 흐름도는 그림 5.과 같다. 원본 영상이 입력되면 식(22)에 의해 먼저 energy scaling factor(λ)를 구한다. λ는 인간 시각 특징을 나타내는 것이므로 하나의 영상을 처리하는 동안 일정한 값으로 유지된다. 본 논문에서 제안하는 영상 화질 향상 방법은 DCT 처리를 위해서 block 별로 신호를 처리하며 각각의 block 별로 block gradient를 계산하여 신호의 방향을 측정하고 위에서 구한 λ로 multiband energy scaling 방법을 사용하여 수직, 수평의 각 방향에 대해 향상된 DCT block을 구한다. 그리고 신호의 방향에 따라 가중치를 두어 향상된 DCT block을 구하고 역변환하여 최종적으로 화질이 향상된 영상을 얻는다.

그림 5.흐름도 Fig. 5. Flow chart

 

Ⅳ. 실험 및 논의

본 논문에서는 DCT block 크기를 CIF보다 해상도가 높은 경우는 16 × 16 block을 사용하였고 CIF 이거나 그보다 해상 도가 작은 경우 8 × 8 block을 사용하였다. αk는 block 크기에 따라서 8 × 8 block의 경우 {αk} = {1,1,1,2,2,2,0.5,0.5}을 사용하였고 16 × 16 block의 경우 {αk} = {1,1,1,1,1,1,2,2,2,2,2,2,0.5,0.5,0.5,0.5}을 사용하였다. 개발한 방법의 화질 향상 정도를 증명하기 위해 MOS를 사용하였다. 동일한 TV 두 개를 나란히 하였고 처리된 영상과 원본 영상을 무작위로 배치하였다. 실험자와 TV와의 거리를 약 2m로 하였다. 총 25명의 실험자에게 실험을 진행하였고 ITU-R BT.500-11에서 제안하는 방식에 따라 MOS 실험을 하였다[11]. MOS의 신뢰도는 95%로 정하였다. [-3,3]의 범위에서 화질 평가를 하였으며 0은 처리된 영상과 원본 영상과 같다는 의미이고 –3은 처리된 영상이 원본 영상보다 화질이 상당히 저하되었다는 의미이다. 그리고 3은 처리된 영상이 원본 영상보다 상당히 좋아졌다는 의미이다.

표 1를 보면 기존의 multiband energy scaling 방법에 비해 제안하는 방법이 화질이 좋아졌다는 것을 수치적으로 알 수 있다. 그림 6의 (b)를 보면 수직 방향의 edge에서 ringing artifact가 발생한 것을 알 수 있다. 이는 원본 신호의 방향을 고려하지 않고 신호 에너지를 강조하였기 때문 이다. 그림 6의 (c)를 보면 원본 신호의 방향을 고려하여 신호 에너지를 강조하였기 때문에 ringing artifact가 보이지 않으면서 edge가 선명해진 것을 알 수 있다. 그림 7의 (b) 보면 기존의 방법은 여자의 얼굴과 옷에서 원본 영상에는 없던 노이즈가 발생한 것을 알 수 있다. 이는 CSF에 따라 신호 에너지의 스펙트럼을 조절하지 않고 모든 주파수 대역의 에너지를 일정하게 증가시켰기 때문이다. CSF에 따라 신호 에너지의 스펙트럼을 조절하여 화질을 향상시킨 그림 7의 (c)를 보면 원본 영상에는 없는 노이즈가 발생하지 않으면서 영상의 texture와 edge가 선명해진 것을 알 수 있다.

표 1.기본의 방법과 제안하는 방법에 대한 MOS 실험 Table 1. MOS test between the conventional method and proposed method

그림 6.“boat” 영상에 대한 결과 비교 (a) 원본 영상, (b) 기존의 multiband energy scaling 방법[8], (c) 제안하는 방법 Fig. 6. Comparison in results of “boat” (a) Original image, (b) The existing multiband energy scaling method[8], (c) The proposed method

그림 7.“woman” 영상에 대한 결과 비교 (a) 원본 영상, (b) 기존의 multiband energy scaling 방법[8] (c) 제안하는 방법 Fig. 7. Comparison in results of “woman” (a) Original image, (b) The existing multiband energy scaling method[8], (c) The proposed method.

제안하는 방법은 기존의 multiband scaling 방법에 비하여 block gradient를 구하는 과정이 추가되었고, 기존의 방법이 한 방향으로만 주파수 대역별 에너지를 구하는 것에 비해 수직, 수평의 두 방향에 대해 주파수 대역별 에너지를 구하는 것이 추가 되었다. block gradient를 측정하는 데 필요한 계산량은 화소당 덧셈 연산이 0.094개 그리고 곱셈연산이 0.125개이다. 수직, 수평 방향에 대해 주파수 대역별 에너지를 구하는 계산 과정이 기존의 방법에 비하여 추가되는 계산량은 화소 당 덧셈 연산이 0.984개 곱셈 연산이 2.906개, 그리고 root 연산이 0.047개이다. 그리고 CSF에 따라 λ를 구하는 과정은 입력 영상의 해상도에 따라 이미 결정되어있는 값이므로 계산량에 추가되지 않는다. 결과적으로 기존의 방법에 비해 추가되는 총 계산량은 화소당 덧셈 연산 1.078개 곱셈 연산 3.03개, 그리고 root 연산 0.047개이므로 계산량 증가는 매우 미미하다. 실제로 제안 하는 방법을 Intel(R) Core(TM) i5-2500 CPU의 컴퓨터에서 실행하였을 때 HD영상을 0.01sec이내에 처리한다.

 

Ⅴ. 결 론

본 논문은 주파수에 따른 민감도를 실현시키는 신호 처리 기법을 소개하였다. 본 논문은 DCT 영역에서 신호의 방향에 따라 에너지를 조절하여 ringing artifact를 발생시키지 않는 multiband energy scaling 방법과 원본 이미지의 스펙법을 개발하였다. 그러므로 본 논문에서 제안하는 방법은 영상의 신호의 물리적 특성에 따라, 인간 눈의 생리적 특성에 따라 영상을 향상시킬 수 있다.