Elaborate Image Quality Assessment with a Novel Luminance Adaptation Effect Model

새로운 광적응 효과 모델을 이용한 정교한 영상 화질 측정

Abstract

Recently, objective image quality assessment (IQA) methods that elaborately reflect the visual quality perception characteristics of human visual system (HVS) have actively been studied. Among those characteristics of HVS, luminance adaptation (LA) effect, indicating that HVS has different sensitivities depending on background luminance values to distortions, has widely been reflected into many existing IQA methods via Weber's law model. In this paper, we firstly reveal that the LA effect based on Weber's law model has inaccurately been reflected into the conventional IQA methods. To solve this problem, we firstly derive a new LA effect-based Local weight Function (LALF) that can elaborately reflect LA effect into IQA methods. We validate the effectiveness of our proposed LALF by applying LALF into SSIM (Structural SIMilarity) and PSNR methods. Experimental results show that the SSIM based on LALF yields remarkable performance improvement of 5% points compared to the original SSIM in terms of Spear rank order correlation coefficient between estimated visual quality values and measured subjective visual quality scores. Moreover, the PSNR (Peak to Signal Noise Ratio) based on LALF yields performance improvement of 2.5% points compared to the original PSNR.

인간 시각 체계(Human Visual System: HVS)의 영상 화질 인지 특성을 정교하게 반영하는 객관적 영상 화질 측정(Image Quality Assessment: IQA)방법들이 최근 활발히 연구되어 왔다. 이와 관련된 HVS의 특성 중, 광적응(Luminance Adaptation: LA)효과는 HVS의 왜곡에 대한 민감도가 영상 배경 밝기에 따라 달라지는 특성을 가리키며, 이 효과는 베버의 법칙(Weber's law) 모델을 통해 많은 IQA 방법들에 반영되어져 왔다. 본 논문에서는 처음으로 이러한 베버의 법칙 모델을 기반으로 하는 기존 IQA 방법들이 LA 효과를 부정확하게 반영해 왔다는 점을 수학적/정신물리학적 분석을 통해 밝힌다. 이러한 분석을 기반으로 우리는 IQA 방법에 LA 효과가 정교하게 적용될 수 있는 새로운 LA 효과 기반 국부 가중치 함수(LA effect-based Local weight Function: LALF)를 제안한다. 우리는 제안 LALF를 SSIM(Structural SIMilarity) 및 PSNR 척도(metric)에 적용하여 제안 방법의 효과를 검증하였다. 실험 결과, LALF가 적용된 SSIM은 기존 SSIM 대비 측정된 주관적 화질 점수와의 스피어 랭크 순위 상관계수 기준 약 5% 포인트가 향상될 정도로 제안 방법의 큰 효과성을 입증하였다. 또한, 제안한 LALF는 PSNR에 적용된 경우에도 기존 PSNR 대비 약 2.5% 포인트의 성능 향상을 보였다.

Ⅰ. 서 론

영상의 화질을 객관적으로 측정하는 알고리즘은 영상처리 및 컴퓨터 비전 분야에서 매우 중요하게 사용된다[1]. 예를 들어, 객관적 영상 화질 측정(Image Quality Assessment: IQA) 방법은 영상 처리 및 컴퓨터 비전 알고리즘을 통해 획득된 복원 영상의 화질을 쉽고 빠르게 측정하기 위한 척도로 사용된다[2][3]. 또한, 객관적 IQA 방법은 영상 복원 문제에 있어서 인지적으로 높은 화질 영상을 복원할 때 영상화질 최적화 문제의 목적함수 또는 사전지식으로 사용되거나, 계산 복잡도를 줄이기 위한 국부-선택적인 영상복원 방법에 적용될 수 있다[4][5].

객관적 영상 화질 측정 방법은 참조 영상 정보의 사용가능성 정도에 따라 완전 참조(Full-Reference: FR) IQA 방법, 감소 참조(Reduced-Reference: RR) IQA 방법, 무 참조(No-Reference: NR) IQA 방법으로 나뉜다[6]. 본 논문에서는 완전 참조 IQA(FR-IQA) 방법만을 다룬다.

PSNR(Peak to Signal Noise Ratio) 및 MSE(Mean Squared Error)는 대표적인 완전 참조 방법으로, 계산이 간단하고 최적화 문제에 적용하기 좋은 수학적 특성들 (예를 들어, 유효 거리 척도성, 미분가능성 및 볼록성)을 가지고 있기 때문에 널리 이용되어 왔다. 그러나 이러한 객관적 FR-IQA 방법은 신호의 통계적 특성에만 의존할 뿐 인간 시각 체계(Human Visual System: HVS)의 인지 화질 특성을 반영하지 않기 때문에, 주관적 화질과의 상관관계가 높지 않다[1].

이를 극복하기 위해, 최근 SSIM(Structural SIMilarity)을 포함하여 왜곡 영상에 대한 주관적 인지 화질과 상당히 높은 일관성을 가지는 FR-IQA 방법들이 활발히 연구되어 왔다[6]-[10]. 이 중 많은 방법들이 배경 밝기에 대한 왜곡 인지 민감도 변화 특성을 반영하기 위해 베버의 법칙(Weber’s law)을 따르는 광적응(Luminance Adaptation: LA) 효과 모델을 도입하였다[6]-[9]. 베버의 법칙은 인간시각 체계(Human Visual System: HVS)의 영상 신호에 대한 인지 왜곡민감도가 영상의 배경 밝기에 따라 달라지는 특성을 규정하는 것으로써[11] 식 (1)과 같이 모델링 된다.

여기서 δ는 상수이며, ΔL =Ly – Lx는 영상의 원본 신호의 광도(Lx)와 왜곡 신호의 광도(Ly)에 대한 HVS의 최소인지 가능 광도 차이의 크기이다. 식 (1)에서 ΔL은 최소가지차(Just Noticeable Difference: JND) 임계치라고도 하며, 이때 JND 임계치는 HVS가 JND 임계치보다 낮은 왜곡은 인지하지 못한다는 물리적 의미를 가진다[11]-[15]. 식(1)은 배경 신호의 광도가 커질수록 JND 임계치도 증가한다는 것을 의미한다. 본 논문에서 우리는 기존의 많은 FR-IQA 방법들에 도입된 베버의 법칙 기반 LA 효과 모델들이 실제 LA 효과를 부정확하게 반영하고 있다는 것을 처음으로 제기하며, 그 이유는 아래와 같은 근거로 정리된다.

그림 1은 대표적인 FR-IQA 방법인 SSIM이 LA 효과를 잘 반영되지 못한다는 것을 단적으로 보인다. 우리는 그림 1에서, 배경 영역(bg) 과 중심 영역(R1) 으로 구성된 3개의 단순한 테스트 영상(그림. 1-(a), -(b), -(c))을 사용했다. 여기서 3개 테스트 영상의 배경영역(bg)은 공통적으로 8비트-심도 영상 포맷 기준 127의 평균 픽셀 강도 값(μ)을 가지며, 중심 영역(R1)은 그림 1-(a), -(b), -(c)에서 각각 μ = 10, 75, 245의 값을 가지도록 설정 하였다. 각각의 테스트 영상의 중심 영역(R1)에 인공 백색 가산 가우시안 노이즈(pseudo-Addictive White Gaussian Noise: AWGN)를 삽입하였다. 그림 1-(d), -(e), -(f)는 각각 그림 1-(a), -(b), -(c)로부터 동일한 SSIM 값, 즉 SSIM = 0.9348이 되도록 AWGN을 삽입한 그럼이다. 그림 1-(d), -(e), -(f)에서 보듯이, 3개 왜곡 영상은 동일한 SSIM 값을 가짐에도 불구하고 R1에서 μ = 75의 값을 가지는 그림 1-(e)와 R1에서 μ = 245의 값을 가지는 그림 1-(f)에서는 왜곡이 쉽게 인지되지만, R1에서 μ = 10의 값을 가지는 그림 1-(d)에서는 왜곡이 상대적으로 덜인지된다. 따라서이그림은SSIM이 LA 효과를정교하게 반영하고 있지 못하고 있다는 것을 명확히 보여준다. 이러한 현상은 대부분 FR-IQA 방법에서도 비슷하게 관찰된다.

그림 1.LA 효과가 SSIM에 잘 반영되지 못했다는 것을 보이는 단적인 예 Fig. 1. An simple example for the case that LA effect is not well-reflected into SSIM

본 논문은 위에서 언급한 베버의 법칙 기반 LA 효과 모델이 기존 많은 FR-IQA 방법에 있어서 부정확하게 반영되어 왔다는 점을 보이고, 이에 대한 깊은 분석을 통해 효과적인 해결 방법을 제안한다. 즉, 본 논문은 아래의 2가지 새로운 내용을 포함한다.

본 논문은 다음과 같이 구성된다. 2장은 SSIM을 포함하는 많은 FR-IQA 방법들에 베버의 법칙 기반 LA효과가 반영되어 있다는 것을 수학적으로 증명한 다음, 수학적/정신 물리학적 분석을 통해 이러한 베버의 법칙기반 FR-IQA 방법들이 실제 LA 효과를 정교하게 반영하지 못한다는 점을 보인다. 3장에서는 2장의 문제를 해결하기 위해 LALF를 제안하며, 이 방법은 FR-IQA 방법에 LA효과가 정교하게 적용될 수 있도록 한다. 4장은 제안하는 LALF를 검증하기 위해 제안 LALF를 SSIM과 PSNR에 결합하여 주관적 화질 예측 성능실험을 수행한다. 5장은 본 논문의 결론을 맺는다.

 

Ⅱ. 관련 연구

1. SSIM의 구조 리뷰

SSIM은 FR-IQA 방법 연구에 있어서 하나의 이정표(mile stone)로 평가되어진다[1]. 왜냐하면, 이 방법은 ‘HVS는 영상의 구조적 정보를 추출하는데 상당히 적응되어 있다’는 새로운 가정과 원본과 왜곡 신호 간 새로운 유사도 측정 모델을 기반으로 기존 FR-IQA 방법들이 보였던 영상화질 예측 성능을 괄목할 만한 수준으로 향상 시켰기 때문이다[7]. 위에서 언급한 SSIM의 HVS 특성에 대한 새로운 가정과 유사도 측정 모델은 많은 FR-IQA 방법들에도 동일하게 도입되어 왔기 때문에[8]-[10], 본 논문에서는 SSIM의 구조를 먼저 고찰한다. SSIM은 HVS의 광도(luminance), 대비(contrast), 구조(structure) 특징과 관련된 3개의 구성요소들에 대한 유사도 측정 모델들의 곱으로 국부(local) SSIM 값을 측정한다. 원본 영상 X와 왜곡 영상 Y에 대한 국부 영상들 x∈X, y∈Y의 국부 SSIM 값은 식 (2)와 같이 계산된다.

여기서 l(·), c(·), s(·)는 각각 광도, 대비, 구조 대한 유사도 측정 모델을 의미한다. 광도에 대한 유사도 측정 모델은 다음과 같다.

여기서μx, μy는 각각 x와 y의 평균 픽셀 강도값을 의미하며, C1는 l(·)의 분모가 0이 될 때의 불안정한 결과를 억제하기 위해 도입한 안정화 상수이며, C1=(0.01·M)2의 값을 가진다[7](여기서 M은 영상 픽셀강도의 동적범위). 식 (3)의 l(·)은 μx와 μy가 동일할 때 1의 값을 가지며, μx, μy간 상대적인 값의 차이가 클수록 l(·)은 감소한다. 식 (2)의 c(·)와 s(·)는 아래와 같은 식으로 결합된다.

여기서σx, σy는 각각 x와 y의 표준 편차값을 의미하며, σxy는 x와 y간 PLCC(Pearson linear correlation coefficient)이다. 식(4)의 C2는 식 (3)의 C1과 마찬가지로 cs(·)의 분모에 대한 안정화 상수이며, C2=(0.03·M)2의 값을 가진다[7]. 왜곡 영상 Y의 전체 국부 영상에 대한 최종 SSIM 값은 모든 국부 SSIM 값을 아래와 같이 평균으로 풀링(pooling)함으로써 얻어진다.

여기서 j는 하나의 전체 영상에서 j-번째 국부 영상의 색인이며, J는 하나의 전체 영상이 가지는 국부 영상의 총 개수를 의미한다.

2. SSIM에 반영된 베버의 법칙

SSIM에서 사용되는 식 (3)의 광도 유사도 측정모델은 다른 많은 FR-IQA 방법에서도 동일하게 사용된다[7]-[9]. 우리는 우선 이러한 FR-IQA 방법들이 베버에 법칙을 반영하고 있다는 사실을 수학적으로 증명한다. 이를 위해, 식 (3)에서 C1이 μx2 보다 상대적으로 매우 작은 값이라고 가정한다(즉 C1 / μx2≈0). 식 (3)의 μy를 μy = μx +Δμ으로 치환한 다음 재정리하면 아래와 같은 식 (6)이 도출된다.

여기서 l(·)이 고정된 값일 때 Δμ/μx 또한 상수여야 하므로 (식 (1)에 따라 Δμ/μx가 상수일 때 베버의 법칙 성립), SSIM을 포함한 많은 FR-IQA 방법들은 베버의 법칙을 따른다고 할 수 있다.

3. 기존 FR-IQA 방법에 반영된 LA 효과의 부정확성 원인 분석

식 (3)의 광도 유사도 모델은 실제로 LA 효과를 잘 반영하지 못할 수 있다. 본 논문은 그 이유를 2가지로 분석했다. 첫 번째 이유는, 베버의 법칙 모델은 실제로 다양한 광도에서 측정된 JND 임계치(왜곡 가시성 임계치)를 정교하게 예측하지 못하기 때문이다. Frese는 이러한 사실을 정신 물리학 실험을 통해 증명했다[16]. Frese는 더 나아가 이를 해결하기 위해 제곱 법칙 (power low) 모델을 새롭게 제안하였고, 제안한 제곱 법칙 모델이 정신 물리학 실험을 통해 측정한 다양한 광도에서의 JND 임계치를 상당히 잘 예측한다는 것을 보였다[16]. Frese가 제안한 제곱 법칙 모델은 아래 식 (7)과 같다.

여기서η, ξ, LRef는 모두 양의 값을 가지는 상수이다. 따라서 식 (1)의 베버의 법칙과 비교해 볼 때, 베버의 법칙에서 는 ΔL/Lx가 상수인 반면, 제곱 법칙에서는 ΔL/Lx가 Lx에 대한 단조감소 함수로써 나타난다.

두 번째 이유는, 대부분의 FR-IQA 방법들은 픽셀 강도 영역(pixel intensity domain)에서 계산이 수행되지만, 베버의 법칙(또는 제곱 법칙) 모델은 광도 영역(luminance domain)에서 측정된 실험 결과에 의해 만들어진 모델이기 때문이다. 따라서, 광도 영역의 베버의 법칙(또는 제곱 법칙)은 픽셀 강도 영역에서는 부정확할 수 있다. 픽셀 강도 값과 광도 값은 감마 교정으로 인해 비선형의 관계를 가진다[12]. 이러한 관계는 감마 교정 함수에 의해 아래와 식 (8)과 같이 표현된다.

여기서 α, β, γ는 감마 교정 함수와 관련된 모수이다.

 

Ⅲ. 정교한 FR-IQA 방법을 위한 LA 효과 모델 제안

1. 픽셀 강도 영역에서의 LA효과 모델 유도

대부분의 FR-IQA 방법들이 픽셀 강도 영역에서 동작하기 때문에, 픽셀 강도 영역에서의 LA 효과 모델을 이론적으로 유도할 필요가 있다. 본 논문에서는 이를 위해 식 (7)의 제곱 법칙 모델과 식 (8)의 픽셀 강도-광도의 관계 함수를 이용한다. 식 (8)의 Lx와 μx에 각각 Lx +ΔL와 μx+Δμ를 대입한 다음, 1차 테일러 시리즈 확장(first-order Taylor series expansion)을 수행하면 아래 식 (9)가 도출된다.

여기서 식(7)의 ΔL를 식 (9)에 대입하고, 대입한 식에 다시 식 (8)의 Lx를 대입하면 아래 식 (10)과 같은 평균 픽셀 강도에서의 LA 효과에 대한 JND 모델(LA-JND 모델)이 도출된다.

여기서 a1, a2, a3, a4는 본 논문에서 유도된 제안 LA-JND 모델의 모수이다. 식 (10)에서 a2∉{0, 1}일 때 JND 값은 μx에 대해 비선형 곡선을 가진다.

우리는 식 (10)의 모수를 찾기 위해 [15]로부터 다양한 배경 픽셀 강도에 대해 측정된 JND값을 사용하였다. [15]에서 측정된 값에 대해 최소 자승법(least square solution)을 이용하여 식 (10)의 모수를 예측한 결과, a1 = -2.655, a2 = 0.9259, a3 = -1.709, a4 = 21.73을 얻었다. 그림 2는 [15]에서 측정된 다양한 배경 픽셀 강도에 대한 JND 임계치와 이에 맞춰진(fitted) 제안 LA-JND 모델의 곡선을 보인다. 그림 2에서 보듯이, 픽셀 강도 영역에서의 JND 임계치는 중간 크기의 배경 픽셀 강도(배경 밝기가 회색인 경우)에서 가장 낮은 JND 임계치를 가지며, 배경 픽셀 강도가 감소하거나 증가할수록(배경 밝기가 어둡거나 밝아지는 경우) 높은 JND 임계치 가지는 것을 확인할 수 있다. 이 결과는 HVS가 회색의 배경 영역에서 왜곡에 대해 가장 민감하고, 밝기가 어두워지거나 밝아질수록 왜곡에 대한 민감도가 감소한다는 것을 의미한다. 이러한 측정값은 광도 영역에서의 베버의 법칙모델이나 제곱 법칙모델로는 설명되어 질 수 없다. 반면 제안한 식 (10)의 LA-JND 모델은 [15]의 측정 결과를 매우 정교하게 맞추고 있는 것을 확인할 수 있다. 이는 우리가 유도한 LA-JND 모델이 픽셀 강도 영역에서 측정된 실제 JND값을 정교하게 반영할 수 있는 모델임을 의미한다.

그림 2.[15]에서 측정된 JND 임계치와 이에 맞춰진 식 (10)의 제안 LA-JND 모델 곡선 Fig. 2. The measured JND thresholds in [15], and their fitted curve by our LA-JND model in (10)

2. 제안하는 LALF

식 (10)의 유도된 LA-JND 모델을 FR-IQA 방법에 효과적으로 적용하기 위해, 우리는 LA 효과 기반 국부 가중 함수(LALF)를 제안한다. 이를 위해 우리는 우선 시각적으로 왜곡에 민감한 영상 국부 영역은 그렇지 않은 국부 영역보다 시각 인지 화질에 있어서 더욱 중요한 역할을 한다고 가정한다. 이는 합리적 가정으로서, 그 이유는 HVS가 시각적으로 왜곡에 민감한 영상 영역에서 왜곡을 더 쉽게 발견할 수 있기 때문이다[11]-[15]. 왜곡에 대한 시각 민감도는 왜곡-임계치의 역수에 비례하기 때문에[12], 제안하는 LALF는 영상 국부 영역(x)에 대해 아래 식 (11)과 같이 모델링 되었다.

여기서 b>0, p>0는 LALF의 모수이다. 원본 영상(X)과 왜곡 영상(Y)에서 j-번째 국부 영상 영역에 대한 LALF는 각각 wx, wy의 두 값을 가진다. 이 중 대표 값은 j-번째 국부 영상 영역에 대한 LALF 값 w(x, y)을 wx와 wy 중 큰 값으로 결정된다. 결과적으로, FR-IQA 방법이 국부 영역의 영상화질 예측 점수를 풀링할 때, LALF는 국부 영상 영역마다 왜곡 인지 민감도에 따른 적응적인 가중치를 할당함으로써 LA 효과를 효과적으로 FR-IQA 방법에 반영하게 된다. 제안하는 LALF기반 FR-IQA방법은 아래 식 (12)와 같이 표현된다.

여기서 f(·)는 FR-IQA 방법에서 국부영역에 대해 예측한 화질 점수 값(예를 들어, 식 (2)의 국부 SSIM)을 의미하며, W는 정규화 요소로 하나의 영상에 대한 모든 j =1, 2,..., J-번째 국부 영상 영역에서 w(x, y)값들의 총 합이다.

우리는 LALF의 효과를 확인하기 위해 실제 원본과 왜곡 영상의 쌍들에 대한 LALF 맵을 도시한다. 그림 2는 TID2008 데이터 세트[17]에서 획득한 두 쌍의 원본영상 영상(Xi ,여기서 i=1, 2 는 i-번째 영상에 대한 색인을 나타냄) 및 AWGN 왜곡 영상(Yi)에 대한 LALF 맵(Wi)을 보인다. 여기서 LALF 맵은 가시성 확보를 위해 최소값, 최대값의 범위가 [0,255]가 되도록 조절 되었다. 그림 2에서 각 영상의 동일한 위치에 존재하는 적색 사각형 영역들과 청색 사각형 영역들은 각각 LALF값이 상대적으로 작은 영역(어둡거나 밝은 밝기를 가지는 영역)과 LALF값이 상대적으로 큰 영역(중간 정도의 밝기를 가지는 영역)을 나타내며, 각각의 작은 박스 우측의 큰 박스는 작은 박스의 영상 영역을 확대한 그림이다. 그림 2의 원본 영상 (a), (d) 및 왜곡 영상 (b), (e)에서 보듯이, 중간 밝기를 가지는 영역(청색 박스 영역)의 왜곡은 어둡거나 밝은 밝기를 가지는 영역(적색 박스 영역)의 왜곡보다 시각적으로 더욱 확연히 인지되며, 결과적으로 이 영역들은 시각적 화질 열화 인지에 더 크게 기여한다. 그림 2-(c) 및 -(f)의 LALF 맵들(W1, W2)은 위에서 분석한 HVS의 시각적 왜곡 민감도 특성과 상당히 일관된 결과를 보이는데, 여기서 LALF는 시각적으로 왜곡에 둔감한 영역(적색 박스 영역)에 대해 상대적으로 낮은 값을 생성하며, 시각적으로 왜곡에 민감한 영역(청색 박스 영역)에 대해서는 상대적으로 높은 값을 생성한다. 따라서 제안하는 LALF는 HVS의 LA 효과를 FR-IQA 방법에 정교하게 반영할 수 있는 방법이 될 수 있다.

그림 2.원본영상 영상(Xi, 여기서 i=1, 2) 및 AWGN-왜곡 영상(Yi)에 대한 LALF 맵(Wi) Fig. 2. The LALF maps (Wi, where i=1, 2) obtained from the original images (Xi) and their AWGN-distorted images (Yi)

 

Ⅳ. 실험 결과

본 논문에서 제안하는 LALF의 성능을 검증하기 위해 주관적 화질 예측 성능 실험을 수행한다. 실험에 사용한 데이터는 TID2008 IQA 데이터로, 이는 25개의 참조 영상에 대해 17 종류의 다른 왜곡 종류를 가지는 총 1700개의 왜곡된 영상과 이 왜곡 영상에 대해 측정한 주관적 화질 점수값(Mean Opinion Score values)을 포함하고 있다[17]. 제안하는 LALF는 그 성능을 검증하기 위해 SSIM과 PSNR에 적용되었다. LALF가 적용된 SSIM과 PSNR은 원래의 방법들과의 구분을 위해 LA-SSIM, LA-PSNR으로 표기된다. SSIM의 경우 식 (3)의 광도 유사도 측정 모델이 부정확하게 LA 효과를 반영하고 있기 때문에, 광도 유사도 측정 모델을 LA-SSIM 계산에서 제거하였다. 본 논문에서는 실험적으로 LA-SSIM에 대한 LALF의 모수를 b=1.5×10-3, p = 1로, LA-PSNR에 대한 LALF의 모수를 b = p = 0.55으로 설정하였다.

성능 검증을 위해, 본 논문에서는 4개의 성능 지표를 도입하였다: SROC(Spearman Rank-Order Correlation coefficient), KROC(Kendall Rank-Order Correlation coefficients), PLCC(Pearson Linear Correlation coefficient), RMSE(Root Mean Squared Error). 여기서 SROC, KROC, PLCC는 IQA 방법을 이용해 예측한 화질 값과 실제 측정한 주관적 화질 값 간의 상관도를 나타내는 것으로, 클 값을 가질수록 IQA방법이 더 좋은 성능을 가진다고 할 수 있다. 반면 RMSE(Root Mean Squared Error)의 경우 IQA 방법으로 예측한 결과 값과 실제 측정한 주관적 화질 점수 간 평균 유클리디언 거리를 나타내는 것으로, 이 거리가 0에 가까울수록 IQA 방법이 주관적 화질 점수를 더 정확하게 예측한다고 할 수 있다. FR-IQA 방법의 예측된 값과 실제 측정한 주관적 화질 점수 간 단조-비선형 관계를 가질 수 있기 때문에, 로지스틱 회귀 모델[18]을 사용하여 예측한 화질값을 측정값 주관적 화질 점수에 매핑한 후 PLCC와 RMSE을 측정하였다. 4가지 성능 측정 지표 중, SROC가 FR-IQA 방법의 성능을 측정하기 위한 대표적인 성능 지표로 사용된다[6].

표 1은 TID2008 데이터베이스 상에서 기존 SSIM, PSNR과 제안하는 LA-SSIM, LA-PSNR의 성능 비교를 보인다. 여기서 기존 FR-IQA 방법과 LALF가 적용 된 제안하는 FR-IQA 방법 중 더 좋은 성능은 굵은 글씨로 강조되었다. 표 1. TID2008 데이터베이스 상에서의 기존 SSIM(PSNR)과 LA-SSIM (LA-PSNR)간 성능 비교 Table 1. Performance comparison on TID2013 database between SSIM (PSNR) and LA-SSIM (LA-PSNR) 표 1에서 보이듯이, 제안하는 LA-SSIM 및 LA-PSNR은 기존 SSIM 및 PSNR 대비 모든 성능 측정 지표들(SROC, KROC, PLCC 및 RMSE)에서 성능 향상을 보였다. 특히 SSIM의 경우, 기존 LA-SSIM 대비 SROC 기준 약 5% 포인트의 큰 성능 향상을 보였다. LA-PSNR의 경우도 마찬가지로 기존 PSNR 대비 SROC 기준 약 2.5% 포인트의 성능 향상을 보였다.

 

Ⅴ. 결 론

본 논문에서는 처음으로 기존 베버의 법칙 모델 기반 LA 효과 모델이 픽셀 강도 영역에서 부정확하게 동작하는 이유를 분석하고, 이 분석을 기반으로 새로운 픽셀 강도 기반 LA 효과 모델을 감마 교정 함수와 제곱-법칙 모델로부터 유도하였다. 유도한 픽셀 강도 기반 LA 효과 모델을 이용해 우리는 LA효과를 FR-IQA 방법에 정교하게 적용할 수 있는 LALF를 제안하였다. 제안하는 LALF의 효과를 검증하기 위해 제안 LALF를 SSIM과 PSNR에 적용한 다음 주적 화질 예측 성능 실험을 수행하였다. 실험 결과, 제안하는 LALF가 적용된 SSIM과 PSNR이 그렇지 않은 기존 방법들 대비 훨씬 더 강력한 주관적 화질 점수 예측력을 보였다. 이 결과는 제안하는 픽셀 강도 영역에서의 LA 효과 모델을 기반으로 하는 LALF로 인해 LA 효과가 FR-IQA 방법들에 매우 효과적으로 반영되었다는 것을 의미한다.