Image Adaptive LCD Backlight Boosting and Dimming For Perceptual Image Quality Enhancement

감성 화질 향상을 위한 이미지 적응형 LCD 백라이트 부스팅 및 디밍

Abstract

LCD backlight boosting and the integration of boosting and dimming are proposed based on image analysis to maximize perceptual image qualities and to reduce display system power. Based on the histogram of the image data, methods for selecting an image suitable for boosting and for adjusting the optimum backlight brightness are proposed. A comprehensive combined optimization method of LCD backlight boosting, dimming and bypass based on image characteristics is also described. Perceptual image quality enhancement and power consumption are evaluated based on well known image databases. Average subjective image quality is improved by 24.8%, RMS contrast is improved more than 20%, and average power consumption is reduced by 15.94% compared to conventional uniform boosting.

1. 서론

고화질 대형 UHDTV에서부터 노트북, 디지털 사이니지까지 다양한 기기에 LCD 패널이 사용되면서, 파워 소모를 낮추면서, 화질을 개선시키기 위한 백라이트 디밍을 통한 밝기 조절 방안에 대한 연구가 진행되어 왔다. 백라이트 디밍을 통해 파워를 낮추고화질 향상이 가능하였지만 백라이트 부스팅을 수행하거나, 백라이트 부스팅과 디밍의 복합적 조절을 통해 파워를 낮추면서 화질을 개선시킬 수 있는 통합조절 연구는 미비하였다.

백라이트 디밍을 위해서 그동안 다양한 방법들이 연구되어 왔다. 최대 픽셀 값 기반의 디밍[1]에서는 최대 밝은 픽셀을 기준으로 백라이트 밝기를 조절하여 클리핑(clippingartifact)를 최소화시키면서 파워감소가 가능하였다. 그러나 이미지에 포함되어 있는 노이즈에 의해 백라이트 조절이 제대로 수행되지 않거나, 특히 어두운 이미지일수록 노이즈에 의해 정확한 백라이트 조절이 불가능 하였다. 또한 H. Seetzen 등이 제안한 방법에서는 이미지의 평균 휘도의 제곱근을 바탕으로 백라이트 디밍하는 방법을 사용하였다[2]. 하지만 파라미터가 너무 단순하여 다양한 이미지에 따라 파워를 효율적으로 감소시키지 못했다.

따라서 백라이트 조절과 같이 클리핑(clippingarti-fact)를 없애는 픽셀 보상을 통해 이미지 특성에 맞도록 효율적으로 파워를 감소시키면서 화질개선이 가능한 백라이트 디밍 알고리즘[3] 방법 등이 연구되어 왔다.

디밍과 반대로 주변 환경에 따라 명암을 유지하기 위하여, 또는 감성 화질 측면에서 색역을 확장시키는 효과[4] 등의 고화질 향상을 위하여, 백라이트 부스팅이 필요하다. 부스팅시에는 백라이트 유닛의 파워와 온도를 제어하기 위하여 디밍과 같이 사용할 필요가 있다. 부스팅은 연구사례가 매우 적으나 기존 연구 결과를 살펴보면 다음과 같다.P.D.Greef 등이 제안한 방법에서는 디밍과 부스팅 각각의 알고리즘을 설명하고 있다[5]. 하지만 디밍과 부스팅 값을 통합적으로 최적화하는 방안은 제시되지 않았다.M.

Hammer 등이 제안한 방법에서는 RGBWLCD 패널에 있어서 채도와 밝기가 높은 픽셀 등을 표시하기 위하여 로컬 부스팅을 사용하고 있다[6]. 하지만 RGB를 사용하는 LCD의 경우,RGBW에 맞게 변환해야 하기 때문에 범용적으로 적용하는데 어려움이 있다.

T.H.Huang 등이 제안한 방법에서는 디밍에 의한 어두운 픽셀 부분의 인식이 어려운 문제를 해결하기 위하여 부스팅을 수행하여 디밍의 단점을 보완하였다[7]. 하지만 여기서 발생하는 후광효과(halo effect)를 보상하기 위해 양방향 필터(bilateral filter)를 사용하기 때문에 실시간 연산이 쉽지 않다는 문제가 있다. 모든 기존의 연구[5-7]는 사람의 감성을 바탕으로 하는 부스팅 화질의 최적화 측면과 실제 제품에 사용될 수 있는 실시간 연산처리 측면에서 부적합한 부분이 있다. 따라서 본 논문에서는 감성 화질을 바탕으로 부스팅을 선택적으로 적용하여 화질을 향상시키고, 디밍과 통합적으로 수행하여 전력 소모 역시최적화하는 방안을 제시하였다.

2절에서는 이미지 특성 기반의 부스팅 이미지 선정과 적합한 부스팅 최적화 조절방안에 대해 설명한다.3절에서는 이미지 특성 기반의 디밍 이미지 선정과 디밍 방안에 대해 설명하고,4절에서는 부스팅과디밍의 최적 통합 수행 방법에 대해 논의한다. 마지막으로, 5절에서는 제안된 부스팅 및 디밍 파워 소모측면에서 기존 방법과 비교하고, 주관적 화질 평가(eyetest)와 객관적 화질평가(RMS 명암비)를 통해 화질향상 정도를 평가하였다.

2. Image Analysis Based Boosting

부스팅은 Fig.1과 같이 백라이트 밝기를 증가시킴으로써, 이미지 픽셀값 차이에 따른 밝기차이가 커지게 되어 명암이 향상된다.C.S.Kim 등이 제안한 방법에서는 LCD의 명암을 향상시키기 위하여 픽셀의 최대, 최소값을 바탕으로 명암을 향상시켰으나[8], 최대 픽셀보다 더 높은 밝기를 표현할 수 없어명암 향상에 한계가 있다. 하지만 백라이트 부스팅을 사용하면 Fig.1과 같이 최대 픽셀보다 더 높은 밝기를 표현할 수 있기 때문에 명암 향상에 보다 효율적이다. 본 절에서는 이미지 특성에 따라 화질 향상이 가능한 부스팅 대상 이미지 선별 방안과 파워와 감성화질을 고려한 효율적 부스팅 조절방법에 대해 논의한다.

Fig. 1. Image enhancement by Backlight boosting.

2.1 부스팅에 적합한 이미지 선별

기존의 일률적인 백라이트 밝기를 증가시키는 부스팅[1]은 이미지 특성에 적합하게 백라이트의 밝기가 조절되지 않아 Fig.2와 같이 과도한 부스팅으로 색상이 바래지는 화질왜곡이 발생될 수 있으며, 후술되는 바와 같이 부스팅의 효율이 떨어져서 불필요한 파워가 소모된다. 따라서 부스팅을 수행할 경우, 화질 향상 정도와 효율성이 높은 이미지 특성 분석이 필요하다.

Fig.3을 보면, 우측 그래프는 부스팅에 따른 휘도증가를 나타낸다. 픽셀값이 클수록 \(\Delta l_{1}<\Delta l_{2}<\Delta l_{3}\)이 되어, 휘도 증가분, \(\Delta l\)이 증가한다. 이에 따른 실제 사람의 느끼는 밝기를 파악하기 위해 좌측의 밝기민감도 곡선(brightnesssensitivitycurve)[9]를 곱하게 되면 실제 느끼는 밝기 증가는 왼쪽 그래프와 같이 나타난다. 왼쪽 그래프의 \(\Delta l_{1}^{\prime}, \Delta l_{2}^{\prime}, \Delta l_{3}^{\prime}\)를 보면 알 수 있듯이 선형적으로 증가하지 않고, 특히, 휘도가 큰 픽셀은 밝기 민감도 곡선을 곱하게 되어 \(\Delta l_{3}\)가 \(\Delta l_{3}^{\prime}\)로 크게 감소하여 실제 사람이 느끼는 밝기가 휘도 증가를 전부 반영하지 못함을 알 수 있다.

Fig. 2. Image quality distortion for uniform excessive boosting. (a) adequate boosting, (b) uniformexcessive boosting.

Fig. 3. Perceived brightness with backlight boosting considering brightness sensitivity.

Fig.2와 같이 화질 왜곡이 발생하는 현상을 분석해 보면 다음과 같다. 휘도가 높은 지역 중에서도 최대 그레이 레벨 (8bit 픽셀의 경우 255)에 가까운 픽셀 값 범위 부분은 부스팅 후 밝기 민감도 곡선에 의해 압축 비선형성(compressivenon-linearity)[10]현상을 보이게 된다. 따라서 이 부분의 명암 차이가 줄어들어 화질 왜곡이 발생하게 된다. 따라서 위 현상의 대상이 되는 픽셀의 빈도를 반영하기 위한 이미지의 히스토그램 분석을 통해 화질 향상에 효율적인 이미지만을 대상으로 부스팅을 수행하여 화질 왜곡을 방지하고, 불필요한 파워를 감소시킬 수 있다. 어두운 이미지와 밝은 이미지를 부스팅할 경우, 앞서 설명된 부스팅시 화질 왜곡이 발생하는 부분을 제외한 최대 그레이 레벨에 픽셀이 많이 존재하는 밝은 이미지는 Fig.3에서 나타낸 바와 같이 어두운 이미지에 비해 밝기 향상 차이가 크게 나타나며, 수치적으로 식 (1)에 나타낸 바와 같이 사람이 느끼는 명암 향상 정도를 통하여, 화질향상 정도를 파악할 수 있다.

\(Perceived contrast enhancement \\=\frac{\text {Perceivedpixel value}_{\text {after}}}{\text {Perceived pixel value}_{\text {before}}}\\ =f(\text {brightness sensitivity, boostingratio})\)       (1)

식 (1)을 바탕으로 우선 높은 밝기 픽셀일수록 더욱 밝기 변화 폭을 크게 만들어, 더욱 큰 명암 향상이 가능하여, 높은 밝기 픽셀의 양을 정확하게 표현하기 위해 식 (2)와 같이 전체 픽셀 대비 높은 밝기 픽셀의 비율을 통해 부스팅 이미지를 선별하였다.

\(High brightness pixel ratio =\left(\frac{\text {Thenumber of high brightness pixels}}{\text {The number of total pixels}}\right)\)       (2)

앞서 설명한 바와 같이, 부스팅에 의한 사람이 느끼는 휘도 변화는 픽셀 값 차이만으로 결정되지 않는다. 따라서 식 (2)의 높은 밝기 픽셀 비율를 통한 높은밝기 픽셀 영역의 픽셀 정보와 더불어 픽셀값 영역별로 서로 다른 부스팅에 의해 향상되는 화질 정도를 고려함과 동시에 히스토그램의 연산량을 최소화시키기 위하여 Fig.4와 같이 3단계의 계조 구간으로 나눈다. 즉, 높은 밝기 픽셀 영역 외에 중간과 낮은밝기 지역를 고려하여 각 영역별 픽셀 수의 상대적인 비율을 식 (3)과 같이 정의하여 부스팅 대상 이미지를 선정하였다.

\(\text { Boosting Image Suitability Criteria}(B I S C)\\ =f( \text {High brightness pixelratio,}\\ \text{Mddle brightness pixel ratio, }\\ \text{Lowbrightness pixelratio})\)       (3)

위 세 구간은 부스팅에 의한 화질향상에 있어, Table 1과 같은 성질을 가지고 있으므로, 식 (3)에 의한 세 영역별 픽셀 수의 적합한 비율에 따라 부스팅 이미지를 선별한다. 구체적으로 식 (3)에 사용된높은/중간/낮은 밝기 픽셀 비율은 히스토그램 영역별 픽셀의 빈도수 비율을 통하여 Table1의 부스팅에 의한 화질 변화를 바탕으로 세 영역별 화질 개선 기여 정도를 산출하여 부스팅 대상 이미지를 선별한다. 식 (3)의 BISC(Boosting Image Suitability Criteria)방식을 바탕으로 Fig.5에 히스토그램 패턴을 분석하였다.

Fig. 4. 3 gradation area in histogram.

Table 1. Characteristics of brightness pixel area in histogram

Fig. 5. Histogram patterns for Boosting image selection. (a) Pattern 1, (b) Pattern 2, (c) Pattern 3

하지만 Fig.5에 점선으로 나타낸 히스토그램같이 패턴 2와 패턴 3의 높은 밝기 픽셀 분포가 픽셀의 최대값인 255(8-bit 픽셀의 경우)에 근접되어 많이 있을 경우, 워시 아웃(wash-out) 현상이 발생할 수 있어 주의할 필요가 있다. 이와 같은 현상을 Fig. 6에극단적인 경우로 나타냈다.

Fig. 6. Wash-out artifact with respect to brightness sensitivity

높은 밝기 픽셀 쪽에 위치하는 P1,P2가 부스팅에 의하여 P1’,P2’로 증가하여 밝기 민감도 곡선의 포화영역으로 이동한 경우,△P가 △P’로 이동하게 되어민감도가 작아져 명암이 손상되고 결과적으로 워시아웃(wash-out)이 발생한다.Fig.7에 이 같은 경우의 이미지에 대하여 부스팅을 수행한 경우의 이미지 결과를 원본과 비교하여 나타냈다.Fig.7(b)를 보면 Fig. 5(b)에 점선으로 나타낸 히스토그램 같은 모양을 보이고 있다. 그 결과 Fig.7(c)의 표시한 원 내부와 같이 워시 아웃(wash-out)이 발생한 것을 알 수 있다. 즉,Fig.5의 패턴 2와 3에서 높은 픽셀 분포가 최대값에 (8-bit 픽셀의 경우 255) 많은 분포 하는 경우, 부스팅 이후 사람의 눈이 높은 밝기에 대하여 명암 차이를 인식하지 못하여 오히려 화질이 저하된다.

따라서 Fig.5에 나타낸 부스팅에 적합한 이미지의 히스토그램 패턴특성을 보면, 밝기 민감도를 고려하여 중간 밝기 픽셀 비율이 상대적으로 상당히 높은 경우(패턴 1), 최대 그레이 레벨 지역을 제외한 높은밝기 픽셀 비율이 높은 경우(패턴 2), 낮은 밝기 지역에 상당수 픽셀이 존재하며 최대 그레이 레벨 지역을 제외한 높은 밝기 지역의 픽셀수가 많을 경우(패턴3)에 있어서, 전반적 밝기가 향상되어 부스팅 이미지로 적합하다. 이러한 히스토그램 그레이 레벨 영역별픽셀 비율을 Table2에 나타내었다.Table2에 기술된 그레이 레벨별 픽셀의 %는 실제 주관적 화질 평가(eyetest) 검증 결과를 기준으로 부스팅에 적합한 이미지에 해당하는 값을 나타내며, 디스플레이 패널이나 이미지에 따라 약간의 조정을 할 수도 있다.

Fig. 7. Analysis of an Image with wash-out. (a) Original image, (b) Histogram of original image (Pixel distributionis concentrated near the max pixel), (c)Enhanced image after boosting.

2.2 최적 부스팅 비율 조절

최적 백라이트 부스팅 조절을 위하여,2.1에서 설명된 부스팅에 적합한 선정 기준에 의한 이미지에 대하여, 파워 소모를 최소화하면서 화질을 극대화시키는 부스팅 조절을 수행할 필요가 있다. 이미지 프레임 내에서는 다양한 특성을 가진 블록이 존재하므로 구획화 현상(blockingartifact)를 고려하여 블록별로 부스팅 비율을 최적화시킬 필요가 있다. 기존에는 모든 이미지에 대하여 일률적이고 고정된 부스팅[1]을 수행하여, 이미지 블록에 따라 부적절한 백라이트의 밝기조절로 워시 아웃(wash-out)과 같은 화질왜곡이 발생할 수 있었다. 따라서 이미지의 특성을 정확하게 고려하여 부스팅 밝기조절을 제어하면서 화질을 개선시킬 수 있는 방안이 필요하다.

Fig. 8. Maximum quality and power efficiency boosting ratio.

이미지 특성에 따라 부스팅양을 조절하기 위해 원본 밝기 대비 향상된 밝기의 비율인 부스팅 비율을식 (4)와 같이 정의하였다. 부스팅 비율의 비율이 커질수록 이미지의 밝기가 향상되지만 이에 따라 파워소모가 커지고 화질왜곡이 발생할 가능성이 높다.

\(\text { Boosting Ratio }=\frac{\text { Boosted Backlight Brightness}}{\text {Original Backlight Brightness}}\)       (4)

Fig.8에 부스팅 비율에 따른 화질 향상 정도를 나타내었다. 부스팅에 의한 화질 향상은 높은 밝기에서 밝기 민감도의 저하 현상 등에 의하여, 밝기 포화

현상(saturation)이 발생한다[9]. 부스팅 비율을 이용하여 화질과 파워의 효율적인 향상을 위해, Fig. 8와같이 최대 화질향상 부스팅 비율과 최대 파워 효율부스팅 비율, 두 가지 최적화 방향으로 부스팅 비율을 설계하였다.

Table 2. Pixel ratio by BISC brightness area

Fig.8에 나타낸 바와 같이, 부스팅이 증가할수록 초기에는 기울기가 크다가 1.4-1.5 정도의 값에 도달하면, 기울기가 감소하게 된다. 이후부터는 효율이 감소하다가, 화질이 거꾸로 감소하게 된다. 최종 부스팅 비율은 백라이트 유닛의 물리적인 온도 제한에 의해 결정되어 백라이트의 밝기가 제한될 수 있으나, 이 경우는 적절한 방열판 설계에 의하여 해결될 수 있다고 가정하고 본 논문에서는 화질과 파워의 관점에서 최적화를 수행하였다.

Fig.9에 최대 화질 향상과 최적 파워 효율 부스팅비율 두 가지 측면을 고려하여 최적 부스팅 비율을 찾는 방법을 나타내었다.Step1에서 파워를 고려하여 명암 향상 최대화를 기준으로 이후 step2에서 밝기 포화와 4.2에서 후술하는 플리커(flicker) 최소화를 고려하여 최적 부스팅 값을 구한다.

2.2.1 최대 화질 향상 부스팅 비율

기존 부스팅 [1],[5-7]등에서 발생되었던 화질왜곡을 최소화하면서, 화질을 극대화하기 위해서 식 (4)에 따른 화질 왜곡현상을 최소화 하면서 부스팅을 최적화 한다.

2.2.2 최적 파워 효율 부스팅 비율

파워 효율을 극대화시키는 부스팅 비율은 현실적으로 소모 가능한 파워의 제한 또는 방열판 설계 등을 고려, 낮은 온도에서 백라이트 가 구동되어야 하는 조건이 매우 중요하거나 또는 사용자의 주관적 선호 또는 디스플레이 시스템의 운영비용을 최소화하여야 할 경우 등이 있다. 이 경우에는 이미 설명된 최적 화질 대신 최적 파워를 기준으로 부스팅 비율을 구할 필요가 있다. 따라서 파워 대비 화질향상 정도를 고려하여 부스팅으로 소모되는 파워 효율을 높일 수 있는 방법에 대해 논의한다.

Fig. 9. Image quality improvement boosting adjustment.

2.2.2.1 파워 효율 측정

부스팅 파워 효율을 평가하기 위해 부스팅 비율대비, 실제 향상된 픽셀의 밝기를 비교하여 식 (5)와 같이 파워 효율을 정의하였다.

  \(Boosting power efficiency =\frac{\text {Perceived brightness improvement ratio}}{\text {Boosting ratio}}\)     (5)

실제 이미지를 통해 부스팅 비율 별 부스팅 파워효율을 평가하여 Table3에 나타내었다. 부스팅 파워효율은 실제 이미지의 높은/중간/낮은 밝기 픽셀 비율과 Fig.6에 나오는 사람의 눈이 인식하는 밝기 곡선 및 감성적인 측면에 따라 다르게 된다. Table 3에 나타낸 바와 같이 일반적인 이미지의 부스팅에 따른 효과 측면에서의 파워 효율을 살펴보면, 부스팅 파워효율이 1.0x 부스팅 비율에서부터 1.6x까지 파워 효율이 증가하다가 1.8x 부스팅 비율에서 급격하게 떨어짐을 볼 수 있다. 따라서 파워 효율이 높은 1.6x주변의 부스팅 비율 값이 화질 향상 측면과 통합적으로 고려할 경우, 기존 일률적 부스팅에 비해 높은 파워 효율로 부스팅 효과를 얻을 수 있음을 알 수 있다.

2.2.2.2 블랙 레벨(Black level) 화질왜곡

부스팅에 의해 이미지 밝기가 향상되면 어두운 픽셀과 밝은 픽셀 모두 밝기가 향상 된다. 밝은 픽셀들은 원본과 밝기 차이가 커져 화질이 더욱 선명해지지만, 0 nits에 가까운 어두운 픽셀의 밝기 향상은 웨버의 법칙(Weber’s law)에 따라 인간의 시각이 어두운픽셀 밝기 향상에 더욱 민감하게 반응하고, 또한 Fig. 10에 나타낸 바와 같이 디스플레이 패널의 특성상어두운 부분에서 급격히 밝기가 향상되어 블랙 레벨의 화질 왜곡이 발생될 수 있다.Fig.10은 밝기 향상에 따라 디스플레이 패널의 실제 밝기를 나타내기 위하여 디스플레이 패널의 Konica-Minolta CA-210 측색기를 통해 측정된 감마 커브 결과로써 부스팅에 의한 실제 픽셀 밝기 변화를 나타낸다. 특히 Fig. 10의 어두운 영역인 0-50 그레이 레벨 구간에서 앞서 설명된 비선형적인 밝기 향상 변화가 발생하며, 이로 인한 화질 왜곡이 발생한다. 따라서 밝기가 비선형적으로 변하는 왜곡을 최소화하기 위해 부스팅 조절시 블랙 레벨의 밝기 변화 정도를 고려하여 Table 4와 같이 부스팅 비율을 감소시켜 화질 향상을 전반적으로 극대화시킬 필요가 있다.Table4의 블랙 레벨의 픽셀 분포 수는 시각적 밝기 변화 민감도를 수치적으로 고려한 것이다.Table4에서는 16x16 블록 단위, 최대 부스팅 비율 2를 기준으로 계산되었으며, 화질조절 정도는 다양한 응용 분야에 따라 조절 가능하다.

Table 3. Boosting optimization for power efficiency

Fig. 10. Display Gamma Curve according to brightness.

Table 4. Adjusting the brightness of dark areas 

2.2.3 Imageanalysisbasedboostingratio

앞 2.2.1절의 최적 화질향상 부스팅 비율과 2.2.2

절의 최적 파워 효율 부스팅 비율은 사용자의 선호도와 백라이트 유닛의 물리적 한계조건에 따라 통합적으로 고려되어 각각의 가중치를 조절하여 최적의 부스팅 비율을 결정하게 된다. 시각적으로 큰 화질 향상이 없을 경우, 부스팅 비율을 조절하여 파워를 낮추면서 화질을 향상시킨다.

\(Optimum boosting ratio \\=\alpha \times(\text {Optimum image quality boosting ratio}) \\+\beta \times(\text { Optimum power boosting ratio })\)       (6)

Fig.11에 최적 부스팅의 적용의 예를 나타내었다. Fig. 11(a)의 원본 이미지를 기준으로 Fig. 11(b)가 2.2.1과 2.2.2에 기술된 원본 이미지 분석에 따른 최적부스팅의 경우이다. 이에 비해 Fig.11(c)을 보게 되면 과다하게 부스팅했기 때문에 파워를 낭비하여 붉은 색 원과 같이 동일 지역 대비 화질이 저하된 경우를 나타내며, 본 논문에서 기술된 이미지 분석에 따른 효율적인 최적 부스팅이 중요함을 보여주고 있다.

Fig. 11. Image comparison with optimum boosting ratio and uniform boosting ratio. (a) Original image, (b) Optimumboosting ratio, (c) Uniform boosting ratio.

3. Image Analysis Based Dimming

백라이트 디밍은 부스팅과 반대로, 어두운 이미지의 경우, 백라이트 밝기를 낮추고 픽셀 보상을 수행하여 파워를 감소시킨다. 또한 어두운 부분의 빛샘현상(lightleakage)로 인한 화질저하를 개선시킬 수 있는 장점이 있다. 이미지 특성에 맞도록 효율적으로 파워를 감소시키면서 화질개선이 가능한 디밍 방법[3]을 식 (7)과 식 (8)에 나타내었다.

\(B L=A v g + correction\)       (7)

\(\text { correction }=\frac{1}{2}\left(\text { Dif } f+\frac{D i f f^{2}}{2^{n}}\right)\)       (8)

BL은 백라이트 휘도를,Avg는 대상 이미지의 평균 휘도를,Diff는 최대 휘도와 평균의 차이를, n은nbit 그레이 스케일을 각각 의미한다. 백라이트 휘도는 Avg와 correction의 합으로 계산된다. Correction은 Avg로만 백라이트 휘도를 조절할 시에 Avg와많이 차이가 나는 부분에 화질저하가 발생할 수 있기 때문에 이를 보정하기 위한 값으로 최대 휘도와 Avg의 차이인 Diff를 통해 이미지의 특성을 파악한다. 높은 Avg는 높은 밝기 픽셀이 많다는 것을 의미하고, 이 부분에서의 디밍을 크게 하면 높은 밝기 픽셀부근의 명암이 없어지는 클리핑(clippingartifact)이 발생하므로 백라이트 휘도를 크게 해야 한다. 높은 correction은 Diff가 큰 것을 의미하며, 이는 높은 명암 비율을 의미하기 때문에 명암을 유지하기 위해서백라이트 휘도를 크게 해야 한다. 반대로, 낮은 Avg와 작은 correction은 픽셀이 어두운 지역에 집중적으로 있다는 것을 의미하고, 이 경우에는 백라이트휘도를 많이 줄일 수 있다. 따라서 이미지 특성에 맞게 디밍 이미지를 선정하고 백라이트를 조절하기 위해서는 Avg와 Diff의 값에 따라 조절될 필요가 있다.

4. Backlight Boosting and Dimming Combination

2절과 3절에서 소개된 백라이트 부스팅 및 디밍을 통합적으로 수행할 경우, 기존의 일률적 방식[1]이나, 각각 분리된 방식[5]과 비교하여, 파워 소모를 감소시키면서 화질개선이 가능하다. 어두운 이미지는 디밍을 통해 파워를 낮추면서 어두운 영역의 선명도를 개선시키고, 밝은 이미지는 디밍에서 줄어든 파워를 사용하여 부스팅을 통해 밝은 영역의 화질향상을 극대화시킬 수 있다. 또한 응용분야에 따라 파워 소모에 중점을 둘 경우 디밍을 더 많이 하고, 화질 향상에 중점을 둘 경우 부스팅을 더 많이 하도록 디밍과부스팅의 조건의 범위를 잘 설정하여 종합적으로 조절함으로써 다양한 정도로 파워 효율을 높이면서 동시에 화질을 개선시킬 수 있다. 특히 밝은 이미지가 많은 경우 부스팅을 우선 적용할수록 더욱 더 높은화질향상이 가능하다.

본 절에서는 이미지 분석에 따른 부스팅과 디밍 조절의 결합방안과 이에 대한 파워 효율과 화질개선평가 결과에 대해 논의한다.

4.1 Backlight boosting and dimming combination

백라이트 디밍과 부스팅은 서로 밝기를 반대로 조절하게 되어 이미지 특성에 따라 서로 보완적으로 운영할 수 있다.Fig.12에 나타낸 바와 같이 식 (6)에 의한 부스팅과 식 (7-8)에 의한 디밍을 부스팅과 디밍에 적합한 조건으로 조절하는 방법을 나타내었다.

입력 이미지를 각 조건을 기준으로 3단계로 분류하여, 부스팅과 디밍 및 원이미지 그대로 통과시키는by pass 세 가지 모드로 처리한다. 이미지는 매우 다양한 성질을 가지고 있기 때문에 부스팅과 디밍 이미지 선정 조건이 겹치지 않도록 적용할 필요가 있어, 이를 Table5에 정리하였다.

2절에서 BISC를 통해 설명했듯이 중간이나 밝은지역의 픽셀이 많은 이미지의 특성일 때 부스팅이 효과적이나, 이와 반대로 3절에서는 Avg와 Diff를 통해 어두운 지역의 픽셀이 많은 이미지의 특성일 때 디밍이 효과적인 것을 알 수 있었다. 디밍시 클리핑(clippingartifact)이 일어나고, 부스팅시에는 블랙레벨 화질왜곡이 발생하여 화질을 저하시키는 경우, 바이패스로 분류하여 원본 그대로 출력 한다. 따라서 기준이 되는 Diff,Avg,BISC 값과 최적 파워 부스팅비율을 비교하여 서로 중복을 최소화 하도록 하여 정확한 부스팅과 디밍 대상 이미지 선정이 가능하다.

Fig. 12. Boosting and dimming combination.

Table 5. Boosting/dimming combination image selection 

4.2 Boosting/dimming ratio smoothing

연속되는 프레임간의 원본 이미지의 평균 밝기 차이와 부스팅/디밍 이후 밝기 차이가 클 경우, 화면이깜박거리는 플리커 현상에 의해 화질 저하뿐 아니라눈이 쉽게 피로하게 된다. 부스팅과 디밍은 반대 방향으로 밝기를 조절하므로, 시간적 안정성을 고려하여 통합적으로 플리커를 조절하는 것이 바람직하다. Fig. 13에 나타낸 바와 같이 원본의 APL 차이와 부스팅과 디밍 이후 APL 차이를 연속된 프레임 사이에 비교해가며 플리커 현상이 생기지 않도록 부스팅/디밍 비율의 가감 조절을 수행한다.

두 프레임 간의 밝기 차이를 식 (9)의 APL 비율로 정의하였다.

\(\text {APLDifference}=\frac{\text {Current Frame } A P L}{\text {Previous Frame } A P L}\)       (9)

Fig.13에 나타낸 바와 같이, 연속되는 두 이미지 프레임 간 APLdifference 양이 큰 경우, 부스팅과디밍 이후 변화되는 APL범위가 일정범위 이내가 되도록 조절하여, 플리커를 억제하도록 하였다. 다양한 경우의 원본 APL 비율에 대한 부스팅/디밍 비율의가감 정도를 주관적 화질평가(eyetest)에 의하여 평가하여, Table 6에 나타내었다. 예를 들어, 부스팅의 경우, APL difference 가 25 그레이 레벨이하일 경우는 최대 부스팅/디밍으로 인한 밝기 변화가 플리커로 인식되기에는 여유가 있어, 부스팅/디밍 이후, 너무 밝거나 어두운 경우 부스팅/디밍 비율을 각각 -0.2, +0.2정도 소량 조절하도록 하고, 이를 기준으로 APL difference 가 증가함에 따라 조절 정도를 증대시켜 인지되는 플리커를 일정 수준 이하로 억제한다.

Fig. 13. Flicker due to large brightness change.

5. Simulations

5.1 Image analysis based boosting simulation

기존 부스팅[1]과 제안된 부스팅의 화질을 비교 평가하기 위해 밝기, 선명도 등 다양한 특성을 가진 평가 이미지 데이터베이스[11-12]을 기준으로 matlab시뮬레이션을 통하여 화질을 평가하였으며, 결과를 Fig. 14에 나타내었다. Fig. 14의 이미지를 BISC 기준으로 부스팅 화질개선 이미지를 선별하고, 이를 바탕으로 화질향상 부스팅 비율과 파워 효율 부스팅 비율 조절을 통해 부스팅을 수행하였다.

Table 6. Boosting/dimming ratio adjustment according to APL difference

Fig. 14. Boosting image results. (a) Beach, (b) House, (c) Child, (d) Boat. 

5.2 Backlight simulation 조건

백라이트 조절에 따른 다양한 화질변화를 Table 7의 평가 환경을 바탕으로 주관적 화질 평가(eyetest)를 통해 평가를 수행하였다.

주관적 화질평가(eyetest)는 5단계로 점수를 설정하여 진행하였다. 부스팅 이미지와 원본 이미지를 포함한 5장의 이미지를 보여주고 주관적으로 화질이 제일 좋은 이미지부터 안 좋은 이미지까지 순위를 두어 화질을 평가하였다. 각 사람이 이미지에 따라 원본 화질을 0점으로 두고 화질의 개선 및 악화 정도에 따라 최소 -1점에서 최대 4점까지 점수를 매기게 된다. 이에 따라 부스팅을 통해 화질이 나빠지는 경우 원본이 제일 화질 좋은 이미지로 선정된다. Table 7에서 설명된 바와 같이 일반적인 시청환경에 있어서 피험자 38명을 대상으로 평가를 진행하여 MOS(Mean Opinion Score)[13]로 평가하였다.

Table 7. Image quality evaluation conditions 

Table 8의 BISC에 따른 부스팅 비율 조절 결과 평가를 보면, 앞서 서술된 이미지 분석에 따라, BISC값과 최적 화질 향상 및 파워 효율에 맞는 부스팅비율 산출 값이 높은 상관도를 가지고 있음을 확인할 수 있다. 앞서 설명된 Table5에 따라 beach는 높은 부스팅(부스팅 비율 =1.7),house는 높은 부스팅(부스팅 비율 =1.5),child는 낮은 부스팅(부스팅 비율 =1.3)의 최적 부스팅 비율로 조절된 이미지가 높은 평가결과를 얻었다. 또한 이미지 히스토그램을 통해앞서 Fig.5에서 설명한 패턴과 부스팅시 화질 평가와의 높은 상관관계를 확인할 수 있다.Fig.15(a)는 패턴 2,Fig.15(b)는 패턴 1,Fig.15(c)는 패턴 3에 해당되어 BISC에 따른 부스팅에 적합하여 화질이 향상되나, Fig. 15(d)는 히스토그램이 어두운 픽셀에 많이 분포되어 BISC가 낮아 부스팅에 부적합하다. BISC에 따라서 부스팅 비율을 조절한 이미지와 일률적부스팅을 한 이미지를 비교해보면,Fig.15의 일률적부스팅의 원 내부를 보면 알 수 있듯이 높은 밝기픽셀 부분의 워시 아웃(wash-out)이 발생하여 동일 지역 대비 해당 부분의 화질이 저하되는 것을 확인할 수 있다. 하지만 BISC에 따라 부스팅 비율을 조절한 이미지는 동일지역에 있어서 원본에 비해 전체적으로 워시 아웃(wash-out)없이 명암 측면에서 화질향상이 되었다.

Table 8. Boosting ratio adjustment with image selection

Fig. 15. Boosting simulation images. (a) Beach, (b) House, (c) Child, (d) Boat.

Fig. 16. Eye test score comparison between constant boosting and proposed boosting with BISC. (Image 1: Beach, Image 2: House, Image 3: Child, Image 4: Boat).

Fig.16에서는 Table8의 제안된 부스팅 (실선)과 기존 일률적 부스팅 (점선)의 조절 이후 이미지를 주관적 화질 평가(eyetest)를 통해 화질을 비교하였다. 일률적 부스팅은 이미지에 따라 최적화 조절되지 않아 과도한 또는 불충분한 부스팅으로 인하여 화질왜곡이 발생되었다.Fig.16을 통해 알 수 있듯이 일률적 부스팅은 주관적 화질평가(eyetest) 평가에서 원본(0점) 대비 평균 1.9점 향상되었지만 부분적 화질왜곡으로 높은 주관적 화질평가(eyetest) 점수는 받지 못하였다. 하지만 제안된 부스팅 방안은 이미지에 따라 최소 1.0x부터 1.8x 부스팅까지 다양하게 부스팅하여 일관된 화질향상이 되며, 원본 대비 평균 2.87점으로,24.8% 화질이 향상되었다.

Table 9. RMS contrast comparison with boosting simulation images

Table 10. Dimming, boosting and bypass image selection 

Table9에는 Fig.15에서 붉은색 원으로 표시된 지역에 있어서 기존의 일률적 부스팅[1]으로 인해 워시 아웃(wash-out)된 부분과 본 논문에 의한 BISC에 따라 부스팅한 이미지의 명암을 객관적인 화질지표인 RMS(RootMeanSquare) 명암비[14-15]로 비교하였다. RMS 명암비는 여러 연구들에서 사용된 바가 있어 이를 통해 객관적으로 화질을 평가할 수 있으며, 이미지 내의 픽셀 값의 표준편차를 통해 계산된다. 이를 식 (10)에 나타냈다.M과 N은 각각 이미지의 행과 열의 개수를 의미하고, \(P_{i j}\)는 이미지 픽셀 좌표인 (i,j)의 픽셀 값을 의미한다. \(\bar{P}\)는 이미지의 전체 픽셀의 평균값이다.

\(R M S \text { contrast }=\sqrt{\frac{1}{M \times N} \sum_{i=0}^{M-1} \sum_{j=0}^{N-1}\left(P_{i j}-\bar{P}\right)^{2}}\)       (10)

Table9를 통해 알 수 있듯이 기존 일률적 부스팅에 비해 BISC를 기반으로 한 부스팅의 RMS 명암비가 20% 이상 향상되어 더 명암을 잘 표현하는 것을 알 수 있다.

5.3 Backlight boosting/dimming combination simulation

앞에서 설명된 부스팅과 디밍 조합을 통해 파워소모 최소화에 중점을 두면서 화질 개선을 수행하는 경우의 시뮬레이션 결과가 소개된다. 총 500장의 이미지로 시뮬레이션 하였고 Table5에서 설정된 선정조건을 바탕으로 부스팅/디밍/바이패스를 선정하였다.

부스팅과 디밍에 적합한 이미지 선정측면을 살펴보면 파워 소모를 최소화한 최적 파워 부스팅의 경우, Table 10과 같이 디밍에 적용된 이미지가 부스팅보다 3배 정도 많았으며 디밍 조절에 선정되지 않은 199장 중 54.7% 가 부스팅 대상으로 선정되었다. 파워 소모는 Table11에서와 같이 기존 일률적인 1.5x 부스팅의 경우의 파워 소모를 100%로 할 때, 제안된 부스팅의 경우에 있어서는 부스팅을 안 한 원본의 경우 67.28%에서부터 최대 1.8x 부스팅의 116.38% 경우까지 다양한 값을 갖는다. 제안된 부스팅은 평균 84.06%의 파워를 소모하여, 평균 15.94%의 파워를 일률적 1.5x 부스팅의 경우보다 감소시키면서 이미지 분석 결과에 따라 최대 1.8x까지 부스팅하여 화질을 보다 더 개선시킬 수 있었다. 또한 3절에서 설명된 디밍 방법[3]과 결합할 경우, 디밍 조절양을 극대화시켜 화질을 극대화시키면서 많은 파워감소 효과를 기대 할 수 있다. 부스팅과 디밍을 통합적으로 조절할 경우, 본 논문에서 사용한 이미지의 경우 분석 결과, 디밍을 수행하여 파워를 원본에 비해 14-43% 감소시킬 수 있었으며, 이러한 감소된 파워를 부스팅 조절에 사용 가능하다. 본 논문에서 사용한 이미지의 경우, 이미지의 분석에 따른 부스팅과디밍을 사용하여, 파워는 부스팅과 디밍을 모두 수행하지 않은 경우에 비하여 5.2% 정도 증가하였으나, 화질에 있어서 많은 향상이 있었다. 만약 응용 분야에 따라 파워를 보다 감소시켜야 할 경우에는 부스팅을 제한하고 디밍을 보다 증가시켜 조절 가능하다.

Fig.17은 Table5에 따라 모든 조건에 해당되는 높은/중간/낮은 부스팅과 높은/낮은 디밍, 그리고 바이패스로 선정된 이미지 중 대표적인 것으로 2절과3절에서 설명된 제안된 부스팅/디밍과 일률적 과다부스팅/디밍과의 화질을 비교한 것이다. Fig. 17의일률적 과다 부스팅/디밍은 부스팅의 경우 워시 아웃(wash-out)이 되고, 디밍의 경우 클리핑(clippingartifact)이 생겨서 원으로 표시된 부분에서의 명암을 느끼지 못하게 되어 화질왜곡을 보인다. 하지만Table 5에 따라 제안된 부스팅/디밍이 된 이미지는 Fig. 17의 일률적 과다 부스팅/디밍에서 보이는 화질왜곡 없이 화질이 향상된 것을 확인할 수 있다. 다만높은 부스팅으로 선정된 이미지의 경우 큰 부스팅비율이 필요하여 일률적 과다 부스팅과 차이가 없이화질이 향상되었다.

Table 11. Power comparisons with constant 1.5x boosting with proposed boosting

Fig. 17. Boosting/dimming combination simulation images. (a) High boosting(1.8), (b) Mid. boosting(1.5), (c) Low boosting(1.2), (d) High dimming(0.83), (e) Low dimming(0.98), (f) Bypass.

6. Conclusion

이미지 분석 결과에 따라 부스팅과 디밍 대상 이미지를 선정 후, 선정된 이미지의 Diff, Avg, BISC값과 최적 파워 부스팅 비율에 따라 백라이트를 조절하여, 파워 소모를 최소화 하며, 화질향상을 극대화하기 위한 방법이 소개되었다. 부스팅 이미지는 워시아웃(wash-out)을 고려하여 히스토그램의 높은, 중간, 낮은 구간의 상대적인 픽셀 분포 비율을 바탕으로 선정될 수 있다. 이를 바탕으로 최적 화질과 파워소모 두 가지 모두 고려된 제안된 부스팅을 통하여 RMS 명암비는 20%이상 향상되었고, 주관적 화질 평가(eyetest) 결과는 24.8% 향상되었다. 또한 기존의 일률적 1.5x 부스팅 보다 15.94% 감소된 파워가 소모되었다. 그리고 디밍에서 절약되는 파워를 부스팅에 사용가능하기 때문에 플리커를 고려하여 부스팅과디밍을 결합하고, 부스팅과 디밍의 중요도 설정을 기반으로 한 통합적 조절을 통하여 파워를 감소시킴과함께 화질을 최적화시킬 수 있었다.