3D Image Representation Using Color Correction Matrix According to the CCT of a Display

디스플레이 상관 색온도에 따른 색 보정 매트릭스를 이용한 3D 영상 재생

Abstract

Almost all 3D displays have a brightness reduction in the 3D mode comparing to the 2D mode. When the brightness is reduced, one of the color attributes, the colorfulness, is decreased. In this case, the viewer feels that the image quality is deteriorated. In this paper, we proposed a method to compensate for the degradation of colorfulness due to brightness reduction in 3D mode for high quality 3D image viewing using the CIECAM02 model and the color correction matrix. As a result of applying the proposed method, we can confirm that the colorfulness is improved in 3D mode.

1. 서 론

  3D 디스플레이가 다양한 분야에서 많은 주목을 받음에 따라 3D 디스플레이에 대한 연구가 많이 이루어지고 있다. 3D 디스플레이는 안경(glasses) 방식과 무안경(non-glasses) 방식으로 분류될 수 있다. 기존에 많이 보급이 된 안경 방식과 더불어 최근 무 안경 방식에 대한 연구가 활발히 진행 중이다. 현재까지의 3D 디스플레이는 많은 연구에도 불구하고 밝기 저하, 크로스토크(cross-talk), 해상도 저하, 눈의 피로, 및 관찰자 위치 자유도의 제한 등의 문제들이 존재한다[1-9]. 이 문제들 중에서, 본 논문에서는 3D 모드에서의 밝기 저하와 이에 따른 색 왜곡에 주목하였다. 입체 영상 디스플레이의 밝기 저하는 측정에 따르면, 안경방식의 디스플레이, 즉 셔터 안경 방식 및 FPR(film patterned retarder) 안경 방식의 디스플레이 고유의 휘도대비는 각각 약 20% 및 40%로 휘도가 저하되었다. 또한 무안경 방식의 입체 영상 디스 플레이에서도 휘도 저하가 30%∼50% 정도 일어난 다[10]. 디스플레이 시청이 주로 일어나는 가정 실내의 dim-surround 시 환경 하에서 3D 영상 시청으로 인한 조명 밝기 및 디스플레이 밝기 감소가 일어나고 시각 순응휘도도 필연적으로 감소된다. 낮은 순응 휘도에 의해 색 속성 중 lightness 및 chroma는 변화되지 않지만, 시감 brightness 및 colorfulness가 감쇄된다. 일반적으로 인간 시각 체계는 chroma와 brightness를 복합적으로 인지하여 colorfulness로 느끼게 되고, colorfulness 저하에 따라, 영상의 품질 저하를 더 민감하게 인지하게 된다[11-12]. 따라서 2D 모드와 3D 모드 시청 조건 차에서 발생되는 시각적 colorfulness 저감량을 예측하고 최소의 색 오차가 되도록 보상하여 3D 영상 품질을 효과적으로 향상시킬 수 있다. 이러한 colorfulness의 저하는 현색 모델(color appearance model)을 이용하여 예측가능 하다. 본 논문에서는 현색 모델 중 CIECAM02 모델[13]을 이용하여, 변화된 시 환경에 대한 colorfulness 저하를 계산하고, 이를 색 보정 매트릭스를 통하여 보다 간단하게 보정하는 방법을 제안하고자 한다. 또한 디스플레이의 상관 색온도(CCT)에 따른 색 보정 매트릭스( \(M_{cc}\) )의 원소의 변화를 모델링하였다. 제안한 방법은 3x3 색 변환 매트릭스 형태로 디스플레이 적용이 용이하며, 이를 적용한 실험 결과에서 3D 모드에서 2D 모드에서의 색상과 colorfulness와 비교하여 최소 오차 수준으로 동일하게 재현되는 것을 확인할 수 있었다. 본 논문의 2장에서는 현색 모델을 설명하였고, 3장에서는 3D 영상 재생을 위한 색 보정 매트릭스 모델에 대해 논하였다. 4장에서는 제안한 방법을 적용한 영상을 평가하고 객관적 측정치를 비교하였다. 마지막으로 5장 결론부에서 제안한 방법이 기존 방법과 대비되는 특징을 나타내었다.

 

2. 현색 모델

  영상의 현색(color appearance) 성은 디스플레이 광원의 색도와 휘도, 그리고 주변 배경 같은 시 환경 조건에 따라 변한다. 따라서 원 영상을 다른 시 환경 조건에서 정확히 재현해야 하는 경우 현색의 변화를 객관적으로 수치화하는 방법이 요구된다. 현색 모델 은 일반적으로 Fig. 1에서와 같이 색 순응 변환 (chromatic adaptation transform), 다이나믹 응답 함수(dynamic response function), 그리고 현색 성분을 나타내기 위한 색 공간(color space)의 세 부분으로 이루어져 있다. 색 순응 변환은 광원의 색도나 휘도 변화를 고려하기 위한 과정으로 다른 광원에 대해 역변환 과정을 거치면 대응색을 예측하기 위한 색 순응 모델로 활용될 수 있다. 다이나믹 응답 함수는 휘도의 변화에 대한 시각의 순응 정도, 즉 휘도 민감도 변화를 예측하기 위한 부분이다[14-15].

Fig. 1. The structure diagram of colo appearance model.

 

  대표적인 현색 모델로서 CIECAM02 모델은 CIE 에서 2002년에 발표한 현색 모델이다. 기존의 다른 모델과 비교하여 색 예측 성능, 계산의 복잡성, 및 호환성 등 측면에서 우수한 성능을 보여준다. 특히 선형적인 색 순응 변환, 비선형 응답 압축 함수, 그리고 현색 변환식 등을 포함한다. 이 모델은 물리적 자극에 대한 시각의 반응이 여러 환경 조건에서 다르게 나타나는 것을 수치적으로 설명한 것으로 관찰자가 색상을 어떻게 인지할지를 예측할 수 있는 소수의 주요 매개 변수로 환경을 설명한다. 특정 시 환경에 대한 대응색 예측이 현재까지의 현색 모델 중에서 가장 정확한 것으로 알려져 있다.

 

3. 3D 영상 재생을 위한 색 보정 매트릭스 모델

3D 모드에서의 밝기 감소로 인한, colorfulness의 저하를 2D 모드 수준으로 보상한 목표 삼자극치 (\(X'Y'Z'\))는 앞에서 언급한 CIECAM02 모델을 사용 하여 예측할 수 있다. 시청 순응 환경에서 정규화된 상대적인 XYZ 자극치로부터 변환 행렬 \(\mathbf{M}_{C A T 02}\)을 이용한 원 피사체에 대한 RGB 응답치를

 

\(\begin{aligned} &\left[\begin{array}{l} {R} \\ {G} \\ {B} \end{array}\right]=\mathbf{M}_{C A T 02}\left[\begin{array}{l} {X} \\ {Y} \\ {Z} \end{array}\right]\\ &\mathbf{M}_{C A T 02}=\left[\begin{array}{rr} {0.7328} & {0.4296-0.1624} \\ {-0.7036} & {1.6975} & {0.0061} \\ {0.0030} & {0.0136} & {0.9834} \end{array}\right] \end{aligned}\)       (1)

 

과 같이 구한다. 구해진 RGB 자극치는 디스플레이 백색에 대한 응답치 RwGwBw와 순응 정도를 나타내 는 순응 휘도 LA에 대한 변수 D를 이용하여 표준 광원에 순응된 응답치를 다음과 같이 구한다.

 

\(\begin{aligned} &R_{C}=\left[\left(100 D / R_{W}\right)+(1-D)\right] R\\ &G_{C}=\left[\left(100 D / G_{W}\right)+(1-D)\right] G\\ &D=F \cdot\left[1-\left(\frac{1}{3.2}\right) e^{\frac{-\left(L_{A}+42\right)}{92}}\right]\\ &B_{C}=\left[\left(100 D / B_{W}\right)+(1-D)\right] B \end{aligned}\)       (2)

 

그 다음 Hunt-Pointer-Estevez 변환 행렬을 이용 하여 시각의 순응 자극치를

 

\(\left[\begin{array}{c} {R^{\prime}} \\ {G^{\prime}} \\ {B^{\prime}} \end{array}\right]=\mathbf{M}_{H P E} \mathbf{M}_{C A T 02}^{-1}\left[\begin{array}{c} {R_{C}} \\ {G_{C}} \\ {B_{C}} \end{array}\right]\)       (3)

 

과 같이 한번 더 계산한다. 마지막으로 배경 휘도에 대한 순응 정도 \(F_L\)을 사용하여 시각의 순응 자극치 를 비선형 압축 변환한다.

 

\(\begin{aligned} &R_{a}^{\prime}=\frac{400\left(F_{L} R^{\prime} / 100\right)^{0.42}}{27.13+\left(F_{L} R^{\prime} / 100\right)^{0.42}}+0.1\\ &G_{a}^{\prime}=\frac{400\left(F_{L} G^{\prime} / 100\right)^{0.42}}{27.13+\left(F_{L} G^{\prime} / 100\right)^{0.42}}+0.1\\ &B_{a}^{\prime}=\frac{400\left(F_{L} B^{\prime} / 100\right)^{0.42}}{27.13+\left(F_{L} B^{\prime} / 100\right)^{0.42}}+0.1 \end{aligned}\)        (4)

 

다음으로 압축된 순응 삼자극치로 부터 brightness, lightness, chroma, 및 colorfulness에 대한 현색 정량화를 수행한다.

  현재의 디스플레이에서 이 방법을 적용하기 위해서는 계산을 위한 새로운 하드웨어 설계가 필요하기 때문에, 본 논문에서는 하드웨어적인 변경 없이 적용이 가능한 방법을 제안한다. 그 방법은 입력 영상 값에 대한 출력 삼자극치가 계산된 목표 삼자극치가 되도록 색 보정 매트릭스를 통해서 구현하는 방법이다. 제안한 방법으로 색 보정 매트릭스를 구하는 과정은 다음과 같고, Fig. 2에 나타내었다.

  변환된 시 환경에 대한 디스플레이 색 맵핑을 위 한 색 보정 매트릭스 계산 과정은 다음과 같다.

 

1. 컬러체커 샘플 영상 값(\(R G B\))을 디스플레이에 출력한 후, 2D 모드와 3D 모드에서 측색계(CS-1000, minolta)를 이용하여, 컬러체커의 패치별 삼자극치 \(\left(X Y Z_{2 D}, \quad X Y Z_{3 D}\right)\), 백색의 삼자극치\(\left(X_{W_{2 D}} Y_{W_{2 D}} Z_{W_{2 D}},X_{W_{3 D}} Y_{W_{3 D}} Z_{W_{3 D}}\right)\) 3원색의 삼자극치, 및 디스플레이의 최대휘도\(\left(L_{\mathrm{max}} 2 D, \quad L_{\mathrm{max}} 3 D\right)\)를 측정하고, 디스플레이 특성 매트릭스 \(\left(\mathrm{M}_{2 D}, \mathrm{M}_{3 D}\right)\)를 구한다.

2. CIECAM02 모델에 패치별 삼자극치, 백색의 삼 자극치 및 순응휘도\(\left(L_{A_{2 p}}, L_{A_{3 p}}\right)\)를 입력하여 colorfulness, lightness, chroma, 및 hue를 계산한다. 이때, 순응휘도는 CIECAM02의 정의에 따라

 

\(L_{A}=0.2 L_{\mathrm{max}}\)        (5)

 

와 같이 계산하여 입력한다.

  3. inverse-CIECAM02 모델을 이용하여, 목표 삼 자극치\((X'Y'Z')\)를 계산한다. 이때, 목표 삼자극치는 2D 모드의 colorfulness와 동일한 colorfulness를 갖는 목표 색자극이므로 inverse-CIECAM02 모델을 수정하여 계산한다[16]. 2D 모드와 3D 모드에서의 colorfulness는 CIECAM02 모델의 정의에 따라

 

Fig. 2. Block diagram of the proposed color adjustment method.

 

\(M_{2 D}=C_{2 D} \cdot\left(F_{L_{2 p}}\right)^{0.25}\)        (6)

\(M_{3 D}=C_{3 D} \cdot\left(F_{L_{49}}\right)^{0.25}\)        (7)

 

로 나타낼 수 있다. 여기서 \(C_{2D}\)와 \(C_{3D}\)는 채도를 나타 내고, \(F_{L_{2D}}\)와 \(F_{L_{3D}}\)는 순응정도를 나타낸다. 2D 모드와 동일한 3D 모드에서의 colorfulness를 계산하기 위해서

 

\(C_{3 D}=M_{2 D} /\left(F_{L_{3 p}}\right)^{0.25}\)       (8)

 

를 식(7)에 대입하여 계산할 수 있다.

  4. 목표 삼자극치\((X'Y'Z')\)와 3D 디스플레이 특성 매트릭스(\(M_{3D}\) )를 이용하여, 목표 영상 값 \((R'G'B')\)을 계산한다.

  5. 마지막으로 입력 샘플 영상 값\((RGB)\)과 목표 영 상 값\((R'G'B')\)으로 색 보정 매트릭스( \(M_{cc}\) )를 계산한다.

 

 디스플레이의 상관 색온도를 바꾸게 될 경우에는 위에서 설명한 전 과정을 다시 수행해서 각 상관 색 온도에 대응하는 색 보정 매트릭스를 다시 계산하여 야 한다. 따라서 본 논문에서는 추가적으로 디스플레이의 상관 색온도 변경에 대응하여 색 보정 매트릭스 의 원소를 예측할 수 있는 색보정 매트릭스 원소 함수도 모델링하였고 다음과 같다.

 

\(M_{i j}=a_{i j}+b_{i j}(\ln (T))+c_{i j}(\ln (T))^{2}\)        (9)

 

  여기서, \(M_{ij}\)는 i행 j열의 원소이고, \(T\)는 디스플레이 의 상관색온도를 나타낸다. 색 보정 매트릭스 원소 함수의 계수들은 Table 1에 나타내었고, 이 함수의 그래프는 Fig. 3에 나타내었다.

 

Table 1. Element functions' coefficients of the proposed color correction matrix \(M_{cc}\)

 

Fig. 3. Element functions of the proposed correction matrix: (a) \(M_{11}, M_{22}, and M_{33} \) (b)\(M_{21}, M_{22}, and M_{23} \) and (c)(\(M_{31}, M_{32}, and M_{33} \))

 

4. 실험 결과

  Fig. 4는 상관 색온도 6500K의 디스플레이에서 컬러체커 샘플에 대해, 제안한 방법을 이용하여 예측한 값과 이를 적용하여 측정한 값을 색도도상에서 비교한 것을 보여준다. 3D 모드에서 보정 전의 측정값에 비해 보정 후의 측정값이 3D 모드에서의 예측 값 쪽으로 색도도상에서 거의 옮겨갔음을 확인할 수 있다.

  컬러체커 샘플 영상에 대한 보정 전 후의 측정 값 에 대한 예측 값과의 평균색차를 계산하면, 보정 전 \(​​​​\Delta u^{\prime} v^{\prime}=0.0248\)에서 보정 후 ∆\(\Delta u^{\prime} v^{\prime}=0.0086\)로 매우 작아졌음을 확인할 수 있다. Table 2에는 제안한 방법의 적용 전 후의 측정 값과 예측 값 사이의 컬러체커 샘플에 대한 색차 결과를 나타내었다.

 

Fig. 4. Measured values and predicted values in chromaticity coordinates.

 

Table 2. Color differences of ColorChecker 24 samples between the measured values before and after applying the proposed method and predicted values.

 

  Fig. 5는 2D 모드의 컬러체크 샘플 영상과 제안한 방법을 이용하여, colorfulness 보정을 하기 전 후의 컬러체크 샘플 영상을 자극치 측정과정에서 사진으로 찍은 것으로 비교를 위해 조리개와 노출시간을 고정하여 촬영하였다. 제안한 방법을 적용한 영상이 훨씬 2D 모드와 비슷해 보이는 것을 확인할 수 있다. 쉬운 주관 화질 비교를 위해 Fig. 5(d)에서 각 컬러 샘플에 대해 위에서 아래 방향으로 2D 모드일 때, 보상 전 3D 모드일 때, 그리고 보상 후 3D 모드일 때 재현 샘플을 배치하였다. 제안한 보상 방법이 적용된 색 샘플이 2D 모드일 때 촬영된 컬러에 근접했음을 확인할 수 있다.

 

Fig. 5. Pictures of ColorChecker: (a) 2D mode, (b) 3D mode before compensation, (c) 3D mode after compensation, and (d) the top is 2D mode, the middle is 3D mode before compensation, and the bottom is 3D mode after compensation.

 

5. 결 론

  본 논문에서는 3D 디스플레이의 3D 모드에서의 순응 밝기 및 디스플레이 밝기 감소로 인한 colorfulness 저하를 CIECAM02 모델과 색 보정 매트릭스를 통해서 영상을 보상 재생하는 방법을 제안하였다. 제안한 방법을 적용한 결과 3D 모드에서의 colorfulness의 효과적 향상을 시각적으로도 확인할 수 있었 고, 정량적인 색차의 계산을 통해 개선도를 확인할 수 있었다. 제안한 방법은 일반적인 디스플레이에 적용될 경우 계산 시간의 증가가 없고 현색 맵핑 계산 을 위한 추가적 하드웨어 자원이 필요치 않다. 기존의 영상 후처리 과정에서 색 변환 매트릭스를 추가하는 방식으로 쉽게 구현할 수 있고, 현재의 3D 디스플레이에도 바로 적용할 수가 있을 것이다. 향후 연구 과제로 어두운 3D 시청환경에 순응적인 국부적인 HDR 톤맵핑 과정을 추가하여 시각적 휘도 표현 개선을 추가한다면, 2D 모드와 거의 유사한 HDR 영상 재현이 3D 모드에서도 가능할 것이다.