A Color Correction Method for High-Dynamic-Range Images Based on Human Visual Perception

인간 시각 인지에 기반을 둔 높은 동적폭을 갖는 영상 보정 방법

Abstract

For last several decades, the color correction methods have been proposed for HDR(high dynamic range) images. However, color distortion problems take place after correcting the colors such as halos, dominant color as well known. Accordingly, this article presents a novel approach in which the method consists of tone-mapping method and cone response function. In the proposed method, the tone mapping method is used to improve the contrast in the given HDR image based on chromatic and achromatic based on the CIEXYZ tristimulus value, expressed in c/m². The cone response function is used to deal with mismatch between corrected image and displayed image as well as to estimate various human visual effects based on the CMCAT2000 color appearance model. The experimental results show that the proposed method yields better performance of color correction over the conventional method in subjective and quantitative quality, and color reproduction.

1. 서 론

인간 시각시스템(human visual system)은 조명, 주변 환경 그리고 다양한 다른 조건과 같은 바라보는 관점의 조건에 영향을 받는다. 특히 조명성분은 시순응 (visual adaptation)에 상당히 영향을 받으며, 시감도(visual sensitivity)를 변화시킨다. 시순응은 두 가지로 나눌 수 있다. 첫 번째는 명암순응(luminance adaptation)이며, 이는 명암 단계의 원인으로 발생한다. 또 다른 하나는 색도 적응(chromatic adaptation)이며, 조명성분의 색도에 의한 원인으로 발생한다. 색도 적응은 조명성분의 색상에 따라 원추세포 광수용기(cone photoreceptors)의 모든 이득을 변화시킨다[1]. 게다가, 실제 환경(real scene)과 인간시각시스템의 동적 폭(dynamic range)은 다르다. 즉, 실제 환경의 동적 폭은 12로그 크기의 동적 폭을 갖는데 반해 인간 시각시스템은 9로그 크기의 동적 폭을 갖는다. 더해서, LDR 촬영장치와 출력장치(low dynamic range display and capture device)는 2~3로그 크기의 동적 폭을 갖는다[2-7]. 이러한 문제점을 해결하기 위해 인간 시각시스템을 흉내 낸 매력적인 기술인 HDR 영상 촬영기법이 제안되었다. HDR(high dynamic range) 영상 촬영 기법은 다중 노출(multi expose time)을 이용한 기술이며, 6로그 크기의 동적폭을 갖는다. 최근 HDR영상 기술을 이용한 영상 기술이 과거에 비해 비약적 발전을 이루었다. 가까운 미래에 사용자들이 HDR영상 촬영기술을 이용하여 직접 촬영할 것이다. 그러나 현재 디스플레이 장치는 동적 폭의 한계를 갖는다. 이러한 이유로 HDR 장치는 현재 사용하지 않고 있다. 따라서 HDR촬영 기법과 HDR 출력 장치간의 부조화는 한동안 지속 될 것이다. 이는 HDR영상을 LDR 출력장치에 출력할 방법의 문제를 야기하게 된다. 이를 톤 매핑 혹은 톤재현(tone reproduction)이라 한다[8,9]. 이러한 이유에서 수많은 논문을 통해서 톤 매핑 방법들이 제안되었다. 제안된 톤 매핑 방법은 크게 두 가지로 나눌수 있다. 그것은 영역처리 방법(local operator)의 범주와 전역처리(global operator)방법이다. 영역 처리방법은 공간필터(spatial filter)를 이용하여 톤 매핑을 수행하는 방법이며, 영상 내의 세부적인 영상 정보를 잘 표현한다. 그러나 잘 알려진 것 같이 후광효과(halo artifacts or ringing effect)가 발생한다. 예를 들어 공간 필터의 크기가 클 경우 후광효과의 문제를 줄일 수 있으나 회색계의 왜곡(graying-out)이 발생하며, 시간 비용이 많이 든다. 그러나 필터의 크기가 작을 경우 그 반대의 경우가 발생하게 된다. 전역 처리의 경우 후광효과 문제점을 해결 할 수 있다. 그러나 영상 내의 세부적인 영상 정보를 표현하지 못한다. 이러한 이유에서 지금까지 주목 받지 못하였다.

인간 시각 시스템을 기반으로 한 새로운 색상 표현모델(color appearance model:CAMs)인 iCAM06은 이들 톤 매핑 연산들 중에서 가장 우수한 성능을 보이는 것들 중하나이며, Kuang[10]과 그의 동료에 의해 제안되었다. 그러나 평균 배경 반사율과 조도단계 즉 주변 휘도 레벨에서 한계를 갖는다. 게다가 대부분의 CAM은 관찰자가 하나의 시순응 상태를 갖는 것으로 가정한다. 그러나 영상 표현에 매치하기 위한 중요한 시순응은 영상의 휘도와 주변 조건에 의해 영향을 받는다. 영상 휘도의 효과는 어둑하고 어두운 배경에 주안점을 둔다. 참고문헌 [11]에 따르면, iCAM06는 색감 혹은 휘도의 문제를 해결한 반면, 불행하게도 색상 이동(color shift or hue shift), 색상 누출(color leakage)과 같은 문제들을 만든다[12].

따라서 본 논문은 새로운 색상보정 방법을 제안한다. 제안한 방법은 톤 매핑 방법과 색도 적응 방법으로 구성되며, CIEXYZ 삼자극치(CIEXYZ tristimulus value)를 기반으로 한다. CIEXYZ 삼자극치는 헌트 효과와 스티븐슨 효과와 같은 인간 시각시스템의 다양한 효과를 획득하기 위해 사용된다. 제안한 방법에서 톤 매핑 방법은 이전에 언급했던 기존의 방법의 문제점인 후광효과를 줄이기 위해 색도 성분(CIEXYZ 색도 공간(chromatic color space))과 비색도 성분(절대 휘도 Y값(absolute luminance))을 이용하며, 화이트 포인트와 HDR 영상의 동적 폭을 조절하기 위해 공간 필터를 사용하는 대신에 감마 조정을 사용한다. 일반적인 감마 조정은 사용자 정의 값을 사용한다. 따라서 주어진 영상에 독립적으로 적용되며, 또한 다양한 영상을 사용해서 실질적인 실험을 통해서 최적치를 찾아야하는 어려움이 있다. 이러한 문제를 해결하기 위해서, 주어진 영상에 의존하여 자동적으로 감마 조정을 수행하기 위해서 제안한 톤 매핑방법에서 비주얼 감마(visual gamma correction)방법을 도입하였다.

색도 적응은 조도 변화를 조정하기 위한 그리고 물체의 색상 표현을 유지하는 HVS의 능력이다. 색도적응은 다양한 서로 다른 조명 하에서 비추는 물체의 색상을 보게 한다. 그러나 디지털 카메라와 스캐너 같은 디지털 영상 촬영 기술은 빛의 소스에 대한 적응 능력을 갖고 있지 않다. 디지털 카메라의 경우, 빛의 소스는 환경에 따라 변하며, 때로는 환경 내에서 변한다. 그러므로 컴퓨터 모니터와 라이트 부스같은 서로 다른 디스플레이 조건하에서 원래 환경과 같은 표현을 이루기 위해, 촬영된 영상의 삼자극치는 디스플레이를 바라보는 조건의 빛 소스를 고려하여 변환되어야한다. 이 변환을 색도적응 변환(chromatic adaptation transformation(CATs))이라 한다. CMCCAT2000[13]은 CIECAT02와 함께 가장 우수한 성능을 보이는 색상 표현 모델이다. 따라서 톤 매핑 연산 후, 결과영상은 CAT 기반 CMCCAT2000[13]을 통해서 처리된다.

 

2. 관련 연구 : iCAM06

새로운 색상 표현모델인 iCAM06은 HDR 영상 보정(HDR image rendering)을 위해 개발 되었다. iCAM 프레임워크를 기반으로 하는 iCAM06 모델은 영상 대비를 개선하기 위한 인간 시각 시스템 (HVS: human visual system)의 공간처리 모델, 하이라이트와 그림자에서 영상 내의 국부적 세부정보를 개선하는 광수용기(photoreceptor)의 빛 적응 기능 (light adaptation function), 광범위한 칼러 표현 현상을 예측하는 기능 등의 조합으로 이루어진다. iCAM06의 입력 데이터는 CIE 삼자극치(CIE tristimulus value)인 XYZ이며, 영상은 기반 계층(base layer)와 세부 계층(detail layer)로 나눈다. 기반 계층은 영상 내의 윤곽선을 보전하는 이방성 필터(bilateral filter)를 이용하여 획득되며, 다음과 같다.

여기서, k(s)는 평활화이며, 다음과 같다.

여기서 f(·)는 커널 크기 σs인 공간 영역의 가우시안 함수이며, g(·)는 크기 σr인 밝기 값 영역에서 또 다른 가우시안 필터이다. Is는 화소 s에 대한 밝기 값이다. 이방성 필터를 사용함으로써 윤곽선의 선명도를 유지하는 동시에 효과적으로 몽롱화 되며, 이로 인해 영역 톤 매핑 연산에서 일반적인 후광효과를 제거 할 수 있다. 그러나 입력영상에 잡음이 포함 되어 있을 때 그 잡음을 제거하지 못 한다.

기반 계층 영상은 첫 번째로 색도 적응을 통해서 처리 된다. CIECAM02을 근간으로 하는 색도 적응 변환은 iCAM06에 도입되었으며, 다음과 같다.

여기서, Rc, Gc, Bc는 D원추세포 응답을 적용한 원추세포 응답이며, Rw, Gw, Bw는 R, G, B값에 대한 흰색점이다. 완전하지 않은 적응 요소 D는 적응 휘도 LA(적응 흰색의 20%)와 주변 요소 F(평균적 주변에서 F = 1) 함수로 획득된다.

iCAM06 모델은 낮은 스코토픽(scotopic)에서 포토픽(photopic)단계에서 부터 휘도 단계로 확장된다. iCAM06에서 톤 압축은 원추세포와 간상세포 응답의 조합으로 이루어지며, CIECAM02의 후 적응 모델은 원래 환경에 적용되는 모든 시각데이터를 원추 세포 응답 예측을 위해 도입하며, 다음과 같다.

여기서, R′ , G′, B′은 역변환 행렬 를 사용한 색도 적응 값이며, 후 적응 비선형 압축을 적용하기 전 헌트 포인터 에스테베즈(Hunt-Pointer-Estevez)공간 변환을 위해 사용하며, 식 (8)에서 MHPE이다. iCAM06 모델에서 비선형적인 톤 압축은 CIECAM02의 형태와 비슷하며, 다음과 같이 나타낸다.

여기서, p값은 사용자 정의 상수 값이며, 0.6-0.85 범위이며, 휘도 요소인 FL은 CIECAM02에서 다양한 휘도 표현 효과(luminance-dependent appearance effects)를 예측하기 위해 적용한다. Yw는 희색영상에 적용된 영역 휘도이다. 식 (14)에서 휘도 요소는 휘도 적응을 줄일 수 있다. 게다가 도입된 희색의 휘도 보다 큰 휘도 자극에 대해서, 그 응답은 최대 단계일 것이며, 이 경우에 색감(colorfulness)을 줄이는 경향이 있다. 이로 인해 결과 영상에서 색상이 두드러짐이 나타난다. Fig. 1은 iCAM06의 전체 구성도를 보여 준다.

Fig. 1The block diagram for iCAM06.

Fig. 2는 원래의 환경에서 촬영한 원 영상(a)를 입력 영상으로 하여 iCAM06 색상 표현 모델을 적용한 결과영상이다. 결과 영상에서 볼 수 있듯이 이방성 필터 즉, 공간필터를 적용함으로써 건물 주변에 후광효과가 발생한 것을 볼 수 있다.

Fig. 2.The real world image (a) original image, (b) iCAM06.

또한 운동장의 트랙 부분에 붉은 색이 더해진 것처럼 보인다. 이는 단지 평균적인 주변 환경 휘도 값에 대해서 단일 값을 적용함으로써 색상이동 및 색상누수가 발생하였음을 볼 수 있다. Fig. 3는 정량적인 측정을 위해서 거뮤트 영역을 활용하여 색상을 측정해 보았을 때 결과이다. 그림에서 볼 수 있듯이 붉은색 방향으로 편중되었음을 알 수 있다.

Fig. 3.The gamut area for Fig. 2 (a) original image, (b) iCAM06.

 

3. 제안한 방법

3.1 톤 매핑 방법

톤 매핑 연산의 목적은 LDR 디스플레이 장치에 출력 되었을 때 색상 왜곡없이 주어진 HDR 영상에서 시계(visibility)와 밝기, 영상 대비 그리고 색상의 전체적인 인상을 만드는 것이다. 이러한 이유에서 기존의 방법과 달리 전역 CIEXYZ 색상 공간(CIE XYZ color space)을 기반으로 색도 성분과 비색도 성분을 이용한 톤 매핑 방법을 적용한다. 게다가 기존의 방법에서 공간 필터를 사용함으로써 발생하는 후광효과를 줄이기 위해 그리고 동적 폭을 조절하기 위해 비주얼 감마 조정을 사용한다. 기존의 방법에서 감마조정은 사용자 인터페이스로 많은 실험을 통해서 입력영상에 독립적으로 결정되었다. 따라서 제안한 방법에서 감마조정은 CSF를 기반으로 입력 영상에 의존하여 자동적으로 파라미터를 결정한다. 더해서 HVS에 의해 인식하는 실제 환경의 휘도는 섬광의 한계(veiling glare limit)에서 스코토픽 문턱치(scotopic threshold)로부터 상당히 광범위하다. 더 나아가 주간적인 밝기는 HVS 상에서 빛의 밝기 값에 대한 로그 함수이다. 그러므로 특징 값의 세부적인 영상정보는 로그 신호로부터 획득된다. 이러한 관점에서, 절대 휘도 값 (LY)의 기하학적 평균은 제안한 톤 매핑 방법의 기반이 되며, 다음과 같다.

여기서 N은 주어진 영상에서 화소 이며, 상수 값 δ는 로그 신호 에러를 피하기 위한 것이다. 환경 값(α)에 대한 키값은 다음과 같다.

여기서 LY,max 와 LY,min 은 휘도의 최대•최솟값이며, LY,av는 절대 휘도의 기하학적 평균이다. f값은 주어진 영상에서 로그 평균 휘도와 관련된 최대 휘도값과 최소 휘도 값 간의 거리차를 표현한다. 환경 값을 양수로 만들기 위해 멱함수는 특징 값을 안정적으로 결정하기 위해, 모든 경우 환경 값은 주어진 영상의 밝기 표현과 상당한 관련성이 있다. 식(18) 로부터, 휘도에 대한 화이트 값(LY,w)은 획득한 환경 값과 비주얼 감마에 주어진 영상의 기하학적 평균을 조합함으로써 획득되며, 다음과 같다.

여기서

여기서 Li(x, y);i∈{X, Y, Z}는 주어진 영상의 삼자극치(tristimulus value)이며, γv와 γc는 비주얼 감마와 보정된 감마이다. LTMO는 톤 매핑 연산 후 최종적인 결과 영상이다. 식(19)에서 전역 연산만을 적용한다면 영상 내의 세부적인 영상 정보를 표현할 수 없다. 영상내의 세부적인 영상 정보를 표현하기 위한 C는 전역연산의 단점을 보완하기 위해 주어진 영상의 3×3 마스크 내의 표준 편자(standard deviation)을 나타낸다.

Fig. 4은 식(20)의 비주얼 감마 함수에 대한 특성곡선을 보여준다. 그림에서 볼 수 있듯이 주어진 식에서는 벤드 스탑 필터의 곡선을 따른다. 그러나 주어진 식을 적용하여 입력 영상에 독립적인 감마 조정이 아니라 입력 영상에 의존적인 감마 조정을 함으로 써 다른 방법들과 비교했을 때 보다 우수한 결과를 획득할 수 있다.

Fig. 4.The characteristic curve for visual gamma function, Eq.(21).

3.2 색도 적응 변환

색도 적응은 조도 변화를 조정하기 위한 그리고 물체의 색상 표현을 유지하는 HVS의 능력이다. 색도적응은 다양한 서로 다른 조명 하에서 비추는 물체의 색상을 보게 한다. 그러나 디지털 카메라와 스캐너 같은 디지털 영상 촬영 기술은 빛의 소스에 대한 적응 능력을 갖고 있지 않다. 디지털 카메라의 경우, 빛의 소스는 환경에 따라 변하며, 때로는 환경 내에서 변한다. 그러므로 컴퓨터 모니터와 라이트 부스같은 서로 다른 디스플레이 조건하에서 원래 환경의 같은 표현을 이루기 위해, 촬영된 영상의 삼자극치는 디스플레이를 바라보는 조건의 빛 소스를 고려하여 변환되어야한다. 이 변환을 색도적응 변환(chromatic adaptation transformation(CATs))이라 한다. 이러한 이유에서, 톤 매핑 연산 후, 결과영상은 CAT기반 CMCCAT2000을 통해서 처리된다. 이것은 단지 가역성의 문제를 해결하기 위한 것이다. 그러나 모든 다른 방법들보다 정확한 이용 가능한 데이터에 대한 획득을 제공한다. 톤 매핑 결과 영상을 사용하여, 색도 적응 획득하기 위한 변환은 다음과 같다.

여기서 Rw, Gw, Bw와 Xw, Yw, Zw값은 R, G, B와 X, Y, Z에 대응하는 화이트 포인트이다. Xwr, Ywr, Zwr값은 참조 조명 하에서 참조 화이트 포인트이다. CMCCAT2000에서 사용하기 위한 불완전한 순응에 사용되는 D값은 최소 색상 차를 주기 위한 것이며, 식(23)는 어두운 휘도 효과를 고려하기 위해 포함한다. D값은 실험과 참조 순응 분야의 휘도 값에 의해 서 주어지며, LA1과 LA2 그리고 주변 요소는 다음과 같다.

여기서

여기서 LA1과 LA2 값은 참조 순응 분야의 휘도 값이다. 여기서 대부분의 색상 표현 모델(color appearance model(CAM))은 관찰자가 하나의 시순응 상태를 갖는다고 가정한다. 그러나 표현 매칭 영상에서 중요한 시순응은 휘도 영상뿐만 아니라 주변 조건에 의해 영향을 받는다. 휘도 영상의 영향은 어둑한 주변 환경과 어두운 주변 환경에서 강조된다. 그 방법은 휘도 혹은 색감의 문제를 개선한다. 그러나 불행하게도 색상 이동과 색상 누출과 같은 문제를 야기한다. 따라서 식(24)는 주변 휘도 값(평균 주변 휘도 F=1, 혹은 어둑한 주변 휘도 와 어두운 주변휘도 F=0.8)대신에 CAT에 사용하였다. Rc, Gc, Bc는 D원추세포 응답을 적용함으로서 획득되는 원추세포 응답이며 다음과 같다.

여기서 Rw, Gw, Bw와 Xw, Yw, Zw값은 R, G, B와 X, Y, Z에 대응하는 화이트 포인트이다. Xwr, Ywr, Zwr값은 참조 조명 하에서 참조 화이트 포인트이다. 식(27)에서 식(29)을 기반으로, 대응 되는 Xc, Yc, Zc값은 다음과 같다.

식(31)는 데이라이트 조명(daylight illumination)하에서 대응되는 삼자극치에서 A조명이라 하는 비데이라이트 조명(non-daylight illumination)하에서 샘플 범위에 대한 삼자극치 값의 변환이다. 데이라이트에서 비 데이라이트까지 대응되는 색상을 획득하기 위해, 식(31)는 사용되어야하며, CMCCAT2000의 반전 모드는 다음과 같다.

여기서

식(32)으로부터, R″, G″, B″값은 다음과 같이 획득된다.

여기서

식(37)에서 (39)으로부터, 결과영상은 역 처리를 통해서 최종적으로 획득되며, 다음과 같다.

만약 R″, G″, B″값이 음수라면, 양수 변환을 해야 한다.

Fig. 5는 식(24)인 주변 휘도 함수의 특성 곡선을 보여 준다. iCAM06에서 단일한 주변 휘도 값을 사용한 것에 비해 S-곡선을 형성하고 있는 것을 볼 수 있다. 따라서 다양하게 변화하는 주변의 조도에 보다 효과적으로 대응 할 수 있다.

Fig. 5.The characteristic curve for surround luminance factor for Eq. (25).

 

4. 실험 및 평가

실질적인 결과영상의 화질 평가를 위해서 HDR 성능 평가를 위해 널리 사용되는 HDR 영상과 D, CWF, TL84, A, UV 등 5개의 표준 조명 하에서 촬영한 영상 등 30장의 영상을 활용하였다. 이들 HDR영상은 http://www.anyhere.com/gward/hdrenc/pages/originals.html와 http://www.cs. utah. edu/~reinhard/cdrom/hdr.html의 인터넷 사이트에서 다운 받았다. Fig. 6과 7은 iCAM06. 식(19)인 톤 매핑, 제안한 방법을 이용하여 획득한 결과 영상이다. 각각 (a)는 원 영상이며, (b)는 iCAM06을 이용한 결과 영상이다. iCAM06에 대한 Matlab 코드는 http://www.cis.rit.edu/mcsl/icam06/에서 다운 받아 활용하였으며, 그 결과 영상은 참고 문헌 10에서 제안한 방법의 파라미터를 설정하였다. iCAM06에서 피스와이즈 이방성 필터(piecewise bilateral filter)를 사용했기 때문 급격하게 변화하는 윤곽선 영역에 후광효과가 발생 하였다.게다가 붉은색 색상 전체적으로 더해진 것 같다. 이는 단일한 주변 휘도 값을 적용하였기 때문에 전체 영상에서 색상이동, 색상 누출이 발생하였다. 즉 전체 영상에 붉은 색상이 두드러진다. 또한 원 영상과 비교했을 때 영상 대비는 증가하였지만 현저하게 증가한 것은 아니다. (c)는 식(19)의 톤 매핑 함수를 이용한 결과 영상이다. iCAM06에 비해 붉은색 두드러짐 현상이 줄어들었으며, 영상 대비도 iCAM06에 비해 현저하게 증가하였다. (d)는 제안한 방법을 적용한 결과 영상이다. 결과 영상은 (c)의 영상 보다 인간 시각 시스템의 인지 능력을 잘 반영한다. Fig. 8은 다른 영상에 대해 Fig. 6,7과 동일한 방법으로 수행한 결과 영상이며, 비슷한 결과를 도출하였다. Fig. 9는 색상 재현성을 측정하기 위해 5개의 표준 조명 (A, CWF, D65, TL84, UV 조명)하에서 촬영한 영상이다. Fig. 9(a)는 원영상이며, (b)는 iCAM06를 이용한 결과 영상이다. iCAM에서 불안전 요소인 주변 휘도 값을 예측하기 위해서 평균적인 주변 휘도에 대해 F=1, 어둑한 주변 휘도(dim surround luminance)와 어두운 주변 휘도(dark surround luminance) 에 대해 F=0.8의 값을 사용하기 때문에 다양하게 변화하는 주변 환경에 대해 적응적으로 처리하지 못한다. 따라서 결과 영상에서 볼 수 있듯이 색상 변화가 발생하였다. 즉, 붉은 색상은 오렌지 색상으로 변하였다. (c)는 제안한 방법에서 톤매핑 연산(식 (19))만을 사용하였을 경우의 결과 영상이다. iCAM 결과 영상과 비교 했을 때 많이 개선되었지만 결과 영상에서 특정 색상이 두드러진다. (d)는 제안한 방법의 결과 영상으로써 기존의 방법의 문제점인 색상 변화와 색상 두드러짐이 현저하게 줄어들었다.

Fig. 6.“Bristolb”image (a) original image, (b) iCAM06, (c) tone mapping, (d) Proposed method.

Fig. 7.“memorial_o876”image (a) original image, (b) iCAM06, (c) tone mapping, (d) proposed method.

Fig. 8.The other images (a) original image, (b) iCAM06, (c) tone mapping, (d) proposed method.

Fig 9.The captured image for five different standard illumination (a) original image, (b) iCAM06, (c) tone mapping, (d) proposed method.

제안한 방법의 정량적인 평가를 위해서 CIELAB[14,15] 색도 공간(CIELAB chromatic space)을 이용하여 평균 색차 (▽E), 색감(colorfulness), 휴(hue)성분을 비교 분석하였다. 실험에서 사용된 영상은 Fig. 8의 영상인 5개의 표준 조명 하에서 촬영한 영상을 이용하였다. Fig. 10와 Table 1은 이들 영상을 이용하여 평균 색차를 구한 결과이다. “A” 표준 조명 하에서 촬영한 영상에 대해서 실험한 결과 iCAM06의 경우 162.936231의 결과를 획득했으며, 톤 매핑의 경우 150.334543, 그리고 제안한 방법의 경우 142.465857의 결과를 얻었다. 따라서 제안한 방법의 경우 색재현성이 우수한 것으로 나타났다. 반면 "D 65" 표준조명의 경우 톤 매핑 후의 결과 값이 가장 색재현성 측면에서 우수한 성능을 보이는 것으로 나타났다. 또한 결과영상에 대해 색감을 정량적으로 측정하였다. Fig. 11과 Table 2에서 볼 수 있듯이 “CWF“ 표준조명 하에서 촬영한 경우를 예를 들면, 원 영상의 색감은 56.979936이며, iCAM06의 경우 48.630449, 톤매핑의 경우 91.41314, 제안한 방법의 경우 49.176779를 획득했다. 결과에서 같이 원 영상에 비해 색감은 좋지 않지만 기존의 방법에 비해 현저하게 개선되었음을 볼 수 있다. 동일한 영상을 사용해 실험을 더해서 휴 값에 대해서 측정해 보았을 때 ”D 65“의 경우에서 원 영상은 0.127528, iCAM06는 0.06302, 톤 매핑은 0.239626, 제안한 방법의 경우 0.060967을 획득했다. 색상의 이동이 가장 심한 방법은 톤 매핑 방법이었다. 비록 제안한 방법에서 몇 몇 영상에서 휴 값(hue value)이 기존의 방법보다 다소 색상 이동이 있었지만 대부분의 영상에서 원 영상과 비슷한 휴 값을 가짐을 Fig. 12과 Table 3에서 볼 수 있다.

Fig. 10,Mean color difference for the captured image under five different illumination.

Table 1.Mean color difference for the captured image under five different illumination

Fig. 11,Colorfulness for the captured image under five different illumination.

Table 2.Colorfulness for the captured image under five different illumination

Fig. 12,Hue for the captured image under five different illumination.

Table 3.Hue for the captured image under five different illumination

 

5. 결 론

톤 매핑의 목적은 가시성과 색상, 영상대비, 밝기등에 대한 모든 인상을 갖는 것이다. 이를 위해서 지난 50년 동안 수많은 관련 분야의 논문을 통해 다양한 방법들이 제안되었다. 톤 매핑 방법은 대략적으로 영역 연산과 전역 연산으로 나눌 수 있다. 영역적 방법은 주로 공간 몽롱화 필터(spatial smoothing filter)를 사용하였다. 영역적 방법에서 장점은 영상 내의 세부적인 영상 정보를 표현할 수 있다는 것이다. 그러나 공간 필터 크기에 의존하여 잘 알려진 것과 같이 후광효과가 발생한다. 예를 들어 공간 필터의 크기가 큰 경우 후광효과 없이 잘 개선되지만 시간비용이 많이 소요된다. 반면 공간 필터의 크기가 작을 경우 반대의 경우가 발생한다. 전역적방법의 장점은 시간 효율성이 높다는 것이다. 그러나 결과 영상에서 세부적인 영상 정보를 표현할 수가 없는 단점이 있다.

본 논문에서 제안한 방법은 이들의 장점을 이용하여 전역적방법과 영역적 방법의 조합을 통해 색상왜곡의 문제점을 해결하고자 하였다. 제안한 방법에서 제안한 톤 매핑 방법은 CIE XYZ 색상 공간을 기반으로 하는 색도 성분과 비색도 성분을 이용하였으며, 동적 폭 조절을 위해 비주얼 감마 조정 방법을 도입하였다. 기존의 방법에서 동적 폭 조절을 위한 감마 조정은 주어진 영상에 독립적으로 사용자 정의상수 값을 결정함으로써 최적의 파라미터를 결정함에 어려움을 겪었으며, 이를 결정하기 위해 많은 실험적 데이터가 필요했다. 제안한 방법에서 비주얼 감마 조정 방법은 주어진 영상에 의존하여 동적 폭을 조절 할 수 있는 장점을 갖는다. 톤 매핑 결과 영상은 색도 적응 변환을 통해서 처리되며, 이는 색상 보정후 결과 영상과 디스플레이 영상간의 인지적 불일치를 다루기 위함이다. 실험 결과의 평가를 위해서 HDR 화질 평가를 위해 널리 사용되는 영상을 비롯하여 5가지의 서로 다른 표준 조명 하에서 촬영한 영상 등 30장의 영상을 활용하였다. 결과에서 기존의 방법들 중에서 그 성능이 가장 우수한 iCAM06를 대조군으로 하여 HDR 영상을 이용하여 실험하였다. 그 결과 iCAM06 결과 영상에서 색상 이동과 색상누수로 인한 색상 두드러짐 현상이 생겼으며, 원영상과 비교했을 때 영상 대비는 개선되었지만 현저하게 개선되진 않았다. 그러나 제안한 방법의 결과에서 색상의 두드러짐과 영상 대비가 현저하게 개선되었음을 실험 통해서 확인하였다. 게다가 밝기, 색감, 휴값에 대한 실험을 시행하였다. 결과와 같이, 밝기와 색감에 대해 측정 하였을 때 모든 영상에 대해서 제안한 방법이 우수한 성능을 보였다. 그러나 휴 값을 측정한 결과 톤 매핑 방법은 다른 방법들보다 상당히 이동이 많이 일어났다. 또한 iCAM06과 비교했을 때 제안한 방법의 휴 값 이동이 다소 일어났다. 그러나 원 영상과 비교 했을 때 이동이 거의 일어나지 않음을 결과에서 알 수 있다. 향후 휴 값이 iCAM06보다 다소 이동한 원인을 분석하여 보다 개선된 방법을 계속해서 연구 할 것이다.