A Light Exposure Correction Algorithm Using Binary Image Segmentation and Adaptive Fusion Weights

이진화 영상분할기법과 적응적 융합 가중치를 이용한 광노출 보정기법

Abstract

This paper presents a light exposure correction algorithm for less pleasant images, acquired with a light metering failure. Since conventional tone mapping and gamma correction methods adopt a function mapping with the same range of input and output, the results are pleasurable for almost symmetric distributions to their intensity average. However, their corrections gave insufficient outputs for asymmetric cases at either bright or dark regions. Also, histogram modification approaches show good results on varied pattern images, but these generate unintentional noises at flat regions because of the compulsive shift of the intensity distribution. Therefore, in order to sufficient corrections for both bright and dark areas, the proposed algorithm calculates the gamma coefficients using primary parameters extracted from the global distribution. And the fusion weights are adaptively determined with complementary parameters, considering the classification information of a binary segmentation. As the result, the proposed algorithm can obtain a good output about both the symmetric and the asymmetric distribution images even with severe exposure values.

1. 서론

최근 스마트폰 내장 카메라의 고사양화와 저가의 고성능 DSLR(digital single lens reflex) 카메라 보급 확대 및 개인의 일상생활을 기록하는 라이프 로깅 (life logging) 시대가 보편화되면서 기록 매체의 대부분을 사진이 차지하게 되었다[1]. 그러나, 일반인들은 사진 기술에 대한 전문성이 없으므로, 역광, 일출과 일몰 등의 환경에서는 부적절한 노출값으로 사진을 획득하는 경우가 빈번하다고 할 수 있다. 이 문제를 해결하기 위해서 카메라 제조사들은 다양한 측광(light metering) 모드와 화질 개선 기능을 탑재하고 있으나[2], 모든 환경을 반영할 수 없고 사용자의 조작 실수도 큰 비율을 차지하고 있다. 그러므로, 이런 영상을 개선하기 위해 최근 노출 융합(exposure fusion)을 이용한 HDR(high dynamic range)[3,4], Retinex[5], 톤 맵핑(tone mapping)과 감마 보정 (gamma correction)[6] 및 히스토그램 변형(histo- gram manipulation)[7] 등을 이용한 다양한 방법이 활발히 연구되고 있다[8,9].

노출 융합을 이용하는 HDR 기법은 동일 위치에서 촬영된 여러 장의 사진을 이용하거나 단일 영상인 경우 다양한 밝기 영상으로 변형하여 각각의 영상을 융합하는 방식으로 대조, 채도 및 노출 정도를 반영한 각각의 가중치 맵을 갱신하는데 많은 계산처리를 요구한다[4]. Multi-scale Retinex 기법에서는 화소 주변의 평균값을 계산하기 위해 최대 스케일에서 최소 스케일까지 128-, 64-, 32-화소 크기의 윈도우가필요하며, 고속처리를 수행하여도 기본적인 연산량이 방대하다고 할 수 있다[5]. 히스토그램 변형법은 단순한 방법이지만 밝기 값을 강제적으로 이동시키기 때문에 작은 밝기 값들이 인접한 평탄 영역에서는 밝기 변화가 증가되어 의도치 않은 잡음이 발생하는 단점이 있다[7]. 그러므로, 최근에는 단순한 함수 변환의 형태인 톤 맵핑 기법에 기초한 감마 보정기반의광노출 보정기법이 많이 연구되고 있으나, 노출 보정을 위한 감마 계수의 선택과 이들을 융합하는 가중치의 결정이 어려워서 결과가 입력 영상에 의존되는 문제가 있다[8]. 또한, 이 접근법은 평균값을 기준으로 비교적 대칭적인 특성을 가지는 영상에는 좋은 결과가 나오지만, 과도하게 어둡거나 밝은 영상에서는 보정 효과가 크게 떨어진다. 그러므로, 본 논문에서는 어둡거나 밝은 부분 모두에 충분한 보정이 이루어질 수 있고 영상의 특성에 따라 적응적으로 융합가충치가 조정되는 광노출 보정 기법을 제시한다. 제안한 방식은 기본적으로 가장 단순한 보정 기법인 감마 보정에 기초하며, 입력 영상의 전역 분포 변수를 이용하여 감마 계수를 계산하고 빠르게 보상한다. 이렇게 보상된 영상들에 이진화 영상으로 분할된 두 클래스의 비율과 각 클래스의 분포 변수를 고려하여 적응적으로 융합 가중치를 조정하여 최종적인 화소값을 결정하도록 한다. 그 결과 영상의 밝기 값 분포가 대칭적이거나 비대칭적인 영상에서도 좋은 보정결과를 얻을 수 있는 기법을 제시하려고 한다.

2. 관련 기술 및 연구

2.1 노출 융합

하드웨어적으로 노출 융합이 적용되는 카메라에서는 EV(exposure value)값을 브라케팅(bracket- ing) 하여 여러 장의 사진을 고속으로 촬영하여 사용하고, 이미 획득된 단일 영상인 경우에는 소프트웨어적으로 감마 보정 계수를 다르게 하여 여러 단계의 보정 영상을 생성하여 이용한다. 노출 융합은 대부분 휘도(luminance) 또는 명도(brightness) 신호에서 수행되며, Fig. 1에서처럼 생성된 다중 영상을 화소별로 가중치를 다르게 해서 융합하며, 가장 대표적인 기법은 Tom Mertens 등이 제안한 방식[4]으로 노출이 다른 N개의 영상으로부터 Eq. (1)과 같이 융합을 위한 가중치 맵 W를 생성한다.

\(W_{i j, k}=\left(C_{i j, k}\right)^{\omega_{C}} \times\left(S_{i j, k}\right)^{\omega_{s}} \times\left(E_{i j, k}\right)^{\omega_{E}}\)       (1)

Fig. 1. Example images with different exposure values.

여기서 (i, j)는 영상의 위치이고 k는 k번째 영상의 가중치 맵을 뜻한다. C는 대조(contrast), S는 채도 (saturation), E는 노출 정도(well-exposedness)를 나타내며 ω는 각 항목의 반영 계수이다. 이렇게 획득한 가충치 맵을 정규화한 다음 각 입력 영상에 곱하여 Eq. (2)와 같이 최종 융합 영상(R_ij)을 획득한다.

\(R_{i j}=\sum_{k=1}^{N} \hat{W}_{i j, k} I_{i j, k}\)       (2)

여기서 \(\widehat{W}\)은 정규화된 가중치를 I는 입력 영상을 각각 나타낸다. 그러므로 이 과정에서 가장 중요한 부분은 대조, 채도 및 노출 정도를 수치화하는 것과 각 척도에 화소별 가중치를 결정하는 것이며, 이 부분이 해결해야 할 어려운 문제라고 할 수 있다. 또한, 대부분의 노출 융합법은 Eq. (2)에서처럼 가중치 맵을 화소별로 다르게 적용하기 때문에 지역적 특성을 반영할 수 있다는 장점이 있지만, 가충치 맵의 데이터가 영상의 개수만큼 필요하고 자료형이 실수형이므로 4×N×영상크기 공간이 요구된다. 그 결과, 연산량과 자료공간을 많이 소모하는 단점이 있다.

2.2 톤 맵핑

톤 맵핑은 영상의 동적범위를 비트 확장에 의해 넓은 범위로 확장한 후, 목표 디스플레이 장치에 적절하게 표현될 수 있도록 밝기 톤을 축소하는 기술이다[9]. Fig. 2에서 보는 것과 같이 톤 맵핑은 디스플레이 색역(color space/gamut) 한계 내에서 입력 휘도 또는 색값에 대해 출력 값을 사상하는 함수로 표현되며, 크게 전역(global)과 국부(local) 곡선으로 구분되고 국부 맵핑 함수는 특정 구역의 중심값 좌우로 미세한 변환을 수행한다. 가장 간단하고 대표적인 기법은 Reinhard 방식으로 TMO(tone mapping oper- ator)는

\(Y_{o}=\frac{Y_{i}}{1+Y_{i}}\)       (3)

와 같이 표현되고 Y_i는 입력 휘도, Y_o은 사상된 출력 휘도 값이다. 그러나 최대 입력(Y_i=1)일 경우, 출력이 1/2이 되면서 동적범위를 모두 활용하지 못하는 단점이 있어 최대 휘도 값인 백색을 반영한 Eq. (4) 와같이 전체 동적범위를 사용하는 Extended Reinhard 방법을 주로 사용된다.

\(Y_{o}=\frac{Y_{i}\left(1+\frac{Y_{i}}{Y_{w h i t e}^{2}}\right)}{1+Y_{i}}\)       (4)

Fig. 2. Various global and local TMOs [9].

그 이후, 실제 필름과 같은 특성을 모방하는 Filmic 기법이 제시되었으며, John Hable에 의해 고안된 'Hable Filmic'으로 알려진 Uncharted 2가 대표적인 방법이다[10]. Filmic 기법은 변환함수의 ‘toe’에 해당하는 부분이 Reinhard 곡선보다 낮아서 검은색 영역이 포화되는 특성이 있으며, 필름 특성을 반영하기 위해 세부 구간마다 다른 곡선을 사용하는 piecewise 함수를 사용한다. Filmic 기법 중 가장 인기가 있는 기법은 행렬 변환으로 빠르게 색값을 변환하는 ACES(academy color encoding system)이며, 실시간 게임 엔진 unreal engine 4나 컴퓨터 그래픽 환경에서 요즘 많이 활용되고 있다[10]. 전역 톤 맵핑 곡선의 외형은 로그 함수에서 시그모이드 함수까지 있고 세부 영역에 대해 미세조정을 추가하는 국부 방법이 보편화되고 있지만, 국부 제어와 평균 및 최대 밝기 등을 고려할수록 연산량이 계속 증가한다.

2.3 감마 보정

감마 보정을 큰 관점에서 보면 전역 톤 맵핑 함수로 생각할 수 있지만, 카메라나 디스플레이의 비선형 물리적 특성을 선형적으로 보상하기 위한 기술이기 때문에 개념과 적용에서 완전히 다른 분야라고 할 수 있다[11]. 보정된 출력값(I_C)은 입력(I_S)에 대해서 감마 계수(\(\gamma\))의 역수 승으로 표현되며, 여기서 L은 최대 출력값이다.

\(I_{C}=L I_{S}^{1 / \gamma}\)       (5)

영상 장비의 보편적 입출력 감마 특성은 Fig. 3과 같으며, 일반적으로 적용되는 감마 계수가 모니터와 같은 디스플레이에는 \(\gamma\)=0.45이고 카메라 센서는 그 역수인 2.2 정도이다[2]. 이런 감마 보정이 영상 장비의 특성을 보상하기 위한 것이기도 하지만, 인간 시각의 신경생물학적 특성도 비선형적이므로 영상 장치의 특성과 사람의 인지 정도를 복합적으로 보정하기 위해 널리 적용되고 있다[11].

Fig. 3. Typical gamma correction functions.

3. 제안한 방법

본 논문에서 제안하는 기법은 톤 맵핑기법에 속하면서 가장 단순한 전역기법인 감마 보정을 이용하는 기법이며, 영상의 특성에 따라 전체 영상에 고정적으로 적용되는 적응적 감마 계수와 세부적 특성 반영을 위해 융합 가중치를 조정하는 노출 보정법을 제시하려고 한다. Fig. 4는 제안한 기법의 블록도를 보여주며, 먼저 입력 영상에서 명도 채널을 분리한 다음 감마 보정 계수 계산에 사용될 기본 매개변수를 전역분포에서 계산한다. 그리고 영상을 밝은 영역과 어두운 영역을 이진화해서 각 클래스의 정보에서 보완적인 매개변수를 추출한다. 이 정보를 이용하여 융합가중치가 적응적으로 결정되며, 최종적으로 개선된 결과 영상을 획득한다.

Fig. 4. Block diagram of the proposed algorithm.

3.1 Thresholding

문턱치(threshold) 기법은 이진 영상으로 분할하는 가장 단순한 기법으로 iterative thresholding, Otsu와 Kapur 기법이 있다[12]. Iterative thresh- olding은 양분된 각 클래스의 평균(μ₁, μ₂)의 중간값을 문턱치로 결정하며, 반복 연산을 수행하면서 문턱치가 변화되지 않을 때 연산을 종료한다. Kapur 기법은 히스토그램의 엔트로피를 최대화하는 문턱 치를 찾기 때문에, 엔트로피 연산에서 다른 방법보다 복잡한 수식이 필요하다. Otsu는 Eq. (6)과 같이 클래스 간 분산(between class variance)을 최대화하는 값을 문턱 치로 결정하기 때문에 반복 연산이 필요없고 비교적 단순한 연산으로 최적값을 찾을 수 있다.

\(\sigma_{B}^{2}(T)=P_{1}(T)\left(\mu_{1}(T)-\mu\right)^{2}+P_{2}(T)\left(\mu_{2}(T)-\mu\right)^{2}\)       (6)

여기서 T는 문턱치, μ는 전역 평균(global mean), P₁ 및 P₂는 T에 의해 양분되는 화소의 비율이다. Fig. 5는 한 영상의 분포와 클래스간 분산을 표시한 예인데, Fig. 5(b)의 클래스간 분산은 Gaussian 함수처럼 항상 최대값까지 단조 증가된 후 단조 감소되는 unimodal한 형태를 가지므로 최대값을 용이하게 찾을 수 있다.

Fig. 5. An example of Ostu thresholding. (a) Distribution and (b) Between class variance.

3.2 통계적 매개변수

영상의 전역 평균값(μ)을 보면 전반적으로 밝고 어두운 영상인 것을 알 수 있지만, 중간값(median) m을 함께 고려하면 해당 영상의 전체 밝기 분포가 어느 쪽으로 편중되어있는지 판단할 수 있고, 전 역적 보정 함수를 결정할 수 있다. 예를 들어, 밝으면서 전체적으로 고르게 분포된 영상이라고 하면 평균값과 중간값의 차이는 거의 없을 것이다. 그런데, 평균값과 중간값의 차이가 크다고 한다면 중간값의 위치에 따라 노출이 부족한지 과도한지를 판단할 수 있으므로 제안한 방법에서는 이 두 값(μ, d)을 기본 매개변수(primary parameter)로 활용하여 감마 계수 계산에 활용한다. Fig. 6을 살펴보면, Fig. 6(a)는 노출이 부족한 영상이기 때문에 중간값이 평균보다 낮으며, Fig. 6(b)는 노출이 과도한 영상이므로 중간값이 평균보다 높은 것을 확인할 수 있다. 이는 Fig. 7과같이 실험에 사용된 50개의 영상에서 분석한 결과에서 확인할 수 있었고, 평균과 중간값의 차이인

d = μ - m       (7)

가 클수록 큰 보정 계수가 필요하다는 것을 알 수 있다. 대부분의 경우 보정을 수행하면 화질이 개선되고 특히 그 차이가 10이상인 경우에는 과도한 보정을 요구하였다. Table 1에 큰 보정이 필요한 경우의 예를 표시하였으며, 평균값이 128 근처이지만 밝은 영역이나 어두운 영역으로 편중되어 있는 영상에서는 밝은 부분과 어두운 부분을 특별히 고려해야만 한다. Fig. 8은 Fig. 6에 대한 이진화 결과에서 획득한 각 클래스의 정보를 표시한 것이다. Fig. 8(a)는 문턱치와 전역평균의 차이가 작아서 각 클래스의 비율이 52%와 48%로 비슷하지만, 아주 낮은 밝기값에 편중되어 있어서 μ₁이 매우 낮다. 그러므로, 이 경우에는 어두운 영역이 밝게 보정되어 반영되어야 한다는 걸 의미한다. Fig. 8(b)에서는 전역평균과 중간값이 매우 높은 쪽에 위치해서 밝은 영상임을 알 수 있지만, 각 클래스의 비율을 볼 때 13%와 87%로 밝은 부분이 너무 많은 비중을 차지하는 과다 노출 영상임을 확인할 수 있고, 이 과도한 밝은 부분이 어두운 쪽으로 보정되어야 한다는 것을 알 수 있다. 그러므로, 입력 영상의 이진화 결과는 밝기 분포가 어둡거나 밝은 쪽으로 편중된 정도와 비율에 대한 좋은 정보를 제공한다. 일반적으로 이진화 기법은 bimodal한 영상에서 좋은 이진화 결과를 가져오지만, 제안한 기법에서는 이진화 결과 영상이 아니라 단순히 밝기 정보의 어두운 영역과 밝은 영역의 비율만 사용하여 융합가중치 계산에 활용하기 때문에 영상의 분포가 uni- 또는 multi-modal이라 하더라도 상관이 없다. 다시 정리하면, 제안한 방식에서는 이진화 결과에서 각 클래스의 비율과 평균인 P₁, P₂, μ₁, μ₂만을 활용하여 보완 매개변수(complementary parameter)로 융합가중치 결정에 이용한다.

Table 1. Specific cases of the analysis images.

Fig. 6. Primary parameter examples for exposure failure. (a) Less and (b) Excess.

Fig. 7. Part of images for the statistical analysis.

Fig. 8. Complementary parameters after a binary segmentation. (a) Case of Fig. 6(a) and (b) Case of Fig. 6(b).

3.3 감마 계수 및 가중치 계산

일반적으로 사용되는 감마 보정 계수는 Fig. 3의 2.2와 그 역수인 0.45가 보편적이며, 광학 장치와 인간 시각 특성의 기본적인 보상값이다. 그러나 부적정 노출로 인해 입력 영상의 분포가 어둡거나 밝은 쪽으로 밀집되어있는 영상에는 이 값이 적절한 보정 값이라고 할 수 없으며, 영상의 특성에 맞게 노출이 많이 부족한 영상에 대해서는 \(\gamma\) > 2.2보다 큰 값으로 어두운 부분을 크게 보상해야만하고, 그 반대인 경우에는 \(\gamma\) < 0.45보다 더 작게하여 밝은 부분을 보정해야만 한다. 일반 영상에서 HDR과 같이 향상된 결과를 얻기 위해서는 기본값의 약 2배인 4와 0.25가 많이 활용된다[2]. 그러나, 과도한 저노출과 과노출 영상에 대해서는 이 값이 부족하므로, 제안한 기법에서는 이들 기본값의 4배에 해당하는 값을 계수의 최대 및 최소치로 설정하여 Fig. 9에 보여진 것과 같이 밝은 영역을 어둡게 보정하는 계수(\(\gamma_{1}\))의 범위는 (0.125, 0.45], 어두운 영역을 밝게 보상하기 위한 계수(\(\gamma_{2}\))는 [2.2, 8)로 넓은 범위를 설정하였다.

Fig. 9. Gamma correction ranges of the proposed algorithm.

제안한 방식의 기본 매개변수인 μ와 m의 차이인 d로부터 \(\gamma_{1}\)과 \(\gamma_{2}\)을 계산하기 위해서 +∞와 -∞ 양쪽에서 수렴하는 sigmoid 함수를 Fig. 10에서와 같이 사용하여 감마 계수를 계산하였다. \(\gamma_{1}\)은 0.45에서 0.125까지 감소하는 부분이므로 시그모이드 함수의 d가 음수인 부분에 맵핑하고, \(\gamma_{2}\)는 2.2에서 8까지 증가되는 d가 양수인 부분에 맵핑한다. 각 구간의 최대, 최소값 및 scale이 다르지만 형태가 같아서 두 구간을 d=0을 기준으로 Fig. 10에 함께 표기하였다. 각 구간에서 d=0일 때를 기본값으로 설정하였으므로

Fig. 10. The proposed gamma calculation function.

\(​​\gamma_{max1}\)는 \(\gamma_{1}\)의 최대값 0.45이고, \(​​\gamma_{max2}\)는 \(\gamma_{2}\)의 최소값인 2.2이다. 그 결과 \(\gamma_{1}\)과 \(\gamma_{2}\)는

\(\gamma_{1}(d)=\frac{2\left(\gamma_{\max 1}-\gamma_{\min 1}\right)}{1+e^{-\alpha d}}+\gamma_{\min 1}, \gamma_{2}(d)=\frac{1}{\gamma_{1}(d)}, d<0\)      (8)

\(\begin{aligned} \gamma_{2}(d) &=\frac{2\left(\gamma_{\max 2}-\gamma_{\min 2}\right)}{1+e^{-\beta d}}+2 \gamma_{\min 2}-\gamma_{\max 2}, \gamma_{1}(d) \\ &=\frac{1}{\gamma_{2}(d)}, d \geq 0 \end{aligned}\)      (9)

와 같이 표현된다. 여기서 α와 β는 스케일링 상수로써 각 구간의 최대-최소의 차이를 보상한다. Fig. 7에 사용된 영상의 d의 절대치 평균을 \(\hat{d}\)이라고 했을 때, 이 값이 각 구간의 sigmoid 함수 폭에 절반이 되도록 설정하였다. 영상 분석에 사용된 50개의 영상에서 획득한 \(\hat{d}\)=16.5가 나왔기 때문에 α=0.08과 β=1.45로 결정하였으며, 편의상 Eq. (8)과 (9) 중 하나를 사용해도 무관하다. 각 경우에 대해서 \(\gamma_{1}\)과 \(\gamma_{2}\)을 역수로 사용한 이유는 대칭적인 보상을 해서 비대칭적 보상을 통한 급격한 평균 밝기의 변화를 막기 위함이다. 그 결과 d값에 따라 두 개의 감마 계수에 의한 보정 영상이 획득된다.

이렇게 획득된 각 영상(I{i,j}을 아래와 같이 가중치 융합하여 겨로가 영상 R(i,j)를 획드한다.

\(R(i, j)=\omega_{b} I_{b}(i, j)+\omega_{d} I_{d}(i, j)+\omega_{i} \bar{I}_{i}(i, j), \quad \omega_{2}+\omega_{d}+\omega_{i}=1\)       (10)

ω는 각 보정 영상에 대한 융합 가중치이고 첨자는 순서대로 밝은 화소가 보정된 영상, 어두운 화소가 보정된 영상 및 입력 영상을 각각 나타낸다. 여기서 영상의 세부 특성을 반영하기 위해서 Fig. 8(b)의 경우를 생각해 보자. 이 영상은 노출이 과도하여 밝은 화소 비율이 87%로 너무 많기때문에 어두운 영상으로 보정된 영상 I_d의 가중치를 높혀야 하므로, 클래스 2(밝은 영역)의 비율인 P₂=0.87이 ω_d에 반영되어야 하고 반대로 밝게 보정된 I_b영상은 클래스1(어두운 영역)의 비율인 P₁=0.13로 약화시키게 ω_b에 작용해야 된다. 보정된 두 영상만을 사용해도 되지만, 가중치에 너무 민감한 특성이 있어서 원본 영상을 기본적으로 반영하도록 하였다.

추가적으로 클래스의 비율뿐만 아니라 클래스 평균의 위치를 고려하기 위한 가중치 함수를 고려한다. Fig. 8(a)를 살펴보면 각 클래스의 비율은 비슷하지만, 클래스1의 평균값이 매우 낮다. 그러므로 클래스의 비율만 고려하면 보정이 부족할 수 있기 때문에 낮은 평균을 갖는 경우 밝게 보정될 수 있도록 ω_b를더욱 증가시켜야 한다. 마찬가지로 Fig. 8(b)의 클래스2의 평균을 보면 아주 높은 쪽에 위치해서 클래스 비율로 1차적으로 약화되지만, 평균의 위치가 고려되어 추가적으로 더욱 감소시킬 필요가 있다. 그러므로, 각 클래스의 평균 위치가 가중치 보상을 boosting 하는 효과가 있어 결과를 더욱 개선할 수 있도록 하였다. 클래스 평균의 절대적 위치(class mean posi- tion)에 따른 가중치 함수(w_cmp)는 실험에 사용된 50 개의 영상에 대한 실험값으로 결정하였으며, μ₁이 0 에 가깝거나 μ₂가 255에 가까울수록 큰 값을 가지도록 Eq. (11)과 Fig. 11에서와 같이 Gaussian 함수를 활용하였다.

\(\omega_{c m p}\left(\mu_{x}\right)=\left\{\begin{array}{l} 1-\frac{1}{\sigma \sqrt{2 \pi}} \exp \left[-\frac{\left(\mu_{1}-64\right)^{2}}{2 \sigma^{2}}\right], \quad \mu_{1}<64 \\ 1-\frac{1}{\sigma \sqrt{2 \pi}} \exp \left[-\frac{\left(\mu_{2}-192\right)^{2}}{2 \sigma^{2}}\right], \mu_{2}>192 \end{array}\right.\)      (11)

Fig. 11. The weight function about class mean position.

여기서 표준편차(σ)는 6σ=128이 되도록 설정하였다. 클래스 비율과 클래스 평균의 위치가 고려된 최종 가중치는 Eq. (12)와 같고 가중치의 합이 1이 되도록 정규화되어 적용된다. 제안한 기법의 전략을 정리하면, primary parameter인 전역변수 평균(μ)과 중간값(m)으로 전체적인 감마 보정 계수를 계산해서 적용한 후, 이진화된 영상의 complementary param- eter인 클래스 비율(P₁, P₂)과 클래스 평균(μ₁, μ₂)으로 융합 가중치를 세부 조정하는 방식이다. P₁과 P₂ 는 부족하거나 넘치는 쪽이 상대방의 비율로 보상을 받게 해서 클래스간 동일한 비중으로 융합하게 만들며, μ₁과 μ₂는 과도하게 어둡거나 밝은 쪽으로 쏠린 영상을 한번 더 보상해서 클래스 평균이 중간 방향으로 갈 수 있도록 한다.

\(\omega_{b}=P_{2}(T)+\omega_{\text {cmp }}\left(\mu_{1}\right), \omega_{d}=P_{1}(T)+\omega_{\text {cmp }}\left(\mu_{2}\right)\)       (12)

4. 실험 결과 및 고찰

실험에 사용한 영상은 Fig. 12와 같으며, 영상 1과 2는 저노출 영상이고 영상 3과 4는 과노출 영상이다. 각 영상의 정보는 Table 2에 표시하였고 회색으로 표시된 것은 ω_cmp 가중치가 동작하는 경우를 표시한 것이며, Table 3에는 기본 및 보완 매개변수에 의해 계산된 실험 계수들을 명기하였다. 여기서 \(\hat{w}\)은 정규화된 가중치를 나타낸다.

Table 2. Experimental image parameters.

Table 3. Gamma coefficient and fusion weights.

Fig. 12. Experimental images. (a) Image 1, (b) Image 2, (c) Image 3, and (d) Image 4

제안한 방법의 성능을 비교 평가하기 위해 선택한 방법 1은 고정 계수의 감마 보정과 톤 맵핑을 사용하며, 가중치 맵과 경계 보상을 이용하는 기법[6]으로 전통적인 HDR 기법인 T. Mertens[4]과 유사한 방식이다. 방법 2는 히스토그램 조정과 통계적 편차를 이용한 방법[7]이다. Fig. 13~16은 결과 영상을 보여주며, 각 결과의 평균 및 중간값을 Table 4에 나타내었다. 실험 결과에서 방법 1은 전반적으로 성능 향상을 보였으나, Image 1의 경우 평균이 90에서 92로 중간값이 87에서 88로 그리고 Image 4에서는 평균이 213 에서 217, 중간값이 232에서 232로 거의 변화가 없었으므로 저노출과 과노출 상황에서 다소 부족한 결과를 나타내었다. 방법 2는 히스토그램을 강제로 조정하기 때문에 입력 평균과 중간값이 낮거나 높아도 131~139로 변경하여 밝기 분포의 가운데 정렬 특성이 있었으므로 저노출은 과다하게 밝은 영상으로, 과노출은 크게 어두운 영상으로 변환하는 결과를 보여주었다. 반면 제안한 기법은 저노출과 과노출 영상에서 적절한 비율로 보정하여 Image 1과 2에서 원본의 중간값이 평균보다 낮았지만, 보정 결과에서는 평균보다 약간 높거나 비슷한 값으로 보정되었고 Image 3과 4에서는 아주 높은 평균과 중간값이 (165, 177) 및 (185, 208)로 method 1과 method 2의 결과의 중간에 해당하는 결과를 보여주어 주관적 화질이 가장 우수하고 적절한 것을 확인할 수 있었다.

Fig. 13. Results for image 1. (a) Method 1, (b) Method 2, and (c) Proposed.

Fig. 14. Results for image 2. (a) Method 1, (b) Method 2, and (c) Proposed.

Fig. 15. Results for image 3. (a) Method 1, (b) Method 2, and (c) Proposed.

Fig. 16. Results for image 4. (a) Method 1, (b) Method 2, and (c) Proposed.

Table 4. Global parameters for result images.

5. 결론

본 논문에서는 부적절한 노출값으로 획득된 영상의 광노출을 보정하는 알고리즘을 제안하였다. 일반적인 톤 맵핑 및 감마 보정과 같은 보정기법은 입력과 출력 사이에 변환 함수를 정의해서 보정을 수행하여 영상의 전체가 평균적으로 향상되기 때문에 밝기분포가 전역 평균을 중심으로 대칭적일 경우 좋은 결과를 가져오지만, 어둡거나 밝은 부분의 한쪽으로 치우친 비대칭 분포를 갖는 영상에서는 충분하지 못한 보상 결과를 가져왔었다. 또한, 히스토그램 변형함수를 이용하는 방법일 경우에는 강제적으로 영상분포를 이동시키기 때문에 변화가 심한 영상에는 잘 동작하지만, 어두운 부분과 밝은 부분이 과도하게 보상되거나 평탄한 영역에서는 의도하지 않는 잡음이 심해지는 결과가 나타난다. 그러므로, 제안한 방법에서는 어둡거나 밝은 부분 모두에 충분한 보정을 적용하기 위해 입력 영상의 전역 분포에서 추출한 기본매개변수로 보정 감마 계수를 적응적으로 계산한다. 그 다음 이진화 영상 분할 기법을 적용하여 분할된 두 클래스의 비율을 융합 가중치에 반영하여 영상의 세부 특성까지 적응적으로 고려하였다. 그리고 어두운 부분과 밝은 부분으로 과도하게 쏠린 특성을 보이는 저노출과 과노출 영상의 보정 성능을 높이기 위해서 각 클래스의 평균값을 추가적으로 융합 가중치에 반영하는 기법을 제시하였다. 그 결과 제안한 방식은 전역적 감마보정으로 인해 단순하며, 저노출 및 과노출 영상뿐만 아니라 영상의 밝기 분포가 대칭적이거나 비대칭적인 영상에서도 좋은 보정 결과를 얻을 수 있었다.