DOI QR코드

DOI QR Code

Histogram Equalization Algorithm for Suppressing Over-Enhancement and Enhancing Edges

과대 대조 강조 방지 및 엣지 강화를 동시에 수행하는 히스토그램 평활화 알고리듬

  • Mun, Junwon (Dept. of Electrical and Electronic Eng., Graduate School, Yonsei University) ;
  • Kim, Jaeseok (Dept. of Electrical and Electronic Eng., Graduate School, Yonsei University)
  • Received : 2019.06.29
  • Accepted : 2019.08.26
  • Published : 2019.09.30

Abstract

Histogram equalization method is a popular contrast enhancement technique. However, there are some drawbacks, namely, over-enhancement, under-enhancement, structure information loss, and noise amplification. In this paper, we propose an edge-enhancing histogram equalization algorithm while suppressing over-enhancement simultaneously. Firstly, over-enhancement is suppressed by clipping a transfer function, then, edge enhancement is achieved by using guided image filter. Experiments are carried out to evaluate the performance of the various HE algorithms. As a result, both qualitative and quantitative assessment showed that the proposed algorithm successfully suppressed over-enhancement while enhancing edges.

Keywords

1. 서론

이미지 대조 강조(contrastenhancement) 기법은 이미지 대조가 낮은 의료 영상 혹은 레이다 (radar) 이미지 등에 사용되는 주요한 영상 처리 기법 중 하나로써, 대표적인 기법으로 히스토그램 평활화(his-togramequalization, HE) 알고리듬이 있다 [1]. 이 기법은 각 화소의 밝기를 균일하게 분포하게 하는 방법으로 효과적인 동시에 구현이 간단하지만 이미지에 따라 원치 않는 과대 대조 강조(over-enhancement)가 발생하는 단점이 있다. 또한, 기존의 히스토그램 평활화 과정에서 발생하는 구조 정보 손실(structure information loss)을 개선시키기 위해서 전반적인 이미지의 대조를 강조하는 동시에 국소적이미지 구조 정보(local image structure informa-tion)를 강조하거나 에지 정보를 활용해 히스토그램스파이크 현상을 방지하는 연구도 진행되어 왔다[2,3].

밝기를 보존함으로써 과대 대조 강조를 억제하기 위해서 히스토그램을 2개의 구역 혹은 그 이상으로 나눈 후 각각의 구역에 대해 평활화를 수행하는 연구들이 있다. 이 방법들은 구역을 여러 개로 나눌 수록 대조 강조가 가능한 범위가 좁아지기 떄문에 과 대대조 강조가 억제되지만, 대조 강조가 크지 않은 부분도 함께 줄어들기 때문에 원래의 목적인 대조 강조가 감소하게 된다는 단점이 있다. 관련한 대표적인 연구로는 밝기 보존 쌍-히스토그램 평활화(bright-ness preserving bi-histogramequalization, BBHE)기법이 있으며 이 방법은 히스토그램 구역을 구분할 때 경계를 입력 이미지 밝기의 평균으로 설정한다[4]. 후속 연구로 히스토그램 구역을 평균 밝기로 여러 번 나누어 과대 강조를 보다 억제하는 방법인 반복적 평균 분할 히스토그램 평활화(recursivemean-separate histogramequalization, RMSHE) 기법이 있다[5]. 또 다른 연구로는 히스토그램의 빈 (bin) 값을 강제로 깎음으로써 과대 강조를 더욱 감소시키는 연구로 평탄 한도를 이용한 쌍-히스토그램 평활화(Bi-histogram equalization with a plateau limit, BHEPL) 기법, 평탄 한도를 이용한 삼중-히스토그램 평활화(Plateaulimit absedTri-histogram equalization, THE-PL)이 있다 [6],[7]. 두 방법들은 히스토그램을 평탄 한도로 깎고 재분배하여 과도하게 대조가 강조되는 것을 막는다.

본 논문에서는 히스토그램 평활화 알고리듬이 가지는 단점인 과대 적합을 방지하며 동시에 이미지의 중요 구조 정보를 가지는 경계를 강조하는 대조 강조기법을 제안한다. 기존에 방식들은 히스토그램의 구역을 나누거나, 구역을 나눈 후 각 구역의 히스토그램의 빈(bin) 값을 특정 임계값으로 깎음(clipping)으로써 과대적합을 방지한다. 하지만 이러한 방법들은 원래의 목적인 대조 강조의 성능을 지나치게 감소시킨다. 이를 해결하기 위해서, 제안하는 방법은 다중 히스토그램을 생성하는 대신 단일 히스토그램을 생성한 후 전이 함수와 화소 세기 값의 차이를 깎음으로써 과대 대조 강조를 억제한다. 또한 경계보존 평활화(edge-preserving smoothing) 기법 중 하나인 가이디드 이미지 핕터(guidedimagefilter)를 이용하여 경계 부분의 대조는 강조시키고 평탄한 지역(flatregion)의 잡음은 억제시켰다 [8]. 이것은 과대 대조강조를 억제하는 과정에서 발생하는 국소적 이미지구조 정보 손실을 보상하기 위한 과정이다. 가이디드 이미지 필터의 계수 중 경계 부분에서 큰 값을 가지는 계수를 이용해 각 화소에 따른 전이 함수를 적응적으로 적용시킴으로써 잡음은 강조하지 않고 중요한 경계부분만을 강조할 수 있다. 다양한 이미지에 대한 실험을 통해서 본 목적인 대조 강조의 성능을 최대한 유지하면서 과대 대조 강조를 억제하였고 중요한 정보를 가지는 경계 부분의 대조는 더욱 강조시키는 것을 보인다. 성능을 증명하기 위해서 기존의타 알고리즘들과 정성적인 비교와 정량적인 비교를 수행한다.

본 논문의 구성은 다음과 같다.2장에서 본 논문의 기본 이론이 되는 히스토그램 평활화 알고리듬과 가이디드 이미지 필터에 대해 서술하고,3장에서는 제안하는 알고리듬을 자세히 기술한다. 그리고 4장에서는 제안하는 알고리듬에 대한 다양한 실험결과와 기존 알고리듬들과의 객관적 및 주관적 비교를 통해 성능을 비교하고 5장에서 결론을 맺는다.

2. 이론

2.1 히스토그램 평활화

히스토그램 평활화는 이미지 대조를 강조하기 위한 기법으로써, 이미지의 밝기에 대한 히스토그램이골고루 분포시키도록 전이함수를 구하여 입력된 이미지를 변환시킨다. 자세한 과정은 아래와 같다. 주어진 이미지를 라고 할 때, 번째 화소 밝기 레벨(intensity level)에 대한 히스토그램 빈 h(k)를모든 화소 밝기 레벨에 대해 아래와 같이 정의한다.

\(h(k)=n_{k}, \quad \text { for } \quad k=0,1, \ldots,(L-1)\)       (1)

여기서 L 은 영상의 화소가 가지는 밝기의 최고 레벨(일반적인 8비트 영상에서는 256)을 의미하고,는 이미지 의 화소들 중 화소 밝기가 Ik인 화소의 총 개수를 의미한다. 이에 따라 확률밀도함수(prob-ability density function, pdf)인 pdf(k)를 아래와 같이 정의한다.

\(\operatorname{pdf}(k)=h(k) / N, \quad \text { for } k=0,1, \ldots,(L-1)\)        (2)

여기서 N은 이미지 I의 총 화소 개수를 나타낸다.

그 후, 누적밀도함수(cumulative density function, cdf) cdf(k)를 아래와 같이 정의한다.

\(c d f(k)=\sum_{i=0}^{k} p d f(i), \quad \text { for } \quad k=0,1, \ldots,(L-1)\)        (3)

마지막으로, 입력 화소의 밝기가 Ik일 경우 출력 영상의 결과값을 구하기 위한 히스토그램 평활화의 전이 함수 T(k)는 아래와 같이 정의된다.

\(T(k)=I_{0}+\left(I_{L-1}-I_{0}\right) \times \operatorname{cd} f(k) \text { for } k=0,1, \ldots,(L-1)\)       (4)

2.2 가이디드 이미지 필터

가이디드 이미지 필터는 가이드 이미지(guidance image) 와 입력 영상 를 이용하는 선형 이미지 필터이며 가이드 이미지를 통해 입력 영상으로 구조정보를 전달한다 [8]. 대표적인 적용 분야로써 경계보존 평활화, 세부 정보 강화(detailenhancement), high dynamicrange (HDR) 압축, 스테레오 매칭 등이 있다 [8]. 본 논문에서는 가이디드 이미지 필터를 경계보존 평활화를 위해 사용하며 이 경우는 가이드이미지와 입력 영상이 같게 되어 입력 영상만을 이용하여 필터링을 수행한다. 경계보존 평활화의 경우는 양방향 필터(bilateralfilter)가 우수한 성능을 가지지만 계산량이 복잡하고, 그에 비해 가이디드 이미지 필터는 선형 모델이기 때문에 실시간 처리에 적합하다.

가이디드 이미지 필터는 가이드 이미지 G와 출력 영상 q가 국소적으로 선형 모델이라고 가정한다. 화소 위치(pixellocation) k를 중심으로 하는 정사각형윈도우 wk에 대한 필터링 결과 qi는 아래와 같이 정의된다.

\(q_{i}=a_{k} G_{i}+b_{k}, \quad \forall i \in w_{k}\)       (5)

 

여기서 ak와 bk는 윈도우 wk 내에서 일정한 상수값을 가지는 선형계수들이다. 다음으로는 국소적 선형 모델을 사용하여 얻은 출력 값이 입력 이미지의 값과 비슷한 값을 가지지만 동시에 출력 값을 연속적으로 부드럽게 하는 선형계수들의 해를 찾고자 한다. 이에 따라 비용 함수 E(ak,bk)는 식 (6)과 같으며, 선형 계수들의 최적해 (ak, bk)는 편미분을 통해 풀면(7), (8)과 같다.

\(E\left(a_{k}, b_{k}\right)=\sum_{i \in w_{k}}\left(\left(a_{k} G_{i}+b_{k}-I_{i}\right)^{2}+\epsilon a_{k}^{2}\right)\)       (6)

\(a_{k}=\frac{\frac{1}{|w|} \sum_{i \in w_{k}} G_{i} I_{i}-\mu_{k} \overline{I_{k}}}{\sigma_{k}^{2}+\epsilon}\)       (7)

\(b_{k}=\overline{I_{k}}-a_{k} \mu_{k}\)       (8)

식 (6)에서 \(\epsilon\)는 ak 가 커지는 것을 억제하는 정규화매개 변수(regularizationparameter)을 의미하고, 식 (7)에서 \(|w|\)는 윈도우 \(w_{k}\)의 넓이, \( \mu_{k}\) 와 \(\sigma_{k}^{2}\)\(w_{k}\) 안에 있는 가이드 이미지 G 화소들의 평균과 분산을 나타내며 \(\overline{I_{k}}\)\(w_{k}\) 안에 있는 입력 이미지 \(I\) 화소들의 평균을 나타낸다. 이 때 모든 합 연산은 적분 이미지(intergralimage)를 생성하는 박스 필터(box filter)를 이용하면 윈도우의 크기와 관계없이 4번의 덧셈혹은 뺼셈 연산, 즉 O(1)복잡도로 계산할 수 있어서 필요한 계산량이 낮다. 식 (7), (8)을 통해 모든 화소위치 k에 대해 최적의 선형 계수들을 구한 후 최종필터링 결과값은 식 (9)와 같이 각 화소 위치를 포함하는 윈도우들의 선형 계수들의 평균인 \(\bar{a}_{i}\)\(\bar{b}_{i}\)의 선형 모델식을 통해 계산된다.

\(q_{i}=\overline{a_{i}} G_{i}+\overline{b_{i}}\)       (9)

3. 제안한 방법

3.1 제안한 알고리듬의 개요

본 논문에서는 대조 강조를 위한 히스토그램 평활화의 단점인 과대 대조 강조를 억제하는 동시에 경계부분은 더욱 강조하는 알고리듬을 제안한다. 첫째로 과대 대조 강조를 억제하기 위해서는 누적밀도함수를 선택적으로 깎는 방법을 사용하고 둘째로 경계부분을 강조하기 위해 가이디드 이미지 필터의 선형계수 값에 따른 새로운 전이 함수를 제안한다. 제안하는 알고리듬의 흐름도는 Fig.1과 같다. 누적밀도함수 cdf(k)를 깎는 과정과 가이디드 이미지 필터의 선형 계수 a(i,j)에 적응적인 전이함수를 구하는 방식이 기존 히스토그램 평활화 방식과의 주요 차이점이다.

3.2 누적밀도함수 깎음(Cumulative density function
clipping)

히스토그램 평활화의 과정은 입력 화소의 밝기 \(I_{k}\)가 전이함수 T(k)에 따른 사상(mapping)이다. 이 과정에서 과대 대조 강조가 발생하기도 하는데 그 원인은 \(I_{k}\) 와 T(k)의 차이가 지나치게 크기 때문이다. 예를 들어 Fig.2(a)가 입력 이미지라고 할 때 히스토그램 평활화를 수행하면 Fig.2(b)와 같이 나오는데 과대 대조 강조가 발생하여 이미지의 품질이 저하되었다. 입력 이미지가 8비트 영상일 때 전이 함수를 살펴보면 Fig.3으로 나타내지는데, 식(4)에 따라 출력 화소값이 cdf(k)와 최대 화소 밝기의 곱이라고 했을 때입력 화소값과 출력 화소값의 차이의 정도를 로 나타낼 수 있다. 따라서 이 차이값을 선택적으로 깎는다면 과대 대조 강조를 억제할 수 있다. 처리한 결과를 같은 도식에서 표현하면 Fig.3에서 빨간색 점선으로 나타낼 수 있고, 입력 화소값과 출력 화소값의 차이의 정도가 \(\Delta^{\prime}\)로 감소하게 된다. 깎여진 누적밀도함수 \(\alpha d f^{\prime}(k)\)는 식(9)로 구해진다.

\(\text { cdf' }^{\prime}(k)=\left\{\begin{array}{cc} k / I_{L-1}+\alpha & \text { if } \operatorname{cd} f(k) \geq k / I_{L-1}+\alpha \\ k / I_{L-1}-\alpha \text { elif } & \operatorname{cdf}(k)<k / I_{L-1}-\alpha \\ \cot (k) & \text { else } \end{array}\right.\)       (9)

 

여기서 \(\alpha\)는 허용하는 대조 강조의 범위(margin)를 나타내는 사용자 매개변수이다.

MTMDCW_2019_v22n9_983_f0001.png 이미지

Fig. 1. Flowchart of proposed histogram equalization algorithm. 

MTMDCW_2019_v22n9_983_f0002.png 이미지

Fig. 2. Over-enhancement example. (a) Input image (b) HE result image.

MTMDCW_2019_v22n9_983_f0003.png 이미지

Fig. 3. Plot of original and the proposed clipped cdf (k) of the image from Fig. 2(a) image.

3.3 경계 강조를 위한 적응적 전이 함수(Adaptive 
transfer function for edge-enhancing)

영상에서는 경계 부분이 그렇지 않은 부분보다 중요한 정보를 가지고 있다. 따라서 경계 부분의 대조를 강조하는 것은 영상 품질 향상에 기여한다. 기존의 전이함수는 입력 화소의 밝기에 따라서 결과 화소 밝기가 결정되지만 경계보존 평활화의 성질을 이용하여 경계인 부분과 그렇지 않은 부분에 적응적으로 대조를 증대시키고자 한다. 가이디드 이미지 필터에서 가이드 이미지 G가 입력 이미지 I와 같을 때 경계보존 평활화와 같은 기능을 하고, 식(7)을 통해 얻어지는 선형 계수인 I는 경계 부분에서 높은 값을 가진다. 이러한 특성을 이용하여 선형 계수에 적응적인 전이 함수를 다음과 같이 구한다.

먼저 입력 이미지의 모든 화소에 대한 선형계수 \(\alpha\)의 평균값 \(\chi\)을 식(10)과 같이 계산한다.

\(\chi=\frac{1}{N} \sum_{i} \sum_{j} \hat{a}(i, j)\)       (10)

여기서 N은 입력 이미지 화소의 개수이며, \( \hat{a}\)\(a(i,j)\)\(a\) 중 가장 큰 값으로 정규화시킨 값이다. 그 후, 대조 강조의 정도를 결정하는 변수 \(\lambda\)는 식 (11)과 같다.

\(\lambda(i, j)=\left\{\begin{array}{ll} \max \left(1-\kappa_{1} \times \chi, m\right) & \text { if } a(i, j)<\chi \\ \min \left(1+\kappa_{2} \times(\hat{a}(i, j)-\chi), M\right) & \text { else } \end{array}\right.\)       (11)

여기서 k1과 k2는 대조 강조의 정도를 조절하는 매개 변수이고, m과 M은 지나친 대조 강조 혹은 대조 강조 억제를 막기 위한 매개변수이다. 이는 선형계수가 \(\chi\)보다 높은 경우를 경계 부분이라고 판단하는 것이다. 최종적으로, 경계 강조를 위한 적응적 전이 함수는 식(12)와 같다.

\(T^{\prime}(k, i, j)=I(i, j)+\left[\operatorname{cdf}^{\prime}(k) \times I_{L-1}-I(i, j)\right] \times \lambda(i, j)\)       (12)

각 단계에 따른 제안 알고리듬의 히스토그램 평활화 결과는 Fig.4와 같다.Fig.4(a)의 경우 누적밀도함수 깎음만을 사용한 결과이며 Fig.4(b)는 경계 강조를 적용한 결과이고 Fig.4(c)는 경계 강조 전이함수의 효과를 보다 잘 보여주기 위해 (a)와 (b)의 차이를 5배 증폭하여 도시하였다.Fig.2(b)의 기존 알고리듬의 경우는 대조가 과대하게 강조되었기 때문에 자연스럽지 못한 결과를 보이는 반면,Fig.4(b)의 제안한 알고리듬의 결과에서는 과대 강조 대비가 억제되었고 경계 부분은 선명한 것을 볼 수 있다.

MTMDCW_2019_v22n9_983_f0008.png 이미지

Fig. 4. (a) The result after clipping cdf only. (b) The result of proposed HE algorithm. (c) 5 times amplified absolutedifference image between (a) and (b). Input image is from Fig. 2(a).3

4. 실험 결과 및 고찰

4.1 실험 기반 및 정성적 평가 지표 소개

본 장에서는 제안하는 알고리듬과 기존의 히스토그램 평활화 알고리듬을 포함한 타 알고리듬들과 비교하기 앞서 매개 변수 값들 및 정성적 평가 지표를 서술한다. 먼저, 타 알고리듬들과 제안하는 알고리듬들의 특징을 Table1에 요약하였다.HE[1]는 2장에서 소개한 고전적인 기법이고,RMSHE[5]는 전체 밝기를 비슷하게 유지하면서 히스토그램을 2개 이상으로 나누는 기법이다.THE-PL[7]은 평탄 한도를 이용하여 깎은 히스토그램을 다시 3개의 구역으로 나누는 기법이며,FCCE[2]는 경계 부분이 있는 곳과없는 곳으로 구분하여 대조 강조를 수행하는 기법이다. 본 실험에서는 RMSHE의 경우 히스토그램을 2개로만 나누었으며, 많이 나눌수록 원본에 가까워지고 나누지 않는 경우는 기존 HE와 같다.

정량적인 평가기준은 총 4가지로 표준 편차(stan-dard deviation, Std), 대조 향상 지수(contrastim-provementindex, CII), 그리고 인지적 영상 선명도지수(perceptualimagesharpnessindex, PSI)[9]을 사용하여 성능을 비교하였다.Std는 전반적인 대조(global contrast)의 정도를 측정하기 위한 지표로써 식(13)으로 계산된다.

\(\mathrm{Std}=\sqrt{\sum_{k=0}^{L-1}\left(I_{k}-E(Y)\right)^{2} \times p d f(k)}\)        (13)

여기서 Y는 출력 영상을 나타내고 E(Y)는 출력 영상의 평균 화소 밝기를 나타낸다. 반면 CII는 국소적 대조(localcontrast)의 정도를 측정하기 위한 지표로써 식(14)와 같이 정의된다.

\(\mathrm{CII}=\frac{E\left(C_{l o c}(Y)\right)}{E\left(C_{l o c}(I)\right)}, \quad \text { where } C_{l o c}=\frac{\max _{w}-\min _{w}}{\max _{w}+\min _{w}}\)        (14)

여기서 maxw와 minw는 각각 3×3 윈도우 내에서의 최대 밝기 값과 최소 밝기 값을 나타낸다. Std와 CII값은 클수록 국소적 대조의 정도가 크다는 것을 의미한다. PSI는 국소적 경계의 변화량을 이용해 참고 영상 없이 날렵함을 측정하는 방법으로, 세부 사항은 [9]에서 볼 수 있다.

매개 변수의 경우는 다음의 값들로 실험하였다. 식 (7)의 가이디드 이미지 필터의 매개 변수는 \(\epsilon=0.1^{2}\),윈도우의 크기는 3×3로 사용하였다. 식(9)의  \(\alpha=0.3\),식 (11)의 \(\kappa_{1}=10\), \(\kappa_{2}=10 \kappa_{1}\)으로 설정하였으며 m과 M은 각각 0.95, 1.2를 사용하였다.

Table 1. Summary of HE algorithms compared in our experiments

MTMDCW_2019_v22n9_983_t0001.png 이미지

4.2 정성적 및 정량적 비교 실험 결과

정량적 평가 지표가 모든 이미지에 대해 사람이 인지하는 품질의 정도를 일관되게 보여주지 못하기 때문에 정성적으로 대조 강조의 결과들을 함께 비교하였다. 사용한 이미지들은 [10]에서 얻을 수 있다. 먼저 Fig.5-7을 통해 Table1의 알고리듬들의 결과를 도시하였다.

입력 이미지인 Fig.5(a)는 대조의 정도가 낮은 그림이다. Fig. 5(b)에서는 비행기 부분이 과대 강조 되어 시각적 품질이 훼손된 것을 볼 수 있고 Fig. 5(c)와 (d)의 경우 자연스럽게 대조 강조가 되었다. Fig. 5(e)와 Fig.6(f)에서는 자연스러운 대조 강조가 Fig. 5(d)보다 크게 달성되었으며 제안 알고리듬의 결과인 Fig. 6(f)에서는 전체적인 대조뿐만 아니라 경계 부분 대조 강조 역시 더 발생한 것을 확인 할 수 있다. Fig. 6(a)는 대조의 정도가 낮고 동시에 배경에 잡음이 있는 그림이다. 배경에 있는 잡음의 경우 Fig. 6(b)와 (e)에서 불필요하게 강조되었다. 비교적으로 Fig. (c), (d)의 경우 과대 강조가 성공적으로 억제되었으나, 옷의 잡음은 (c)의 경우는 비슷하고 (d)의 경우 약간 강조되어있다. 제안하는 알고리듬의 결과인 Fig. 6(f)의 경우 과대강조 뿐만 아니라 잡음도 함께억제되었고 원본에 비해 경계 부분은 강조 된 것을 볼 수 있다. 이는 가이디드 이미지 필터를 통해 경계강조 및 잡음 억제를 하였기 때문이다.

Fig.7의 경우에는 모든 알고리듬들에서 과대 대조 강조가 발생하지 않았다. 이러한 이유는 Fig. 5와 Fig. 6과 달리 입력 이미지의 화소 밝기 분포가 너무밀집해 있지 않기 때문이다. 앞의 조건을 만족하는 영상해 대해서는 Fig.7(b)와 같이 기존의 HE 알고리듬이 가장 높은 대조를 보이는 것을 알 수 있다. 제안하는 알고리듬 결과인 Fig.7(f)에서는 타 알고리듬들에 비해 기존 HE와 가장 비슷한 대조 강조 성능을 보이며, 경계 부분 강조의 경우는 집 측면에 드리워진 그림자와 나뭇가지들에서 잘 관찰된다. Fig. 7(c)와 (d)의 경우는 화소 밝기 분포가 고를 때 대조 강조효과가 많이 떨어지는 것을 볼 수 있다.

정리하면 대조 강조는 기존의 HE가 가장 잘 일어나지만, 입력 이미지에 따라 과대 강조나 잡음 강조등이 함께 발생한다.RMSHE의 경우는 반대로 과대강조나 잡음 강조는 훌륭하게 억제하지만, 대조 강조가 상대적으로 조금만 일어나서 비교 알고리듬들 중 가장 원본에 가깝다는 단점이 있다.THE-PL의 경우 RMSHE와 비슷한 경향을 가졌지만 보다 대조 강조를 조금 더 잘하는 동시에 잡음도 강조한다. FCCE의 경우 과대 강조를 억제하면서 경계 부분을 다소 강조하지만, 밝기 분포가 과도하게 집중 될 때는 과대 대조 강조가 발생하며 잡음 영역을 강조시킨다는 단점이 있다. 마지막으로 제안하는 알고리듬의 경우 과대강조와 잡음을 억제하면서 FCCE보다 경계 부분을 더 강조시키는 것을 확인할 수 있었다.

주관적인 관찰을 객관적인 수치로 비교하기 위해 Fig. 5-7 결과들에 대한 정성적인 지표들의 결과를 Table 2에 요약하였다.Fig.5에서는 과대 강조가 일어나는 알고리듬들이 모든 지표들에서 높은 값을 가지지만, 과대 강조가 일어나지 않는 알고리듬들 중에서는 제안하는 알고리듬이 세 지표에서 모두 가장 높은 값을 가졌다.Fig.6에서는 (b)와 (e)에서 과대강조가 발생하였으며,(d)의 Std 지표를 제외하고는 (c)와 (d)와 비교하여 가장 높은 값을 보였다. Std가(d)보다 낮은 이유는 (d)의 경우는 잡음을 그대로 가지고 있지만 (f)는 억제하였기 때문으로 보인다. Fig. 7의 경우는 모두 과대 강조가 발생하지 않았는데, 이런 경우에는 제안하는 알고리듬이 다른 비교군들 뿐만 아니라 기존 HE보다도 세 가지 지표에 대해 가장 높은 값을 가졌는데, 이것은 경계를 강조하는 알고리듬이 포함되기 때문이다.

MTMDCW_2019_v22n9_983_f0004.png 이미지

Fig. 5. Results of various HE algorithms. (a) Input (b) HE (c) RMSHE (d) THE-PL (e) FCCE (f) Proposed

MTMDCW_2019_v22n9_983_f0005.png 이미지

Fig. 6. Results of various HE algorithms. (a) Input (b) HE (c) RMSHE (d) THE-PL (e) FCCE (f) Proposed.

Table 2. Quantitative comparison of various HE algorithms for images from Fig. 5-7.

MTMDCW_2019_v22n9_983_t0002.png 이미지

4.3 실행 시간

제안하는 알고리듬과 타 히스토그램 평활화 알고리듬들과의 실행 시간을 비교하기 위해서, 해당 함수처리에 필요한 시간을 Matlab 툴을 이용해 1000번시행하여 평균값을 측정하였다. 또한, 최대한 정확한 비교를 위해서 결과 영상 생성을 위해 필요한 코드만남겼다. 실행 시간 측정결과는 Table3과 같다. 기준이 되는 HE와 비교해서는 40% 정도 증가하였는데증가되는 시간의 64% 가량을 가이디드 이미지 필터계수를 계산한 데에 사용되었다. 가이디드 이미지 필터가 연산량이 낮은 알고리듬이지만,HE의 경우 연산량이 매우 낮은 알고리듬이기 때문에 증가율이 높게 나온 것으로 보인다. 만일 C 언어로 코딩한다면,격차가 훨씬 줄어들 것으로 예상된다.

MTMDCW_2019_v22n9_983_f0007.png 이미지

Fig. 7. Results of various HE algorithms. (a) Input (b) HE (c) RMSHE (d) THE-PL (e) FCCE (f) Proposed.

Table 3. Average execution time for 256 by 256 image (1000 times)

MTMDCW_2019_v22n9_983_t0003.png 이미지

5. 결론

본 논문에서는 과대 대조 강조를 억제하면서 동시에 경계 부분의 대조를 강화시키는 히스토그램 평활화 알고리듬을 제안하였다. 과대 강조를 억제하기 위해서는 히스토그램을 여러 구역으로 나누는 대신 기존 히스토그램 평활화 기법의 누적밀도함수와 입력화소 밝기와의 차이가 큰 경우 깎는 방식을 통해 과대 강조를 억제시켰다. 이를 통해 본연의 목적인 대조 강조를 달성하면서 과대 강조 및 잡음 강조라는 단점을 극복한 것을 실험을 통해 확인하였다. 추가적으로 가이디드 이미지 필터를 이용해 경계 부분을 강조하여 시각적 품질을 향상시켰는데 이것을 정성적인 결과와 날렵함을 측정하는 PSI 수치를 통해 확인할 수 있었다. 알고리듬 처리 속도 역시 다른 알고리듬에 비해서 빠르게 처리되는 것을 확인할 수 있었는데, 저수준 언어로 처리속도를 최적화시킨다면 차이가 줄어들 것으로 예상된다.

References

  1. R.C. Gonzalez and R.E Woods, Digital Image Processing, Pearson, London, 2018.
  2. A.S. Parihar, P.V. Om, and K. Chintan, "Fuzzy-contextual Contrast Enhancement," IEEE Transaction on Image Processing, Vol. 26, No. 4, pp. 1810-1819, 2017. https://doi.org/10.1109/TIP.2017.2665975
  3. J. Yun and J. Kim, "An Improvement of Histogram Equalization Using Edge Information of an Image," Journal of Korea Multimedia Society, Vol. 20, No. 2, pp. 188-195, 2017. https://doi.org/10.9717/kmms.2017.20.2.188
  4. Y. Kim, "Contrast Enhancement Using Brightness Preserving Bi-histogram Equalization," IEEE Transactions on Consumer Electronics, Vol. 43, No. 1, pp. 1-8, 1997. https://doi.org/10.1109/30.580378
  5. S.D. Chen and A.R. Ramli, "Contrast Enhancement using Recursive Mean-separate Histogram Equalization for Scalable Brightness Preservation," IEEE Transactions on consumer Electronics, Vol. 49, No. 4, pp. 1301-1309, 2003. https://doi.org/10.1109/TCE.2003.1261233
  6. C.H., Ooi, S. Nicholas, and I. Haidi, "Bi-histogram Equalization with a Plateau Limit for Digital Image Enhancement," IEEE Transaction on Consumer Electronics, Vol. 55, No. 4, pp. 2072-2080, 2009. https://doi.org/10.1109/TCE.2009.5373771
  7. A. Paul, P. Bhattacharya, S.P. Maity, and B.K. Bhattacharyya, "Plateau Limit-based Trihistogram Equalisation for Image Enhancement," IET Image Processing, Vol. 12, No. 9, pp. 1617-1625, 2018. https://doi.org/10.1049/iet-ipr.2017.1088
  8. K. He, J. Sun, and X. Tang, "Guided Image Filtering," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 35, No. 6, pp.1397-1409, 2012. https://doi.org/10.1109/TPAMI.2012.213
  9. C. Feichtenhofer, H. Fassold, and P. Schallauer, "A Perceptual Image Sharpness Metric based on Local Edge Gradient Analysis," IEEE Signal Processing Letters, Vol. 20, No. 4, pp. 379-382, 2013. https://doi.org/10.1109/LSP.2013.2248711
  10. USC-SIPI Database, http://sipi.usc.edu/database (accessed June 29, 2019).