An Image Contrast Enhancement Method based on Pyramid Fusion Using BBWE and MHMD

BBWE와 MHMD를 이용한 피라미드 융합 기반의 영상의 대조 개선 기법

Abstract

The contrast enhancement techniques based on Laplacian pyramid image fusion have a benefit that they can faithfully describe the image information because they combine the multiple resource images by selecting the desired pixel in each image. However, they also have some problem that the output image may contain noise, because the methods evaluate the visual information on the basis of each pixel. In this paper, an improved contrast enhancement method, which effectively suppresses the noise, using image fusion is proposed. The proposed method combines the resource images by making Laplacian pyramids generated from weight maps, which are produced by measuring the difference between the block-based local well exposedness and local homogeneity for each resource image. We showed the proposed method could produce less noisy images compared to the conventional techniques in the test for various images.

라플라스 피라미드 영상 융합 기반의 대조비 강화기법은 각 자원 영상에서 바람직한 화소를 선택하여 융합할 수 있기 때문에 영상 정보를 충실하게 표현하는 장점이 있다. 하지만 정보 평가를 화소 단위로 수행하기 때문에 영상 잡음에 취약한 문제점을 갖고 있다. 본 논문에서는 영상잡음을 억제하는 개선된 영상 융합기반의 대조비 개선 방법을 제안한다. 제안된 기법은 자원 영상에 대해 블록 기반의 지역적 노출 적절성과 지역적 동질성의 차를 측정하여 이를 기반으로 가중치 맵을 생성하고 라플라스 피라미드를 구축하여 영상을 결합한다. 다양한 영상에 대한 실험을 통해 종래의 기법에 비해 영상 잡음을 배제된 영상을 만들어 낼 수 있음을 보였다.

1. 서 론

영상 화질 개선을 위해 감마변환, 히스토그램 스트레칭, 히스토그램 평활화, 적응적 히스토그램 평활화 등이 널리 사용된다. 이 기법들은 크게 전역적 대조 강화 기법과 지역적 대조 강화 기법으로 나눌 수 있다. 전역적 대조 강화 기법은 입력 영상의 한 화소 값이 사상 함수를 통해 출력 영상의 한 화소 값을 결정하는 방식으로 감마변환, 히스토그램 스트레칭, 히스토그램 평활화가 이에 해당한다. 지역적 대조 강화 기법은 영상의 지역적 특성이 반영되어 입력 영상의 주변 값이 출력 영상의 화소 값에 영향을 미치는 기법으로 적응적 히스토그램 평활화[9,10]가 대표적인 방법이다.

감마 변환이나 히스토그램 스트레칭은 계조를 함수에 따라 대조를 강화하거나 명암을 조절할 수 있다. 하지만 단순한 사상 함수를 사용하기 때문에 다른 방법에 비해 대조 강화가 약한 단점이 있다.

히스토그램 평활화(HE : Histogram Equalization)는 입력 영상의 계조 분포를 이용하여 전 영역에 대해 균등한 계조 분포를 하게 재배치하여 대조 강화를 기대할 수 있다[1]. 하지만 전역적인 처리로 인해 영상의 지역적 세부사항을 살려내는데 한계가 있다. 또 입력 영상 내에 특정 계조의 화소가 다량으로 분포하여 있을 때 만들어지는 사상 함수가 급격한 증가세를 보일 때 출력 영상의 계조가 고르지 못해 부자연스러운 현상이 생기는 문제가 발생할 수 있다. 이러한 한계를 극복하기위한 방법으로 히스토그램을 두 구역 이상으로 나누고 각각 히스토그램 평활화를 하는 방법[2-5]과 히스토그램 누적분포에 클립핑을 이용한 기법[6-8]이 제시되었지만 히스토그램 평활화가 약화시켜 문제를 개선하는 효과가 있기 때문에 전역적 처리의 한계를 극복하지 못했다.

적응적 히스토그램 평활화[9,10]는 입력 영상을 서브 블록으로 나누고 각 서브 블록에 히스토그램 평활화를 취하고 이를 이중 선형 보간을 통해 병합한다. 이 방법은 지역적 세부사항을 강조하는 효과가 있다. 그러나 이 방법은 서브 블록 경계에 바둑판 효과를 나타낼 수 있다. 이를 억제하기 위해 서브 블록의 수를 늘리면 연산량이 증가될 수 있고 지나친 대조 강화로 인해 부자연스러운 결과가 생성될 수 있다.

최근 이런 기존 방법의 한계를 극복하기 위해 입력 영상에 각각 다른 기존의 방법으로 대조를 개선(자원 영상 생성)하고, 개선된 영상에서 대조, 채도,적정 노출 등을 판단하여 유용한 특성을 가중치 맵으로 채택하여 영상을 합성하는 영상 융합기반의 대조강화 방법이 제안되었다[11,12]. 이 방법은 전역적 및 지역적 대조 개선 방법의 단점을 해결할 수 있어서 대조 강화 기법의 새로운 접근 방안으로 보인다. 하지만 각 화소 단위로 유용성을 판단하기 때문에 처리영상에 있는 영상잡음을 유용한 특성으로 판별하여 출력 영상에 원하지 않는 영상잡음이 발생할 수 있는 문제점을 안고 있다.

본 논문에서는 영상 융합 기반의 대조 강화기법의 문제점을 해소하고자 생성된 자원 영상에 대하여 원본 영상과 동질성의 차(MHMD : Modifyed Homogeneity mean difference)와 블록 기반의 노출 적절성(BBWE : Block Based Well Exposedness)을 평가하여 영상의 잡음을 개선하는 대조강화 기법을 제시한다. 제안한 방법은 기존의 영상 융합 기법과 유사한 방법을 사용하지만, 원본 영상과 대조 강화 영상의 동질성의 차(MHMD)를 영상 판단 지표로 채택하고 있기 때문에 원본 영상을 대조 강화할 때 생성되는 영상 잡음에 강한 성능을 가지고 있다.

 

2. 기존 영상 융합 기반의 대조 강화

전역적 대조 강화 기법은 영상의 지역적 대조를 강화하는데 한계가 있으며 기존의 지역적 대조 강화기법은 지나친 대조 강화로 인해 부자연스러운 결과가 생성될 수 있다. 최근 전역적 대조 강화 기법과 지역적 대조 강화 기법의 단점을 보완하기 위해 대조비를 강화할 목적으로 영상 융합을 사용하는 방법이 제시되고 있다[11,12]. 영상융합은 본래 HDR 영상을 표현하는 기법으로 연구되었지만[13-17] 각 프레임에서 원하는 픽셀을 골라내어 표현할 수 있는 장점때문에 대조비 강화의 목적으로 활용될 수 있다. 이 방법은 크게 3단계 절차로 나누어진다. 첫 번째 단계는 전역적 대조 강화 기법과 지역적 대조 강화 기법을 사용하여 자원영상을 생성한다. 두 번째 단계 앞에서 만든 각각 영상의 대조(contrast), 노출을 측정하여 가중치 맵을 생성한다. 마지막으로, 라플라스피라미드 영상 융합 기법을 통해 영상 융합 기반의 대조 강화 영상을 생성한다.

2.1 자원 영상 생성

기존 영상 융합 기반의 대조 강화의 첫 번째 단계는 자원 영상 생성이다. 입력 영상에 전역적 대조 강화 기법과 지역적 대조 강화 기법을 적용하여 자원 영상을 생성한다. 그림 1은 입력 영상을 기존의 대조 강화 기법을 이용하여 영상의 대조를 강화한 결과 영상들이다. 그림 1(b)-(c)는 전역적 대조 강화 기법의 가장 대표적인 히스토그램 평활화와 감마 변환을 이용하여 대조를 강화한 결과 영상이다. 전 영역에 걸쳐 균등한 계조 분포를 기대할 수 있지만, 지역적 세부사항 강화는 한계가 있다. 그림 1(d)는 지역적 대조 강화기법 중 적응적 히스토그램 평활화 기법을 사용하여 대조를 강화한 결과 영상이다. 세부 블록 단위의 지역적 대조는 강화된 결과를 보이지만 전영역의 대조 개선의 효과는 미비하다.

그림 1.(a) 입력 영상, (b) 히스토그램 평활화, (c) 감마 변환 ɤ = 0.5, (d) 적응적 히스토그램 평활화

2.2 영상 품질 평가

각 대조를 강화한 결과 영상의 픽셀 단위로 유용성을 판단한다. 유용성의 평가지표는 각 영상의 대조와 적절 노출성이다.

2.2.1 대조 측정

영상의 대조는 n번째 자원 영상 In 의 각 픽셀을 In(x,y)라 하고 영상 그라디언트를 ∇I(x,y)라 한다.

식 (1)의 Gx 와 Gy 는 식 (2)와 같다.

영상 그라디언트의 절댓값은 영상의 대조 Cn(x,y)라 한다.

2.2.2 적정 노출성 측정

적정 노출성 판단은 자원 영상의 밝기가 일정 값에 차에 따라 가중치를 부여하여 밝기가 밝거나 어두운 부분에 적은 가중치를 부여하고 원하는 밝기에 가까운 값에 큰 가중치를 부여한다. 적절 노출성 Ln(x,y)은 In(x,y)이 일정 값 m에 얼마나 가까운지를 가우스 분포를 이용하여 계산한다.

위에서 구한 2가지 지표를 영상의 대조와 영상의 적절 노출성을 구하고 각각 지수 승을 해준 후 각 픽셀에 대해 곱셈을 취해 가중치 맵을 생성한다.

2.3 라플라스 피라미드 영상 융합

라플라스 피라미드 영상 융합 기법은 다중 해상도 방식을 이용하여 각 자원 영상을 가중치에 따라 혼합하는 기법이다. 각 자원 영상에 라플라스 피라미드를 생성하고 가중치로 가우시안 피라미드를 생성하여 각 피라미드 층마다 곱해준 후 라플라스 피라미드 영상 복원을 통해 자원 영상을 융합한다. 이 기법은 N개 자원 영상의 가중치 맵을 각 픽셀 단위로 정규화한 값을 구한 후 영상 융합을 통해 대조가 강화된 영상을 생성한다.

자원 영상과 정규화된 가중치 맵은 5 단계 과정을 통해 융합할 수 있다.

1 단계: 자원 영상은 라플라스 피라미드 분해 방법을 사용하여 각 레벨별로 피라미드 층이 생성된다. 이는 각 레벨이 다른 밴드의 주파수를 가지고 있는 것과 같다.

2 단계: 정규화된 가중치 맵의 가우시안 피라미드를 생성한다.

3 단계: 각 레벨의 피라미드 층의 픽셀끼리 곱 연산을 취한다.

4 단계: 1부터 N영상의 각 피라미드 중 같은 피라미드 층끼리 더하여 하나의 피라미드를 생성한다.

5 단계 : 식 (7)에 따라 피라미드 재구성을 통해 융합된 하나의 영상을 생성한다.

식 (7)에서 l은 각 피라미드의 단계, n은 1부터 N번째 영상을 뜻한다.

 

3. 제안된 품질 평가 기준 및 융합 기법

기존 영상 융합 기반의 대조 강화 기법은 전역적 대조 강화 기법과 지역적 대조 강화 기법을 통해 자원 영상을 생성하고 이를 융합함으로써 두 기법의 한계를 극복하였다. 이 기법은 자원 영상에서 대조, 적정 노출 등의 영상 판단 지표를 사용하여 가중치 맵을 생성한다. 이러한 영상 판단 지표는 화소 단위로 영상을 판단한다. 이 때문에 입력 영상에 전역적 및 지역적 대조 강화 기법을 사용하여 자원 영상을 생성하는 과정에서 생성될 수 있는 영상 잡음을 유용한 화소로 판단할 가능성이 있다. 영상 잡음이 유용한 화소로 판단되면 영상 융합 기반의 대조 강화 결과 영상 또한 영상 잡음을 포함한다. 이런 기존의 단점을 극복하기 위해 블록 기반의 노출 적절성(BBWE)과 동질성의 차(MHMD)[18,19]를 평가 지표로 채택하는 방법을 제안한다. 이는 블록 단위로 영상을 평가함으로써 자원 영상에 생긴 화소 단위의 영상 잡음을 배제하고 결과 영상을 생성할 수 있다. 그림 2는 제안하는 기법의 전체적인 흐름을 보여준다.

그림 2.전체 흐름도

3.1 자원 영상 생성

자원 영상 생성은 기존의 대조 개선 기법을 통해 생성한다. 전역적 대조 강화 기법과 지역적 대조 강화 기법 중 각각 한 가지 이상의 대조 강화 기법을 사용한다. 또, 융합의 자원이 되는 영상이 많을수록 좋은 결과를 얻을 수 있다. 융합용 자원 영상은 필요에 따라 다양한 방법으로 생성될 수 있는데 본 실험에서는 전역적 대조 강화 기법은 감마 변환을 사용하고 지역적 대조 강화 기법은 적응적 히스토그램 평활화를 사용하였다.

전역적 대조 강화 영상을 만들기 위해 감마 변환을 사용한다. 감마 변환은 ɤ를 조절함으로써 다양한 대조 강화 영상을 만들 수 있다.

식 (8)에서 Io는 입력 영상 In 은 자원 영상이다. W는 가로 길이 H는 세로 높이 n은 자원 영상 중 1..N번째 영상을 뜻한다.

적응적 히스토그램 평활화는 입력 영상을 서브 블록으로 나누고 각 서브 블록에 히스토그램 평활화를 취하고 이를 이중 선형 보간을 통해 병합한다. 그림 3은 입력 영상과 ɤ값에 따른 감마 변환 영상 그리고 적응적 히스토그램 평활화 영상이다.

그림 3.(a) 입력 영상, (b - e) ɤ = 0.3, 0.65, 1.5, 3.0, (f) 적응적 히스토그램 평활화

3.2 영상 품질 평가

각 자원 영상마다 가지고 있는 정보가 다르고 한 영상 내에서도 유용한 정보와 유용하지 않은 정보를 가지고 있다. 입력 영상으로 자원 영상을 생성할 때 입력 영상의 어두운 영역이 적절한 밝기로 변화되어 유용한 정보로 사용될 수 있다. 반면 그러데이션 부족으로 인한 영상 잡음이 발생할 가능성도 있다. 영상 잡음은 주로 입력 영상의 저조도 부분이나 고조도 부분에서 발생한다. 자원 영상을 생성할 때 발생 되는 영상 잡음을 그림 4에서 확인할 수 있다.

그림 4.(a) 입력 영상, (b) 영상 잡음 발생 영상, (c) 기존 융합 기반 방법의 결과 영상

기존 융합 기법의 대조 강화 기법은 화소 단위로 영상 품질 평가하기 때문에 영상 잡음에 취약하다. 이 때문에 자원 영상을 융합할 때 기존의 품질 평가를 사용하는 것은 부적합 하다. 이를 극복하기 블록기반의 노출 적절성(BBWE)과 블록 단위의 동질성의 차(MHMD)를 품질 평가 지표로 사용한다.

3.2.1 블록 기반의 노출 적절성(BBWE : Block Based Well Exposedness)

블록 기반의 노출 적절성(BBWE) 판단은 n번째 자원 영상 In의 각 화소 In(x,y)의 노출 값을 판단할 때 주변 화소와 평균값을 사용하여 유용성을 판단한다. 화소 In(x,y)의 주변 d×d 영역의 평균값 An (x,y)을 m 값에 차에 따라 가중치를 부여하여 편차가 큰 화소는 작은 가중치를 부여하고 편차가 작은 화소에는 높은 가중치를 부여한다.

식 (9)에서 An (x,y)는 In(x,y)의 주변 d×d 영역의 평균값이다.

본 실험에는 m은 0.5, σ는 0.3로 하였다.

3.2.2 동질성의 차(MHMD : Modifyed Homogeneity mean difference)

입력 영상으로 자원 영상을 생성할 때 입력 영상의 저조도 부분이나 고조도 부분에서 그러데이션 부족으로 인한 영상 잡음이 발생할 가능성이 있다. 동질성의 차(MHMD)는 입력 영상 Io 와 자원 영상 In 의 동질성의 차(MHMD)를 비교하여 자원 영상의 영상잡음을 검출한다. 이는 표준편차와 엔트로피(Entropy)로 이루어지며 구현 방법은 5 단계로 나누어진다.

1 단계: 표준편차를 구한다. 이는 표준편차는 d×d 창에 대해 식 (11)를 따른다.

식 (11)의 Df(x,y)는 식 (12)와 같다.

식 (12)에서 m(x,y)는 윈도우의 평균값을 나타낸다.

2 단계 : 엔트로피를 구한다. 이는 엔트로피는 영상의 정보량을 측정하는 데 사용한다. d×d 창에 대해 식 (13)을 따른다.

식 (13)에서 k는 d×d 창으로 덮인 영역의 화소강도 레벨의 색인을 뜻하며 pk 는 k번째 확률이다.

3 단계: 표준편차와 엔트로피를 각각 정규화한다.

4 단계: 동질성 값을 구한다. 정규화된 표준편차와 엔트로피를 역수를 취한 후 곱한 결과는 동질성 값이다.

5 단계: 입력 영상과 자원 영상의 동질성 값의 차를 구해 절댓값을 취한다.

블록 기반의 노출 적절성(BBWE)과 동질성 차(MHMD)를 구하고 지수 승을 해준 후 각 픽셀에 대해 곱셈을 취해 가중치 맵을 생성한다.

식 (16)에서 n은 n번째 영상, wl, wh는 각각 지수를 뜻하며 본 실험에서는 wl=1, wh=4.5로 하였다.

3.3 라플라스 피라미드 영상 융합

N개 자원 영상의 가중치 맵을 각 픽셀 단위로 정규화한 값을 구한 후 영상 융합을 통해 대조가 강화된 영상을 생성한다.

자원 영상과 정규화된 가중치 맵은 5 단계 과정을 통해 융합할 수 있다.

1 단계: 자원 영상은 라플라스 피라미드 분해 방법을 사용하여 각 레벨별로 피라미드 층이 생성된다. 이는 각 레벨이 다른 밴드의 주파수를 가지고 있는 것과 같다.

2 단계: 정규화된 가중치 맵의 가우시안 피라미드를 생성한다.

3 단계: 각 레벨의 피라미드 층의 픽셀끼리 곱 연산을 취한다.

4 단계: 1부터 N영상의 각 피라미드 중 같은 피라미드 층끼리 더하여 하나의 피라미드를 생성한다.

5 단계: 식 (18)에 따라 피라미드 재구성을 통해 융합된 하나의 영상을 생성한다.

식 (18)에서 l은 각 피라미드의 단계, n은 1부터 N번째 영상을 뜻한다.

 

4. 실험 결과

그림 5(a)는 자원 영상 그림 3(b)-(f)를 기존의 화소 단위의 대조, 적절 노출성을 측정하여 라플라스피라미드 영상 융합을 통해 결합한 결과 영상이다. 그림 5(b)는 자원 영상 그림 3(b)-(f)를 본 논문에서 제안한 방법을 통해 융합한 결과 영상이다. 그림 5는 기존의 영상 융합 기반의 대조 강화 기법이 제안한 방법에 비해 많은 영상 잡음이 포함되어 있는 것을 확인할 수 있다. 이는 그림 5의 일부 영역을 확대한 그림 6에서 좀 더 자세히 확인할 수 있다.

그림 5.(a) 기존 영상 융합 기반의 대조 강화, (b) 제안한 방법

그림 6.(a) 입력 영상, (b)기존 영상 융합 기반의 대조 강화, (c) 제안한 방법

기존의 영상 융합 기반의 대조 방법으로 개선한 영상 그림 6(b)의 결과는 그림 3(b)에 있는 지붕과 처마 밑의 영상 잡음을 반영하고 있다. 제안한 방법으로 개선한 영상은 그림 6(c)에 보이는 바와 같이 자원 영상에 생성된 영상 잡음을 억제한 결과 영상을 얻을 수 있다. 영상 잡음 측면에서 기존 대조 강화 기법들과 성능 차이를 보이기 위해 두 결과 영상을 입력 영상과 결과 영상의 영상 잡음 발생을 측정하는 지표인 HMD(Homogeneity Mean Difference)[18,19]를 이용해 영상 잡음을 측정한 결과를 표 1에 나타낸다.

표 1.그림 5의 대조 개선 영상들의 HMD 측정 결과

4.1 기존의 대조 개선 방법과 성능 비교

제안한 방법으로 생성한 대조 강화 영상과 기존의 방법으로 생성한 대조 개선 영상의 성능을 비교 분석한다. 기존의 대조비 개선 방법과 성능을 비교하기 위해 임의의 영상 30장에 전역적 히스토그램 평활화, 적응적 히스토그램 평활화, 기존의 융합 기반의 대조강화 기법, 제안한 대조강화 기법으로 영상의 대조를 강화하고 영상 잡음의 발생을 비교하기 위해 HMD를 측정한 결과를 그림 7에 보였다.

그림 7.대조 개선 영상의 HMD

그림 7에서 보인 바와 같이 위 실험에서 HMD 측정 결과는 제안한 기법이 기존의 기법들에 비해 모두 좋은 결과를 보인다. 임의의 영상 30장의 HMD값의 평균은 표 2에 나타낸다. 제안한 방법의 노이즈 발생량은 전역적 히스토그램 평활화에 비해 약 3%, 적응적 히스토그램 평활화에 비해 약 5.5%, 기존의 융합기반의 대조 강화 기법에 비해 약 3.5% 감소하였다.

표 2.임의의 영상 30장의 HMD 측정 결과 평균

 

5. 결 론

본 논문에서 블록 기반의 노출 적절성(BBWE)과 동질성의 차(MHMD)를 활용한 개선 방법을 소개하였다. 입력 영상으로 자원 영상을 생성하고 블록 기반의 노출 적절성(BBWE)과 동질성의 차(MHMD)를 품질 평가 지표로 사용하였다. 제안된 기법은 기존의 융합 기반의 대조 강화 기법에서 나타나는 개별화소 선택에 유래된 영상의 불균질성 문제를 개선하는 효과를 보였다. 동질성의 차(MHMD)는 대조 강화 처리 시 그러데이션 부족으로 나타나는 노이즈를 억제하기 위한 지표로 사용되며 블록 기반의 노출적절성(BBWE)은 화소 단위가 아니라 블록 기반의 노출 적절성(BBWE)을 판단하기 때문에 블록단위의 균질성을 확보하는 장점을 보인다. 이 같은 효과 때문에 기존의 융합 기반 대조 강화 기법과 비교하면 영상 잡음을 줄이면서 전역적 대조비와 지역적 세부사항을 모두 강조할 수 있는 장점이 있다.

본 본문의 실험에서는 자원 영상을 만들 때 감마변환과 적응적 히스토그램 평활화를 사용하였는데 이는 융합 기법의 자원영상을 만드는 방법의 사례를 보이기 위한 것으로 다른 대조 강화 알고리즘을 사용해도 본 알고리즘을 적용하는 데는 영향을 주지 않는다.

본 알고리즘의 성능을 평가하기 위해 입력 영상과 처리 영상 간의 영상 잡음을 측정하는 지표인 HMD를 사용하여 입력 영상과 융합 영상들 간의 영상잡음 발생량을 수치상으로 비교하였다. 본 실험에서 제안한 기법이 기존 융합 기반의 대조 개선 기법에 비해 영상 잡음이 적게 발생한 것을 확인하였다. 또 기존대조 강화 기법과 영상 잡음 발생량을 비교하여 기존의 대조 강화 기법을 통한 영상을 제안한 방법으로 융합할 때 영상 잡음이 줄어든 것을 확인하였다.

향후 처리시간의 단축을 위하여 자원 영상의 수를 최소화하기 위한 연구와 자원 영상에 JPEG 블록 잡음이 나나나는 경우 이를 배제하기 위한 방안 등의 연구가 필요할 것으로 보인다.