The Clip Limit Decision of Contrast Limited Adaptive Histogram Equalization for X-ray Images using Fuzzy Logic

퍼지를 이용한 X-ray 영상의 대비제한 적응 히스토그램 평활화 한계점 결정

Abstract

The contrast limited adaptive histogram equalization(CLAHE) is an advanced method for the histogram equalization which is a common contrast enhancement technique. The CLAHE divides the image into sections, and applies the contrast limited histogram equalization for each section. X-ray images can be classified into three areas: skin, bone, and air area. In clinical application, the interest area is limited to the skin or bone area depending on the diagnosis region. The CLAHE could deteriorate X-ray image quality because the CLAHE enhances the area which doesn't need to be enhanced. In this paper, we propose a new method which automatically determines the clip limit of CLAHE's parameter to improve X-ray image quality using fuzzy logic. We introduce fuzzy logic which is possible to determine clip limit proportional to the interest of users. Experimental results show that the proposed method improve images according to the user's preference by focusing on the subject.

1. 서 론

X-ray 영상은 대부분 밀도가 한 지역에 집중되어 있는 저 대비 영상으로 특징을 구분하기가 어렵다. 이러한 X-ray 영상의 가독성을 향상시키기 위한 방법으로 히스토그램 평활화[1](HE, Histogram Equalization)와 같은 명암대비 향상기법(contrast enhancement technique)을 사용한다.

HE는 알고리즘이 단순하며 효율이 좋아 보편적으로 사용되고 있다[3,4]. 그러나 HE는 영상 전체에서 히스토그램을 균일하게 분포시키는 것이 목적이기 때문에, 영상의 일부 영역에서는 충분한 화질 개선 효과를 보기 어렵다[5,6]. 이러한 문제를 개선하기 위해 발전된 형태의 알고리즘들이 제안되었다[7,8]

적응 히스토그램 평활화(AHE, Adaptive Histogram Equalization)는 영상을 여러 개의 블록으로 나누어 블록 별로 HE를 수행하는 지역적 명암대비 향상 기법이다[7]. HE는 비슷한 밝기 값이 국부적으로 밀집된 영역에서 특징 구분을 하지 못하는데, 이때, AHE가 효과적이다[9]. 그러나 이 방법은 블록마다 수행하는 명암 대비 강화가 지나쳐서 오히려 화질을 저하시킬 수도 있다[10-12].

대비 제한 히스토그램 평활화(CLHE, Contrast Limited Histogram Equalization)는 HE를 수행할 때 한계점을 설정하여, 한계점을 초과하는 픽셀의 개수만큼 한계점 미만의 밝기에 재배치하여 대비를 강화하는 방법이다(Fig. 1 참고). 이 방법은 HE에서 발생하는 지나친 평활화를 제어할 수 있다.

Fig. 1.The redistribution of pixels in CLAHE.

대비제한 적응 히스토그램 평활화(CLAHE, Contrast Limited Adaptive Histogram Equalization)는 K. Zuierveld가 제안한 지역적 명암대비 향상 기법으로, 의료 영상의 명암 대비 강화를 목적으로 개발되었다[8]. 이 기법은 영상을 여러 개의 블록으로 나누어 CLHE를 수행한다. AHE가 블록을 나누어 블록 별로 HE를 수행하는 대신 CLAHE는 블록 별로 CLHE를 수행함으로써 AHE에서 발생하는 지나친 평활화를 방지할 수 있다[13].

CLAHE의 매개변수로는 블록의 개수와 한계점 (clip limit)이 있다. 첫 번째로, 블록의 개수는 영상을 몇 개의 블록으로 나눌지를 결정하며, CLHE를 수행할 영역의 크기를 결정한다. 블록의 개수가 많아지면 작은 영역에 대해서 CLHE를 수행하기 때문에 지역적 특징이 부각된다. 두 번째로, 한계점은 블록 별로 CLHE를 수행할 때 히스토그램이 갖는 최대 밀도를 제한하는 변수이다[14]. 한계점이 낮을수록 재분배할 픽셀의 양이 증가하므로 대비가 뚜렷하다. 두 가지 매개변수의 설정에 따라 CLAHE의 결과가 결정된다.

Etta D. 등[15]은 CLAHE의 매개변수인 블록의 개수와 한계점 설정에 따른 유방암 인식률에 관한 연구를 진행하였다. 연구결과 블록의 개수와 한계점을 적절하게 설정하면 인식률이 증가하지만 설정을 잘못하면 오히려 인식률이 저하되는 결과를 보였다. 즉, CLAHE에서 매개변수의 설정 값이 성능에 큰 영향을 미친다. 특히, 한계점의 설정 값에 따라 영상의 화질이 크게 좌우되므로, 사용자는 최적 값을 찾기 위해 노력해야 하는 번거로움이 있다.

그에 따라 민병석[16] 등은 엔트로피적 관점에 따라 CLAHE의 매개변수를 자동으로 결정하는 함수를 모델링하였다. 히스토그램이 균등하게 분포하면 엔트로피가 증가하는 특성을 이용하여 최대 엔트로피를 갖는 블록의 크기와 한계점을 결정하였다. 엔트로피를 고려한 함수를 이용하여 매개변수를 결정함으로서 사용자의 개입 없이 CLAHE를 사용할 수 있도록 하였다. 이 방법을 인물, 풍경 등 일반적인 영상에 적용하면 추가적인 입력 없이 좋은 화질의 영상을 얻을 수 있다. 그러나 이 방법을 X-ray 영상에 도입할 경우, 모든 블록에 대해서 같은 한계점 값을 적용하여 불필요한 영역마저 강화하고, 잡음이 강조되는 문제가 발생한다. 본 논문에서는 X-ray 영상에 최적화되어 자동으로 CLAHE의 한계점을 결정하는 방법을 제안한다.

X-ray 영상은 밝기 값에 따라 크게 피부(근육) 영역, 뼈 영역, 공기(배경) 영역의 세 가지 영역으로 구분 할 수 있다. 임상에서 관심영역은 피부 영역 또는 뼈 영역으로 국한되며, 검진 대상에 따라 관심영역이 피부 영역인지 뼈 영역인지 결정된다. 기존 CLAHE가 모든 블록에 대해서 동일한 한계점을 사용하는 대신, 본 연구는 각 블록에 자동으로 CLAHE의 한계점을 결정하는 방법을 제시한다. 그에 따라 효과적으로 X-ray 영상의 대비를 강화할 수 있다.

이 논문에서 제시하는 내용은 다음과 같다. 첫 째, CLAHE 알고리즘에 퍼지 논리를 도입하여 CLAHE의 매개변수인 한계점을 사용자의 개입 없이 자동으로 결정한다. 둘 째, 블록 별로 사용자의 관심도에 따른 영상 강화를 적용하여 관심 영역을 강조하고 잡음을 제거하는 등 화질을 개선한다. 추가적으로, 기존 CLAHE의 히스토그램 맵 보간 방법을 발전시켜 기존 방법에서 발생하는 얼룩 현상을 제거한다. 본 논문의 이후에 이어지는 내용은 다음과 같다. 2장에서는 CLAHE에 대해서 간략히 분석하며 3장에서 제안하는 방법에 대해 기술한다. 그리고 4장에서 실험 결과를 분석하며 5장에서 결론을 맺는다.

 

2. 관련 연구

이번 장에서는 이 논문과 밀접한 관계가 있는 HE와 그의 발전된 형태인 CLAHE에 관하여 설명한다.

2.1 히스토그램 평활화(HE)

영상에서 i의 밝기 값을 갖는 픽셀의 개수를 ni라할 때, i밝기 픽셀의 밀도를 나타내는 히스토그램은 식 (1)을 통해 구할 수 있다. 픽셀의 밝기 값이 갖는 밀도에 대한 확률을 구하기 위해 식 (2)와 같이 영상 전체 픽셀의 개수 N으로 나누고 영상의 픽셀 밝기 값의 범위인 grayLevel을 곱해, 최대 밝기 값이 grayLevel을 가질 수 있도록 히스토그램의 정규화를 수행한다. 입력 화소의 밝기 v에 대한 평활화 함수는 식 (3)과 같이 정규화 된 히스토그램의 합산으로 계산한다.

2.2 대비제한 적응 히스토그램 평활화(CLAHE)

CLAHE는 영상을 블록의 개수만큼 분할하고 각 블록에 대해서 CLHE를 수행하는 방법이다. CLHE는 히스토그램에서 밀도 값이 지정된 한계점을 초과하는 픽셀의 개수를 재분배 하는 방법이다.

한계점은 식 (4)와 같이, 히스토그램이 갖는 최대 밀도 hmax와 한계점 파라미터 ClipLimitParam을 이용하여 얻는다. Fig. 1에서 좌측이 CLHE를 적용하기 전의 원본 히스토그램이고 우측이 CLHE를 수행하여 평활화된 히스토그램이다. 한계점을 초과하는 픽셀의 개수를 전체 값에 고루 분배함으로써 히스토그램이 기존보다 평활화된 것을 볼 수 있다. 한계점 파라미터는 0에서 1사이의 실수이고, 값이 클수록 히스토그램이 균일해져 블록 별 대비 효과가 강하게 일어난다. 반대로 한계점 파라미터가 0에 가까우면 히스토그램의 평활화가 거의 일어나지 않는다.

CLHE를 블록 별로 수행하면 각 블록들의 히스토그램이 각기 달라진다. 이를 그대로 두면 블록들 사이의 경계가 두드러지므로, 문제를 완화하기 위해 인접한 네 개의 블록에 대해 히스토그램 맵 보간을 수행한다. 히스토그램 맵은 각 블록에 대해서 평활화를 수행하기 전 밝기 값을 평활화가 적용된 밝기 값으로 대응하는 맵을 지칭한다.

Fig. 2와 식(5)는 이웃한 네 개의 블록을 이용한 히스토그램 맵의 보간을 나타낸 것이다. α와 β는 블록 내에 위치한 픽셀의 가중치를 정규화한 값으로 0에서 1사이의 실수이다. 보간을 하려는 픽셀의 위치가 x, y라 할 때 블록의 높이 h와 블록의 폭 w를 이용하여 식(5)와 같이 표현할 수 있다. 좌표 i, j에 위치한 블록 Bi,j에서 보간하고자 하는 픽셀의 밝기 값을 v라 할 때, 보간 된 밝기 값 v’은 인접한 네 블록에서 v밝기 값을 입력으로 하는 히스토그램 맵을 보간(가중 평균)하여 얻는다. 이 때 양선형 보간법을 이용하며, 입력되는 픽셀의 위치에서 각 블록들 간의 거리가 가중치로 작용한다. 그 결과, 각 픽셀에 대해 인접한 네 개의 블록에서 히스토그램을 종합한 결과를 얻는다.

Fig. 2.The interpolation of histogram map in CLAHE.

Fig. 3에서 HE와 CLAHE를 적용한 결과를 보인다. Fig. 3의 (a)는 X-ray로부터 얻은 DR(Digital Radiography) 원본 영상이고, Fig. 3의 (b)는 HE의 결과 영상이며, Fig. 3의 (c)는 블록의 크기가 8×8이고 한계점 파라미터를 0.5로 설정한 CLAHE를 적용한 결과이다. HE를 적용한 Fig. 3의 (b)와 CLAHE를 적용한 Fig. 3의 (c)를 비교했을 때, HE보다 CLAHE에서 영상의 세부적인 특징이 뚜렷하게 나타나는 것을 볼 수 있다. 그러나, CLAHE를 적용한 영상에서 관심 영역 밖인 공기 영역마저 지나치게 대비를 강화하여 잡음이 두드러지는 결과를 보인다. 또한, 배경과 피사체가 인접한 영역에서 얼룩이 발생하는 것을 볼 수 있다. 이 논문에서 제안하는 한계점 결정방법과 히스토그램 맵 보간 방법을 이용하여 Fig. 3(c)와 같이 CLAHE에서 발생하는 화질 저하 현상을 제거할 수 있다.

Fig. 3.Comparison of HE and CLAHE. (a) Original X-ray image, (b) HE, (c) CLAHE(Block size 8×8, Threshold parameter 0.5).

 

3. 제안 방법

이 논문에서 제안하는 흐름도를 Fig. 4에 나타내었다. 제안 된 한계점 결정 방법은 블록 별로 공기, 피부, 뼈의 세 가지 영역에 대한 포함 비율을 퍼지 멤버십 함수에 적용하여 결정하게 된다. 대략적인 처리 과정은 다음과 같다. 먼저, 영상을 블록의 개수로 분할한 뒤 각 블록에서 히스토그램을 구한다. 그런 다음 블록 안에 존재하는 뼈, 피부, 공기 영역의 비율을 계산한다. 이 때 비율 계산을 위한 영역 별 임계값(threshold)이 입력으로 작용한다. 영역 별 비율은 Fig. 5에 제안된 영역 별 멤버십 함수의 입력으로 작용하며, 이를 바탕으로 각 영역 별 멤버십 함수가 갖는 구간과 소속도를 구할 수 있다. 도출 된 영역 별 멤버십 함수의 구간과 소속도는 다시 Table 1에 제안된 퍼지 추론 규칙의 입력으로 작용하고, 퍼지 추론 규칙을 통해 한계점 멤버십 함수의 구간과 임계 값을 구한다. 퍼지 추론 규칙을 통해 도출 된 한계점 멤버십 함수의 구간과 임계 값으로 최종 CLAHE의 한계점 파라미터를 도출한다. 이 때, 한계점 멤버십 함수의 최종 임계 값을 결정하기 위해 Mamdani의 무게 중심 법을 적용한다. 이렇게 도출된 한계점 파라미터는 블록 별로 CLHE를 수행하기 위한 한계점을 결정한다. 마지막으로 블록들 사이의 경계를 제거하기 위해 이웃한 9개의 블록을 이용하여 히스토그램 맵 보간을 수행한다.

Fig. 4.A flow chart of the proposed method.

Table 1.The Fuzzy Inference Rules

Fig. 5.Membership functions of classified areas. (a) Membership function of the air area, (b) Membership function of the skin area, (c) Membership function of the bone area.

각 단계별 자세한 내용은 다음 절에서 설명한다.

3.1 영역 별 멤버십 함수

이 절에서는, 블록 별로 공기, 피부, 뼈의 세 가지 영역에 대한 포함 비율로 영역 별 멤버십 함수의 구간과 소속도를 결정하는 내용을 다룬다. 우선, 사용자가 입력한 밝기 임계값을 기준으로 각 픽셀을 공기, 피부, 뼈 중 하나로 결정한다. 본 논문에서 사용하는 퍼지 멤버십 함수를 Fig. 5에 나타내고 있다. 제안된 퍼지 기법에서 공기 멤버십 함수와 뼈 멤버십 함수의 구간은 [Low, Middle, High]의 세 단계로 설정하였으며 피부 멤버십 함수의 구간은 [Low, High]의 두 단계로 설정하였다. 각 멤버십 함수의 입력 값은 블록에서 해당 영역이 차지하는 비율이다. 입력 받은 비율에 상응하는 구간의 y값이 소속도가 된다.

예를 들어 한 블록에서 공기 영역에 해당하는 면적이 블록에서 15% 영역을 차지한다면, 공기 영역 멤버십 함수에 해당하는 Fig. 5의 (a)에 15를 입력하여, Low 구간과 그의 높이인 0.83, Middle 구간과 그의 높이인 0.125를 출력한다. Low 구간에서 소속도가 0.83이라는 것은 블록에 공기 영역의 밝기 값이 차지하는 비율이 낮다(Low)고 판단할 수 있는 정도가 0.83라는 의미이다.

마찬가지로 피부 영역의 비율이 20%일 때에는, 피부 영역 멤버십 함수에 해당하는 Fig. 5의 (b)에 20을 입력하여, Low 구간과 그의 높이인 1을 출력한다. 마지막으로 뼈 영역의 비율이 65%일 때에는, 뼈 영역 멤버십 함수에 해당하는 Fig. 5의 (c)에 65를 입력하여, Middle 구간과 그의 높이인 0.625, High 구간과 그의 높이인 0.17을 출력한다.

퍼지 논리의 소속도 함수는 직관과 실험을 통해 설계하는 것이 일반적이다. 본 연구의 경우에도 처음 설계에는 피부 멤버십 함수의 구간을 공기나 뼈와 마찬가지로 세 구간으로 설계하였으나, 다양한 실험 결과 차별성이 두드러지지 않아 두 단계로 축소하여 설정하였으며, 각 함수의 위치 또한 다양한 값의 변화를 통해 관찰한 결과 이상적인 값을 선택하였다.

3.2 퍼지 추론 규칙

이번 절에서는 3.1 절에서 얻은 영역 별 멤버십 함수의 구간과 소속도를 이용하여, 한계점 멤버십 함수의 구간과 해당 구간의 임계 값을 결정하는 퍼지 추론 규칙에 대해 살펴본다. 한계점 멤버십 함수는 최종적으로 CLAHE의 한계점 파라미터를 결정하는 멤버십 함수를 가리킨다. 한계점 멤버십 함수의 구간과 임계 값을 결정하기 위한 퍼지 추론 규칙이 Table 1에 나타난다. Table 1의 규칙은 이 논문에서 관심영역을 피부로 설정하여 설계한 것으로, 퍼지 추론 규칙은 관심 영역에 따라 다양한 설계가 가능하다. 퍼지 추론 규칙을 통해 한계점 멤버십 함수의 구간과 임계 값이 결정되므로, 출력 값이 각 영역 별 관심도에 대응하도록 설계하는 것이 중요하다. 이 연구에서 제안하는 퍼지 추론 규칙의 출력 구간은 [Low, Middle, High]의 총 세 단계로 구분된다. CLAHE의 한계점 파라미터로 작은 값이 입력되어 대비 강화가 거의 일어나지 않는 경우를 Low로 정의하였다. 반대로 CLAHE의 한계점 파라미터로 큰 값이 입력되어 대비 강화가 뚜렷한 경우는 High로 정의하였다. 마찬가지로, Low와 High의 중간 정도의 대비를 갖는 경우를 Middle로 정의하였다.

따라서 관심영역인 피부 영역이 많이 포함되어 있으면 출력 구간을 높게(High) 설정하여 대비를 강하게 하였고, 비 관심 영역인 공기 영역이 많이 포함되어 있으면 출력 구간을 낮게(Low) 설정하여 강화가 거의 일어나지 않도록 하였다. 규칙의 한 예로 공기 영역의 포함 비율이 높고 피부와 뼈 영역의 포함 비율이 낮은 경우에는 출력 구간을 낮게(Low) 설정하여 잡음을 최소화 하였고, 그와 반대로 피부의 포함 비율이 높고 뼈나 공기의 포함 비율이 낮은 경우에는 출력 구간을 높게(High) 설정하여 대비를 강하게 하였다. 이러한 규칙을 Table 1로 정의한다.

퍼지 추론 규칙의 입력으로 3.1 절에서 도출 된 영역 별 멤버십 함수의 구간과 소속도가 사용된다. 각 영역 별 멤버십 함수에서 도출 된 구간과 소속도가 두개 이상인 경우 퍼지 추론 규칙의 입력과 출력이 다양해 질 수 있다. 이 때 최종 임계 값을 결정하기 위한 방법으로 Min-Max 추론 방법[17]을 사용한다.

3.1절에서 살펴본 예제와 같이 공기 영역 멤버십 함수에서 출력된 구간과 소속도가 각각 Low 구간에서 0.83, Middle 구간에서 0.125이고, 피부 영역 멤버십 함수에서는 Low 구간에서 1이며, 뼈 영역 멤버십 함수에서 Middle 구간에서 0.625, High 구간에서 0.17일 때를 가정한다. 첫 번째 퍼지 추론 규칙의 입력으로 공기 영역 멤버십 함수의 출력 값인 (Low, 0.83), 피부 영역 멤버십 함수의 출력 값인 (Low, 1), 뼈 영역 멤버십 함수의 출력 값인 (Middle, 0.625)의 경우를 살펴본다. 이 입력은 퍼지 추론 규칙 10번 항목(L, L, M)에 해당하므로, 출력으로 Middle구간과 임계 값으로 Min(0.83, 1, 0.625) = 0.625 를 구할 수 있다(Min-Max 추론 방법).

앞서 영역 별 멤버십 함수에서 출력 된 구간과 소속도는 공기 영역 멤버십 함수에서 두 개, 피부 영역 멤버십 함수에서 한 개, 뼈 영역 멤버십 함수에서 두 개를 가지므로 이들 조합으로 총 네 번의 퍼지 추론을 통해 출력 구간과 임계 값을 얻을 수 있다. 여러 번의 퍼지 추론을 통해 동일한 출력 구간이 나타나는 경우 Min-Max 추론 방법을 이용하여 최종 구간과 임계 값을 구한다. 예를 들어 다른 퍼지 추론을 통해 Middle구간과 임계 값으로 0.75가 결정되었다면, 이전의 Middle구간과 임계값 0.625는 무시된다.

3.3 한계점 멤버십 함수

이번 절에서는 3.2 절을 통해 도출된 각 영역 별 구간과 해당 구간의 임계 값을 통합하여 최종적으로 CLAHE의 한계점 파라미터를 결정(비퍼지화[18])한다. 비퍼지화를 위한 과정에서 한계점 멤버십 함수를 이용하므로, 사용자의 요구에 부합하도록 한계점 멤버십 함수를 설계하는 것이 중요하다.

3.2 절의 추론 규칙을 기반으로 결정 된 구간과 임계 값을 비퍼지화[18] 하기 위하여 Mamdani의 무게중심법을 이용하였다[19]. 식 (6)은 최종 임계 값을 구하기 위한 비퍼지화 과정에서 적용된 무게중심법이다.

비퍼지화를 위한 멤버십 함수 ⨍에 대해서 X는 한계점 멤버십 함수의 x축에 해당하는 퍼지 집합이고, Y는 퍼지 추론 규칙에 의해 얻어진 구간 별 임계 값이다. 한계점 멤버십 함수에 식 (6)를 적용하여 출력한 최종 임계 값을 CLAHE의 한계점 파라미터로 최종 입력한다.

한계점 멤버십 함수는 [Low, Middle, High]의 총 세 단계의 구간으로 구성했으며, 각 구간 설계에 따라 CLAHE의 대비 효과를 다양하게 할 수 있다. Table 2에서 한계점 멤버십 함수의 구간 별 설계에 따른 특징을 나타낸다.

Table 2.The characteristics for designing the membership functions of Clip Limit for each section.

사용자의 요구에 부합하는 대비 강화를 위해 한계점 멤버십 함수의 설계가 중요하다. 본 연구는 식 (6)과 같은 무게중심법을 사용하므로 각 영역의 무게 중심이 어디에 위치하는지가 핵심적인 설계의 근거가 된다. 다양한 실험을 수행한 결과 다음과 같은 관찰결과를 얻을 수 있었다. 공기 영역의 잡음을 잘 억제하려면 한계점 멤버십 함수의 Low 구간을 좁게 설계해야 한다. 왜냐하면 표 1에 의해 Low 구간이 공기 영역을 담당하는데, Low 구간을 좁게 설계하면 무게 중심이 낮은 값으로 결정되고, 낮은 임계 값을 산출하여 공기 영역의 대비를 억제하기 때문이다. 반대로 Low 구간을 넓게 설계하면 비퍼지화시에 비교적 높은 범위의 값들을 포함하기 때문에 높은 임계값이 공기 영역의 대비를 증가시킨다.

마찬가지로 피부 영역의 대비를 강하게 하려면 한계점 멤버십 함수의 High 구간을 좁게 설계해야 한다. High 구간은 Table 1에 의해 피부 영역을 담당하므로, High 구간이 좁으면 높은 범위의 값들로 임계값을 산출하여 피부 영역의 대비를 증가시키게 된다. 반대로 High 구간이 넓으면 비퍼지화시에 비교적 낮은 값을 포함하여 낮은 임계값이 피부 영역의 대비를 억제한다.

뼈 영역의 대비는 Table 1에 의해 한계점 멤버십 함수의 Middle 구간이 결정한다. Middle 구간의 경우 구간의 양 끝점이 모두 변경 가능하므로 폭보다 중심의 위치가 중요하게 작용한다. Middle 구간의 중심을 우측으로 치우치게 설계하면 뼈의 대비를 증가시키고, Middle 구간의 중심을 좌측으로 치우치게 설계하면 뼈 영역을 부드럽게 출력할 수 있다.

Fig. 6에서 서로 다른 효과를 출력하는 세 가지 형태의 한계점 멤버십 함수를 제안한다. Fig. 6의 (a)는 한계점 멤버십 함수1로, 공기 영역의 잡음을 최대한 억제하고 뼈를 부드럽게 출력하도록 설계하였다. 그래프에서 Low 구간의 폭이 좁고 Middle 구간의 중심이 약간 좌측에 위치한 형태이다. Fig. 6의 (b)는 한계점 멤버십 함수2로, 뼈와 근육의 대비를 강화하도록 설계하였다. Low 구간의 폭이 넓고 Middle 구간의 중심이 우측에 치우쳐 있으며 High 구간의 폭이 좁은 형태이다. Fig. 6의 (c)는 한계점 멤버십 함수 3으로, 뼈와 근육을 부드럽게 하도록 설계하였다. Middle 구간의 중심이 좌측으로 치우쳐 있고 High구간의 폭이 넓은 형태이다. 위의 세 가지 형태의 멤버십 함수를 응용하면, 사용자의 요구를 만족하는 한계점 멤버십 함수의 설계가 가능하다.

Fig. 6.Various membership functions of Clip Limit. (a) Membership function of Clip Limit1, (b) Membership function of Clip Limit2, (c) Membership function of Clip Limit3.

3.4 블록 간 히스토그램 맵 보간

퍼지 논리에 의해 결정된 한계점 파라미터를 바탕으로 각 블록별로 CLHE를 수행한 뒤에, 블록 간 경계를 제거하기 위해서 인접한 블록들 사이의 히스토그램 맵 보간을 수행한다.

기존 CLAHE에서는 인접한 4개의 블록을 이용하여 히스토그램 맵 보간을 수행하지만, X-ray 영상에 그대로 적용할 경우 배경과 피사체가 인접한 블록에서 밝기차로 인해 얼룩진 영상이 출력된다(Fig. 8(a) 참고). 이 연구에서는 기존 방법을 발전시켜 9개의 블록을 사용하는 새로운 방법을 제안한다. 이 방법은 기존 방법에서 발생하는 얼룩을 제거한다.

Fig. 7은 블록 Bi,j에 위치해 있는 픽셀 v의 히스토그램 맵 보간을 나타낸 것이다. 보간하고자 하는 픽셀을 v라 할 때, 인접한 9개 블록의 히스토그램 맵에서 v의 밝기 값을 입력으로 하여 얻은 출력에 v의 위치에 따른 가중치를 주어 최종 밝기 값을 구한다.

Fig. 7.The interpolation of histogram map using adjacent 9 sections.

식 (7)은 블록 Bi,j 내에 위치 해 있는 픽셀 v에 대해서 9개의 인접한 블록을 이용하여 보간을 수행하는 식이다. 블록 Bi,j 내에서 v의 위치가 x, y라 할때 α와 β는 v의 위치를 정규화 한 값이다. 즉, α는 y를 블록의 높이로 나누어 1과의 차를 통해 구한 값이고, β는 x를 블록의 폭으로 나누어 1과의 차를 통해 구한 값이다. Map은 각 블록에서 히스토그램 맵에 해당되는 것으로, 퍼지 논리를 통해 도출 된 한계점이 적용된 CLHE의 결과를 얻는다. 식 (7)을 적용한 결과, Bi,j에 위치해 있는 각 픽셀에 대해 인접한 9개의 블록의 히스토그램을 종합하여 얼룩이 제거된 영상을 얻을 수 있다.

 

4. 실험 결과

실험을 위해 X-ray를 통해 얻은 12bit DR영상을 대상으로 기존 CLAHE[8]와 제안하는 방법을 비교한다. 제안 된 방법의 성능을 평가하기 위해 블록의 개수를 8×8과 4×4로 하여 결과를 분석하였다. 영상에서 진단을 위한 관심영역으로 피부를 설정하여 실험하였으며, 영역 별로 해당되는 밝기 값의 범위는 실험적으로 도출된 값을 사용하였다. 실험을 통해 도출 된 밝기 값의 범위는 공기 영역이 0-1930, 피부영역이 1931-3954, 뼈 영역이 3955-4095의 값을 갖는다.

Fig. 8은 본 연구와 기존 CLAHE의 차이를 보이고 있다. Fig. 8(a)는 기존 CLAHE에 한계점 파라미터를 0.7로 설정했을 때의 결과 영상이며, Fig. 8(b)는 기존 CLHAE를 기반으로 본 연구 3.4절에서 제안한 히스토그램 맵 보간만을 적용한 결과이다. Fig. 8(c)는 본 연구에서 제안하는 모든 방법을 적용한 결과이다.

Fig. 8.Comparison of existing CLAHE and the proposed methods. (a) Existing CLAHE(Section Size: 4×4, Threshold parameter: 0.7), (b) Proposed Interpolation of Histogram map(Section Size: 4x4, Threshold parameter: .7), (c) Proposed Method using the Membership function of Clip Limit2(Section Size: 4×4), (d) Existing CLAHE(Section Size: 8×8, Threshold parameter: 0.7), (e) Proposed Interpolation of Histogram map(Section Size: 8×8, Threshold parameter: 0.7), (f) Proposed Method using the Membership function of Clip Limit2(Section Size: 8x8).

기존 방법(Fig. 8(a))에서 존재했던 얼룩이 제안하는 히스토그램 맵 보간을 통해 Fig. 8(b)와 같이 제거되었다. 기존 방법에서 존재했던 방향성 있는 얼룩을 제거함으로써 대칭적인 영상을 얻을 수 있다. 본 연구에서 제안하는 모든 방법을 적용하면 Fig. 8(c)와 같이 한 층 더 개선된 결과를 보인다. 제안하는 CLAHE의 결과 영상에서 비 관심 영역인 공기 영역을 전반적으로 어둡게 처리하여 화질이 개선되었다. 또한, 비 관심 영역인 공기 영역의 대비를 최소화함으로써 공기 영역의 잡음이 제거되고 관심 영역에 초점이 집중되어 피사체와 배경의 구분이 쉽게 가능하다.

다음으로, 블록의 개수에 따른 결과를 비교한다. Fig. 8의 상단 (a),(b),(c)는 블록의 개수가 4×4인 경우이며, Fig. 8의 하단 (d),(e),(f)는 블록의 개수가 8×8인 경우이다. 블록의 개수가 4×4인 경우보다 8×8일 경우 선명한 결과를 출력한다. CLAHE의 특성에 의해 각 블록의 크기가 작아지고 작은 영역 별로 평활화가 이루어져 더욱 선명한 영상을 얻게 되었다. 그러나 지나치게 블록의 개수가 많으면 지나친 평활화로 인해 화질이 떨어진다. 블록의 개수는 영상의 특성에 따라 적절한 값을 선택해야 한다.

3.3절에서 제안한 다양한 한계점 멤버십 함수의 특성을 살펴보기 위해 Fig. 9를 제시하였다. Fig. 9(a)는 기존 CLAHE에서 한계점 파라미터를 0.7로 적용한 결과이고, Fig. 9(b), Fig. 9(c), Fig. 9(d)는 각각 Fig. 6에 제시된 한계점 멤버십 함수 1, 2, 3의 적용 결과이다. 단, 블록의 개수는 8×8 이다.

Fig. 9.The result of Proposed methods.(Section size: 8×8). (a) Existing Method(Threshold: 0.7), (b) Proposed method using clip limit1, (c) Proposed method using clip limit2, (d) Proposed method using clip limit3.

먼저, 기존 방법과 Fig. 9(a)와 제안하는 방법 Fig. 9(b), (c), (d)를 비교하면, 제안하는 방법에서 영상의 선명도가 증가하고 화질이 향상되었다. 기존에 존재했던 얼룩과 공기 영역에 존재했던 잡음이 제거되었으며, 공기 영역이 전반적으로 어둡게 처리되어 피사체에 초점이 집중되는 결과를 보인다.

다음으로, 이 논문에서 제안한 한계점 멤버십 함수 1, 2, 3을 비교한다. Fig. 9(b)와 같이 한계점 멤버십 함수1을 이용하면 공기 영역의 잡음을 가장 완화할 수 있다. 한계점 멤버십 함수1은 Low 구간이 가장 좁기 때문에, 공기 영역이 많이 포함된 블록에서 한계점 파라미터 값으로 작은 값을 출력하기 때문이다. 다음으로 Fig. 9(c)와 같이 한계점 멤버십 함수2를 사용하면 피부 영역의 대비를 가장 향상시킬 수 있다. 한계점 멤버십 함수2는 High 구간이 가장 좁기 때문에, 피부 영역이 많이 포함된 블록에서의 한계점 파라미터 값으로 높은 값을 출력하기 때문이다. 마지막으로, Fig. 9(d)와 같이 한계점 멤버십 함수3을 사용하면 뼈 영역을 부드럽게 출력할 수 있다. 한계점 멤버십 함수3은 Middle 구간의 중심이 가장 좌측으로 치우쳐 있기 때문에 뼈 영역이 많이 포함된 블록에서의 한계점 파라미터 값으로 작은 값을 출력하기 때문이다. 반대로 Fig. 9(c)와 같이 Middle 구간이 우측으로 치우친 한계점 멤버십 함수2을 적용하면 뼈의 대비를 가장 향상 시킬 수 있다.

실험 결과에서 제안 방법의 화질이 우수한 것으로 보이나, 실제 영상에서 이를 정량적으로 측정하기는 어렵다. 따라서 이 논문에서는 간접적인 비교로서, 기존 방법과 제안하는 방법의 에지 검출 결과를 Fig. 10에 제시하였다. 제안하는 방법으로는 한계점 멤버십 함수2(Fig. 6(b))를 적용하였으며, 에지 검출을 위해 가우시안 필터와 소벨 함수를 사용하였고 임계값으로 100을 입력하였다.

Fig. 10.Comparison of edge detection of existing CLAHE and the proposed methods. (a) Existing Method, (b) Proposed method using clip limit2.

Fig. 10(a)에서 기존 방법의 에지 검출 결과를 나타낸다. 기존 방법의 에지 검출 결과, 피부와 공기가 인접한 영역에서 잡음이 뚜렷하게 나타난다. 또한, 뼈 영역의 에지가 모두 연결되어 있지 않아 뼈의 형태 파악이 어렵다. 피부 영역 내부에서 특징이 흐릿하게 나타나며, 얼룩이 존재하는 영역의 특징을 파악하기 어렵다. 반면에, 제안하는 방법의 에지 검출 결과인 Fig. 10(b)에서는 피부와 공기가 인접한 영역에서 잡음이 보이지 않으며, 뼈 영역의 에지가 모두 연결되어 있어 형태 파악이 용이하다. 또한, 기존 방법과 비교했을 때 피부 영역 내부의 특징들이 뚜렷하고 특징의 개수가 많은 것을 볼 수 있다.

실험 결과를 종합해 보면, 기존 CLAHE 보다 제안하는 방법에서 화질을 개선하는 효과를 볼 수 있었다. 관심도에 따른 한계점 설정으로 영상의 선명도를 증가시켰으며, 비 관심 영역의 잡음을 제거하는 효과를 볼 수 있었다. 특히, 한계점을 결정하기 위해 퍼지 논리를 도입함으로써 관심 영역과 비 관심 영역의 유연한 설정이 가능하였다. 또한, 최종 한계점의 임계 값을 결정하기 위한 한계점 멤버십 함수의 설계를 다양하게 하여 사용자 기호에 맞는 영상을 출력할 수 있었다.

그리고 기존 4개의 이웃한 블록을 사용하여 히스토그램 맵을 보간하는 대신 9개의 블록을 사용하여, 밝기차가 큰 블록이 인접한 영역에서의 얼룩을 제거하는 효과를 볼 수 있었다. 기존 방법에서 가로와 세로 방향의 단 방향으로 인접한 블록의 히스토그램을 보간하였지만, 이 논문에서는 양 방향으로 인접한 블록의 히스토그램을 모두 포함하여, 영상의 밝기 차가 극명한 인접 블록 간의 차이를 완화할 수 있었다.

 

5. 결 론

HE는 영상의 대비를 강화하기 위해 사용되는 보편적인 전역 명암대비 향상 기법으로, 전체 영상에 대해서 히스토그램의 분포를 균일하게 변형한다. 그러나 영상에서 비슷한 밝기 값이 국부적으로 밀집된 영역에서 특징을 구분하기 어려운 단점이 있다. 그에 따라 제안된 CLAHE는 영상을 여러 개의 블록으로 나누어 각 블록에 대해서 CLHE를 수행한다. X-ray 영상은 크게 공기, 피부, 뼈의 세 가지 영역으로 나눌 수 있으며, 임상에서는 진료 부위에 따라 관심 영역이 다르게 나타난다. 기존 CLAHE의 경우 관심 영역에 상관없이 각 블록에 대해서 동일한 한계점을 적용하여 비 관심 영역까지 강조하여 잡음을 강화한다.

본 논문에서는 CLAHE의 한계점 파라미터를 결정하기 위해 퍼지 논리를 도입함으로써 관심도에 비례한 명암 대비 강화를 가능하게 하였다. 그 결과, 관심 영역인 피부 영역의 명암 대비 효과를 유지하면서 비 관심 영역인 공기 영역의 명암 대비를 최소화하여 영상의 선명도를 증가시켰다. 또한, 초점이 비관심 영역으로 분산되는 것을 억제하고 비 관심 영역의 잡음을 완화하였다. 추가적으로, 블록 간의 경계를 없애기 위해 기존 4개의 블록에 대해서 히스토그램 맵을 보간하는 방법을 발전시켜 9개의 블록을 사용하였다. 그 결과 밝기 값의 차이가 뚜렷한 블록이 인접한 경우 발생하는 얼룩을 제거할 수 있었다.

이 연구를 통해 CLAHE의 한계점을 결정함으로써 사용자의 요구를 만족하는 영상의 강화가 가능하다. 향후 연구에서는 영상에서 뼈과 피부, 공기에 대한 포함 정도를 혼합 모델로 파악하여 히스토그램 평활화를 수행하는 가우시안 혼합 모델을 이용[20]하여 화질을 향상시키는 방안에 대해 연구할 계획이다.