TFT-LCD Defect Detection based on Histogram Distribution Modeling

히스토그램 분포 모델링 기반 TFT-LCD 결함 검출

Abstract

TFT-LCD automatic defect inspection system for detecting defects in place of the visual tester does pre-processing, candidate defect pixel detection, and recognition and classification through a blob analysis. An over-detection result of defects acts as an undue burden of blob analysis for recognition and classification. In this paper, we propose defect detection method based on the histogram distribution modeling of TFT-LCD image to minimize over-detection of candidate defective pixels. Primary defect candidate pixels are detected estimating the skewness of the luminance distribution histogram of the background pixels. Based on the detected defect pixels, the defective pixels other than noise pixels are detected using the distribution histogram model of the local area. Experimental results confirm that the proposed method shows an excellent defect detection result on the image containing the various types of defects and the reduction of the degree of over-detection as well.

1. 서 론

TFT-LCD(Thin Film Transistor Liquid Crystal Display)는 데스크탑 및 TV 등의 가전제품 뿐만 아니라 개인 단말기와 상업성 광고 디스플레이까지 다양한 기기의 디스플레이 장치로 각광받고 있다[1-4]. 이는 곧 관련 업계 간의 시장 경쟁이 심화되었음을 의미하며, 관련 업계는 비용 절감을 위해 TFT-LCD 자동 결함 검사 시스템 개발을 시도하고 있다. 하지만 패널 구조 및 조명 특성의 상이함에 따라 결함 및 불량 표준화의 어려움으로 인해 현재까지 국내외적으로 만족할만한 성공 사례가 나타나지 않고 있다.

TFT-LCD 결함 자동 검사 시스템은 TFT-LCD 영상의 전처리와 결함 후보 화소 검출, 결함 후보 화소를 이용한 블랍(Blob) 구성과 특징점 추출, 이를 이용한 최종 인식 및 분류로 구성된다[5,6]. 기존의 TFT-LCD 결함 검출 방법은 고해상도 카메라 기반과 저해상도 카메라 기반 방법으로 분류 가능하다. 그중에서도 특히 저해상도 TFT-LCD 영상에서만 나타나는 얼룩성 결함(Mura)은 제품의 품질 측면에 매우 큰 영향을 주는 치명적인 불량이다[7,8]. 이러한 얼룩성 결함은 그 경계가 모호하므로 고해상도로 영상을 획득한 경우에는 잘 보이지 않고, 반드시 육안검사와 같이 저해상도 영상에만 나타나게 된다. 또한 불명확한 경계로 인해 인력에 의한 검사 과정 중에서 도 불량으로 판정되지 않는 경우가 빈번하게 발생된다. 이는 실제적으로 TFT-LCD 자동 결함 검사 알고리즘 개발에 있어 얼룩성 결함의 견실한 검출을 보장하기 어려움을 나타낸다.

기존의 저해상도 영상에서 얼룩성 결함을 검출하는 대표적인 방법으로는 가보 필터를 이용한 결함 검출 방법[9], 결함 검출의 신뢰성을 높이기 위해 배경의 휘도 분포를 보정하는 방법[10], Otsu 방법[11], 평균과 표준편차를 이용한 STD(Standard Deviation)기법[12,13] 등이 있다. 하지만 가보필터를 이용한 기존의 방법은 방향성 및 물리적 변형과 같은 특정 형태의 결함에만 적용 가능한 한계점을 가진다. 또한 Otsu방법은 영상의 히스토그램 분포에 따라 임계값을 적응적으로 결정하지만 주변과의 휘도차이 가 크지 않은 얼룩성 결함의 경우, 정확한 임계값 결정이 어렵다. 표준편차와 평균을 이용한 STD 기법은 결함에 포함될 가능성이 높은 화소부터 순차적으로 검출한다. 다중 가중치를 적용하여 결함 검출이 가능하지만 초기 가중치 결정 및 종료 조건에 결함 검출 결과가 매우 의존적이다. 자동 결함 검출 시스템의 경우, 결함의 미검출은 매우 치명적인 문제이므로 과검출 후 블랍 분석을 통해 최종 결함을 결정한 다. 이때 적절하지 않은 임계값은 블랍 분석 과정의 과도한 부담으로 작용하며 검출 성능에 영향을 미친다.

본 논문에서는 TFT-LCD 자동 결함 검출 시스템의 블랍 분석 및 특징 추출 단계의 부담을 줄이기 위해 결함 후보 화소의 과검출을 최소화하는 결함 검출 기법을 제안한다. TFT-LCD 영상은 배면조명(Back Light Unit)의 영향으로 배경에 불균일한 휘도분포가 존재하고 이는 결함 검출을 어렵게 하는 요인으로 작용한다[14]. 전처리를 통하여 배경의 불균일한 휘도 분포를 추정하여 제거하면 결함이 없는 양품 영상의 경우, 히스토그램의 분포가 정규분포에 근사한 특성을 기반으로 영상의 히스토그램 분포를 추정하여 1차 결함 후보 화소를 추정하고, 추정된 화소를 중심으로 국부영역의 분포 추정을 통한 최종결함 후보 화소를 검출한다.

제안 방법의 성능을 검증하기 위해 TFT-LCD 영상의 특성을 반영한 모의영상을 이용하여 분석을 수행하고 사실적 적용 가능성을 판단하기 위해 실제 획득된 다양한 TFT-LCD 영상에 적용하여 검출 성능을 평가한다.

 

2. TFT-LCD 영상 특성 및 STD 결함 검출 기법

TFT-LCD는 스스로 발광하지 못하는 액정의 특성으로 인해 제품의 가장자리에 선 광원이 존재한다. 따라서 TFT-LCD 표면 영상의 각 화소는 상대적인 위치에 따라 광원에 가까울수록 높은 휘도를 가지게 되므로 배경에 불균일한 휘도분포가 존재하게 된다. Fig. 1은 실제 획득한 다양한 TFT-LCD 표면 영상과 3차원 그래프를 나타낸 것으로 불균일한 휘도분포를 확인할 수 있다. 결함 검출을 위해 이러한 배경의 휘도 분포는 전역적 결함 검출에 어려움을 주는 요인으로 작용하므로 본 논문에서는 불균일한 휘도분포 추정을 위해 형태학적 연산을 이용한 방법[15]을 적용한다.

Fig. 1.Example of TFT-LCD surface image and 3-dimensional graph. (a) TFT-LCD surface image and (b) 3-dimensional graph.

TFT-LCD 영상에 나타나는 얼룩성 결함은 매우 작은 크기이지만 주변에 비해 비교적 높은 휘도값을 가지는 결함부터, 크기가 크지만 주변 영역과의 휘도차이가 작은 결함까지 다양한 형태로 존재한다. 일반적인 TFT-LCD 영상의 결함은 주변 배경 영역과의 휘도차이가 클수록 정확한 검출이 가능하다. 평균과 표준편차를 이용한 STD기법은 영상의 히스토그램에 평균과의 차이가 큰 히스토그램 가장자리의 화소값을 가지는 영역일수록 결함 영역에 속할 가능성이 높다는 특징을 이용한다. 기존의 STD 결함 검출 기법은 식 (1)에서와 같이 평균과 표준편차를 이용하여 결함 화소를 검출한다. THB보다 큰 값을 갖는 화소는 배경보다 높은 화소값을 가지는 휘 결함(Bright-defect)으로, THD보다 작은 값을 갖는 화소는 배경보다 낮은 화소값을 가지는 암 결함(Dark-defect)으로 결정한다.

여기서 m은 주어진 영상의 평균, σ는 주어진 영상의 표준편차, k는 주어진 영상에서 결함 영역이 차지하는 비율을 결정하는 가중치이다. 이 방법은 결함이 배경과의 휘도 차가 큰 경우는 신뢰성 있게 결함을 검출할 수 있으나, 다양한 휘도 값을 가지는 결함이 존재하고 영상마다 그 특성이 다르게 나타나므로 k에 의존적인 결과를 도출하게 된다. 따라서 영상의 특성에 따라 적응적으로 최적의 k값을 결정하는 것이 매우 중요하다. 따라서 다수의 가중치 k = {k0,k1,k2⋯}를 사용하여 결함 가능성이 높은 순으로 결함 화소를 순차적으로 검출하는 순차적 STD 기법이 제안되었다[12]. 이는 순차적으로 결함을 검출함으로써 배경과의 휘도 차가 큰 결함은 정확히 검출하고, 배경과의 휘도 차가 작은 결함인 한도 결함 또한 신뢰성 있게 검출할 수 있다. 그러나 초기 가중치 k0를 영상에 따라 적응적으로 검출하는 것이 매우 어렵고 순차적 검출과정에서 종료 조건에 따라 검출 결과가 달라지는 문제가 있다.

 

3. 제안한 히스토그램 분포 추정을 이용한 결함 검출 기법

일반적으로 TFT-LCD 영상에서 광원에 의한 불균일한 휘도 분포를 제거한 후에도 미세한 이물, 획득 장비의 하드웨어 잡음 그리고 공정상의 여러 요인에 의해 배경 영역 신호와 결함 이외에도 백색 잡음(white noise)이 혼재하여 나타난다. 결함이 존재하지 않는 양품 영상의 히스토그램은 Fig. 2에서와 같이 정규분포에 근사한 형태를 나타내게 된다.

Fig. 2.Example of fair quality TFT-LCD image histogram and estimated normal distribution. (a) fair quality TFT-LCD image and (b) histogram of fair quality TFT-LCD image.

이와 같이 영상의 히스토그램에서 정규분포에 가장 근사한 분포를 결함이 없는 배경 정보로 추정하여 제거하면 결함 후보 화소의 검출이 가능하다. 히스토그램과 같이 임의의 분포함수를 분석하는 기법의 대표적인 방법으로 적률(moment)를 이용한 기법이 사용되어 왔다. 적률은 분포함수의 위치(position), 모양(shape)등의 여러 특성을 분석하는 방법으로 사용된다. 본 논문에서는 양품 영상의 히스토그램이 정규 분포 형태와 유사한 특성을 기반으로 3차 적률 비대칭도(S: Skewness)를 이용한 결함 후보 화소 검출기법을 제안한다. 3차 적률은 분포함수의 비대칭 정도를 나타내는 척도로 도수의 집중점 및 최빈값을 중심으로 형태를 분석한다. 비대칭도가 0이면 대칭인 정규 분포를 나타내며, 음수이면 왼쪽으로 기울어진 분포, 그리고 양수이면 오른쪽으로 기울어진 분포를 나타낸다. 구체적으로 영상의 S가 0이면 양품의 히스토그램과 유사한 정규분포임을 나타내어 영상내에 결함이 포함되어 있지 않음을 나타낸다. 비대칭도 S가 양수이면 결함이 포함된 영상을 나타내고, 그 결함이 배경보다 높은 화소값을 가지는 휘 결함일 가능성이 높음을 나타낸다. 비대칭도 S가 음수이면 영상 내에 포함된 결함이 암 결함일 가능성이 높음을 나타낸다. 따라서 Fig. 3에서 보듯이 결함이 존재하는 영상의 히스토그램을 양품 영상의 히스토그램과 같이 정규분포의 형태와 가장 근사한 형태가 되도록 하는 화소값 범위 R1을 추정하고, 범위 R1의 최대값을 임계값으로 결정하여 결함 후보 화소의 검출이 가능하다. Fig. 3의 경우, 영상의 평균값보다 큰 휘도값을 가지는 결함만 검출 가능하므로 영상의 평균값 m부터 최대값 max까지 범위 R2내에서 임계값을 도출한다.

Fig. 3.Example of optimal threshold value determination using the skewness.

영상의 최소값 min부터 임계값 TH까지 범위 R1내 히스토그램 분포의 비대칭도가 0에 가까울수록 결함이 존재하지 않는 배경 영역의 휘도값 분포만을 추정한 결과이므로, 평균값보다 큰 R2범위에서 아래의 식 (2)와 같이 비대칭도가 최소가 되는 최적의 임계값 을 결정할 수 있다.

S(TH)는 영상의 최소값 min에서 임계값 TH까지 배경 영역의 화소값으로 추정된 범위 R1의 정보만을 이용한 히스토그램의 비대칭도 값으로 식 (3)과 같이 나타낸다.

여기서 n, μ와 σ는 각각 임계값 TH에 의해 배경영역으로 추정된 영상의 화소의 수, 평균값 그리고 표준편차를 나타낸다.

Fig. 4 (a)는 배경과 유사한 휘도값을 가지는 한도성 결함을 포함하는 TFT-LCD 영상이다. Fig. 4(c)에서 확인 가능하듯이 Fig. 4(b)의 순차적 STD 기법의 검출 결과에 비해 제안한 비대칭도를 이용한 결함 후보 화소 검출 기법이 잡음의 과검출을 줄인 결함 검출 결과를 보임을 확인할 수 있다.

Fig. 4.Comparison of defect candidates detection result. (a) original image, (b) sequential STD method, and (c) proposed method.

하지만 전역적 임계화 기법의 경우 배경과 유사한 휘도값을 가지는 한도성 결함 영역에 포함된 화소의 경우 배경으로 추정되어 정확한 결함 형태를 검출하지 못한다. 따라서 이러한 문제점을 해결하기 위해 본 논문에서는 비대칭도를 기반으로 검출된 1차 결함 후보 화소를 기준으로 국부적 결함 후보 화소를 추가 검출한다. 1차 검출된 후보 화소를 중심으로 국부 영역의 히스토그램 분포 특성을 판단하여 동질적(homogeneous)영역인지 이질적(heterogeneous)영역인지 판단하여 잡음과 결함 후보 화소를 구분한다. 그림 Fig. 5는 1차 검출된 결함 후보 화소를 기준으로 국부영역의 분포를 분석한 결과이다. Fig. 5(a)에서 점선으로 나타낸 이질적 국부 영역 A의 경우 히스토그램 분포가 Fig. 5(b)와 같이 두 개의 정규 분포로 추정 가능하고, 실선으로 나타낸 동질적 국부 영역 B의 경우 Fig. 5(c)와 같이 하나의 정규 분포로 추정이 가능하다.

Fig. 5.Distribution estimation results of the local region. (a) original image, (b) heterogeneous region, and (c) homogeneous region.

국부 영역의 분포 특성을 분석하기 위해 영상의 화소 p에 대해 이웃 화소들의 집합 N(p)를 고려할 때, N(p)의 분산이 클수록 두 개의 분포가 혼합된 이질적 영역으로 결정된다. 국부 영역의 분산이 클수록 배경영역과 결함영역이 동시에 존재하는 이질적 영역이며, 분산이 작을수록 하나의 분포를 가지는 동질적 영역이다. 이질적 영역인 N(p)는 확률 P1, P2를 가지는 두 개의 가우시안 분포가 혼합되어 있다고 가정한다. 두 가우시안 분포의 평균을 각각 μ1, μ2라 하고 분산을 σ1, σ2라 하면, 혼합된 분포의 확률 밀도 함수는 다음 식 (4)과 같이 정의 된다.

이렇게 정의된 확률 밀도 함수를 이용해서 두 개의 가우시안 분포의 사전확률 P1, P2와 평균 μ1, μ2를 모멘트를 이용해 추정하고 N(p)가 이질적 영역이면 중심화소 p가 속하는 분포를 결정하기 위해 임계값을 결정한다. 추정된 두 가우시안 확률 밀도 함수의 변수를 이용해 임계값을 식 (5)와 같이 결정한다.

식 (5)를 통해 결정된 임계값을 이용하여 국부영역의 결함 후보 화소를 검출한다.

Fig. 6은 본 논문에서 제안하는 결함 검출 기법의 전체적인 흐름도이다. 첫 번째 단계에서 입력 영상의 히스토그램을 구하고 히스토그램의 분포가 정규분포와 가장 유사해지는 화소값 범위를 배경 영역의 범위로 추정한다. 첫 번째 단계에서 추정된 범위 이외의 휘도 값을 가지는 화소를 1차 결함 후보 화소로 결정하고 후보 화소중 실제 결함과 잡음을 구별하기 위해 후보 화소를 기준으로 국부 영역의 분포 특성을 분석한다. 국부영역의 분포 특성이 이질직 영역인 경우 국부 영역내 결함이 포함된 것으로 판단하고 결함을 검출한다. 국부 영역의 분포 특성이 동질적 영역인 경우 잡음으로 판단하고 후보 화소를 제거한다.

Fig. 6.Flow chart of proposed defect detection method.

 

4. 실험 결과 및 고찰

본 논문에서 제안한 방법을 사용하여 TFT-LCD 영상 내 결함 화소를 검출한 결과를 나타내었다. 알고리즘의 정량적 평가를 위해 임의로 제작된 모의영상과 필드상의 성능을 고찰하기 위한 실제 TFT-LCD 표면 영상이 모두 사용되었다. 실험에 사용된 실제 TFT-LCD 영상은 256×256 크기의 영상으로 다양한 얼룩성 결함이 포함되어 있으며 실험용 PC는 3.40GHz Core i7 CPU와 4GB 메모리의 사양이며, Visual C++ 2008 컴파일러를 사용하였다.

Fig. 7(a)는 제안 기법의 타당성을 증명하기 위해 실영상의 특성을 반영한 모의영상으로 20개의 결함이 존재한다. 결함의 대비는 10에서 20까지 단조 선형 증가하며, 가장 위쪽 행에 위치한 결함이 가장 낮은 대비를 가진다. 마찬가지로 결함의 신호 크기도 5에서 30까지 각 열에 따라 5단계로 증가한다. 대비가 높고 신호의 크기가 큰 결함일수록 검출 가능성이 높으므로 결함 영역에 포함되는 대부분의 화소가 검출되는 것을 확인할 수 있다. Fig. 7(b)와 (c)는 각각 Otsu 방법과 순차적 STD 기법의 적용 결과로 배경영역에 잡음까지 과검출된 결과를 나타낸다. Fig. 7(d)의 제안 기법의 결과는 잡음의 검출을 최소화하면서 결함영역에 포함되는 후보 화소만을 검출한 결과를 나타낸다.

Fig. 7.Defect detection result of the artificial LCD image. (a) original image, (b) Otsu method (c) sequential STD, and (d) proposed method.

사실적 적용 가능성을 판단하기 위해 얼룩, 파인결함(dimple), 백점 등 다양한 결함을 포함하는 실제 TFT-LCD 영상에 대해 제안 방법의 실험을 수행하였다. Fig. 8(a)는 얼룩형 결함과 함께 백점을 포함하는 영상, (b)는 원형 점 얼룩 결함, 그리고 (c)는 파인결함(dimple)을 포함하는 TFT-LCD 영상을 나타낸다. 이와 같이 다양한 결함을 포함하는 TFT-LCD영상에 대해 두 번째 행부터 각 행마다 Otsu 방법, 순차적 STD 기법, 제안한 방법을 적용한 결과를 비교하였다. Fig. 8에서 Otsu 방법은 결함의 크기가 작아 영상의 히스토그램에 결함의 영향이 매우 적으므로 적절한 임계값을 결정하지 못해 배경과 잡음까지 검출되는 결과를 나타내고 있다. 순차적 STD 기법을 적용한 결과 또한 전역적 히스토그램 분포를 이용하므로 결함과 유사한 휘도값을 가지는 잡음까지 검출되는 결과를 나타낸다. 하지만 제안한 방법은 1차 결함 후보를 기준으로 다시 한 번 국부영역의 분포추정을 통하여 잡음과 결함 후보 화소를 판단하게 되므로 잡음을 제외한 과검출을 최소화한 결과를 나타낸다.

Fig. 8.Defect detection result of the original LCD image. (a) Mura and white spot defect image, (b) circle shaped Mura image, and (c) dimple defect image.

블랍 해석의 부담을 줄이기 위한 결함 후보 화소의 과검출 최소화를 정량적으로 평가하기 위해, 양성예측도(positive predictive value)를 이용하여 비교한다. 모의 영상의 경우 결함의 크기와 위치를 미리 알고 있으므로 각 알고리즘을 적용한 결과를 이용하여 실제 결함 화소를 검출하는 타당성을 측정한다. Table 1은 Fig. 7(a)를 포함한 7개의 모의 영상에 대한 평균 양성예측도를 나타낸다. 검출된 화소가 실제 결함에 포함되지 않은 잡음이나 배경 화소가 많을수록 그 값은 0에 가깝게 상대적으로 작아지는데 Table 1에서 보듯이 제안 알고리즘이 가장 과검출을 최소화하는 결과를 보인다.

Table 1.Comparison of the positive predictive value of the algorithms

 

5. 결 론

본 논문에서는 저해상도 TFT-LCD 영상의 얼룩성 결함을 검출함에 있어 블랍 분석의 부담을 줄이기 위해 과검출을 최소화하고자 히스토그램의 분포 추정기법을 기반으로 결함 후보 화소를 검출하였다. 결함을 제외한 배경영역의 분포는 정규분포에 근사한 특징을 가지므로 비대칭도를 이용하여 배경 분포를 추정하여 결함 후보 화소를 검출 하고 잡음을 구별하기 위해 국부 영역의 특성 분석을 통하여 실제 결함 화소만을 검출할 수 있었다. 실제 결함이 존재하는 다양한 실영상의 적용을 통해 제안한 방법의 타당성을 확인하였다. 향후 연구과제로 제안방법의 국부 영역 크기를 영상에 따라 적응적으로 설정하는 방법 및 결함 영역 군집화에 관하여 연구를 진행할 것이다.