Automatic Detection of Foreign Body through Template Matching in Industrial CT Volume Data

산업용 CT 볼륨데이터에서 템플릿 매칭을 통한 이물질 자동 검출

Abstract

In this paper, we propose an automaticdetection method of foreign bodies through template matching in industrial CT volume data. Our method is composed of three main steps. First,Indown-sampling data, the product region is separated from background after noise reduction and initial foreign-body candidates are extracted using mean and standard deviation of the product region. Then foreign-body candidates are extracted using K-means clustering. Second, the foreign body with different intensity of product region is detected using template matching. At this time, the template matching is performed by evaluating SSD orjoint entropy according to the size of detected foreign-body candidates. Third, to improve thedetection rate of foreign body in original volume data, final foreign bodiesare detected using percolation method. For the performance evaluation of our method, industrial CT volume data and simulation data are used. Then visual inspection and accuracy assessment are performed and processing time is measured. For accuracy assessment, density-based detection method is used as comparative method and Dice's coefficient is measured.

본 논문에서는 산업용 CT 볼륨데이터에서 템플릿 매칭을 통하여 제품의 이물질을 자동 검출하는 기법을 제안한다. 제안방법은 다음과 같은 세 단계로 이루어진다. 첫째, 다운 샘플링 데이터에서 잡음제거 후 제품을 배경과 분리하고, 영상의 평균값 및 표준편차를 이용하여 초기 이물질 후보를 추출한 후, K-평균 클러스터링을 이용하여 이물질 후보를 추출한다. 둘째, 템플릿 매칭을 이용하여 제품과 유사도가 다른 이물질을 검출한다. 이 때, 검출하고자 하는 이물질의 크기에 따라 밝기값평균차이(SSD)와 조인트 엔트로피를 이용한 유사도 평가를 통하여 이물질을 검출한다. 셋째, 원 볼륨데이터에서 이물질 검출률을 개선하기 위하여 여과기법으로 제품의 이물질을 최종 검출한다. 본 제안 방법의 결과를 평가하기 위해 산업용 CT 볼륨데이터와 시뮬레이션 데이터를 사용하여 육안평가, 정확성 평가와 수행시간 측정을 수행하였다. 정확성 평가를 위하여 기존 밝기값 기반 검출 기법을 비교방법으로 사용하고, 다이스 계수 유사도를 측정하였다.

1. 서 론

이물질(foreign body)은 본래의 재료 속에 다른 물질이 혼입되거나 금속을 만드는 중에 부주의로 인하여 다른 물질이 들어가 매몰된 것으로 금속의 제조공정 과정 중에 발생한다[1]. 이와 같이 제품 외 다른 물질의 혼입으로 인해 발생한 이물질은 제품의 불량률을 높일 수 있으므로 정확하게 검출하는 것이 필요하다.

기존 이물질 검출 방법은 표면 육안 검사와 비디오, 카메라, 서모그라피(Thermography)와 같은 영상을 이용하여 검출하는 방법과 X-선 영상 또는 초음파 영상을 이용하여 제품표면과 내부의 이물질을 검출하는 방법이 있다. 표면 육안 검사의 경우 내부 불량을 검출하기 어려울 뿐 아니라, 검출하는 전문가의 경험, 기술 정도, 영상의 질에 많은 영향을 받는 한계점이 있다[2,3].

Ishii[4] 등은 병 안에 들어있는 이물질을 검출하기 위해 병의 내부를 촬영한 비디오 영상에서 전후 프레임간의 차영상을 이용하여 사용자가 수동으로 설정한 임계값으로 이물질을 검출하였다. 카메라 영상을 이용하여 이물질을 검출하는 방법으로 Yang[5]등은 섬유를 촬영한 영상에서 비선형 구분 변환 모델(piecewise nonlinear transform model)을 이용하여 영상을 강화한 후 otsu’s 임계값 방법과 형태학적 닫힘 연산자를 이용하여 이물질을 검출하였다. Ginesu[6] 등은 곡물이 포장되기 전에 곡물과 함께 섞여 있는 이물질을 검출하기 위해 온도패턴을 영상화하는 서모그라피를 이용하여 곡물을 촬영하고, 이물질을 검출하였다. 촬영된 영상의 밝기값히스토그램을 분석하여 밝은 밝기값을 갖는 이물질 후보군을 검출한 후 이물질 밝기값을 이용한 평균표준편차 거리(mean and standard deviation distance)와 절대오류거리(integral absolute error distance)를 통하여 이물질 거리(foreign body distance)를 계산하고최종 이물질을 검출하였다. 이와 같이 표면 촬영이 가능한 2차원 영상을 이용하여 이물질을 검출할 경우 제품 내부에 혼입되어 발생하는 이물질을 검출하지 못하는 한계점이 있다.

제품 내, 외부의 이물질을 검출할 수 있는 영상장비를 이용한 검사 방법은 수동 검출 방법과 자동검출 방법으로 나눌 수 있다. 수동으로 이물질을 검출하는 기법으로 Haff[7] 등은 농산품을 촬영한 X-선 영상을 이용하여 수동으로 이물질을 검출하였고,Schlager[8] 등은 이물질을 종류별로 혼입하여 제작한 실험데이터에 초음파를 보낸 다음, 되돌아오는 초음파를 실시간으로 영상화하여 이물질을 수동으로 검출하였다. 수동으로 이물질을 검출할 경우 영상분석 전문가가 요구되고 전문가에 따라 결과 해석의 차이가 발생할 가능성이 있다. 자동으로 이물질을 검출하는 기법으로 Kwon[9] 등은 포장된 식품의 X-선 영상을 서브-블록으로 나누고 각 블록의 평균값으로 다운샘플링을 수행한 후 선형보간법으로업샘플링(up-sampling)을 수행하여 평균값 영상을 생성한다. 생성된 평균값 영상과 원 영상의 차영상에서 임의의 임계값보다 작으면 0을 산출함으로써 제로 평균 영상(zero mean image)을 생성한다. 생성된 제로 평균 영상의 가우시안 모델을 생성하고 사용자가 정한 임의의 임계값을 이용한 임계값 기법으로 포장된 식품의 이물질을 검출 하였다. Kim[10] 등은 재활용 병의 X-선 영상에서 오츠임계값기법(Otsu thresholding)과 평균값 필터를 이용하여 전처리 과정을 수행하고, 인접 픽셀과의 밝기값 비교를 이용하여 이물질을 검출하였다. X-선을 이용하여 자동으로 이물질을 검출할 경우 한 장의 투영평면영상을 이용하기 때문에 이물질의 공간적인 위치를 알기 어렵고, 자동으로 검출할 경우 데이터에 따라 밝기값 범위가 다양하여 이물질 검출이 어려운 한계점이 있다.

본 논문에서는 산업용 CT를 이용하여 획득한 볼륨데이터에서 템플릿 매칭을 통해 제품의 이물질을 자동으로 검출하는 기법을 제안한다. 본 제안 방법은 다운 샘플링 볼륨데이터와 원 볼륨데이터를 기반으로 제품을 배경으로부터 분리하여 제품부위를 한정시키고, K-평균 클러스터링기법으로 이물질 후보를 추출한 후, 템플릿 매칭 기법(template matching)을 이용하여 이물질 검출 결과의 민감도(specificity)를 개선시켰다. 또한 원 볼륨데이터에서 여과기법을 수행하여 최종 이물질을 검출한다.

본 논문의 구성은 다음과 같다. 2장에서는 밝기값 기반 검출 방법 및 템플릿 매칭기법을 이용한 이물질 검출 기법을 설명하고 3장에서는 본 제안방법을 적용한 결과의 육안평가와 정확성 평가 그리고 수행시간을 분석하며 마지막으로 4장에서는 본 논문에서 제안한 이물질 검출에 대한 결론으로 맺는다.

 

2. 템플릿 매칭을통한 자동 이물질 검출

본 논문에서는 그림 1과 같이 산업용 CT 볼륨데이터에서 밝기값 및 재질정보를 이용한 이물질 검출기법을 제안한다. 첫째, 제품을 배경으로부터 분리하여 관심부위를 제품으로 한정시키고, K-평균 클러스터링 기법을 이용하여 이물질 후보를 추출한다. 둘째 SSD(Sum of Squared-Difference)와 조인트 엔트로피(joint entropy)를 유사도 평가로 한 템플릿 매칭기법으로 이물질을 검출한다. 셋째, 원 볼륨데이터에서 여과 기법을 이용하여 최종 이물질을 검출한다.

그림 1.산업용 CT 볼륨데이터에서 이물질 검출을 위한 제안방법의 순서도

2.1 밝기값 정보를 이용한 이물질 후보 추출

본 논문에서 이물질은 제품과 다른 물질이 혼입된 것으로 산업용 CT 볼륨데이터에서 높은 밝기값 특성을 갖는 물질이며 이물질 대부분의 영역이 제품보다 밝은 밝기값을 가지므로밝기값 정보를 이용하여 이물질 후보를 검출한다.이 때, 데이터의 밝기값 분포에 c따라 제품의 이물질 후보 검출에 영향을 받으므로 이물질 후보를 견고하게 검출하기 위한 방법이 필요하다.

산업용 CT 볼륨데이터는 원형 모양의 링 또는 금속 인공물과 같은 잡음이 있어 이물질 검출에 영향을 줄 수 있으므로 식(1)과 같은 비등방성 확산 필터링(anisotropic diffusion filtering)을 적용하여 제품 내부에 존재하는 링 및 금속 인공물은 제거하고 제품의 경계선 정보를 유지한다[11].

이 때, div(·)는 발산(divergence)연산자, △와 ▽는 각각 라플라시안(laplacian)과 기울기(gradient) 연산자를 의미한다. c(x, y, t)는 시간 t에서 (x, y)좌표의 확산계수로 데이터의 기울기 함수가 사용되고, 해당 계수 값 이상의 기울기 정보는 유지하는 역할을 한다. k는 에지의 민감도를 조절하는 상수로 k값이 커질수록 k값이 작을 때 보다 상대적으로 많은 잡음이 제거되지만 영상이 많이 다듬어져 크기가 작거나 두께가 얇은 이물질의 경우 제거 될 수 있다. 따라서 k 값은 실험을 통하여 잡음이 제거되면서 작은 이물질은 유지가 될 수 있는 상수인 5000으로 설정한다.

일반적으로 산업용 CT 볼륨데이터는 1GB이상의 데이터 크기를 가지므로 볼륨데이터를 처리하는 시간이 오래 걸리므로 제품볼륨을 배경으로부터 분리하여 검출 적용 범위를 좁히는 것이 필요하다. 이를 위하여 전역 임계값 기법으로 제품볼륨을 배경으로 부터 분리한 후, 제품볼륨의 밝기값 평균과 표준편차의 합으로 초기 이물질 후보를 추출한다. 이 때, 추출된 이물질 후보에 제품영역이 일부 포함될 수 있으므로 K-평균 클러스터링 기법을 적용한 영상분할을 이용하여 이물질 후보를 추출한다[12]. K-평균 클러스터링 기법에서 K는 3으로 설정하여 완전제품영역, 제품영역, 이물질후보영역으로 분할한다. 이 때, K-평균의 초기 임계값은 초기 이물질 후보의 최소값, 평균값 그리고 최대값으로 설정하여 분할함으로서 견고하게 이물질 후보를 추출한다.

그림 2는 이물질 후보를 검출한 결과 영상이다. 그림 2(b)는 제품영역의 평균과 표준편차를 이용하여 초기 이물질후보군을 검출한 결과로 이물질 이외에 제품영역이 많이 포함된 결과를 볼 수 있다. 그림 2(c)는 K-평균 클러스터링기법을 초기 이물질 후보군에 적용한결과로 밝기값에따라 완전제품영역(빨간색), 제품영역(파란색), 이물질후보영역(녹색)으로 분할된 결과를 볼 수 있다. 녹색으로 검출된 영역은초기 이물질 후보 영역에서 밝기값이가장 높은 영역으로 제품영역을 제외한 이물질 후보 영역이 추출된 결과를 볼 수 있다.

그림 2.밝기값 정보를 이용한 이물질 후보 추출 결과: (a) 원 영상, (b) 평균과 표준편차를 이용한 이물질 후보 추출, (c) K-평균 클러스터링 기법을 이용한 이물질 후보 추출

2.2 템플릿매칭을 통한 이물질 검출

이물질 후보군 밝기값의평균과 분산을 이용한 임계치 기법과 밝기값에 의한 영역분리 방법인 K-평균 클러스터링을 적용하여 이물질을 검출할 경우,밝기값은이물질과 유사하지만 영역의 재질 유사도는이물질과다른 제품영역이 이물질로 잘못 검출될 수 있다. 따라서 제품영역을 템플릿으로 이용한 템플릿 매칭을 통하여 밝기값 뿐 아니라 영역의 재질유사도를 고려하여 이물질을 검출하는 기법이 필요하다[13].

먼저, 제품영역에서 제품템플릿을 정의하고,이물질 후보군과제품템플릿을 매칭시킴으로써 제품과 재질유사도가 다른 이물질을 검출한다. 이 때, 제품 템플릿 크기는 검출된 이물질 후보군 크기 중 가장 작은 크기로 결정한다.제품템플릿과 이물질 후보군 영역의 재질유사도는 식 (2)와 같이 측정한다. 이물질 후보군의 크기가 제품템플릿과 유사하거나 작은 경우, 밝기값평균차이누적(SSD: Sum of Squared intensity Difference)을 사용하고, 이물질 후보군의 크기가 제품템플릿보다 큰 경우, 밝기값 분포 유사도를 측정하는 조인트 엔트로피를 사용한다. 왜냐하면 SSD를 이용한 영역 유사도 평가는 측정하고자 하는 이물질 후보군의아웃라이어(outlier)에 영향을 많이 받아 이물질 후보군이 제품 템플릿 보다 큰 경우 정확성이 떨어질 수 있기 때문이다.

이 때, FBCsize는 이물질 후보의 크기, Tsize는 제품 템플릿의 크기이다. 이물질은 크기가 작기 때문에 이물질 후보군의 크기가 밝기값 분포를 충분히 파악할 수 있는 크기인제품템플릿 크기의 3배 이상일 때, 조인트 엔트로피를 사용하여 영역 유사도를 측정한다. 이물질 후보의 크기가제품템플릿 크기의 3배 미만인 경우, SSD를 이용하여 영역 유사도를 측정한다.

SSD는 식(3)과 같이 제품템플릿과 이물질 후보간 화소의밝기값 차이 제곱의 합을 이용하는 유사성 측정 방식으로 이물질을 검출하기 위해 식(4)와 같이 SSD의 평균을 이용한다[14].

이 때, I1과 I2는 제품템플릿의 화소값과 이물질 후보의 화소값, p는 매칭위치, μ는 기준 윈도우 위치, d는 제품템플릿과 이물질 후보의 매칭점에 대한 영상 좌표 차이, W는 기준 윈도우 크기를 나타내고 m은 제품템플릿의 크기이다.

조인트 엔트로피는 서로 다른 영상의 관계를 나타내는 방법으로 샤논(shannon)이 정의한 확률정보를 불확실성정보로 변환해주는 함수인 엔트로피를 기반으로 한다. 두 영상 I1과 I2의 조인트 엔트로피의 측정은 식(5)와 같이 이변량 히스토그램과 확률밀도 계산으로 이루어진다[15].

이 때, H(I1, I2)는 I1과 I2의조인트 엔트로피이고 I1과 I2는 제품템플릿과 이물질 후보, p(I1, I2)는제품 템플릿과 이물질 후보의 결합 확률 분포이다.

제품템플릿과 이물질 후보군이정렬되었을 때, 이변량 히스토그램은 어느 한쪽으로 조밀하게 모이는 형태가 나타나 작은 값이 나타나고, 반대의 경우 전체적으로 퍼지는 형태가 나타나 큰 값이 나타난다. 이물질을 검출하기 위하여 이물질 후보마다 계산된 조인트 엔트로피 값을 이용하여전역임계값 기법으로 산정된 임계값으로조인트 엔트로피 값이 큰 영역을 이물질로 검출한다.

그림 3은 이물질 검출 결과 영상이다. 그림 3(a)는 SSD를 이용한 검출 결과를 나타내며 작은 크기의 이물질이 검출되는 결과를 볼 수 있고, 그림 3(b)는 조인트 엔트로피를 이용한 결과로 크기가 큰 이물질이 검출 된 결과를 볼 수 있다.

그림 3.템플릿 매칭을 이용한 이물질 후보 검출 결과: (a) SSD를 이용한 이물질 후보 검출, (b) 조인트 엔트로피를 이용한 이물질 후보 검출

2.3 원 볼륨데이터에서 여과기법을 이용한 이물질 검출

산업용 CT 볼륨데이터에서 이물질 검출은 데이터 크기로 인한 수행시간을 줄이기 위하여 다운 샘플링 데이터에서 수행하였으므로 원 볼륨데이터에서 이물질을 최종적으로 검출하기 위한 기법이 필요하다.

다운 샘플링 데이터에서 검출한 이물질을 원 볼륨데이터로 업 샘플링하고 여과 기법을 이용하여 원볼륨데이터의 이물질을 검출한다. 먼저 확장이 가능한 확장 윈도우(scalable window)를 설정하기 위해 3×3 크기의 형태학적 팽창 연산자를 이용하여 확장 윈도우를 그림 4와 같이 반복적으로 확장시킨다[16].

그림 4.확장 윈도우

이 때, 확장 윈도우 내의 밝기값을 검사하여 이물질의 평균 밝기값보다 크거나 같으면 이물질 화소로 포함시키는 과정을 반복적으로 수행한다. 검출된 영역이 확장 윈도우 영역의 30%이하일 경우 종료함으로써 원 볼륨데이터의 이물질을 검출한다.

 

3. 실험 및 결과

본 실험에서 사용한 데이터는 표 1과 같이 산업용 CT 볼륨데이터 2개와 정확성 평가를 위한 시뮬레이션 데이터 3개를 사용하였으며 시뮬레이션 데이터는 포토샵을 이용하여 제품과 배경을 생성하고 마이크로소프트비주얼 스튜디오를 이용하여 제품 내에 이물질을 삽입함으로써 그림 5와 같이 생성하였다. 제품영역의 밝기값인 130보다 낮은 125를 이물질의 최소 밝기값으로 정하고,최대 밝기값을 150, 200, 250으로 각각 정하여 해당 범위 내에서 난수를 발생시켜 랜덤 분포를 갖는이물질을 크기에 따라 다르게생성하였다.

표 1.실험 데이터

그림 5.이물질의 밝기값과 크기가 다른 시뮬레이션 데이터: (a) 시뮬레이션 데이터1, (b) 시뮬레이션 데이터2, (c) 시뮬레이션 데이터3

본 논문에서 제안한 방법의 성능 평가를 위하여 기존 방법으로 밝기값 기반의 오츠임계값기법을 이용한 이물질 검출 결과와 제안방법을 이용한 이물질 검출 결과 간의 육안 평가를 수행하였다. 이 때, 오츠임계값 기법 적용 전, 제품볼륨의 밝기값 평균과 표준편차의 합으로 초기이물질 후보를 추출하는 부분까지는 제안 알고리즘과 동일하게 수행하였다. 또한 성능 평가를 위해 시뮬레이션 데이터에서 이물질 검출의 정확성을 비교평가한 후, 제안방법의 이물질 검출 수행시간을 측정하였다.

그림 6은 산업용 CT 볼륨데이터에서 밝기값 기반 이물질 검출 방법과 제안방법을 이용하여 이물질을 검출한 결과를 비교한 영상이다. 그림 6(a)는 밝기값 정보로 평균과 표준편차를 사용하여 검출한 결과로 높은 밝기값을 갖는 영역을 모두 이물질로 검출하여 제품영역이나 링 잡음을 이물질로 잘못 검출되는 문제점이 있다. 그림 6(b)의 제안방법 적용 결과는 제품영역과 밝기값이 상이함을 검사할 뿐 아니라 제품영역과 밝기값 분포가 다른 이물질을 정확하게 검출할 수 있다.

그림 6.산업용 CT 볼륨데이터에서 자동 이물질 검출 방법 비교결과: (a)밝기값 정보를 이용한 이물질 검출 결과, (b) 제안 방법을 이용한 이물질 검출 결과

이물질 검출의 정확성 평가를 위하여 식 (4)와 같이 시뮬레이션 데이터의 이물질 영역과 자동으로 검출된 이물질 영역 간 다이스계수 유사도(dice similarity coefficient)를 측정한다.

이 때, A는 최상의 표준(gold standard)이고, B는 자동으로 검출된 이물질의 영역이다. 의 수치는 0부터 100 사이의 값을 갖고 100에 가까울수록 정확하게 검출되었음을 의미한다. 자동 검출방법으로는 비교방법인 밝기값 기반의 이물질 검출 방법과 제안방법을 이용한다.

그림 7은 시뮬레이션 데이터의 다이스계수 유사도 결과를 박스플롯으로 나타낸 결과이다. 밝기값 기반의 이물질 검출 방법과 제안방법을 이용한 방법 결과 다이스계수 유사도의 평균과 표준편차는 각각 76.39.3%, 95.62.6%로 측정되었다. 밝기값 기반의 검출 방법에서 이물질의 밝기값이 제품영역의 밝기값과 유사하거나 낮을 경우, 이물질로 검출되지 않아 정확성이 떨어졌다. 반면, 제안방법은 밝기값 유사도 평가를 통한 템플릿 매칭으로밝기값 정보를 이용한 방법에 비해 25.3% 높게 측정되어 제안방법이 보다 정확하게 이물질을 검출함을 알 수 있다.

그림 7.시뮬레이션 데이터에서자동 이물질 검출 정확성 평가 결과

본 실험은 인텔코어 i7 3.40GHz CPU와 8.0GB 메모리를 장착한 컴퓨터에서 수행하였으며 이중 해상도 기법과 Open MP를 사용함으로 가속화를 수행하였다. 그림 8은 시뮬레이션 데이터를 이용하여 이물질 후보검출, 템플릿 매칭을 이용한 이물질 검출, 원볼륨데이터의 이물질 검출로 구분하여 수행시간을 측정한 결과이다. 제안방법의 평균 수행시간은 1.2초 이고, 이물질 후보 검출에서 평균 0.2초, 템플릿 매칭기법에서 평균 0.8초, 원 볼륨데이터의 이물질 검출에서 평균 0.1초가 소요되었다. 이 때, 템플릿 매칭기법에서 템플릿을 이용하여 이물질 후보영역에 반복적으로 매칭하여 검출하기 때문에 상대적으로 많은 수행시간이 소요되었다.

그림 8.제안 방법의 수행시간 측정 결과

 

4. 결 론

본 논문에서는 산업용 CT 볼륨데이터에서 밝기값 정보와 템플릿 매칭기법을 이용하여 제품의 이물질 검출 방법을 제안하였다. 다운 샘플링된볼륨데이터에서 비등방성 확산 필터링을 수행하여 잡음을 제거하고, 전역 임계값 기법으로 제품영역을 배경과 자동으로 분리하였다. 또한, 제품영역의 평균과 표준편차를 이용하여 초기 이물질 후보를 추출하였고, K-평균 클러스터링을통하여 제품영역 보다 밝은 영역의 이물질 후보를 추출하였다. 이물질 검출의 민감도를 개선하기 위하여 SSD와 조인트 엔트로피를 유사도 평가 기준으로 하는 템플릿 매칭을 수행하였고, 이물질 검출의 정확도를 개선하기 위하여 원 볼륨데이터에서 여과기법을 통해 최종 이물질을 검출하였다. 시뮬레이션 데이터를 이용하여 제안 방법의 정확성 평가 결과 다이스계수 유사도가 95.62.6%로 측정되었고, 수행시간은 시뮬레이션 데이터에서 평균 1.2초가 소요되었다. 본 제안 방법을 통한 자동 이물질 검출 결과는 제품을 파괴하지 않으면서 제품의 이물질을 정확하게 검출함으로써 제품의 불량률을 낮추는데 활용될 수 있다.