Enhanced Deep Feature Reconstruction : Texture Defect Detection and Segmentation through Preservation of Multi-scale Features

개선된 Deep Feature Reconstruction : 다중 스케일 특징의 보존을 통한 텍스쳐 결함 감지 및 분할

Abstract

In the industrial manufacturing sector, quality control is pivotal for minimizing defect rates; inadequate management can result in additional costs and production delays. This study underscores the significance of detecting texture defects in manufactured goods and proposes a more precise defect detection technique. While the DFR(Deep Feature Reconstruction) model adopted an approach based on feature map amalgamation and reconstruction, it had inherent limitations. Consequently, we incorporated a new loss function using statistical methodologies, integrated a skip connection structure, and conducted parameter tuning to overcome constraints. When this enhanced model was applied to the texture category of the MVTec-AD dataset, it recorded a 2.3% higher Defect Segmentation AUC compared to previous methods, and the overall defect detection performance was improved. These findings attest to the significant contribution of the proposed method in defect detection through the reconstruction of feature map combinations.

산업 제조 분야에서 품질 관리는 불량률을 최소화하는 핵심 요소로, 미흡한 관리는 추가적인 비용 발생과 생산 지연을 야기할 수 있다. 본 연구는 제조품의 텍스쳐 결함 감지의 중요성을 중심으로, 보다 정밀한 결함 감지 방법을 제시한다. DFR(Deep Feature Reconstruction) 모델은 특징맵의 조합 및 재구성을 통한 접근법을 채택하였지만, 그 방식에는 한계가 있었다. 이에 따라, 우리는 제한점을 극복하기 위해 통계적 방법론을 활용한 새로운 손실 함수와 스킵 연결구조를 통합하고 파라미터 튜닝을 진행하였다. 이 개선된 모델을 MVTec-AD 데이터세트의 텍스쳐 카테고리에 적용한 결과, 기존 방식보다 2.3% 높은 결함 분할 AUC를 기록하였고, 전체적인 결함 감지 성능도 향상되었다. 이 결과는 제안하는 방법이 특징맵 조합의 재건축을 통한 결함 탐지에 있어서 중요한 기여함을 입증한다.

1. 서론

산업 환경에서의 품질 관리는 표면 질감 결함의 감지와 같은 여러 측면을 포함하며, 이는 특히 중요하다. 제품의 표면 질감은 시각적 관점에서 완성도와 미적가치를 결정하는 요소 중 하나이다. 따라서 표면 질감 결함은 제품의 품질에 큰 영향을 미칠 수 있다.

먼저, 결함 감지는 제품의 기능성과 안전성을 보장하는 데 중요한 역할을 한다. 결함은 제품의 기능성을 손상시키거나 작동을 방해할 수 있으며, 이는 사고나 고장을 초래할 수 있다. 결함을 탐지하면 제품의 안전성과 성능을 유지하고 향상시키기 위한 적절한 조치를 취할 수 있다. 둘째, 결함 감지는 비용 절감과 생산성 향상에 기여한다. 제품에 결함이 발생하면 그 제품은 불량품으로 분류되어 폐기되거나 재작업을 받게 된다. 이는 제품의 비용을 증가시키며 생산 일정에 지연을 초래할 수 있다. 정확하고 신속한 결함 감지는 불량품의 수를 최소화하고 생산성을 극대화한다. 또한, 결함의 조기 감지는 유지보수 및 수리 비용을 줄이며 회사의 경제 효율성을 향상시킨다. 마지막으로, 결함 감지는 제조업체의 신뢰성과 평판에 영향을 미친다. 고객들은 고품질의 제품을 요구하며, 결함의 발견은 신뢰성을 약화시킬 수 있다. 따라서 품질 관리와 결함 감지에 적극 투자하여 제품의 품질과 신뢰성을 보장하는 제조 회사는 시장에서 경쟁 우위를 차지할 수 있다.

텍스쳐는 제품 표면의 패턴, 구조 및 질감과 같은 시각적 특성을 나타내며, 이러한 특성이 결함으로 인해 왜곡되거나 손상될 경우 제품의 외관 및 기능에 부정적인 영향을 미칠 수 있다. 예를 들어, 제조제품에서 텍스쳐 결함이 발견되면 고객들은 제품의 품질을 의심할 수 있으며, 이는 회사의 신뢰성과 평판에 큰 영향을 미칠 수 있다. 따라서 텍스쳐 결함 감지는 산업 제품의 품질 관리에서 중요한 도전 과제이다.

본 논문은 텍스쳐에 대한 결함 감지와 분할에 초점을 맞추고 있다. 기존의 DFR (Deep Feature Reconstruction) [1] 연구의 한계점을 극복하기 위해 새로운 손실 함수와 스킵 연결 구조를 도입하고 파라미터 튜닝을 통해 텍스쳐의 결함 탐지 성능 향상을 다루고 있다. 이러한 성능 향상을 통해, 우리는 이전 연구보다 정확하고 신뢰할 수 있는 텍스쳐 결함감지 및 분할 기술을 제안한다. 이 기술은 산업 환경에서의 품질 관리를 개선하는 데 중요한 도구로 활용될 수 있으며, 제조업체가 텍스쳐 결함을 감지함으로써 제품 품질을 보장하는 데 도움이 될 수 있다.

2. 관련 연구

결함 감지 분야에서 재구성 기반 방법은 일반적으로 결함이 없는 이미지만을 사용하여 비지도 학습을 사용한다. 재구성 모델에서 학습 방법은 크게 벡터, 이미지, 특징 공간으로 나눌 수 있다. 벡터 공간의 재구성은 입력 벡터 값들을 딥러닝 모델을 통해 원본과 비슷해지도록 학습하는 방식으로 벡터값을 통해 이미지를 생성할 수 있다. 이미지 공간의 재구성은 실제 이미지를 기반으로 딥러닝 모델을 훈련시켜 입력과 유사한 이미지를 생성하는 것을 목표로 한다. 반면 특징 공간 재구성은 특징 추출이라는 핵심 단계가 필요하며 주로 사전 훈련된 모델을 사용하여 특징을 추출하고, 이러한 특징을 입력으로 사용할 수 있다.

특징 공간 재구성을 사용하는 대표적인 모델인 DFR은 사전 훈련된 VGG-19[2]을 사용하여 특징을 추출한다. 이 추출된 특징들은 다양한 계층에 대한 입력 특징 맵의 차원과 일치하도록 재구성되고, 채널의 깊이를 다양하게 하여 특징 맵이 구성된다. 이를 통해 Convolutional Autoencoder가 재구성 과정을 통해 입력 특징 맵과 유사한 결과를 생성하도록 훈련할 수 있다. 추론 결과로 이상치 맵이 생성되며, 결함이 있는 영역은 결함 점수를 계산함으로써 식별된다. 그러나 DFR은 결함 보존 능력은 아직 개선이 필요하기에 더 높은 성능을 달성하는 한계가 있다. 결함 영역의 분할은 정확한 재구성 결과를 필요로 하므로, 재구성된 특징의 오류는 정확도에 방해가 된다.

AnoGAN[3]은 기본적인 GAN의 학습 메커니즘을 활용하여 잠재 공간에서의 벡터 재구성을 진행한다. 이 방식은 입력 벡터의 정상 분포를 학습하여 정상 샘플을 생성하는데 초점을 맞춘다. 그러나 AnoGAN의 접근법은 결국 데이터의 실제 값에 중점을 둠으로써 특징을 포함하는 재구성에서 방면에서는 DFR에 비해 성능이 상대적으로 떨어진다.

시종욱 연구팀[4]은 태양열 열화상 영상에 대하여 이미지 공간 재구성하는 방식으로 결함을 검출하는 연구이다. 벡터와 같은 방식으로 이미지 또한 특징이 아닌 값 자체를 최소화하는 방식으로 동작한다. 따라서 결함 보존 성능이 전체적인 분포와는 다르지만, 정확히 복원된다고는 할 수는 없다.

NDP-Net (Normal Reference Attention and Defective Feature Perception Network) [5]로 소개된 이 연구는 표면 질감의 다중 스케일 특징을 추출하고, 정상적인 특징을 활용해 결함이 있는 데이터의 재구성을 억제하는 방법을 제안한다. 이 연구는 다양한 스케일에서의 특징을 보존함으로써 성능을 향상시키는 것을 주요 목표로 하고 있으며 본 논문에서 제안하는 방법과의 목적이 유사하다. 이러한 특징 보존 및 활용에 중점을 두어 높은 효율성과 성능을 입증하였다.

S. You [6]은 PCB의 결함 감지를 위해 초고해상도 방식을 적용하여 이미지의 화질을 향상하여 적용하는 방법에 대해 소개하였다. 이 연구는 성능 향상을 위해 슬라이딩 커팅이나 이미지 스케일링 등의 다양한 전처리 방식을 적용하고 초고해상도 영상 생성을 통해 고주파 정보를 줄여 결함을 감지하였다. 제안하는 방법과 비교하였을 때 결함 감지의 대상은 다르지만, 새롭게 만든 영상을 기반으로 판단한다는 공통점이 존재한다.

재구성 방식이 아닌 특징 추출 자체를 이용한 결함감지 연구도 활발히 진행되고 있다. N. Zeng 연구팀[7]에서는 DFR과 유사한 다중 스케일 특징 추출 방식을 활용하되, 주요 목적은 객체 탐지 기법을 활용하여 PCB의 결함을 탐지하는 것에 있다. 특히 PCB의 미세한 결함 탐지에 효과적이라는 점을 강조한다. DAT(Deep Autoencoder Thermography) [8]는 적외선 열화상에서 복합재료의 내부 결함 탐지의 어려움에 주목하였다. 비선형적인 특성과 균일하지 않은 배경 문제를 극복하기 위해 다층 네트워크 구조를 제안하여 비선형 온도 분포의 처리 가능성을 강조하였다.

이러한 다양한 결함 감지 연구들을 고려할 때, 결함감지 분야에서의 연구 필요성은 더욱 명확해진다. 현재 많이 사용되는 재구성 기반의 방법은 비지도 학습을 통해 결함이 없는 이미지만을 활용하는데, 이러한 방식은 결함 영역의 정확한 보존에 어려움을 겪고 있음을 알 수 있다. 이를 해결하기 위해 다양한 스케일에서의 특징을 추출하고, 정확한 재구성을 통해 결함 감지의 성능을 높이는 방식이 필요하다.

3. DFR의 성능 개선을 위한 제안 방법

본 연구는 DFR의 성능 개선에 초점을 맞춘다. 이를 위해, 복합적인 특징 맵들을 융합하여 입력에 가까운 맵을 생성하는 다중 스케일 표현과 깊은 특징을 포함한 재구성 구조를 적극 활용한다. 본 논문의 주요 도전은, 결함을 더 정밀하게 보존하여 재구성 과정에서의 결함 감지 및 분할을 위한 성능 향상이 다. 이를 위해 Multi-scale RegionalRepresentation 과정에서 두 가지 방법을 추가한다.

첫 번째는 통계적 기반의 손실 함수를 추가하는 것이다. 구체적으로, 입력과 출력 간의 MSE의 평균과 공분산을 최소화하는 방식을 채택한다. 이 방법은 Alignment Aggregation concatenation 과정에서 선택된 특징맵들의 전반적인 분포를 조절함으로써 재구성의 성능을 높이는 역할을 하도록 한다. 이를 수식적으로 표현하면 Eq.(1)와 같다. S는 선택한 레이어 집합, M은 선택된 특징맵의 값 개수를 의미하며 f, \(\begin{align}\hat {f}\end{align}\) 는 입력과 출력의 특징맵을 나타낸다.

\(\begin{align}L_{s t}=\frac{1}{S} \sum_{i=1}^{S} \sum_{j=1}^{M}\left(f_{i j}-\widehat{f_{i j}}\right)^{2}+\sum_{i=1}^{S} \sigma_{c o v}\left(f_{i}, \hat{f_{i}}\right)\end{align}\)       (1)

또한, 이미지 품질 평가에서 널리 사용되는 SSIM(Structural Similarity Index Measure)을 손실 함수로 적용하여 이미지의 인간의 시각 시스템에 따른 구조적 특징을 상세하게 고려하도록 한다.

그림 1. 개선된 DFR의 Multi-scale Regional Representation

Fig. 1. Multi-scale Regional Representation of Enhanced DFR

표 1. 제안하는 네트워크의 입출력 크기 및 학습 파라미터의 개수

Table 1. Input/output dimensions and number of training parameters of proposed network

SSIM은 이미지의 밝기, 색상 분포, 그리고 구조를 동시에 고려하여 이미지 간의 유사도를 평가할 수 있다. 이에 기반하여, SSIM을 활용한 새로운 손실 함수를 정의하며, 이 함수를 최적화함으로써 구조적 특징의 차이를 최소화하는 시도를 하는 것이다. 이를 수식으로 표현하면 Eq.(2)와 같다. 아래첨자에 위치한 f, \(\begin{align}\hat {f}\end{align}\)에 따라 μ는 평균, σ²은 분산을 나타낸다. \(\begin{align}\sigma_{f_{i} \hat{f_{i}}}\end{align}\)는 두 특징맵 사이의 공분산이며 C₁와 C₂는 각각 0.01, 0.03으로 분모가 0이되는 것을 방지하는 상수이다. 제안하는 두 가지 손실 함수와 DFR에서 사용한 L2 손실함수를 결합하여 Multi-scale Regional Representation을 위한 최종 손실 함수는 Eq.(3)과 같다.

\(\begin{align}L_{\text {ssim }}=1-\frac{1}{S} \sum_{i=1}^{S} \frac{\left(2 \mu_{f_{i}} \mu_{\hat{f}_{i}}+C_{1}\right)\left(2 \sigma_{f_{i} \hat{f}_{i}}+C_{2}\right)}{\left(\mu_{f}^{2}+\mu_{\hat{f}}^{2}+C_{1}\right)\left(\sigma_{f}^{2}+\sigma_{\hat{f}}^{2}+C_{2}\right)}\end{align}\)       (2)

L_total = L₂ + λ_stL_st + λ_ssimL_ssim       (3)

두 번째로, 결함 분할의 정확도를 극대화하기 위해 스킵 연결 구조(Skip-Connection)를 도입하여 이전 특징 맵의 정보를 보다 잘 보존할 수 있도록 한다. DFR은 3층의 CAE(Convolutional Autoencoder) 구조를 기반으로 하며, 본 논문에서는 Eq. (3)의 손실을 최소화하려는 목적으로 그림 1과 같이 컨볼루션 오토 인코더의 각 계층에 스킵 연결을 통합함으로써 결함영역의 보존력을 강화한다. 이를 통해 다차원의 특징 맵들을 보다 정밀하게 재구성할 수 있도록 할 수 있으며 특히 결함 영역을 보존하는 데 큰 도움을 주도록 한다.

변경된 모델의 레이어에 대한 입력, 출력 및 학습 파라미터 개수는 표 1과 같다. DFR에서는 PCA를 통해 특징을 추출하여 모델의 입력의 크기를 조절한다. 따라서, 데이터 종류에 따라 PCA를 통해 추출되는 컴포넌트(n_c)와 특징(n_d)의 개수가 다르기 때문에 이에 맞게 모델의 크기가 유동적이지만, 전반적인 프로세스는 같도록 구성한다. 스킵 연결 구조에서 같은 깊이에 있는 인코더 블록의 결과인 특징맵을 concatenation 방식으로 결합하여 진행한다. 모든 컨볼루션 레이어에서 커널 크기와 Stride를 1로 고정한다.

4. 실험 및 결과

4.1 실험 환경 및 학습

본 논문에서 진행한 모든 실험은 표 2와 같이 대부분 DFR에서 제시한 값들을 따르며 일부 항목을 변경하여 보다 최적화된 결과를 제시할 수 있도록 한다.

개선된 DFR은 Ubuntu 18.04 LTS 운영체제 환경에서 GeForce RTX 3090을 사용하여 수행된다. 실험은 입력 및 출력 이미지에 대해 (256, 256)의 고정이미지 크기를 사용하여 진행된다. 학습 간에 특징 추출을 위한 사전 훈련된 모델은 VGG-19을 사용하며, Bilinear upsampling이 적용한다. 또한, 분할 임계값으로 0.5를 사용한다. 학습 간에 Weight Decay를 사용하지 않고 모든 텍스쳐 카테고리에 대해 200 epoch의 고정 횟수로 실험이 진행되었으며, 가장 높은 성능을 기준으로 평가한다. Adam Optimizer를 사용하며 학습률은 1e-4, 배치 사이즈는 4로 설정한다. Multi-scale Regional Representation을 위한 CAE (Convolutional AutoEncoder)의 경우, PCA(Principal Component Analysis)를 각 카테고리에 대해 수행한 후 고유값의 누적 비율이 90%를 초과하도록 하여 차원을 줄이고 이를 기반으로 잠재 벡터의 수를 결정한다. Alignment Aggregation Concatenation 단계에서는 VGG-19의 Block1부터 Block4까지의 ReLU 활성화 계층으로 구성된 총 12개의 계층을 사용한다. λ_st와 λ_ssim은 각각 0.1, 0.2로 고정하여 실험한다.

학습 및 테스트에는 MVTec-AD[9] 데이터세트가 사용되었으며, 특히 카펫, 그리드, 가죽, 타일, 나무와 같은 5개의 텍스쳐 카테고리에 중점을 둔다. 표 3은 MVTec-AD에서 학습 및 실험에 사용한 데이터의 개수를 나타낸다.

표 2. DFR과의 학습 세부정보 비교

Table 2. Comparisons of training details with DFR

표 3. 세부적인 데이터 개수

Table 3. Detailed information on data counts

4.2 성능 평가 및 결과

성능 평가는 AUC (Area Under the ROC Curve)를 통해 수행되며, 결함 감지 정확도와 결함의 영역 분할 정확도를 기준으로 평가한다. 표 4에 따르면, DFR에서 Weight Decay 제거한 결과, 결함 감지 AUC는 96.7%로 나타난다. 제안된 통계 기반 손실 함수를 도입했을 때, 카페트와 나무 카테고리의 성능은 변동 없이 유지되었지만, 타일 카테고리는 0.2% 향상되었고, 나머지 카테고리에서는 성능이 소폭 감소하였다. 이는 통계적 평균과 분산이 결함 감지 성능에 큰 영향을 미치지 않는다는 것을 의미하며, 전체 AUC는 96.6%로 0.1% 감소하였다. 반면, 스킵 연결 구조만을 적용했을 때, 일부 카테고리에서는 성능 향상이 관찰되었고, 특히 나무 카테고리에서는 0.7%의 성능 감소가 나타났으나 전반적으로 0.9%의 성능 향상이 있었다. 스킵 연결 구조와 손실 함수를 동시에 적용했을 때, 일부 카테고리에서는 성능 향상이 있었으나, 대부분의 카테고리에서는 성능이 유지되거나 감소하였다. 전체 AUC 성능은 97.5%로 이전 실험과 동일하게 나타난다. 이러한 결과를 통해, 스킵 연결 구조는 결함 감지 AUC에서의 성능 개선에 결정적인 역할을 한다는 것을 확인할 수 있다. 하지만, 제안된 전체 방법론과 스킵 연결만을 적용했을 때를 비교하면 통계 기반 손실 함수는 결함 감지 성능에 영향이 없음을 알 수 있다.

표 4. 결함 감지 AUC에 대한 실험

Table 4. Experiments on Defect Detection AUC

표 5. 결함 분할 AUC에 대한 실험

Table 5. Experiments on Defect Segmentation AUC

그러나 결함 분할 AUC의 결과는 제안된 모든 방법을 사용할 때 스킵 연결 구조만 사용하는 것에 비해 약간의 성능 개선이 나타난다.

표 5는 결함 분할에 대한 AUC 성능 평가를 제시하며, 나무 카테고리를 제외하고 모든 제안하는 방식들이 최적의 성능을 보인다. Weight Decay를 제거한 결과만으로 DFR의 기존 성능인 94.6%에서 1.7%의 향상을 보였으며, 특히 타일 카테고리에서는 4.9%의 큰 성능 향상이 있었다.

통계 기반의 손실 함수 추가 시 성능은 유지되거나 감소하는 경향이 있음을 알 수 있다. 그리고 스킵 연결구조만 도입했을 때는 전체적으로 2.1%의 성능 향상을 보였지만, 나무 카테고리에서는 0.5% 감소한 결과를 보여준다, 제안하는 두 가지 방법을 함께 적용하였을 때, 5개의 카테고리 중 4개에서 최적의 성능을 보였다. 단순히 손실 함수만 추가했을 때와 비교하여 모든 방법의 조합은 2.3%의 성능 향상이 있음을 보인다.

결론적으로, 통계 기반 손실 함수는 텍스쳐 결함을 인지하기 위해 단독으로 적용하였을 때 결함 감지와 분할 성능에 큰 기여를 하지 않는다는 것이다. 그러나, 스킵 연결 구조와 함께 적용하면 성능에 약간의 향상이 있음을 알 수 있다. 또한, 스킵 연결 구조는 결함 감지와 분할의 성능 향상에 모두 기여하였다.

그림 2는 학습 Epoch에 따른 다섯 가지 텍스쳐 카테고리에 대한 결함 분할 AUC 성능을 보여주며, 10 Epoch 마다 모델을 저장하고 테스트 데이터에 대한 실험 결과를 AUC 값을 그래프로 나타낸다. 그리드와 타일 카테고리는 학습의 마지막 Epoch의 모델에서 최고의 성능을 보였다. 그러나 다른 카테고리들은 학습과정 중에서 최적의 성능을 보였다. 구체적으로, 가죽 카테고리는 30번째 Epoch에서, 나무 카테고리는 50번째 Epoch에서, 카페트 카테고리는 140번째 Epoch에서의 모델이 가장 높은 AUC를 기록하였다. 다만, 그리드와 타일의 경우 200번째 Epoch까지 학습한 모델의 성능이 증가하는 그래프를 보이고 있어, Epoch를 더 늘린 모델을 사용해 평가한다면 더 개선되는 결과를 기대할 수 있지만, 추가 실험의 결과에서 더 이상 성능이 증가하지 않는 것을 확인하였다. 이 결과를 통해, 본 연구에서 제안하는 방식은 기존의 DFR 방식이 700 Epoch 동안 학습되는 것에 비해 더 빠른 수렴 속도를 갖는다는 것을 확인할 수 있다.

그림 2. Epoch에 따른 텍스쳐 결함 분할 AUC 성능

Fig. 2. Texture Defect Segmentation AUC Performance by Epochs

그림 3. 제안 방법의 결함 분할 결과 (상단 : 결함 영역 시각화, 하단: Anomaly Map)

Fig. 3. Defect Segmentation Results of Proposed Method (Top: Defect Area Visualization, Bottom: Anomaly Map)

그림 3은 학습된 모델이 테스트 데이터세트에 어떻게 작동하는지에 대한 예시를 나타낸다. 상단 부분은 Anomaly Map을 표현하고, 하단 부분은 실제로 결함이 발견된 영역과 실제 결함 영역을 시각화한다. 빨간색으로 표시된 부분은 실제로 결함이 존재하는 지점을 나타내고, 반면에 초록색으로 표현된 부분은 모델이 예측한 결함 지역이다. 하단의 Anomaly Map에서는 빨간색 쪽이 더 진할수록 해당 영역에 결함이 있을 가능성이 크다. Anomaly Map에 설정된 임계값 0.5를 기준으로 이 값을 초과하면 결함 영역으로 판단된다. 이 러한 결과는 제안하는 개선된 모델이 결함 영역을 효과적으로 인식할 수 있다는 것을 보여준다.

5. 결론 및 향후 과제

본 논문에서는 제조업에서 품질 관리를 위한 결함 감지 기술의 필요성에 대해 강조하였으며, 기존 DFR 특징 재구성 모델인 DFR의 성능 향상을 목표로 하였다. 이를 위해, 파라미터 튜닝과 함께 새로운 손실함수 및 스킵 연결 구조를 적용하였다. 기존 연구와는 차별적으로 특징의 재건축을 위해 다양한 특징맵에 대한 보존에 집중하기 때문에 2.3%의 성능 향상을 보였다. 이러한 접근법은 텍스쳐 내의 결함 영역을 보존하는 데 있어서 긍정적인 결과를 보였고 빠른 수렴 속도를 보였지만, 아직 개선이 필요하다. 특히, 더 다양한 카테고리에서의 분석이 필요하다.

향후 연구에서는 본 논문에서 확인된 한계점을 해결하기 위한 방안을 모색하고자 한다. 이를 위해, 재구성하는 모델 뿐 아니라 전체적인 프로세스를 새롭게 제안하고 다양한 최적화 방식에 대하여 연구해야할 필요가 있다. 또한, 다양한 특징 추출 알고리즘을 적용하고 텍스쳐의 미세한 세부 사항을 더욱 정밀하게 추출하여 결함 영역에 대한 보존 능력을 향상시켜야 한다.