Anomaly Detection of Generative Adversarial Networks considering Quality and Distortion of Images

이미지의 질과 왜곡을 고려한 적대적 생성 신경망과 이를 이용한 비정상 검출

Abstract

Recently, studies have shown that convolution neural networks are achieving the best performance in image classification, object detection, and image generation. Vision based defect inspection which is more economical than other defect inspection, is a very important for a factory automation. Although supervised anomaly detection algorithm has far exceeded the performance of traditional machine learning based method, it is inefficient for real industrial field due to its tedious annotation work, In this paper, we propose ADGAN, a unsupervised anomaly detection architecture using the variational autoencoder and the generative adversarial network which give great results in image generation task, and demonstrate whether the proposed network architecture identifies anomalous images well on MNIST benchmark dataset as well as our own welding defect dataset.

최근 연구 결과에 따르면, 컨볼루션 신경 회로망은 이미지 분류, 객체 검출, 이미지 생성 등의 문제에서 최고의 성능을 보여주고 있다. 비전 카메라를 사용한 결함 검사는 다른 결함 검사보다 경제적이기 때문에 공장 자동화에 있어서 아주 중요하고, 딥러닝의 지도학습은 전통 기계학습 방식의 결함 검사 성능을 월등히 뛰어넘었다. 하지만, 딥러닝의 지도학습은 엄청난 양의 데이터 주석 작업을 요구하기 때문에, 이를 실제 산업 현장에 적용하는 것은 효율적이지 않다. 따라서 본 연구는 최근 이미지 생성 과업에서 큰 성공을 보여주고 있는 변분 오토인코더와 적대적 생성 신경망을 활용하여 비지도 방식의 비정상 검출을 위한 신경망 회로 구조를 제안하였고, 이를 MNIST, 용접 결함 데이터에 적용하여 비정상 검출 성능을 검증하였다.

Ⅰ. 서론

1. 개요

비정상 검출은 다수의 내좌층(Inlier) 데이터와 이상점(Outlier) 데이터가 존재하는 상황에서 이상점 데이터를 검출하는 과정이다. 내좌층 데이터란 풍부한 양의 정상적인 데이터를 의미하고, 이상점 데이터란 제품 결함 사진과 같이 내좌층 데이터에 비해 그 수가 매우 적고 부적절한 데이터를 의미한다. 전통적으로 비정상 검출은 확률 분포를 근사하는 통계적 모형화^1,2를 통해서 수행되어 왔는데, 최근 다양한 경로에서 엄청난 양의 데이터들이 수집되고, 그 형태가 점점 더 복잡해 짐에 따라 통계적 모형화를 통한 비정상 검출은 차원의 저주에 빠져 제 역할을 하지 못하게 되었다. 하지만, 해결이 불가능해 보였던 차원의 저주를 극복하고 이미지 분류³, 객체 검출⁴ , 이미지 생성⁵등에서 최고의 성능을 내고 있는 딥러닝의 등장으로 인해 다양한 딥러닝 기반 비정상 검출 알고리즘들이 제안^6,7,8,9되었고 이들은 다른 분야와 마찬가지로 전통적인 비정상 검출 알고리즘의 성능을 제치고 최고의 성능을 보여주고 있다.⁹

최신 딥러닝 기반의 비정상 검출은 오토인코더와 신경망 규제 방법을 통해 데이터에 대한 풍부한 정보를 가지고 있는 잠재변수를 추출한 후, 이를 SVM(Support Vector Machine) 분류기에 인가하여 비정상을 검출하는 방법⁹, 변분 오토인코더와 같은 확률적 오토인코더를 이용하는 방법¹⁰ 적대적 생성신경망^11,12을 통해 정상 이미지에 대한 확률분포를 학습하고, 학습에 참여하지 못한 비정상 데이터가 신경망에 인가되면, 왜곡된 이미지가 생성되는 현상을 이용한 방법이 있다.

본 논문에서는 지각(Perceptual)변분 오토인코더¹³와 경계 평형 적대적 생성 신경망¹⁴의 영감을 받아 이미지의 품질과 왜곡을 모두 고려하여 비정상 여부를 결정하는 ADGAN을 제안한다. ADGAN은 총 3개의 부분으로 나뉘는데, 순서대로 개선 및 악화부, 생성부, 검출부이다 (See Figure 1). 지각 변분 오토인코더로 구성되어 있는 개선 및 악화부는 다수의 정상 이미지에 대한 잠재변수를 확률적으로 추출하여 기존의 오토인코더를 사용한 추출 방식보다 더욱 표현력이 좋은 다양체 공간(Manifold space)을 구축하게 된다. 따라서 개선 및 악화부는 네트워크에 인가된 정상 이미지를 생성부가 학습할 이미지 공간으로 사상(mapping)시키고, 비정상 이미지의 경우는 반대의 역할을 수행하여 생성부에 인가될 이미지를 개선 및 악화시키는 역할을 수행한다. 다음으로 생성부와 검출부는 서로를 속이기 위한 적대적 학습을 하는데, 검출부의 경우, 실제 이미지(정상)와 생성된 이미지를 입력으로 아, 해당 이지가 원본인지 생성된 이미지인지를 판단할 수 있도록 학습되고, 생성부는 개선 및 악화부에서 생성된 이미지를 입력으로 받아 검출부가 실제 이미지(정상)인 것으로 착각할만한 이미지를 생성하도록 학습되어 진다. 따라서, 제안된 구조에 정상 이미지가 인가되면 검출부가 헷갈릴만한 이미지를 생성하게 되지만, 비정상적인 이미지가 인가된다면 개선 및 악화부에서 왜곡된 이미지를 생성할 것이고, 결과적으로 생성부가 생성한 이미지가 검출부를 속이지 못하여 비정상 판정을 받게 된다.

그림 1. ADGAN 개요

Fig. 1. ADGAN overview: When normal images are given to the Improver ＆ Deteriorator, They try to generate data located in the input space of the Generator. However if abnormal images are given, I ＆ G will try to reduce the quality of the generated images(Left Top). Generator and Discriminator(Middle bottom, Right Top) are adversarially trained to deceive each other and eventually Discriminator gets the ability to calculate the abnormal score from data.

요약하자면, 이 논문의 기여점은 다음과 같다. (1) 지각 변분 오토인코더¹³와 적대적 생성 신경망¹⁴을 사용하여 비정상 검출 과업에서 최고 성능을 내는 구조를 제안하였다. (2) 기존 비정상 감지에서 사용했던 픽셀 단위의 L1, L2 distance 목적함수에 최근 많은 주목을 받고 있는 Wasserstein distance를 추가하여, 입력 이미지와 출력 이미지의 픽셀 단위 거리뿐만 아니라, 이미지의 질적인 면까지 고려하는 목적함수를 제안하였다. (3) 앞에서 제안한 목적함수를 이용하여 비정상 요소가 존재하는 부분을 가시화하는 방법을 제안하였고, 용접 결함 데이터를 통해 실험적으로 검증하였다.

2. 기존 연구사례

가. Statistical Modeling

신경망 회로를 이용한 비정상 검출 알고리즘이 등장하기 이전에는 비정상적인 데이터를 검출하기 위해 통계적 모형화를 주로 사용하였다. 통계적 모형화에는 주어진 데이터의 표본평균(\(\overline{X}\))과 표본분산(S²)을 통해 계산된 검정 통계량이 제시된 신뢰구간에 속하지 않으면 비정상으로 판정하는 카이제곱 검정 및 티 검정이 있다. 또한, 공분산 행렬을 이용하여 주어진 데이터를 차원 감소시킨 후, 선형 분류기에 인가여 비정상 여부를 검출하는 강건 주 성분분석(RPCA)¹⁷, 데이터를 특정 확률 분포에 적합시킨 후 데이터와 확률 분포 사이의 거리를 측도로 삼아 비정상을 판정하는 방법² 등이 제안되어 왔다.

나. Deep Learning based Anomaly Detection

컨볼루션 신경망 회로(Convolutional Neural Networks, CNNs)가 데이터의 특징 공간을 풍부하게 학습할 수 있음이 실험적으로 증명됨에 따라^12,13,18 CNN 기반의 다양한 비정상 검출 알고리즘들이 제안되어 왔다. 방법론은 크게 두 가지로, 첫 번째는 오토인코더의 풍부한 특징 공간 학습력을 이용한 방법^6,9,10이고, 두 번째는 적대적 생성모델을 활용한 방법^7,8,19이다. 오토인코더는 데이터의 잠재변수를 찾기 위해 데이터의 차원을 축소(Encoding)시킨 후, 처음의 차원으로 다시 복원(Decoding)시키는 방법론인데, 축소되었던 저차원의 특징을 데이터의 잠재 변수 공간으로 가정하고, SVM 또는 선형 분류기에 인가하여 이상점 검출을 하는 방법이 오토인코더를 이용한 비정상 검출 방법이다. 하지만, 최근 적대적 생성 신경망이 이미지 생성 및 특징 추출 과업에서 성공적인 성능을 보여줌에 따라^{12,14,20,21,22,23}적대적 생성 신경망의 학습을 통한 비정상 검출 알고리즘들이 많이 제안되고 있다. 이는 정상 이미지에 대한 확률 분포를 학습한 후, 정상 이미지 분포에서 거리가 먼 비정상 이미지가 인가되었을 때, 왜곡된 이미지가 생성되는 현상을 이용한 것으로, 인가된 이미지와 출력된 이미지의 L1 또는 L2 거리를 비교해 비정상을 검출한다.

3. 연구목표 및 범위

본 연구는 정상 이미지만을 사용하여, 학습과정에 등장하지 않는 비정상 이미지를 검출하기 위한 알고리즘을 제안하고, 이에 대해 해석적, 실험적 분석을 하는 것을 논문의 범위로 하였다.

Ⅱ. 이론적 배경

본 챕터에서는 논문에서 제안한 3가지 구조인 개선 및 악화부, 생성부, 검출부의 역할과 목적함수, 최적화 방법, 비정상 점수 계산법 및 비정상 가시화 방법에 대해서 설명한다.

1. 개선 및 악화부

많은 양의 데이터를 다룰 때 데이터의 특징을 파악하는 것은 아주 중요한 일이다. 딥러닝은 다양한 방식의 데이터 특징추출 방법을 제안해왔는데, 그 중 오토인코더²⁴가 많은 분야에서 성공적으로 사용되고 있다. 또한, 오토인코더는 이미지 생성 과업에도 사용되는데 매 학습마다 추출되는 이미지의 특징 공간이 바뀌고, 입력 이미지를 단순히 항등함수에 인가한 것과 같은 결과물을 생성하는 단점으로 인해 잘 사용되지 않고 있다. 오토인코더의 이러한 단점을 보완한 것이 지각 변분 오토인코더(PVAE)이다. 지각 변분 오토인코더의 시초인 변분 오토인코더 (VE)는 관측된 데이터를 가장 잘 설명하는 모형의 모수를 찾아주는 방법인 최대 우도 추정법(Maximum Likelihood Estimation, MLE)을 변분 추론(Variational Inference)과 최급 강하법(Gradient Descent)을 이용해 수치 해석적으로 해결한 것인데, 이때 입력 데이터와 출력 데이터 사이의 Cross-Entropy 목적함수를 미리 학습된 VGG19¹⁸의 지각(Perceptual) 목적 함수로 대체 한 것이 PVAE이고, 그 목적 함수는 아래와 같다.

\(\begin{array}{l} L_{P V A E}=D_{K L}\left(q_{\phi}(Z \mid X) \| P_{\theta}(Z)\right)+P\left(X_{\text {ori }}, X_{I, D}\right) \\ \text { Where, } P(X, Y)=\operatorname{MSE}\left(\operatorname{VGG}_{1}(X), \operatorname{VGG}_{1}(Y)\right) \\ +\operatorname{MSE}\left(\operatorname{VGG}_{2}(X), \operatorname{VGG}_{2}(Y)\right) \\ +\operatorname{MSE}\left(V G G_{3}(X), V G G_{3}(Y)\right) \end{array}\)       (1)

VGG_n(X) = 미리 학습된 VGG19의 n번재 활성 맵

PVAE는 학습과정에 참여한 정상 이미지에 대한 잠재 공간을 밀도 있게 구축하여, 학습과정에 등장하지 않았던 새로운 정상 데이터의 잠재변수는 특징공간의 중심 사상해주고, 비정상 데이터의 경우는 공간의 중심에서 멀게 사상해줌으로서 정상 이미지를 입력으로 받았을 때는 정상적으로, 비정상 이미지를 입력으로 받았을 때는 왜곡된 이미지가 생성되도록 만들어주는 역할을 한다.

2. 생성부와 검출부

적대적 생성 신경망(Generative Adversarial Networks, GANs)은 생성된 이미지의 확률분포를 생성부와 검출부의 적대적인 학습을 통해, 생성하고 싶은 이미지의 확률 분포로 근사시켜 실제와 같은 이미지를 생성하는 방법으로 그 목적함수는 아래와 같다.

\(\begin{aligned} \min _{G} \max _{D} V(D, G)=& E_{x \sim p_{\text {dith }}}[\log (D(X))] \\ &+E_{z \sim p_{z}}[\log (1-D(G(Z)))] \end{aligned}\)       (2)

where G(X) : X를 생성부에 인가한 결과 값

D(X) : X를 검출부에 인가한 결과 값

0 ≤ D(A) ≤ 1

이때, 이미지의 위조 여부를 판별해주는 검출부의 출력 값인 D(A)가 1에 가까우면, A를 실제 이미지로, D(A)가 0에 가까우면, A를 생성된 이미지로 판별한다. 이러한 적대적 생성 신경망은 이미지의 위조 여부를 검출할 때, 고차원 이미지에 대한 픽셀 단위의 평균 제곱 오차를 계산하는 것이 아닌, 생성된 이미지가 실제 이미지와 질적(Divergence 관점)으로 얼마나 다른지를 수치화하여 위조 여부를 결정하게 된다. 본 논문에서 제안하는 생성부와 검출부는 개선 및 악화부에서 생성된 이미지를 픽셀 단위로 비교할 뿐만 아니라, 질적인 비교를 모두 수행하여 효율적인 비정상 검출을 수행하게 된다.

3. 단방향 순환 목적함수(Unidirectional Cycle Consistent Objective)

적대적 생성 신경망의 엄청난 성공에도 불구하고, 적대적 생성 신경망을 응용한 기술이 실제 산업현장에서 사용되지 못하는 이유는 생성부가 생성하는 이미지가 검출부를 쉽게 속이는 특정 모드(Mode)에 갇혀 다양한 이미지를 생성하지 못하게 되는 모드 붕괴(Mode Collapse)현상 때문이다. 모드 붕괴 현상을 해결하기 위해 다양한 종류의 신경망이 제안되어 왔지만^{12,14,20,21,22} 여전히 근본적인 해결책을 찾지 못하고 있으며, 현재는 위에서 제안된 구조에 여러 가지 규제기법을 추가하여 모드 붕괴에 강건한 생성 구조를 구축하는 것을 해결책으로 삼고 있다. 따라서 본 논문에서는 모드 붕괴에 강건하고, 비정상 감지에 적합한 목적함수인 단반향 순환 목적함수를 제안하고, 그 수식은 아래와 같다.

\(L_{c y c l e}=\frac{\operatorname{MSE}\left(X_{\mathrm{or} i}, X_{g e n}\right)}{2}\)       (3)

베셔스타인 목적함수를 이용한 적대적 생성 신경망의 목적함수

적대적 생성 신경망은 모드 붕괴 문제로 인해 수렴이 몹시 어려운 단점을 가지고 있다. 이는 생성부가 고정되어 있을 때, 적대적 생성 신경망의 수렴을 위해선 Jensen-Shannon divergence(JSD)의 값을 줄이는 방향으로 최적화를 해줘야 하기 때문인데²¹ 이에 대한 해결책으로 JSD보다 수렴시키기 편한 베셔스타인 거리 (Wasserstein distance)를 목적함수로 사용한 적대적 생성 신경망이 많이 제안되고 있다.^5,14,21,25 특히 2017년에 제안된 경계 평형 적대적 생성 신경망(BEGAN)¹⁴은 3채널의 128 X 128 해상도 이지를 생성할 수 있고, 경계 학습이라는 새로운 방법을 통해 학습이 매우 안정적이므로 본 논문에서 제안한 ADGAN의 기본 구조로 사용하였고, 그 목적함수는 아래와 같다.

\(G_{\text {loss }}=2 \times \operatorname{MSE}\left(X_{\text {gen }}, D\left(X_{\text {gen }}\right)\right)\)       (4)

\(\begin{array}{l} D_{\text {loss }}=2 \times \operatorname{MSE}\left(X_{\text {or } i}, D\left(X_{\text {ori }}\right)\right)-k \times G_{\text {loss }} \\ \text { where, } \gamma=\frac{E\left[D\left(X_{\text {gen }}\right)\right]}{E\left[D\left(X_{\text {or } i}\right)\right]} \\ k_{t+1}=k_{t}+\lambda\left(\gamma D\left(X_{\text {ori }}\right)-D\left(X_{\text {gen }}\right)\right) \end{array}\)       (5)

제안된 구조의 최적화 방법

제안된 구조의 학습을 위해서는 총 3가지의 목적함수가 필요하고 수식을 나열하면 아래와 같다.

\(L_{P V A E}=D_{K L}\left(q_{\phi}(Z \mid X) \| P_{\theta}(Z)\right)+P\left(X_{\mathrm{or} i}, X_{I, D}\right)\)       (6)

\(L_{A D G A N_{-} G}=L_{c y c l e}+G_{l o s s}\)       (7)

\(L_{A D G A N_{-} D}=D_{\text {loss }}\)       (8)

수식 (6)은 지각 변분오토인코더의 학습을 위한 목적함수이고, 수식 (7)과 수식 (8)은 생성부와 검출부의 적대적 학습을 위한 목적함수이다. 따라서 제안된 ADGAN을 최적화하기 위해서는 위의 수식 (6, (7), (8)을 적절한 최적화 알고리즘을 사용하여^26,27 1:1:1 비율로 가중치 업데이트 해줘야 한다.

비정상 점수 계산법

본 논문은 입력 이미지와 출력 이미지의 픽셀 단위 거리뿐만 아니라, 이미지의 질적인 면까지 고려하는 비정상 점수를 아래와 같이 제안한다.

\(\begin{array}{l} S_{\text {Anomaly }}= \\ P\left(X_{\text {or } i}, X_{I, D}\right)+\operatorname{MSE}\left(X_{I, D}, X_{\text {gen }}\right)+L_{c y c l e} \\ +\left(2 \operatorname{MSE}\left(X_{\text {gen }}, D\left(X_{\text {gen }}\right)\right)-2 \operatorname{MSE}\left(X_{\text {or } i}, D\left(X_{\text {or } i}\right)\right)\right)^{2} \end{array}\)       (9)

비상 점수는 총 4가지 소 목적함수로 구성되는데, 계산 순서대로 설명하면, P(Xor i , XI,D)는 개선 및 악화부에서 생성된 이미지가 입력 이미지와 지각적으로 (Perceptual) 얼마나 다른지를 나타내는 역할을 한다. 두 번째 목적함수인 MSE(X_I,D, X_gen) + L_cycle는 네트워크에 인가된 이미지, 개선 및 악화부를 통과하여 생성된 이미지, 생성부가 생성한 이미지의 픽셀 단위의 거리를 수치화한 것으로 이미지의 왜곡 정도를 나타내는 역할을 한다. 마지막으로 [2MSE(X_gen, D(X_gen)) - 2MSE(X_{or i} , D(X_{or i}))]²는 생성된 이미지와 원본 이미지의 Wasserstein 거리이고 이는 생성부에서 생성된 이미지와 원본 이미지의 확률 분포상 거리를 의미한다.

제안된 네트워크에 비정상 이미지가 입력되면, 개선 및 악화부는 입력 이미지의 잠재변수를 정상 이미지의 다양체 공간과 먼 곳으로 사상시킨 후, 왜곡된 이미지를 생성하여 높은 P(X_{or i} , X_I,D)값을 가지게 한다. 이후 왜곡된 이미지가 생성부에 인가되면, 입력된 이미지가 정상적인 이미지의 확률 공간에서 추출된 것이 아니기 때문에, 더욱 왜곡된 이미지를 생성하게 된다. 따라서 생성부를 통해 생성된 이미지는 원본과 매우 다르므로(See Figure 1) 네트워크에 인가된 이미지, 개선 및 악화부를 통과하여 생성된 이미지, 생성부가 생성한 이미지 사이의 픽셀 단위 거리를 나타내는 MSE(X_{I,D, Xgen}) + Lcycle는 높은 값을 가지게 된다. 마지막으로, (2MSE(X_gen, D(X_gen)) - 2MSE(X_{or i} , D(X_{or i})))²는 두 번 왜곡된 이미지와 원본 비정상 이미지 사이의 Wasserstein 거리를 나타낸다. 왜곡된 이미지와 원본 비정상 이미지 사이의 확률 분포상 거리가 멀기 때문에 높은 값을 가지게 된다.

비정상 가시화 방법

위에서 제안한 비정상 점수는 입력 이미지의 픽셀별 비정상 점수를 계산한 후, 평균을 구해준 것과 같다. 따라서 평균 제곱 오차 연산을 제곱 오차 연산으로 바꿔주면 픽셀별 비정상 점수를 계산할 수 있고, 이를 적용한 결과는 아래 실험의 Figure 5와 같다.

Ⅲ. 실험 및 결과

본 논문은 제안된 알고리즘의 성능을 확인하고, 개선 및 악화부, 생성부, 검출부의 효율성을 검증하기 위해 다음의 3가지 실험을 수행하였다. (1) 벤치마크 데이터 세트인 필기체 데이터를 통한 비정상 검출, (2) 필기체 데이터를 사용한, 개선 및 악화부, 생성부, 검출부에 적용된 목적함수의 유용성 검증, (3) AGAN을 이용한 용접 결함 검사.

실험(1)의 결과 다음 장의 Figure 2에서 확인 할 수 있듯, ADGAN이 State of the art인 DSVDD9 의 성능을 7가지 실험 환경에서 능가했음을 확인하였고, 실험(2)의 결과인 Figure 3는 본 논문에서 제안한 여러 가지 목적함수가 비정상 감지에 잘 부합하는 목적함수임을 실험적으로 보여주고 있다. 마지막으로 ADGAN을 실제 산업 현장의 용접 결함 사진에 적용하였는데, 그 결과는 0.924 AUC이다. 이는 실제 상용화 가능한 수준(98% 이상)에는 못 미치지만, ADGAN을 이용한 비정상 검출이 어느 정도 상용화 가능 단계까지 진입했음을 실험적으로 보여주고 있다.

그림 2. 정상 용접 이미지(왼쪽), 비정상(결함이 존재하는) 용접 이미지(오른쪽)

Fig. 2. Images with and without welding defect

그림 3. 발견된 결함위치의 시각화 왼쪽(결함 존재) 오른쪽(결함 미존재)

Fig. 3. Visualizations of expected defect locations. left column(defect), right column(no defect).

표 1. MNIST 데이터셋에 대한 표준편차에 의한 곡선의 아래면적

Table 1. The Area Under Curve(AUC) with Standard Deviation on MNIST datset.

필기체 데이터를 사용한 비정상 검출

필기체 데이터는 비정상 검출 알고리즘의 성능 평가 측도로 사용되는데 현재 최고 성능을 보여주고 있는 방법은 Deep One-Class Classification(L. Ruff et al. 2018)이다. 따라서 본 논문에서는 정확한 성능 검증을 위해 위의 논문에서 제안한 실험 방법을 그대로 차용하여 성능평가를 수행하였다. 필기체 데이터는 0~9까지의 65,000장의 숫자 이미지로 구성되어 있고, 각 클래스당 6,500장의 이미지가 속해있다. 본 논문은 5,500장의 단일 클래스 이미지(정상 이미지)와 500장의 나머지 클래스 이미지(비정상 이미지)를 ADGAN의 학습을 위해 사용하였고, 성능 검증을 위한 시험 이미지는 각 클래스에서 1,000장씩 추출하여, 총 10,000장의 이미지로 구성하였다. 필기체 데이터가 총 10개의 클래스로 구성되어 있기 때문에, 정상 이미지의 클래스를 바꿔가며 총 10번의 실험을 수행할 수 있었고, 그 결과는 위의 표와 같다(See Figure 2). 이때, 각 목적함수를 안정적으로 최적화하기 위해 (6), (7)번 식은 Adam Optimizer²⁶, (8) 식은 RMSProp Optimizer²⁷를 사용하였다.

검출 및 악화부, 생성부, 검출부의 유용성 검증

본 논문에서 제안하는 비정상 점수의 효율성을 검증하기 위해, 0~4까지의 필기체 숫자 이미지를 정상 이미지, 5~9까지의 필기체 숫자 이미지를 비정상 이미지라고 가정한 후, 다음의 실험을 수행하였다. 20,000장의 정상 이미지를 사용해 제안된 구조를 습시키고, 1,000장의 정상 이미지와 9,000장의 비정상 이미지를 혼합하여 모델 성능을 평가하였다(See Figure 3).

실험 결과, 본 논문에서 제안한 L_cycle와 L_Dis를 적용하면 비정상 검출의 성능을 나타내는 지표인 Area Under Curve(AUC) 값이 각각 0.029047, 0.011271 만큼 증가한다는 것을 수치적으로 확인할 수 있었고, 이는 제안된 목적함수들이 비정상 탐지에 적합하다는 것을 의미한다.

표 2. 목적함수가 비정상 검출에 적합한지 확인할 수 있는 표

Table 2. A table to see where objective function is performing well for anomaly detection or not. L = P(X_{or i} , X_I,D) + MSE(X_I,D, X_gen)

ADGAN을 이용한 용접 결함 검사

공장에서 용접 작업을 할 때, 미용접, 크레이터, 이물질 흡착 등과 같은 용접 결함이 발생할 수 있다. 이러한 결함은 최종 제품 악영향을 미칠 수 있기 때문에 용접 작업이 끝난 후, 결함 유무를 검사하는 것은 필수적이다. 용접부 결함 검사는 대표적으로 비전 카메라를 이용한 방법과 초음파를 이용한 방법이 있지만, 본 논문에서는 비전 카메라를 사용하여 촬영한 결함부 사진을 통해 결함의 유무를 판정하고자 한다.

사진으로 구성되어 있는데 제안된 구조의 평가를 위해 정상적인 용접부 사진 3,000장을 사용하여 ADGAN을 학습시켰고, 950장의 정상적인 용접부 사진과 50장의 결함 사진을 혼합하여 성능평가를 진행하였다. 또한, 앞의 이론적 배경에서 설명한 비정상 가시화 방법을 적용해 본 결과(See Figure 5) 제안하는 ADGAN이 비지도 학습의 방법론임에도 불구하고 성공적으로 결함의 위치를 파악했음을 시각적으로 확인 할 수 있다.

Ⅳ. 결론

본 논문은 비지도 학습의 대표 주자인 지각 변분 오토 인코더와 적대적 생성 신경망을 활용하여 노이즈가 심한 입력 이미지에 대해 강건한 비정상 검출을 할 수 있는 ADGAN을 제안하였다. ADGAN은 정상 이미지와 비정상 이미지의 픽셀 단위 거리뿐만 아니라, 이미지의 질적인 면도 같이 고려하기 때문에 기존의 방법론들보다 더 좋은 검출 성능을 보여주었고, 이를 벤치마크 데이터를 사용하여 실험적으로 증명하였다. 또한, ADGAN 실제 용접 결함 검사 문제에 적용해보았고, 제안하는 방법이 실제 산업 현장의 결함 검출에도 어느 정도 적용 가능하다는 것을 실험적으로 확인하였다.

그림 6. 용접 결함 검사에 대한 ROC 곡선과 AUC 값

Fig. 6. ROC curve and AUC value on Welding defect Inspection.