Establishment of a deep learning-based defect classification system for optimizing textile manufacturing equipment

Abstract

In this paper, we propose a process of increasing productivity by applying a deep learning-based defect detection and classification system to the prepreg fiber manufacturing process, which is in high demand in the field of producing composite materials. In order to apply it to toe prepreg manufacturing equipment that requires a solution due to the occurrence of a large amount of defects in various conditions, the optimal environment was first established by selecting cameras and lights necessary for defect detection and classification model production. In addition, data necessary for the production of multiple classification models were collected and labeled according to normal and defective conditions. The multi-classification model is made based on CNN and applies pre-learning models such as VGGNet, MobileNet, ResNet, etc. to compare performance and identify improvement directions with accuracy and loss graphs. Data augmentation and dropout techniques were applied to identify and improve overfitting problems as major problems. In order to evaluate the performance of the model, a performance evaluation was conducted using the confusion matrix as a performance indicator, and the performance of more than 99% was confirmed. In addition, it checks the classification results for images acquired in real time by applying them to the actual process to check whether the discrimination values are accurately derived.

본 논문에서는 복합소재 생산 분야에서 수요가 높은 프리프레그 섬유 제조 공정에 딥러닝 기반의 결함 검출 및 분류 시스템을 적용하여 생산성을 높이는 과정을 제안한다. 다양한 조건별 다량의 불량 발생으로 해결방안이 필요한 토우 프리프레그 제조 장비에 적용하기 위해 우선 결함 감지와 분류 모델 제작에 필요한 카메라 및 조명을 선정하여 최적의 환경을 구축하였다. 그리고 다중 분류 모델 제작에 필요한 데이터를 수집하고 정상 및 불량 조건에 따라 라벨링을 진행하였다. 다중 분류 모델은 CNN 기반으로 제작하였으며 VGGNet과 MobileNet, ResNet 등의 사전 학습모델을 적용하여 성능을 비교하고 정확도 및 손실 그래프로 개선 방향을 파악한다. 주요 문제로 과적합 문제를 확인하여 개선하기 위해 데이터 증강 및 Dropout 기법을 적용하여 보완하였다. 모델에 대한 성능 평가를 위해 혼돈행렬을 성능지표로 한 성능 평가를 진행하였으며 99% 이상의 성능을 확인하였다. 또한, 실제 공정에 적용하여 실시간 획득된 이미지에 대한 분류 결과를 확인해보며 판별 값이 정확히 도출되는지 확인한다.

I. Introduction

최근 제조 분야에선 제품을 빠르고 효율적으로 생산하기 위해 인공지능과 데이터 처리 기술을 적용하고 있다. 글로벌 조사업체 리서치앤드마켓의 보고서에선 2021년 18억 달러에서 2028년 213억 달러로 불과 7년 만에 10배 이상 성장 예측을 확인할 수 있어 제조 분야의 AI는 지속적으로 적용될 것으로 보인다[1]. 제조 공정에서의 활발히 연구되고 있는 AI 시스템으로는 불량 검사 시스템으로 볼 수 있다. 불량 검사는 사람의 육안으로 제품을 확인하여 정상과 불량을 분류하기 때문에 운영비용 증가와 미세한 결함 파악이 어렵고 생산품의 품질이 저하되고 있어 생산성과 수익성을 높이는 것에 중요한 역할을 하기 때문이다[2].

본 논문에서는 섬유 제조 장비에서의 생산품의 품질을 높이고 운영비용을 절감을 위한 시스템 구축을 제안한다. 불량 검사의 목표가 되는 제품은 현대 재료 설계에서 높은 수요를 보이는 프리프레그 섬유이다. 이 섬유는 뛰어난 강성으로 인해 에너지, 건설 및 운송 산업 전반에 걸쳐 적용되고 있으며 특히 항공, 우주 및 자동차, 스포츠/레저, 수송기기 분야 등에서 철과 금속 부분을 대체하여 수십 퍼센트의 경량화를 이뤄낼 수 있어 에너지 효율 향상에 주요한 소재이다[3]. 해당 재료의 생산을 위해서는 Table 1.과 같은 수지와 강화 섬유의 종류에 따라 그 특성과 제조 공정 사양 등이 적용되어 각각의 특성 파악과 공정 조건 별 변화되는 결과에 대한 표준 데이터 구축이 힘든 상황이다.

Table 1. Components of Pre-impregnated material

특히 열가소성 수지는 함침 과정에서 발생하는 다량의 불량으로 인해 공정 과정을 작업자가 항시 관리해야 하는 문제로 대부분 열경화성으로 진행되고 있다. 하지만 열경화성 프리프레그의 단점으로 재사용성이 없으며 경화 과정에서의 시간 소모로 인한 생산성 저하로, 열가소성 복합재료의 수요가 큰 상황이다[4].

중간재 제작 공정의 까다로운 조건으로 인해 현재 복합소재 제조는 대부분 수작업으로 불량 분류를 진행하거나 후공정인 직조 및 원단 제작 공정에서 비전 검사 도입으로 불량 검출을 진행한다. 그러나, 이 공정에서의 불량은 단 면적이 넓어 낭비되는 섬유가 많으며 사람이 확인하기 어려운 중간재의 미세한 불량을 그대로 반영하여 제작되는 문제가 있다. 또한 불량에 대한 검출 시 양/불 판단의 시스템이라 불량에 대한 대처방안은 고도의 숙련된 작업자 외에는 개선되기 힘든 상황이다. 따라서, 높은 품질과 빠른 생산을 위해선 중간재 생산공정에서의 불량 검사가 필요하며 불량 상태에 대한 분류 데이터 구축으로 개선에 대한 방향제시는 섬유 제조 공정에서 주요한 상황이다.

본 논문에서는 열가소성 프리프레그 생산 장비에 불량감소 및 생산성 증대를 위해 미세한 불량을 조건별로 정확하게 판단할 수 있는 딥러닝 기반의 검사 시스템을 제작하여 향후 증가하고 있는 복합소재 시장 수요에 기여될 수 있도록 진행하고자 한다. 먼저 제조 장비 환경에 맞는 카메라 및 조명 선정으로 불량 판별할 수 있는 환경을 구축하고. 다양한 공정 조건별 이미지 데이터를 탐지해 분류를 위한 데이터를 수집한다. 그리고 CNN 주요 알고리즘을 활용하여 최적의 이미지 분류 모델을 제작한다. CNN 구조의 모델 제작 시 프레임워크는 TensorFlow 활용하여 구현하였으며, Keras 라이브러리를 활용하여 진행하였다. 제조공정의 데이터 수집 시 불량 데이터 셋의 대량 확보는 어려워 학습모델의 성능 개선 및 품질 향상을 위해 데이터 증강 기술을 활용하였고 마지막으로 실시간 이미지 획득 및 제작된 학습모델을 활용하는 프로그램을 제작하여 실 공정에 적용해보는 연구를 수행하였다.

Fig. 1. Defect classification system application configuration overview in thermoplastic prepreg manufacturing equipment

II. Preliminaries

1. Related works

1.1 Manufacturing process defect inspection technology

제조 공정에서 제품의 품질은 가장 중요한 요소이다[5]. 품질에 대해 기존 사람이 일일이 눈으로 보고 불량을 확인했었던 상황에서 비용 및 정확한 분별 처리를 위해 비전검사 기술 도입 및 연구가 진행되고 있다[6].

기술 도입 초기는, 레이블 되어 있지 않은 데이터로 입력 데이터의 밀집 표현을 진행하여 불량이 있는 부분을 감지하는 오토 인코더 사용으로 발전을 이루었다[7]. 그리고 시간이 지나면서 점점 적용되는 제품군의 다양화와 복잡성으로 인해 각 불량에 대한 구분 및 차이를 식별하기 위한 지도 학습 및 CNN 알고리즘 적용을 진행하고 있다[8]. 제조업에서는 불량 탐지, 검사 시 매우 많은 정상 데이터에 비하여, 극소수의 비정상 데이터를 얻는 환경이 대부분이기 때문에 불균형(Class Imbalance) 문제 개선을 위한 연구가 수행되고 있는 과정이다[9][10]. 현재의 이미지 처리 기술은 사전 훈련된 모델, 특징 추출기 또는 종단 간 학습을 위한 깊은 네트워크층 구성의 딥러닝이 포함하여 진행된다[11][12].

본 연구에서는 딥러닝의 분야 중 이미지 인식 및 분야에서의 대표적인 CNN 알고리즘 모델을 활용하여 이미지 처리 진행하고 주요 대표적인 CNN 알고리즘을 적용해보면서 성능 평가 및 개선을 진행하고자 한다.

1.2 Configuring the Image Lighting Environment in the Manufacturing Process

최근 이미지 처리 분야에서 딥러닝 기술이 활발히 적용되고 있으며 인식률 및 정확도가 매우 높게 도출되고 있다. 특히 조명을 이용해 검사 대상의 그림자를 제거하거나 빛 반사를 고려할 필요가 없어져 각종 변수에 강하여 이미지 처리에 적합하다[13].

Fig. 2.에서 확인할 수 있듯이 조명 종류와 조명의 위치 및 환경에 따라 이미지 데이터는 매우 달라질 수 있다. 같은 촬영 이미지라도 스크래치의 결함을 확인하기 위해 조명의 조건을 달리해주면 효과적으로 결함 확인을 할 수 있는 조명을 파악할 수 있게 된다. 본 연구에서는 카메라 선정과 해당 카메라 영역에 적합한 조명을 선정, 또한 제조공정 내부 장착 위치 결정 등의 선행작업을 수행하면서 최적의 이미지 데이터 수집과 시스템 적용을 위한 환경 구축을 수행해보았다.

Fig. 2. Image taken differently depending on the lighting

1.3 Building a CNN-based model

CNN(Convolutional Neural Network)은 Fig. 3.과 같이 구성되며 주로 이미지 분류(Image Classification), 객체 검출(Object Detection) 등을 해결하기 위해 사용되고 있다. 고차원 데이터를 처리하기 위해 가중치 공유 및 로컬 연결 속성을 제공하며 이미지, 영상, 음성 등을 분석하기 위해 패턴을 찾는 것에 유용한 알고리즘으로 최근 학습결과의 정확성이 더욱 높아지고 있어서 이미지 처리 분야에 널리 이용되고 있다[14].

Fig. 3. CNN Model Structure

또한, CNN 기반의 이미지 분류 기술의 발전으로 다양한 높은 성능의 사전학습 모델을 사용할 수 있다[15].

본 연구에서는 섬유 불량데이터에 대한 최적의 이미지 분류를 위해 주요 CNN 알고리즘을 선정하여 성능을 테스트해보았다. 또한 CNN 성능 향상 방안 연구를 바탕으로 데이터 증강(Data augmentation) 기법 활용 및 과적합(Overfitting) 문제를 해결하기 위해 드롭아웃(Dropout) 기법 활용으로 성능을 개선 시켜 보았다.

III. The Proposed Scheme

본 논문에서는 사전 연구를기반으로 섬유 제조 공정에서의 불량 감지 시스템 구축하고 성능테스트 및 시각화 프로그램 제작을 진행한다. 본 연구의 대상체인 토우 프리프레그는 기존 베이스가 되는 사전 데이터 셋이 없어, 본 공정에 카메라 적용 및 조명 위치 선정 등으로 데이터를 최대한 수집하면서 연구를 진행한다. 그리고 분류 데이터 셋 구축을 위해 공정 조건 별 데이터수집 및 라벨링 과정을 수행한 뒤 사전학습 모델 구성을 참고하여 CNN 모델 구축을 진행하였다. 또한 성능 평가 및 시각화 등을 수행하여 성능 개선을 위한 방법 고안하여 연구를 진행하였다.

1. Building a Defective Inspection Environment

본 연구에서는 열가소성 프리프레그 제조 장비의 섬유에 대해 이미지 처리로 불량 분류를 진행한다. 대상체인의 상세사양은 Table 2.와 같으며 일정 속도로 이동되는 환경이고, 불량데이터 탐지는 최소 0.5mm 이내여야 한다.

Table 2. Target Product Analysis

1.1 Camera selection

대상체의 사양을 고려하여 Table 3.과 같은 카메라를 선정 및 장착부를 제작하였다. 제조 공정 내에 장치를 구축하기 위해 제조 장비의 높이, 설치 구성 부 카메라 렌즈와 대상체의 필요 거리를 고려하였으며 제품 이송 속도가 느려, 이미지 획득하기 용이한 Area Camera를 선정을 진행하였다.

Table 3. Camera spec

1.2 Test and select lighting

대상체의 각 시기 별 환경이나 조명마다 이미지의 균일성을 유지해주기 위해 Table 4.와 같이 장착된 카메라에 다양한 조명을 적용해보고 비교 분석하는 연구를 수행해 보았다. 면 조명, 바 조명, 동축 조명 등 3가지를 테스트해 본 결과 대상체 하부에 백라이트로 구성한 면 조명이 변화되는 환경조건에서 균일하고 높은 정확도를 보여 선정하게 되었다. 섬유의 박리, 표면결함 등 불량확인에 가장 적합하며 표면 이상 탐지는 바 조명과 같이 적합한 수준으로 확인하였다. 또한 조명 Controller를 이용한 PWM 제어로 불량 탐지 이미지 추출에 가장 적합한 조도로 구성하고 가장 불량 검출이 잘 될 수 있는 환경으로 진행하였다.

Table 4. Light test

최종적으로 제조 장비에 Fig. 4.와 같은 환경 구축으로 데이터 수집을 수행하였다.

Fig. 4. Defective Inspection Environment Established

2. Dataset Configuration

대상체의 불량 감지 및 분류를 위해 공정 조건별 이미지 추출을 진행한다. 우선 제조 공정 가동 시 가장 많은 불량 데이터 구분을 위해 1,000개의 데이터 수집 후, 큰 범주로 라벨링 작업을 진행하였다. 데이터 분석 시 수집된 데이터는 크게 3종의 데이터로 구분할 수 있었다. Table 5.에서 보는 것과 같이 주요 구분될 수 있는 이미지 데이터는 ➀ 정상(ok)데이터, ➁ 고온에서 발생되는 불량(def) 데이터, ➂ 수지 함침률 오류(edge)에 대한 불량 데이터이다. 이는 탄소 섬유 원사와 PA6 수지를 배합한 제조 공정에서 도출될 수 있는 이미지로 섬유와 수지가 변경된다면 데이터 셋 재구성이 필요할 수 있다.

Table 5. Collecting case-specific image data​​​​​​​

3가지의 다중 클래스 분류를 구성하기 위해 최종적으로 수집한 데이터는 정상(ok)데이터 2,000개, 고온 불량(def) 데이터 400개, 수지 함침률(edge) 오류 불량데이터 600개이다. 해당 데이터는 Table 6.과 같이 훈련, 검증 데이터를 8:2 비율로 구분하고 학습 및 성능 평가에 사용하도록 구성하였다.

Table 6. Experimental Dataset Specification​​​​​​​

3. Building and Validating Classification Model

3.1 Experiment Environment

분류 모델은 VScode 개발 툴에서 주로 Python 언어를 사용하여 구축하였으며 CNN 구조의 모델 제작 시 프레임워크 TensorFlow와 Keras 라이브러리를 활용하여 진행하였다. 상세 개발 환경은 Table 7.과 같다.

Table 7. Development environment​​​​​​​

3.2 Image data classification and results

분류 모델 제작은 관련 연구에서 언급했던 CNN 사전 학습 모델 중 주요 높은 성능을 보이는 VGG16, ResNet 모델 2가지와 테스트할 PC의 성능을 고려하여 가벼운 모델인 MobileNet을 활용하고 비교할 수 있도록 정확도 산출을 진행하였다. 사전 학습모델에 적합한 이미지 데이터 크기 적용을 위해 224×224 크기로 Resize를 진행해주고, 3가지의 클래스 분류를 위해 노드의 개수를 3개로 구성하였다. 또한 출력층은 다중 분류 문제에서 사용하는 softmax 활성화 함수를 사용을 진행하고, 딥러닝 최적화 기법으로 Rmsprop 사용과 손실함수는 메모리 소모를 줄이기 위해 sparse_categorical_crossentropy 적용을 진행한다. Table 8.은 상세 모델 구축을 위한 상세 파라메타 정의이다.

Table 8. Parameter Setting​​​​​​​

모델이 과적합되기 전 훈련을 멈출 수 있는 정규화 기법으로 EarlyStopping 콜백 함수를 추가적으로 구성해보았다. 검증 집합에 대한 성능 개선이 더 이상 되지 않거나, 퇴화되고 있는 적절한 시점을 파악하여 학습 조기 종료를 진행해주는 기법으로 과적합 방지와 함께 깊은 네트워크층 학습으로 불필요한 학습 시간 소모를 줄이는 방안이 될 수 있다. Table 9.은 Sequential 모델 및 CNN 사전 학습 모델을 나열하고 각 정확도 측정 결과를 정리해보았다.

Table 9. Results of pretrained model performance​​​​​​​

CNN 사전 학습모델을 이용한 정확도는 모두 85% 이상으로 측정되었다. 허나 VGG16과 ResNet50 모델 활용시 EarlyStopping 조건에 따라 Epoch는 30이상 진행되지 않았다. 모델에 대한 성능 확인을 위해 Fig. 5.와 Fig. 6.과 같이 정확도 및 손실에 대한 그래프를 생성해보았다. 그래프 확인 결과, Overfitting 문제 및 메모리 성능에 따른 문제 등이 발생한 것으로 예상된다. 성능이 가장 높으면서, Overfitting 문제에 대해 좀 더 명확한 VGG16에 대한 훈련/검증 데이터를 그래프로 산출해 보고 성능을 더욱 높일 수 있는 방안 연구를 진행한다.

Fig. 5. ResNet50 Accuracy, Loss Graph

Fig. 6. VGG16 Accuracy, Loss Graph

CNN 모델에서 Overfitting의 대표적인 개선 방법은 Data Augmentation과 Dropout이 있으며, 두 가지 기법 사용으로 모델의 성능을 개선하고자 한다.

3.3 Improved classification model performance

분류 모델 성능 개선을 위해 우선 전체 이미지에 대해 rotation, shift, zoom, flip 조건 등으로 Data Augmentation를 진행해 보았다. Table 10.과 같이 균일한 실험 결과를 위해 증강 조건별 개수를 지정하였으며 훈련데이터의 클래스 불균형 문제 개선을 위해 Class 별 증강 개수를 달리하여 균형 있는 비율로 훈련데이터를 생성하였다.

Table 10. Data Augmentation Processing Count​​​​​​​

그리고 CNN 모델에서 Dropout layer 추가를 진행하여 Table 11.과 같은 Overfitting 개선 기법을 적용한 CNN 모델의 구조 생성하였다.

Table 11. Specifications of model using CNN​​​​​​​

Overfitting 문제 개선 기법들을 적용 후 정확도 및 손실에 대한 그래프는 Fig. 7.에서 확인할 수 있다. 그래프를 보면 기존 개선이 되지 않았던 Validation 데이터에 대한 정확도와 손실률이 일정 학습을 거듭하면서 Training 데이터와 함께 개선되고 있음을 확인할 수 있다.

Fig. 7. Model Accuracy,Loss Graphs After Data Augmentation and Dropout Application​​​​​​​

결과적으로 Data Augmentation와 Dropout을 통해 기존 VGG16 모델만 적용되었을 때 발생되는 Overfitting 문제를 개선할 수 있었다. 그로 인해 산출한 정확도는 99.19%로 확인하였으며, 최대 정확도로는 99.49%까지 볼 수 있었다. Table 12.에선 최종적으로 최적의 모델 성능 결과를 위해 실험 방법별 성능을 나열해보았다. 성능 결과는 파라미터는 동일값을 유지한 상황에서, Data Augmentation와 Dropout 추가 구성만으로 성능 개선을 진행한 결과이다.

Table 12. Performance Results Table by Model Configuration​​​​​​​

3.4 Classification Model Performance Evaluation Indicators

분류 모델을 평가할 땐 주로 혼돈 행렬(Confusion Matrix)를 기반으로 Accuracy, Precision, Recall, F1 score를 측정하는 방법이 있으며 해당 측정 방법을 적용하여 성능 평가를 진행해 보았다.

\(\begin{aligned}\text {Accuracy}=\frac{T P+T N}{T P+T N+F P+F N}\\\end{aligned}\)

(1) 정답 값 예측한 비율

\(\begin{aligned}\text {Precision}=\frac{T P}{T P+F P}\end{aligned}\)​​​​​​​

(2) 모델이 positive라고 예측한 것 중에 실제로 정답이 positive인 비율

\(\begin{aligned}\text {Recall}=\frac{T P}{T P+F N}\end{aligned}\)

(3) 실제로 정답이 positive인 것 중에 모델이 positive라고 예측한 비율

\(\begin{aligned}F 1 \text {score}=\frac{2^{*} \text { Precision } * \text { Recall }}{\text { Precision }+ \text { Recall }}\end{aligned}\)

(4) Recall과 Precision의 조화평균

성능 평가를 위해 신규로 수집된 이미지에서 분류된 각 클래스 별 랜덤 100개 데이터에 대한 성능 평가를 진행해 보았다. Fig. 8.과 Fig. 9.은 총 300개의 랜덤 데이터에 대해 정확한 분류가 얼만큼 되었는지 표시해주는 Confusion Matrix 지표이다.

Fig. 8. Fault Classification Model Performance Evaluation Indicator Confusion Matrix 1

Fig. 9. Fault Classification Model Performance Evaluation Indicator Confusion Matrix 2

성능 지표인 Confusion Matrix를 활용하여 Accuracy, Precision, Recall, F1 score를 산출하였다. 본 연구와 같은 다중 클래스 적용을 위해선 자신의 클래스는 Positive, 나머지는 모두 Negative로 계산하여 클래스별 산출 후 평균값으로 성능 평가 결과를 확인한다. Table 13.은 클래스에 대한 Precision, Recall과 산출 방법이다.

Table 13. Multi-classification Precision, Recall Evaluation​​​​​​​

랜덤 300개 데이터를 반복적으로 평가 시 0.99~1의 정확도에서 벗어나지 않음을 확인할 수 있었으며 Table 14.에서 전체 성능 평가 결과를 정리해보았다.

Table 14. Classification Model Performance Evaluation​​​​​​​

4. Produce and model real-time defect detection programs

모델 개선을 통해 99.19% 성능의 모델 구축을 완료하였다. 해당 모델을 제조 공정 내에 적용하기 위해, 실시간 카메라로 이미지를 습득하여 학습된 모델 실행 후 결과 도출을 진행해 보았다. 먼저, 이미지를 실시간으로 받고, 모니터에 디스플레이 해주기 위해 GigE 카메라 접근 라이브러리 분석으로 PC 이더넷을 통해 영상을 습득한다. 그리고 .NetFramework 환경에서 이미지 획득 및 본 연구에서 제작한 학습모델 적용으로 Fig. 10.과 같이 실시간 이미지 분류 시스템을 제작해보았다. 예측 클래스는 3가지로, 오류 라벨링과 해당 클래스일 확률 등 정보를 제공하여 제조 공정의 실시간 이미지 분류 시 성능 등을 확인해 보았다.

Fig. 10. Program for real-time fiber defect classification​​​​​​​

IV. Conclusions

본 연구에서는 섬유 제조 공정에서 발생하는 불량 감지 및 분류를 위해 공정 내 환경 구성, CNN기반 다중 클래스 분류 모델 제작, 성능 평가 및 확인을 위한 실시간 분류 확인 프로그램 연구를 포함한다. 이를 통하여 현재 수요와 활용도가 높지만 제작 환경 구축이 힘든 복합섬유 제작에 대해 불량률을 줄이고 공정 자동화 구축을 기대할 수 있다. 적은 데이터로 CNN 기반 다중 클래스 분류 모델 제작 시 과적합 문제가 발생 되었지만, Data Augmentation 및 Dropout 기법 등의 적용으로 보완하여 99.19% 성능을 보이는 다중 클래스 분류 모델 제작을 진행하였다. 본 연구에서 구축한 데이터 셋은 복합재료 제작 섬유 장비에서 주요로 확인될 수 있는 고온으로 인한 불량, 수지 함침 불량 등의 큰 범주로 다중 클래스를 구성하였다. 향후 연구에서는 프리프레그 제작 시 수지 별, 공정 속도별, 온도 단계별 발생 될 수 있는 세부적인 공정 조건별 수집되는 이미지 데이터 라벨링을 진행해보고, 분류 모델을 구축하여 장비와의 데이터 송수신으로 인한 자동화 제어가 가능하도록 확장해보고자 한다. 또한, 신규 불량에 대한 Unknown 데이터 별도 처리로 인해 학습모델 개선을 위한 연구를 진행해 볼 것이다.