Deep Learning-based Rheometer Quality Inspection Model Using Temporal and Spatial Characteristics

Abstract

Rubber produced by rubber companies is subjected to quality suitability inspection through rheometer test, followed by secondary processing for automobile parts. However, rheometer test is being conducted by humans and has the disadvantage of being very dependent on experts. In order to solve this problem, this paper proposes a deep learning-based rheometer quality inspection system. The proposed system combines LSTM(Long Short-Term Memory) and CNN(Convolutional Neural Network) to take advantage of temporal and spatial characteristics from the rheometer. Next, combination materials of each rubber was used as an auxiliary input to enable quality conformity inspection of various rubber products in one model. The proposed method examined its performance with 30,000 validation datasets. As a result, an F1-score of 0.9940 was achieved on average, and its excellence was proved.

고무생산업체에서 생산된 고무는 레오미터 측정을 통해 품질 적합성 검사가 이루어진 후, 자동차 부품을 위한 2차 가공으로 이어진다. 그러나 레오미터 검사는 인간에 의해 진행되고 있으며, 숙련된 작업자에게 매우 의존적이라는 단점이 존재한다. 이러한 문제점을 해결하기 위해 본 논문에서는 딥러닝 기반 레오미터 품질 검사 시스템을 제안한다. 제안된 시스템은 레오미터의 시간적, 공간적 특성을 활용하기 위해 LSTM과 CNN을 조합하였고, 각 고무의 배합재료를 보조(Auxiliary) 데이터 입력으로 사용해 하나의 모델에서 다양한 고무 제품의 품질 적합성 검사가 가능하도록 구현하였다. 제안된 기법은 30,000개의 데이터셋으로 그 성능을 학습 및 검사하였으며, 평균 f1-점수를 0.9942 달성하여 그 우수성을 증명하였다.

I. Introduction

스마트팩토리는 설계 및 개발, 제조 및 유통 등 전반적인 생산과정을 정보기술로 통합하여 최적의 비용과 시간으로 제품을 생산할 수 있는 미래형 공장을 의미한다[1, 2]. 최근, 제조업 분야에서 국가 간의 경쟁이 심화함에 따라 경쟁력을 향상하기 위한 노력이 다양한 관점으로 이루어지고 있다[3]. 이러한 추세는 산업 전반을 크게 고도화시켜 4차 산업혁명 시대로 이끌었으며, 정부뿐만 아니라 학회, 협회, 대기업 등에서도 이러한 눈부신 기술적 혁명에 대해 주목하고 있다. 나아가 국제 표준안, 관련 플랫폼 및 프레임워크 등도 꾸준하게 발표되고 있다[4, 5]. 이러한 현황에 힘입어, 글로벌 스마트팩토리 시장은 그림 1에서 보이듯이 계속 성장하고 있다[6].

Fig. 1. Graph of Annual Smart Factory Market Size

이처럼 스마트팩토리 시장 규모는 Coronavirus disease-2019(COVID-19)를 제외하고 매년 성장하고 있으며, 앞으로도 꾸준히 성장할 것으로 전망되고 있다. 특히, 스마트팩토리 트렌드는 Artificial Intelligence(AI) 그리고 블록체인과 같은 첨단 기술들을 적용하는 방향으로 나아가고 있다[7-10]. 예를 들어 AI를 활용한 생산된 제품의 불량판별, 제조설비의 실시간 정보를 이용한 이상 탐지, 작업 시뮬레이션, 제조 자동화 등이 대표적인 사례이다.

그러나 국내 산업현장은 스마트팩토리에 필요한 기술력이 다른 기술적 선진국에 비해 부족한 실정이다[11]. 여전히 오래된 구형 설비를 운용하거나 숙련된 전문인력에 의존하는 제조업체가 많으며 이로 인해 효율적이지 못한 작업, 열악한 작업환경, 안전사고 등의 문제가 발생할 수 있다. 고무생산‧제조 업체에서는 어떠한 특성을 가지는 고무제품 생산을 위한 원재료 및 기타 재료들의 혼합비율을 최적화하는 작업과 생산된 고무의 품질 적합성을 검증하는 작업 등에서 숙련된 작업자에 의존하고 있다. 특히, 생산된 고무 품질의 적합성 검증을 위해 레오미터 검사를 수행하는데, 이때 숙련된 작업자의 경험적 지식과 감각적인 판단이 많이 개입된다[12]. 그러나 전문가에 의존적인 작업방식은 결국엔 실수가 발생하고 지속적이지 못하다는 단점이 있으며 후임 작업자를 양성하기에도 시간적, 경제적 비용이 많이 든다는 어려움이 존재한다.

본 논문에서는 고무생산‧제조 업체에서 숙련된 작업자에 의존적인 고무 제품의 품질점검에 대한 어려움을 해소하기 위해 레오미터 검사 자동화를 위한 시계열 및 이미지 기반의 AI 학습모델 제안한다. 그리고 학습 데이터셋 가공을 위한 전처리, 학습모델 아키텍처 구현 그리고 성능검증을 위한 사용자 인터페이스 기반 소프트웨어 구현기법을 제안한다. 제안시스템은 다음과 같은 특징을 가진다.

• 고무 제품의 배합재료를 보조(Auxiliary) 입력으로 사용하여 하나의 통합된 모델로 다양한 고무 제품에 대해 품질 검사를 가능하게 한다.

• 제안된 모델에 측정된 레오미터 입력값을 제공하면 자동으로 결과가 도출되기 때문에 시간적·경제적 비용을 감소할 수 있으며, 나아가 인공지능 기반 스마트팩토리 개선에 기여할 수 있다.

• 고무 제품은 다양한 산업에서 사용되기 때문에 고무 제품의 품질 검사는 매우 중요하며 인공지능 기법을 활용한 결과는 제품을 활용하는 고객들에게 더욱 신뢰성을 제공한다.

이하 본 논문은 구성은 다음과 같다. 2장에서 관련 연구를 소개하고 3장에서 시계열, 이미지 데이터에 기반한 AI 학습모델과 이를 활용할 수 있는 소프트웨어를 제안한다. 그리고 4장에서 제안모델에 대한 실험 평가를 통해 성능을 검증하고 마지막 5장에서 결론을 맺는다.

II. Related Works

1. AI Methods For Pattern Detection

생산제조 현장에서 생성, 기록되는 데이터들의 패턴을 잘 이용하면 불량 제품을 선별하거나, 설비의 실시간 이상 상태를 탐지할 수 있다[13]. 그러나 인간의 육안으로 이러한 패턴을 판단하기에는 경우의 수가 너무 많아 오랜 시간 노하우를 습득한 전문인력이 아닌 이상, 패턴이 의미하는 정보를 판단하기가 매우 어렵다. 최근에는 이러한 데이터 패턴들로부터 정보를 탐지하는 인공지능 기법이 많이 등장하였고 각 분야에서 눈부신 성과를 나타내고 있다. 특히, CNN, LSTM 등 이미지와 텍스트를 처리할 수 있는 딥러닝 기술이 사용되고 있고, 이들을 기반으로 한 파생 기술들이 많이 연구되어 산업 전반에 많이 적용되고 있다[14-23].

이 중 LSTM은 시간적 정보를 가지는 시계열 또는 텍스트 정보만을 입력받아 미래의 값을 예측하거나 카테고리를 분류할 수 있다. 그러나 결과에 큰 영향을 미칠 수 있는 다양한 외부적인 속성을 반영하여 정밀한 결과를 도출하기 위해서는 Auxiliary LSTM과 같은 구조가 요구된다[15]. 이러한 보조(Auxiliary) 데이터를 통해 학습과 추론의 품질(quality)을 높일 수 있으며 CNN이나 기타 모델에도 응용할 수 있다. 제조업에서 발생하는 데이터들은 대부분 시간적, 공간적 특성을 가지는 경우가 일반적이기 때문에 보조 데이터를 활용한 LSTM과 CNN을 활용하여 문제점들을 해결할 수 있다.

2. Improvement Of Industrial Environment Using AI Technology

Nguyen, HT.의 연구에서는 속도 및 정확도 향상을 위해 임베디드 보드로부터 관심 영역을 추출한 뒤, VGGNet, ResNet, DenseNet, GoogLeNet 네 가지 딥러닝 모델에서 임베디드 보드의 양품/불량품 판별 성능을 비교하였다[16]. 실험 결과로 DenseNet을 활용했을 때 가장 높은 성능을 보였지만, 다른 모델에 비해 1.5배 더 많은 학습 시간을 요구하였다. 또한, 이 연구의 저자들은 모델의 성능을 높이기 위해 전체 이미지가 아닌 관심 영역만 추출해 학습 및 테스트에 사용하였으며, 약 2~3%의 성능 향상을 보였다. 최종적으로 제안된 기법에서는 약 99%의 정확도를 보였으며, 실제 환경에서 높은 정확도로 불량품을 신속하게 분류할 수 있음을 보여주었다.

송지영의 연구에서는 다이 캐스팅 공정에서 결함을 탐지하기 위한 Deep Generative Model을 제안하였다[17]. 그러나 실제 제조 현장에서는 데이터의 수집이 원활하지 않고, 데이터 개수도 부족할 뿐만 아니라 라벨링 작업도 되어 있지 않다. 따라서 송지영의 연구에서 제안된 기법은 Variational Autoencoder-Reconstruction along Projection Pathway(VAE-RaPP)와 Fence Generative Adversarial Network(Fence GAN)를 적용하여 데이터 부족 문제도 해결할 뿐만 아니라 모델의 성능도 높였다[18]. 특히, 세 가지 인코딩 기법을 사용했으며, 모든 인코딩 기법에 대해 네 가지 평가 지표에서 기존 기법과 비교했을 때 전반적으로 높은 성능을 보였다.

Xie, W. 는 딥러닝 모델과 전이 학습을 이용한 불량 당근 탐지 모델을 제안하였다[19]. 이 연구의 저자들은 5개의 CNN 파생모델(Densenet-121, ResNet-50, Inception-V3, VGG-16, VGG-19)을 학습 및 테스트하였으며, 이 모델 중 ResNet-50이 가장 높은 성능을 보였다[20]. 최적의 성능 향상을 위해 ResNet-50을 제외한 4개의 모델 중 임의의 2개의 모델을 선택해 앙상블 모델을 구현하였다. Xie, W.의 기법은 ResNet-50, Densenet-121, VGG-16을 사용한 앙상블 모델이 약 97.01%의 f1-score를 보였으며, 이는 가장 높은 성능이었다. 나아가 이 앙상블 모델은 이미지당 0.09초의 처리 속도를 보여주어 실용적인 측면에서도 강점을 가진다. 따라서 이 연구의 저자들은 전이 학습을 통한 CNN의 강력한 성능은 불량 당근을 인식하는 효과적인 방법이 될 수 있음을 주장했다.

Khorram, A.의 연구에서는 실시간으로 베어링 결함을 감지하는 모델을 구현하기 위해 베어링 가속도 데이터를 활용했으며, Convolutional Long-Short Term Memory Recurrent Neural Network(CRNN)를 활용했다[21]. 최적의 성능 향상을 위해 CNN과 Max Pooling으로부터 도출된 결과를 LSTM의 입력값으로 사용하였다. Khorram A.의 기법은 99.77%의 정확도를 보였다. 그러나 공장에서 추출할 수 있는 데이터는 그 수가 매우 부족하기 때문에 GAN을 활용해 데이터 부족 및 클래스 불균형 문제를 해결해야 함을 언급했다.

Spandonidis, C. 는 석유, 가스 등을 저장 및 운송하는 파이프라인의 누출을 탐지하기 위한 CNN 기반의 모델과 LSTM 기반의 모델을 제안하였다[22]. LSTM에서 데이터를 효율적으로 표현하기 위해 Auto Encoder(AE)를 활용한 LSTM-AE 모델을 응용하였다[23]. 파이프라인에서 센서를 설치한 뒤, 센서로부터 실시간 데이터를 수집한다. CNN 모델은 수집된 데이터를 시간-주파수 도메인으로 변환하고, 스펙트로그램(Spectrogram)을 생성한다. CNN 모델은 이 스펙트로그램을 기반으로, LSTM-AE 모델은 센서로부터 수집된 실시간 데이터를 기반으로 학습이 진행된다. 제안된 기법은 실제 정유 공장 시설에서 3일 동안 테스트를 진행했으며, 실제 환경에서 파이프라인의 누출을 잘 감지할 수 있음을 증명했다.

이처럼 많은 선행 연구들이 생산제조의 각 분야에서 행해졌으며 AI 기술을 활용하여 기존 운영방식의 문제를 해결하기 위해서 큰 노력을 수행하였고 적지 않은 성과를 이루었다. 이러한 많은 사례가 있음에도 불구하고 국내 제조업체에서는 품질점검에 대해 인간에 의한 검사방식을 유지하고 있으며 특히 고무생산제조를 포함한 일부 분야에서는 전문가에 의존적인 품질 검사가 행해지고 있다. 또한, AI 모델이 여러 제품이 아닌 특정 제품에 한정적으로 유효하다는 점에서 실용적으로 적용하기 어렵다는 한계를 가진다. 국내의 완성도 높은 스마트팩토리 구현을 위해서는 이러한 부분들이 많이 해소되어야 할 것으로 판단된다.

III. The Proposed System

본 연구에서 제안된 시스템의 구조는 그림 2에서 보여준다.

Fig. 2. Approach of the Proposed Method

제안된 딥러닝 기반 레오미터 검사 자동화 시스템은 크게 Auxiliary CNN와 Auxiliary LSTM으로 구성된다. 그리고 레오미터 측정기로부터 생성된 고무 제품의 데이터를 전처리하여 레오미터의 시계열 정보를 확보하고 이미지 변환을 수행한다. 이어서, 레오미터 시계열 정보는 Auxiliary LSTM의 입력값으로, 이미지 정보는 Auxiliary CNN의 입력값으로 사용된다. 또한, 다양한 고무 제품의 재료 특성을 반영한 통합 모델 구현을 위해, 보조 데이터를 사용한다. 마지막으로, 두 모델로부터 추론된 결과를 앙상블(Soft Voting) 하여 최종 결과를 도출하며, 이를 통해 고무 제품의 품질 적합성 통과 여부를 판별한다.

1. Auxiliary LSTM Model

고무의 품질 적합성 판별을 위해, 레오미터 시계열 특성과 원재료 및 배합재료의 정보를 반영하는 Auxiliary LSTM 구조를 그림 3에 보인다. 그림 3에서 LSTM layer는 총 4개로 이루어져 있으며, 모두 tanh(Hyperbolic Tangent) 활성화 함수를 사용한다. 그리고 각 layer는 256, 128, 64, 32개의 cell의 개수를 가진 2층 LSTM layer가 사용된다. LSTM layer에서 시계열 데이터의 학습이 완료되면 학습된 데이터를 기반으로 품질 적합성 여부를 판별하는 Fully-connected layer로 그 결과가 전달된다. 이때 보조 데이터 입력값이 제공된다. 보조 데이터 입력값은 하나의 모델에서 다수의 고무 제품의 품질 적합성을 판별하는 용도로 사용한다. 본 모델에서는 32종류의 배합재료에 대한 고무 제품별 사용 여부를 보조 데이터 입력으로 활용하였다. 리스트 형태를 가진 LSTM layer에서의 학습 결과와 보조 데이터 입력이 ReLU(Rectified Linear Unit) 활성화 함수를 사용하며, 32개의 cell을 가진 Fully-connected layer(unit=32)의 입력값으로 제공된다. 마지막으로 소프트맥스(softmax) 활성화 함수를 사용하며, 2개의 cell을 가진 Fully-connected layer를 거쳐 고무의 품질 적합성 여부를 0과 1로 판단하는 결과가 출력된다. 이 정보는 Auxiliary CNN과 함께 앙상블 되어, 최종 결론을 도출하는 데 활용된다.

Fig. 3. Structure of Auxiliary LSTM used in the Proposed Method

2. Auxiliary CNN Model

일반적인 신경망(Neural Network) 모델은 입력값으로 1차원 데이터를 사용하기 때문에 본래에 2차원 이상의 특성을 가지는 데이터를 입력값으로 사용할 경우, 1차원 데이터로 만드는 과정에서 공간적/지역적 정보가 손실될 수 있다. 이처럼 이미지, 영상 등 고차원 데이터에서 공간적/지역적 특성을 가능한 반영한 상태로 학습에는 CNN 모델이 매우 강점을 보인다. CNN은 여러 Convolution layer를 통해, 고차원 특성에서 다양한 관점의 특징을 추출하고 학습할 수 있다. 각 데이터에서 서로 다른 해상도의 필터가 적용되고, 필터가 적용된 결과는 다음 layer의 입력값으로 사용된다. 이처럼 CNN은 데이터의 숨겨진 특징을 추출하며, 숨겨진 특징으로부터 학습을 진행한다는 특징 때문에 이미지, 영상 처리 분야에서 자주 사용되고 있다.

제안된 기법에서는 이러한 시각적, 공간적 특성을 활용하기 위해 그림 4와 같은 Auxiliary CNN 구조를 사용한다. 그림 4에서 보면 3x3과 12x12 convolution layer와 batch normalization을 통해 이미지의 부분별 특징을 추출 및 정규화 작업을 수행한다. 그리고 맥스 풀링(max pooling)을 통해 각 부분에서 대푯값을 추출한다. 그런 다음, 12x12 convolution layer, batch normalization 그리고 max pooling을 통해 새로운 형태의 이미지에서 각부분의 대푯값을 추출한다. 마지막으로 Fully-connected layer를 거칠 때, LSTM과 동일하게 Auxiliary Input을 입력값으로 함께 제공하며, 양품/불량품 여부를 의미하는 최종 결과가 도출된다.

Fig. 4. Structure of Auxiliary CNN used in the Proposed Method

3. Data Schema

고무 샘플을 레오미터 측정기에 투입 후 생성된 원시 데이터(raw data)로부터 전처리 과정을 거처 표 1의 스키마의 형태로 레오미터의 시계열 정보가 데이터베이스에 저장된다.

Table 1. Schema of rheometer time series data

저장되는 정보는 고무 제품 코드, 작업 일자, 투입된 재료정보, 시간별(초당) 레오미터 측정 정보, 품질 적합성 검사 결과로 구성된다. 여기서 재료정보와 레오미터 측정 정보는 길이가 매우 길기 때문에, #을 구분자로 연속된 데이터를 텍스트 형식으로 표현하였다. 그림 5는 JSON 형식으로 데이터의 예시를 나타낸 것이다.

Fig. 5. JSON Format of rheometer time series data​​​​​​​

그림 5에서 재료정보의 경우, 특정 재료가 사용되었음을 0(사용 안 함)과 1(사용)로 표현했고. 예를 들어 “1#1#0#1”이라고 표현되었을 경우 첫 번째, 두 번째 그리고 네 번째 자료가 사용되었다는 의미이다. 또한, 레오미터 시계열 정보에서 “100#102#104#110”인 경우 1초에 100, 2초에 102, 3초에 104, 4초에 110이 측정되었다는 의미이다.

최종적으로 본 논문에서 제안된 기법 중 LSTM에서 사용된 데이터는 레오미터 실험에서 측정된 값 300개가 입력으로 전달되므로 1 × 300의 형태(shape)를 가진다. CNN에서 사용된 데이터는 학습 및 예측 시간의 최적화를 위해 그래프 이미지를 축소하여 1 × 100 × 150 × 3의 형태를 구성하였다.

Fig. 6. User Interface of Rheometer Quality Inspection System​​​​​​​

4. Rheometer Quality Inspection Verification Software

학습된 레오미터 품질 적합성 검사모델은 실제 현장에 적용되기 위해서는, 사용자 편의를 제공하는 User Interface(UI)가 포함된 소프트웨어로 제공되어야 한다. 그림 6은 레오미터 품질 검사의 실시간 검사 기능과 검사되었던 과거의 기록들을 조회할 수 있는 레오미터 품질 적합성 검사 소프트웨어의 화면을 나타낸 것이다. 또한, 사용자가 검사된 이력을 통계와 시각화를 통해 분석할 수 있는 기능이 추가로 포함되었다. 그림 6-a과 6-b는 레오미터 측정기가 검사를 끝냈을 때, 표 1처럼 추출되는 정보들을 데이터베이스에 저장하고 측정된 데이터를 기반으로 품질 검사 결과를 출력한다. 이 화면에서는 레오미터 그래프, 품질 검사 결과, 그리고 누적 불량 비율을 확인할 수 있다. 그림 6은 검사했던 모든 제품의 정보를 확인할 수 있는 화면이며 리스트의 항목을 선택하면 항목에 대한 검사 결과를 보여준다. 또한, 추가로 그림 6-c에서 불량에 대한 통계, 시각화를 이용한 분석을 수행할 수 있다. 마지막으로 그림 6-d에서 raw data 파일을 수동으로 업로드하여 평가를 수행하는 평가하기 기능이 제공된다.

IV. Evaluation

본 장에서는 제안된 시스템의 성능평가를 통해 제안시스템의 실용성을 검증한다. 실험에 사용될 데이터는 국내 고무생산‧제조 업체 S사에서 제공한 약 10만 건의 레오미터 raw data이다. 이를 이용해 제안된 시스템이 수십 가지 이상의 고무 품질의 적합성을 얼마나 정확하게 판단하는지 혼동행렬(confusion matrix)을 측정하고 이를 통해 정밀도(precision), 재현율(recall), 정확도(accuracy), F1-점수를 계산하여 정량적 성능을 평가한다. 10만 건의 데이터 중 70%는 학습 데이터셋으로, 30%는 테스트 데이터셋으로 활용하였고, 10-폴드(fold) 교차 검증을 통해 성능을 나타내었다.

테스트는 가장 대표적으로 사용되는 딥러닝 라이브러리인 tensorflow 2.0과 keras를 함께 사용한 모델을 구축한 뒤, 모두 동일한 환경에서 진행되었다. 또한, 결과 분석은 python에서 머신러닝과 딥러닝 분석을 할 때 유용하게 사용할 수 있는 라이브러리인 scikit-learn을 사용하였다.

1. Auxiliary LSTM Performance Evaluation

표 2-a는 Auxiliary LSTM에 대한 혼동행렬을 나타낸다. 전체 검증셋 데이터는 총 29,998개이며 그중 11,966개가 비적합, 18,032개가 적합으로 구성되어 있음을 알 수 있다. 11,965개의 비적합 샘플 중 11,801개를 정답으로, 18,032개의 적합 샘플 중 16,986개를 정답으로 예측하였으며 총 29,998개의 데이터 중 28,787개를 정답으로 예측했음이 확인되었다. 또한, 정밀 평가를 위해 표 2-a의 혼동행렬을 기반으로 정밀도, 재현율, 정확도, F1-점수를 측정하여 표 3-a와 같이 나타내었다. 표 3에서 주목해야 할 중요한 지표는 F1 점수이다. F1 점수는 두 클래스에 대한 균형 평가를 위한 평가 지표로서, 비적합, 적합 예측에 대한 성능이 각각 0.9512, 0.9656으로 높은 수준의 판별력을 보였으며 평균적으로 0.9584를 달성하였다.

Table 2. Confusion Matrix for each Model​​​​​​​

2. Auxiliary CNN Performance Evaluation

표 2-b는 Auxiliary CNN에 대한 혼동행렬을 나타내고 있으며 11,966개의 비적합 샘플 중 11,766개를 정답으로, 18,032개의 적합 샘플 중 17,951개를 정답으로 예측하였으며 총 29,998개의 데이터 중 29,717개를 정답으로 예측했음이 확인되었다. 앞서 먼저 평가되었던 Auxiliary LSTM에 비해서 적합에 대한 예측도가 대폭 향상되었음을 확인할 수 있다. 반면 비적합의 경우 성능이 소폭 감소했다. 더 자세한 평가를 위해 표 2-b의 혼동행렬을 기반으로 정밀도, 재현율, 정확도, F1-점수를 측정하여 표 3-b과 같이 나타내었고 비적합, 적합 예측에 대한 F1-점수가 각각 0.9882, 0.9922로 Auxiliary LSTM보다 더 높은 수준의 성능을 보였으며 평균적으로 0.9902를 달성하였다.

3. Performance Evaluation Through Ensemble

아래의 표 2-c는 앞선 두 모델을 앙상블한 결과에 대한 혼동행렬을 나타낸다. 앙상블 기법으로 소프트보팅(Soft Voting)을 선택했고 소프트보팅은 두 모델의 소프트맥스가 내는 예측 확률을 평균적으로 계산하여 두 모델의 특성을 가능한 반영할 수 있는 장점이 있다. 표 2-c의 혼동행렬에 의하면 11,965개의 비적합 샘플 중 11,874개를 정답으로, 18,032개의 적합 샘플 중 17,953개를 정답으로 예측하였으며 총 29,998개의 데이터 중 29,824개를 정답으로 예측했음이 확인되었다. 이는 앞선 두 모델의 성능을 완전히 보완했음을 보여준다. 더 자세한 성능분석을 위해 표 3-c의 각 항목의 F1 점수를 확인해보면 순서대로 0.9927, 0.9952, 0.9940을 달성하여, 모든 항목에서 기존 모델들의 성능을 소폭 향상했음을 알 수 있다.

V. Conclusions

본 논문에서는 Auxiliary LSTM과 Auxiliary CNN를 앙상블하여 고무 제품 레오미터 품질 적합성 검사 시스템을 제안하였다. 제안시스템은 정밀도 높은 측정을 위해 레오미터 정보 외에 각 제품의 배합정보를 보조(Auxiliary) 데이터 입력으로 사용하였기 때문에 다수의 제품에 대한 검사가 가능하다는 장점이 있다.

Table 3. Classification Performance for each Model​​​​​​​

제안시스템에서 사용된 모델의 성능평가를 위해, F1-점수를 계산하였고 최종적으로는 0.9940를 달성하여 매우 우수한 성능의 고무 제품의 품질 검사가 가능함을 증명했다. 이러한 딥러닝 기반의 고무의 레오미터 품질 검사 시스템은 현장의 작업속도와 실수를 줄여 전반적인 작업효율 및 품질향상에 크게 이바지할 수 있다. 실제로 본 시스템은 데이터를 제공한 국내 고무생산‧제조 업체 S사의 고무생산 공정에 적용하여 실증 중이며 데이터가 쌓일수록 기존 검사방식과 비교했을 때 더욱 정확하고 빠르게 고무제품의 품질 검사를 수행할 수 있을 것으로 전망한다.

그러나 공장에서 수집되는 고무 제품의 레오 미터 실험 데이터는 특정 고무 제품 또는 특정 클래스에만 데이터가 집중되어있어 그 개수가 매우 부족하다는 단점이 존재한다. 따라서 우리는 GAN 등을 활용해 가상 데이터를 생성할 뿐만 아니라 기존 판별 모델 이상의 판별 성능을 보여줄 수 있는 딥러닝 모델 구현을 향후 연구로 남긴다.