Highlighting Defect Pixels for Tire Band Texture Defect Classification

타이어 밴드 직물의 불량유형 분류를 위한 불량 픽셀 하이라이팅

Abstract

Motivated by people highlighting important phrases while reading or taking notes we propose a neural network training method by highlighting defective pixel areas to classify effectively defect types of images with complex background textures. To verify our proposed method we apply it to the problem of classifying the defect types of tire band fabric images that are too difficult to classify. In addition we propose a backlight highlighting technique which is tailored to the tire band fabric images. Backlight highlighting images can be generated by using both the GradCAM and simple image processing. In our experiment we demonstrated that the proposed highlighting method outperforms the traditional method in the view points of both classification accuracy and training speed. It achieved up to 13.4% accuracy improvement compared to the conventional method. We also showed that the backlight highlighting technique tailored for highlighting tire band fabric images is superior to a contour highlighting technique in terms of accuracy.

사람은 독서나 필기 중 중요 문구를 형광펜으로 칠하는 것에서 착안하여, 본 논문에서는 복잡한 배경 질감을 가진 영상에서의 불량유형을 효과적으로 분류하기 위해 불량 픽셀 영역을 하이라이팅 하여 신경망을 훈련하는 방법을 제안한다. 제안 방법의 가능성을 검증하기 위하여 불량유형 구분이 매우 어려운 타이어 밴드 직물의 불량유형 분류에 제안 방법을 적용한다. 또한, 타이어 밴드 직물 영상에 특화된 백라이트 하이라이팅 방법을 제안한다. 백라이트 하이라이트 영상은 GradCAM 기법과 간단한 영상처리를 이용하여 획득할 수 있다. 실험에서 우리는 제안하는 하이라이팅 기법이 분류 정확도뿐만 아니라 훈련속도 면에서 기존 방법보다 우수함을 보였다. 인식률 면에서는 제안 방법이 기존 방법 대비 최대 13.4%의 향상을 달성하였다. 타이어 밴드 직물 영상에 특화된 백라이트 하이라이팅 기법이 윤곽 하이라이팅 기법보다 정확도 측면에서 우수함을 보였다.

Ⅰ. 서론

불량검출은 전통적인 머신비전 응용 중 하나이다. 일반적으로 머신비전에서의 불량검출은 어떤 일정한 패턴을 가진 대상에서 그 패턴과는 차이가 나는 영역을 감지하는 것을 말한다. 결함검출 또는 분류는 가장 성공적인 머신비전 응용이다. CNNs(Convolutional Neural Networks)[1]은 결함검출 및 인식 적용 분야를 빠르게 확장하고 있다 [2-5]. 전통적인 특성공학기법은 단색 배경에서 단순하고 일관성 있는 모양의 결함만을 다룰 수 있었으나, CNNs은 복잡한 텍스처를 갖는 배경에서 매우 다양한 모양의 결함까지도 다룰 수 있기 때문이다.

최근 현장에서는 불량유형에 따른 불량원인 분석 및 점검을 위해 불량검출을 통해 획득할 수 있는 불량영역 영상을 대상으로 불량유형 구분을 요구한다. 배경이 간단한 경우는 간단한 비전 기술을 이용하여 불량검출 및 불량유형 판정을 수행할 수 있다. 그러나, 배경이 복잡하거나 다양한 질감을 가진 경우는 딥러닝을 도입하더라도 수많은 훈련 시행착오를 거치며 하이퍼 파라미터를 다듬는 과정이 필요하다.

결함 영역에 대한 레이블 정보가 있는 경우, 결함 영역을 검출하는 가장 간단한 방법은 결함이 포함된 패치와 결함이 포함되지 않은 패치를 구분하는 분류기를 학습한 후, GradCAM(Gradient-weighted Class Activation Mapping)[6]과 같은 딥러닝 시각화 기법을 사용하여 결함 영역에 대한 히트맵을 얻는 방법이다. 학습 단계에서는 원본 영상의 일부를 무작위로 잘라낸 패치를 신경망의 입력으로 하고, 테스트 단계에서는 원본 영상을 입력으로 한다. 이처럼 학습 단계에서 사용하는 패치의 해상도와 테스트 단계에서 사용하는 입력 영상의 해상도는 다르므로 입력 영상의 해상도에 무관하도록 신경망을 설계해야 한다.

이러한 목적을 달성하기 위해, 신경망은 분류를 위한 소프트맥스 층 직전에 전역평균풀링 층 [7]을 배치하고 이전의 모든 층들은 합성곱 층으로만 구성한다 [8]. 한편, 시각화를 위해 사용하는 GradCAM은 CAM [9]과는 달리 전역평균풀링 층에 구애받지 않는다.

주어진 패치가 결함 패치인지 아닌지를 구분하는 경우, 패치에서 결함의 위치, 크기, 형태는 매우 다양할 수 있다. 불행히도 CNNs은 풀링 층을 통해 약간의 이동 불변 성질을 갖지만 합성곱 층 자체로는 등변성(Equivariance)하므로 이동 불변에는 취약하다 [10]. 이러한 문제에 대처하기 위해서는 풍부한 데이터 증강이 필수적이다. 왜냐하면, 결함 객체의 크기, 위치, 회전, 모양, 배경을 달리하는 풍부한 훈련 데이터가 주어져야 결함 객체가 이러한 변화에는 무관하다는 것을 신경망이 학습할 수 있기 때문이다.

우리는 충분한 데이터 증강을 통해 많은 양의 데이터를 학습시킴으로써 신경망의 일반화 성능 향상을 기대할 수 있다. 그러나 데이터 증강에 의해 야기된 다양한 변화를 수용하기 위해 신경망의 용량을 늘려야 하고 성공적인 학습을 위한 훈련 비용도 감수해야 한다.

본 논문에서는 대량의 데이터 증강 없이 신경망을 효과적으로 학습하는 방법을 제안한다. 사람은 독서나 노트 중 중요 문구에 형광펜을 칠하여 주목한다는 점에 착안하여, 신경망이 영상의 일부분을 차지하는 결함 영역 픽셀에 주목할 수 있도록 결함 영역 픽셀을 임의로 강조하여 학습하는 방법을 제안한다. 우리는 제안하는 방법을 하이라이팅이라고 이름을 지었다.

하이라이팅 훈련 전략은 중요한 특징을 강조하는 측면에서 주의 모델[11-13]과 그 목적을 같이한다. 그러나, 주의 모델은 풍부한 훈련 데이터의 학습을 통해 신경망 스스로가 신경망의 중간층에서 출력되는 특징 맵을 대상으로 중요 특징을 강조하는 반면, 제안하는 하이라이팅 전략은 중간층이 아닌 입력층에 대해 사람이 중요하다고 생각하는 픽셀을 직접 강조하는 방식에서 차이가 있다. 한편, Pix2Pix(Pixel2Pixel)[14] 응용으로 스캔 만화 영상을 선명한 영상으로 변환하는 모델에서 목표 영상의 일부를 강조하여 훈련하는 방식을 제안하였다[15]. 이 방법 또한 입력단 강조 대신 출력단 강조라는 점만 제외하면 하이라이팅 학습전략과 맥을 같이 한다.

하이라이팅 훈련 전략을 실제로 활용하기 위해서는 입력 영상에 대해 하이라이팅을 자동으로 하는 방법론이 필요하다. 본 논문에서는 이를 위해 GradCAM 기반 방법을 제안한다.

본 논문에서는 제안방법을 타이어를 구성하는 합성섬유 직물 영상의 불량유형에 적용한다. 그림 1은 타이어 직물 영상에서 나타나는 총 13가지 불량의 유형을 보여준다. 그림에서 보듯이 타이어 직물 영상은 배경 질감이 복잡하고 불량의 형태도 다양하여 불량유형 판정이 매우 어렵다. 본 논문에서는 타이어 직물 영상의 특징을 고려하여 불량판정에 효과적인 하이라이팅 방법을 제안한다.

그림 1. 타이어 밴드 직물의 불량유형

Fig. 1. Defect type of tire band texture

본 논문의 구성은 다음과 같다. 2장에서는 하이라이팅 기반 신경망 훈련방법, 하이라이팅 방법, 하이라이팅 자동화 방법, 그리고, 타이어 직물 영상에 대한 분류 신경망 구조를 설명한다. 3장에서는 제안 하이라이팅 방법의 가능성을 확인하는 예비실험을 제시한다. 그리고 타이어 직물 영상에 적용한 하이라이팅 방법에 따른 성능을 비교한다. 마지막 4장에서는 결론을 제시한다.

Ⅱ. 하이라이팅 신경망 훈련 전략

2-1 하이라이팅 신경망 훈련 과정

제안하는 방법은 신경망이 입력 영상의 전체 픽셀이 아니라 중요한 일부 픽셀에 주목하여 훈련할 수 있도록 불량 픽셀을 강조하여 훈련하는 방법이다. 사람이 독서나 필기 중 중요 문구를 형광펜으로 칠하는 것에서 착안하여 하이라이팅이라고 이름을 지었다. 제안하는 방법은 사람이 알고 있는 입력 영상의 특징을 신경망이 주목하여 학습할 수 있도록 신경망의 입력을 적절하게 변환하여 달성될 수 있다. 그림 2는 불량유형 분류문제에 대한 하이라이팅 훈련 과정을 예시 영상을 통해 보여준다.

그림 2. 불량 유형 분류를 위한 하이라이팅 훈련 과정

Fig. 2. Training process of highlighting for defect

2-2 하이라이팅 방법

하이라이팅은 관심 객체의 픽셀값을 주변 픽셀에 대비해 상대적으로 키우거나, 관심 객체의 경계를 강조하거나, 또는 후광 효과처럼 관심 객체의 주변 픽셀을 밝게 하는 등 다양한 방식을 도입할 수 있다.

직접 픽셀값을 변경시키는 방식과는 다르게 간접적으로 하이라이팅을 수행 할 수 있다. 입력 영상 이외에 보조 영상을 추가로 신경망의 입력으로 제공하는 방법이다. 예들 들면, 비디오 영상분석에서는 영상 프레임 이외에 미리 구한 광류 영상을 추가입력으로 사용한다[16, 17]. 광류 영상은 영상 프레임에서 움직임이 있는 픽셀 부분을 강조하는 역할을 한다.

그림 3은 타이어 밴드 직물 영상에 적용할 수 있는 하이라이팅 예시를 보여준다. 왼쪽부터 차례대로 원본 영상, 수작업을 통한 윤곽 하이라이팅 영상, GradCAM 및 영상처리를 이용한 백라이트 하이라이팅 영상이다.

그림 3. 타이어 밴드 직물 영상의 하이라이팅

Fig. 3. Highlighting images of tire band texture

윤곽 하이라이팅은 수작업으로 획득한 윤곽 레이블 정보를 이용하여 얻을 수 있고, 백라이트 하이라이팅은 GradCAM 및 일련의 영상처리를 통해 자동으로 생성할 수 있다. 이때, 두 경우 모두 강조하는 픽셀 이외의 배경 픽셀은 상대적으로 어둡게 바꾸어 하이라이팅의 효과를 높인다.

2-3 GradCAM 신경망을 이용한 하이라이팅

본 절에서는 타이어 밴드 직물 영상에 적용할 수 있는 하이라이팅을 위해 GradCAM 기법과 간단한 영상처리를 이용한 백라이트 하이라이팅 방법을 제안한다.

제안하는 방법은 불량 여부를 판정하는 이진 분류기를 먼저 훈련시키고 난 후 이 분류기에 대해 GradCAM을 적용하여 획득한 불량 픽셀에 대한 히트맵을 활용하는 방법이다. 히트맵 획득을 위한 분류기는 불량의 유형을 구분하지 않고 모든 불량유형을 훈련에 사용할 수 있어 최종 훈련 목표인 13개의 클래스를 구분해야 하는 불량유형 분류기에 비해 상대적으로 충분한 수의 학습 데이터를 확보할 수 있을 뿐만 아니라 불량 유무만을 구분하는 이진 문제를 학습하므로 상대적으로 쉽게 훈련 시킬 수 있다. 그림 4는 불량 여부를 판정하는 이진 분류기에 GradCAM을 적용하여 획득한 영상을 보여준다. 불량영역이 잘 구분된 것을 확인할 수 있다.

그림 4. 히트맵 영상 획득 과정

Fig. 4. Process of heatmap generation

히트맵을 얻고 나면 일련의 간단한 영상처리를 통해 강조영역에 대한 마스크 영상을 획득할 수 있고, 이와 입력 영상에 대한 가중 합을 통해 최종 백라이트 영상을 획득한다. 그림 5는 제안하는 백라이트 하이라이팅 과정에 대한 예시를 보여준다.

그림 5의 상단은 왼쪽 입력 영상과 하단 오른쪽의 마스크 영상을 이용하여 생성한 오른쪽 백라이트 하이라이트 영상 생성흐름을 보여준다. 하단은 왼쪽부터 히트맵 영상을 입력으로 하여 가우시안 블러링, 임계치 기반 이진화, 모폴로지컬 닫힘 처리를 통해 생성되는 영상을 차례대로 보여준다.

그림 5. 백라이트 하이라이팅 과정

Fig. 5. Process of back-light highlighting

2-4 불량판정 및 불량유형 분류기 신경망 구조

본 절에서는 불량 픽셀이 강조된 히트맵을 획득하기 위한 불량 유무를 판정하는 이진 분류기와 타이어 밴드 직물 불량 유형 13가지를 구분하는 다중 분류기를 위한 신경망 구조를 설명한다. 제안하는 분류기 구조는 그림 6과 같다. 그림에서 나타낸 바와 같이 제안하는 신경망 구조는 5개의 합성곱 블록과 분류 블록을 갖는다. 각각의 합성곱 블록은 모두 동일하게 2개의 합성곱 층과 한 개의 최대풀링 층으로 구성한다. 분류 블록은 2개의 전연결 층과 그 사이에 누락 정규화(Dropout) 층을 두고, 마지막 층은 분류를 위한 소프트맥스를 배치하였다. 이때, 특징맵의 크기는 1/2씩 줄어들도록 하였으며 커널의 크기는 3x3이며 수는 32개에서 256개까지 배수로 늘려갔다. 활성화 함수는 모두 ReLU(Rectified Linear Unit)를 적용하였다.

그림 6. 제안하는 신경망 구조

Fig. 6. Proposed architecture of neural networks

제안하는 신경망 구조는 불량 유무 이진 분류기 및 불량유형 13가지를 구분하는 최종 신경망에 공통으로 적용한다. 단, 불량 픽셀이 강조되는 히트맵을 획득하기 위한 이진 분류기의 소프트맥스 출력은 2개이고, 최종 목표인 직물 유형 분류기에서는 13개로 한다.

Ⅲ. 실험결과 및 분석

3-1 실험 데이터

타이어 밴드 직물의 불량유형은 총 13가지로 현장에서 수집한 총 393장의 영상을 대상으로 한다. 학습과 검증을 위해 데이터를 8:2로 분할 하여 실험하였다.

3-2 예비실험: 하이라이팅 효과 확인

하이라이팅 방법의 가능성을 확인하기 위해 원본 영상으로 훈련한 모델 A와 불량영역의 윤곽을 강조한 하이라이팅한 영상으로 훈련한 모델 B를 비교하였다. 그림 7은 모델 B를 위한 윤곽 하이라이팅 영상의 일부를 보여준다.

그림 7. 수작업으로 생성한 불량영역에 대한 윤곽 하이라이트 영상

Fig. 7. Manually highlighted boundary images of defect regions

훈련은 입력 영상만 다르고 나머지 조건은 모두 같도록 파라미터를 설정하였다. 최적화는 Adam, 학습률은 0.0001, 누락정규화는 0.4, 배치크기는 4, 학습 에폭은 100으로 설정하였다.

실험결과 모델 A는 50 회차로 훈련하였을 때 검증 데이터에서 65.82%의 최고 정확도를 얻었으며, 모델 B는 38 회차에서 74.42%의 최고 정확도를 보였다. 본 실험을 통해 윤곽 하이라이팅 방법이 학습 속도와 검증 성능에서 모두 효과가 있음을 확인하였다. 이러한 결과는 제안하는 방법이 불량유형을 구분하는데 중요한 정보인 불량 픽셀을 타 픽셀에 비해 두드러지게 함으로써 주어진 분류 문제를 훈련하기 쉬운 문제로 변환해 주기 때문이라고 추측된다.

3-3 백라이트 하이라이팅 성능

윤곽 하이라이팅은 고비용의 수작업이 수반되어야 하므로 현실에서는 적용하기 어렵다. 본 실험에서는 2-3절에서 설명한 GradCAM과 영상처리를 이용하여 자동으로 획득한 백라이트 하이라이팅 영상으로 모델 C를 훈련하였다. 그림 8은 실험에 사용한 백라이트 하이라이팅 영상의 일부를 보여준다.

그림 8. 자동으로 생성한 불량영역에 대한 백라이트 하이라이트 영상

Fig. 8. Automatically highlighted back-light images of defect regions

신경망 훈련조건은 3-2절과 동일하게 설정하였다. 실험결과 20 회차로 훈련한 모델에서 79.22%의 최고 정확도를 획득하였다. 3가지 모델의 성능을 표 1에 요약하였다.

표 1. 모델 정확도 비교

Table 1. Comparison of Model Accuracy

Ⅳ. 결론

본 논문에서는 복잡한 질감을 가진 영상에서의 불량유형을 효과적으로 분류하기 위하여, 불량 픽셀 영역을 하이라이팅 하는 방법을 제안하였다. 수작업으로 생성한 윤곽 하이라이팅 영상을 이용한 예비실험을 통해 하이라이팅 훈련전략이 훈련속도와 분류성능 면에서 모두 우수함을 확인하였다.

이에 힘입어 타이어 밴드 직물 영상에 적용할 수 있는 백라이트 하이라이팅을 방법을 제안하고 실험을 통해 그 우수성을 입증하였다. 백라이트 하이라이팅 기법은 원본 영상으로 훈련한 모델 대비 최대 13.4%의 정확도 인식률 향상을 보였다. 예비실험 및 백라이트 하이라이팅 성능실험을 통해 제안하는 하이라이팅 훈련전략의 가능성을 확인하였다. 제안 방법은 주어진 문제를 쉽게 만들어 주기 때문에 어떠한 분류모델에서도 본 논문에서와 같은 성능 향상을 기대할 수 있다.