Efficient Tire Wear and Defect Detection Algorithm Based on Deep Learning

심층학습 기법을 활용한 효과적인 타이어 마모도 분류 및 손상 부위 검출 알고리즘

Abstract

Tire wear and defect are important factors for safe driving condition. These defects are generally inspected by some specialized experts or very expensive equipments such as stereo depth camera and depth gauge. In this paper, we propose tire safety vision inspector based on deep neural network (DNN). The status of tire wear is categorized into three: 'safety', 'warning', and 'danger' based on depth of tire tread. We propose an attention mechanism for emphasizing the feature of tread area. The attention-based feature is concatenated to output feature maps of the last convolution layer of ResNet-101 to extract more robust feature. Through experiments, the proposed tire wear classification model improves 1.8% of accuracy compared to the existing ResNet-101 model. For detecting the tire defections, the developed tire defect detection model shows up-to 91% of accuracy using the Mask R-CNN model. From these results, we can see that the suggested models are useful for checking on the safety condition of working tire in real environment.

1. 서론

타이어 마모 및 손상은 안전한 주행의 중요한 요소이다. 도로교통공단 교통사고 분석시스템에 따르면 2020년도 교통사고 건수 22만 9천 건 중 비 오는 날 교통사고는 1만 4545건으로, 우천 시 교통사고 원인 중 하나는 타이어 마모이다 [1].안정적인 타이어트레드 마모 기준은 1.6mm로 일반적으로 타이어 트레드에 있는 마모 한계선(1.6mm)을 통해 확인할 수 있다.권고되는 타이어 마모도 깊이는 3mm로 트레드 홈 깊이가 3mm이하가 되면 타이어를 교체하는 것이 안전하다[2]. 뿐만 아니라 타이어 손상이 존재하면 내부에 이물질이 들어가거나 주행 시 타이어파손으로 이어 질 수 있기 때문에 중요한 요소이다. 이와 같이 사고 위험을 줄이기 위해 타이어 마모와 손상 여부를 확인하여 적절한 시기에 교체하는 것이 바람직하다.

하지만 육안으로 타이어 마모 및 손상 여부를 판단하기 어려우며, 사람이 직접 마모 측정기를 가지고 타이어를 수동으로 측정해야 한다. 좀 더 정확한 측정을 위해선 자동 판독 장치가 설치된 장소에서 검사를 받아야하기 때문에 접근성이 떨어지며 깊이를 측정하는 고가의 스트레오 카메라는 상용화 하는데 어려움이 있다. 또한 전통적인 영상처리 기반의 타이어마모도 분류 기술은 세밀한 단위의 마모도 측정에 적합하지 않으며 촬영된 타이어 환경에 영향을 많이 받는다는 단점이 있다.

본 논문에서는 인공지능을 활용한 영상 기반 측정기술을 통해 RGB카메라만 이용하여 마모도 진단 및 손상 부위 검출할 수 있는 타이어 안전도 비젼검사기 시스템을 고안한다. 카메라로 촬영된 2D 이미지에서 mm단위의 타이어 마모도를 분류하기 위해 기존의 합성곱신경망(CNN)[3] 모델에 어텐션 (Attention)기법을 적용한 네트워크 구조를 제안한다. 이를 통해 운전자에게 타이어 마모 정도에 따라 ‘안전’, ‘주의’, ‘위험’과 같이 안전 상태를 알려줄 수 있다. 또한 시멘틱 세그멘테이션(Semantic Segmentation)분야의 MaskR-CNN[4]모델을 활용하여 타이어 손상 부위의 위치를 검출한다. 학습 시 다양한 환경에서도 사용할 수 있도록 데이터 증강(Data Augmentation)기법과 촬영된 이미지에서 타이어 영역만 검출하는 모델을 추가적으로 사용한다.

심층학습을 활용한 타이어 안전도 비젼 검사기는 타이어 리테일 시장의 고객 접점인 정비소 및 타이어 전문점에 설치해 사용할 수 있으며 방문하는 차량의 타이어를 자동으로 마모 및 손상 상태를 진단하여 타이어 교체 시기를 고객에게 알려 줄 수 있다. 또한고객 데이터베이스에 타이어 상태 정보를 저장하고 관리 할 수 있는 이점이 있다.

본 논문의 구성은 다음과 같다. 제2장에서는 관련된 기존 연구들을 소개하고 한계점을 살펴본다.제3 장에서 제안하는 타이어 마모도 분류 및 손상 검출 딥러닝 모델에 대해 자세히 설명한다. 그리고 4장에서는 학습 데이터셋과 모델 실험 결과를 보여준다. 이를 통해 마지막 5장에서 결론을 맺고자 한다.

2. 관련 연구

기존의 타이어 마모도 진단 연구로 직진형 레이저 센서를 활용하여 타이어 표면을 스캔한 후 편마모를 진단하는 연구가 있다[5]. 또한 Huangetal.은 스트레오 카메라를 사용하여 촬영된 타이어 표면 영상에 SGM(Semi-Global Matching)[7] 알고리즘을 적용하고 등극선 평면을 취득 후 트레드 깊이를 삼각 측량하는 방식을 적용했다[6]. Fig.1에서 시스템의 처리 과정을 보여준다. 하지만 위 연구에서 사용하는스트레오 카메라는 고가의 제품으로 장비 의존적이며 소프트웨어 기반으로 해결하는 방법이 필요하다.

Fig. 1. Non-contact Measurement prototype system. (a) Stereo vision system, (b) Epipolar plane, and (c) ROI.

또한 전통적인 영상처리 방법으로 타이어 마모도를 진단하는 연구가 있다 [8-12]. Kim은 바이래터럴 (Bi-lateral)필터링 기법[13]으로 마모도를 분류하는 연구를 수행하였다[8]. 마모된 타이어와 새 타이어의 표면은 트레드의 패턴 수 즉 타이어 영상의 화소 수에 차이가 있다. 이런 차이를 반영하기 위해 엣지를 보존하는 비선형 필터인 바이래터럴 필터링 기법을 적용하여 새 타이어와 화소 수 차이를 비교하고 마모 여부를 판단하는 방식이다. Fig.2는 해당 알고리즘을 통해 결과를 도출한 ‘정상’, ‘마모’타이어 이미지이다. 하지만 바이래터럴 필터링 알고리즘은 ‘정상’ ‘마모’두 종류의 분류만 가능하고, mm단위의 마모도 깊이를 분류하는데 어려움이 있다.

Fig. 2. Comparison of images processed Bi-lateral filtering. (a) Weared tire and (b) Normal tire.

최근에는 이미지 분류 및 객체 인식을 위해 합성 곱 신경망(CNN)을 이용한 딥러닝 연구가 활발히 진행되고 있다[14, 15, 16, 17]. 인공신경망을 이용한 타이어 마모도 분류 알고리즘 연구도 선행되었다[18]. 타이어 내부에 가속도 센서를 부착하고 자동차 주행시 가속도 센서를 통해 얻는 진동 주파수 성분을 인공신경망의 입력으로 넣어 타이어 마모 상태를 판별한다. Fig.3은 가속도 센서를 통해 얻어낸 특징점과 사용된 인공신경망 구조이다[18]. 하지만 아스팔트 기준 60km/s주행 조건에서 획득한 데이터만 사용했다는 점에서 다양한 조건의 타이어 마모도 진단에 어려움이 있으며 사용한 인공신경망 모델은 3개 레이어로 구성된 얕은 모델을 사용했다는 한계점이 있다.

Fig. 3. Classification of tire tread wear using accelerometer signals. (a) Results of feature extraction and (b) Artificial neural network structure.

3. 심층학습을 활용한 타이어 안전도 비젼 검사기

심층학습을 활용한 타이어 안전도 비젼 검사기는 카메라를 이용해 자동차 타이어 이미지를 취득한 후 심층 학습 모델을 통해 타이어 마모도를 ‘안전’, ‘주의’, ‘위험’같이 타이어 안전 상태를 알려주는 시스템이다. 시스템은 마모도 분류 모듈과 타이어 손상 부위 검출 모듈로 구성되어 있다. 전체적인 시스템 흐름도는 Fig. 4와 같다.

Fig. 4. Flowchart for Tire Safety Vision Inspector.

3.1 마모도 분류 모듈

마모 한계선이란 사람이 마모 정도를 확인할 수 있도록 모든 타이어에 존재하며 타이어 트레드에 1.6 mm기준으로 표시한다. 대부분의 운전자는 타이어트레드 깊이가 마모 한계선에 도달할 경우 타이어를 교체한다. 하지만 안전 운행을 위한 타이어 교체 마모도 기준은 3mm 내외이며, 이를 바탕으로 본 마모도 분류 모듈에선 Table1과 같이 타이어 트레드 깊이 1.6mm, 3mm를 기준으로 ‘안전’, ‘주의’, ‘위험’으로 타이어 마모 상태를 분류한다.

Table 1. The standard of classification tire wear.

본 논문에서는 분류를 위한 백본(Backbone) 모델로 ResNet-101[19]을 사용한다. 초기 모델의 가중치는 이미지넷(Imagenet)[20]으로 학습된 가중치를 사용하여 검증된 모델로 효과적인 특징점을 추출할 수 있게 하였다. 타이어 트레드 표면의 마모상태에 따라 특징점이 달라지며 모델이 트레드 표면 부분을 어텐션(Attention) 할 수 있도록 이미지의 특정 위치를 학습 시 어텐션 하여 반영하는 연구를 참고하였다 [21]. 이를 기반으로 본 논문에서는 마모도와 상관성이 높은 타이어 표면 부분의 위치 정보에 대한 어텐션 마스크를 생성하고 모델 학습 시 트레드 표면 부분을 집중해서 학습할 수 있는 모델을 제안한다. 전체적인 모델 구조는 Fig. 5와 같다.

Fig. 5. The proposed model architecture.

모델의 입력으로 타이어 트레드 이미지가 들어가면 MaskR-CNN모델을 통해 타이어 트레드 표면영역을 검출하여 어텐션 마스크를 생성한다. 트레드에서 홈 영역을 제외한 부분을 Annotation한 후 MaskR-CNN모델을 학습시켰다. MaskRCNN을 통해 검출한 트레드 표면 영역을 기준으로 배경 영역을 0으로 하는 가우시안 분포의 2D어텐션 마스크를 만든다.그 후 ResNet-101의 마지막 컨볼루션 특징맵 사이즈(7×7)에 맞게 어텐션 마스크의 사이즈를 줄인다. 또한 ResNet-101을 통해 입력 트레드 이미지의 특징점을 추출하고 ResNet-101마지막 컨볼루션 레이어의 결과에 어텐션 마스크를 결합(Concaten- ate)한다.이를 통해 모델이 학습할 때 컨본루션 레이어를 통해 추출된 특징점 외에 어텐션 마스크에 대한정보를 추가하여 트레드 표면 위치에 중요도를 두고 학습할 수 있다. 그 후 Global Average Pooling(GAP)연산으로 타이어 마모도를 ‘안전’, ‘주의’, ‘위험’ 3개의 클래스로 분류한다.

3.3 손상 부위 검출 모듈

타이어 손상 부위 검출은 타이어의 모든 영역에서 검출 할 수 있도록 타이어 트레드 이미지와 타이어 사이드월 이미지도 함께 사용한다. 카메라로 촬영한 타이어 이미지는 고정된 환경이 아니며 자동차의 위치에 따라 달라지기 때문에 정확한 타이어 위치를 찾아 타이어 트레드 영역만을 검출하는 모델이 필요하다. MaskR-CNN모델을 통해 트레드 영역과 사이드월 영역만 검출할 수 있도록 학습하여 불필요한 배경 부분을 제거한 타이어 영역만 손상 부위 검출모델의 입력으로 들어가게 한다. 모델 학습 결과 모델의 신뢰성 점수(Confidence)[22]0.95를 기준으로 결과를 도출 했을 때 전체 검증 데이터셋에서 정확도 100%로 타이어 영역을 검출해냈다. Fig.6이 각 모델을 통해 추출된 타이어 영역이다.입력 이미지에서 성공적으로 타이어 트레드 및 사이드월 영역을 검출한 것을 확인할 수 있다.

Fig. 6. Result of tread and sidewall detection model. (a) Tread and (b) Sidewall.

타이어 트레드의 경우 타이어 브랜드 마다 다양한 타이어 트레드 패턴을 가지고 있어 트레드 패턴과 손상을 분류하는데 어려움이 있다. 세밀한 객체 검출을 위해 시맨틱 세그멘테이션(Sementic Segmentation)분야의 MaskR-CNN모델을 사용한다.Mask R-CNN모델은 객체 추출에 있어 뛰어난 성능을 보이고 있으며, Heoetal.은 MaskR-CNN을 통해 왜곡이 있는 데이터에서 성공적으로 객체를 추출하여 영상 매칭을 수행한다[23]. MaskR-CNN모델 구조는 Fig.7과 같다. MSCOCO 데이터셋으로 학습된 가중치를 가져와 전이 학습(Transfer Learning)[24] 기법을 적용하였다. 전이 학습 시 타이어 데이터셋 특성과 이미지넷 데이터셋 특성의 유사도를 비교한 후 파인 튜닝(Fine-tunning)전략을 선택하였다. 이미지넷과 달리 타이어 데이터셋은 개수가 현저히 적고 타이어 데이터셋에 적합한 방법으로 특징점을 추출할 수 있도록 ResNet-101하단의 세 번째 레이어까지 고정(freeze)한 후 이후 레이어의 가중치는 타이어 데이터셋에 맞게 학습될 수 있도록 조정한다.

Fig. 7. Mask R-CNN Architecture[4].

4. 실험 결과

본 연구는 Ubuntu18.04.2운영체제를 사용했으며 CPU17-3770, GPUGTX1070환경에서 진행하였다. 마모도 분류 모듈에 사용한 프레임워크는 Pytorch 1.7.0버전을 사용했다. 또한 손상 부위 검출 및 Mask RCNN 학습 프레임 워크는 Tensorflow 1.14.0, Keras 2.1.0버전을 사용하였다.

4.1 데이터셋

마모도 분류 모듈에서 사용한 데이터셋1)은 RGB 카메라로 촬영한 2D타이어 트레드 이미지 와 해당 타이어를 스트레오 카메라로 트레드 깊이를 측정하여 기록한 csv파일로 구성된다. 모델 학습에 사용된데이터셋은 총 352개로 학습에 사용한 데이터셋은 224개 검증에 사용한 데이터셋은 108개이다.Fig.8 은 스트레오 카메라로 촬영한 트레드 홈 깊이(7.018 mm)측정 예시이다. 타이어 손상 부위 검출에 사용한 데이터셋은 인터넷 크롤링(Crawling)을 통해 수집하였으며 이미지 속 타이어의 손상 영역의 경계를 Annotation하여 학습에 적용했다. 또한 다양한 영역의 손상을 모두 검출하기 위해 다양한 각도와 조건의 이미지를 수집 하였고 트레드 손상, 비드 손상, 사이드월 손상 등이 포함되어 있다. 손상 데이터셋은 학습 데이터셋 198개, 검증 데이터셋 90개로 구성된다. 타이어 마모도 데이터셋과 타이어 손상 데이터셋 모두 국내에서 널리 사용되고 있는 한국/미쉐린/금호/ 넥센 타이어 종류로부터 데이터를 확보하였다. 또한원본 데이터셋에 변형을 가하여 적은 데이터셋의 개수를 증가시킬 수 있는 데이터증강(DataAugmen- tation)기법을 사용하였다.회전, 상하 좌우 반전, 크기 변화, 밝기 변화 등을 원본 이미지에 적용하였고 이를 통해 실험 결과 타이어 규격이나 모델에 관계없이 성공적으로 타이어 마모도 분류 및 손상 부위검출을 수행하였다.

Fig. 8. Tire tread depth (7.018 mm) captured by stereo camera.

4.2 마모도 분류 결과

타이어 마모도 분류 모델 학습 결과 검증 데이터셋에서 트레드 깊이 1.6mm, 3mm기준으로 ‘안전(3 mm초과)’, ‘주의(1.6mm초과 3mm이하)’, ‘위험 (1.6 mm미만)으로 분류 했을 때 정확도 86.1%를 달성했다.또한 트레드 깊이 3mm기준으로 ‘안전(3 mm초과)’, ‘주의(3mm이하)’로 이진 분류 했을 때 정확도 96%를 달성했다.Table2는 기존 ResNet-101 모델만 사용했을 때와 본 논문에서 제안하는 모델을 실험 결과를 비교하였다. ResNet-101 모델만 사용하여 ‘안전’, ‘주의’, ‘위험’ 세개 클래스를 분류했을 때 정확도는 84.3%이며 본 논문에서 제안하는 모델은 기존 모델보다 1.8%증가한 86.1%의 성능을 보였다. 또한 어텐션 마스크를 모델에 적용할 때 Element-wise연산 보다 Concatenate연산이 모델 성능이 더 좋다는 것을 실험을 통해 알 수 있었다.

Table 2. Performance comparison of the proposed attention mask with ResNet-101.

Fig.9는 모델을 통해 최종적으로 ‘안전’, ‘주의’, ‘위험’으로 분류된 타이어이다. 다양한 밝기 환경에도 성공적으로 분류한 것을 확인할 수 있다. 또한 Fig. 10은 ResNet-101만 적용했을 때와 어텐션 마스크를 적용했을 때 ClassActivationMap(CAM)[25] 결과이다.CAM이란 합성곱신경망 구조 마지막에 GAP 을 이용하여 이미지 분류 결과에 영향을 크게 준 요소를 찾아 시각화 하는 방법론이다. Fig.10에서 알 수 있듯이 기존 분류 모델 ResNet-101을 사용했을 때 ‘주의’클래스에서 타이어 트레드 영역이 아닌 외부 배경 영역이 분류에 영향을 많이 끼친 것을 확인할 수 있다.때문에 모델이 ‘주의’클래스를 분류하는데 오류가 많이 발생했다. 하지만 본 논문에서 제안한 어텐션 마스크 구조를 사용한 모델은 배경 영역보다 트레드 내부 영역의 특징점에 중요도를 더 많이 두고 이를 기준으로 분류하여 성능을 높였다.

Fig. 9. Results of tire wear classification model. (a) Safety, (b) Warning, and (b) Danger.

Fig. 10. Comparison of CAM results. (a) ResNet-101 without attention and (b) Resnet-101 with the proposed attention mask.

4.3 손상 부위 검출 결과

타이어 손상 부위 검출 모델 학습 결과 신뢰성 점수 0.96을 기준으로 결과를 도출했을 때 전체 검증 데이터셋에서 정확도 91%로 타이어 손상 부위를 검출하였다. Fig.11은 손상 부위 검출 모델을 통해 검출된 결과이다. 타이어 손상 부위를 분할하여 시각적으로 보여줬다. 비드 손상, 트레드 파열, 사이드월 파열 등 다양한 손상 종류를 0.99 신뢰성 점수로 검출하였다.

Fig. 11. Results of tire defect detection model.

5. 결론

본 논문에서는 카메라로 촬영된 타이어 이미지에서 mm단위의 마모도를 분류하기 위해 ResNet-101 모델에 타이어 트레드 표면의 주의집중(attention) 마스크를 생성하고 ResNet-101의 마지막 컨볼루션특징맵에 결합하는 모델 구조를 제안하였다. 본 논문에서 제안하는 모델은 마모 깊이 1.6mm, 3mm 기준으로 ‘안전’, ‘주의’, ‘위험’을 분류했을 때 기존의 모델인 ResNet-101을 사용하여 분류했을 때보다 1.8% 향상되어 86.1%의 정확도를 달성하였다. 또한 3mm 기준 ‘안전’, ‘주의’이진 분류를 했을 때 96%의 정확도를 확인할 수 있었다. 또한 타이어 발생하는 손상 부위 검출 모델은 정확도 91%로 트레드 파열, 사이드월 파열 등 손상 위치를 매우 정확하게 검출하였다.

본 연구에서 개발된 시스템은 현재 타이어 관련 정비소나 서비스센터에서 고객의 데이터베이스와 연동된다면 해당 고객의 타이어 교체 주기와 운전습관 및 타이어 안전성을 자동으로 식별하여 제공할 수 있는 서비스로 확장이 가능할 것으로 판단된다.