DOI QR코드

DOI QR Code

Computer Vision-Based Measurement Method for Wire Harness Defect Classification

  • Yun Jung Hong (Dept. of ICT Convergence, SoonChunHyang University) ;
  • Geon Lee (Dept. of ICT Convergence, SoonChunHyang University) ;
  • Jiyoung Woo (Dept. of Big data Engineering, SoonChunHyang University)
  • Received : 2024.01.05
  • Accepted : 2024.01.24
  • Published : 2024.01.31

Abstract

In this paper, we propose a method for accurately and rapidly detecting defects in wire harnesses by utilizing computer vision to calculate six crucial measurement values: the length of crimped terminals, the dimensions (width) of terminal ends, and the width of crimped sections (wire and core portions). We employ Harris corner detection to locate object positions from two types of data. Additionally, we generate reference points for extracting measurement values by utilizing features specific to each measurement area and exploiting the contrast in shading between the background and objects, thus reflecting the slope of each sample. Subsequently, we introduce a method using the Euclidean distance and correction coefficients to predict values, allowing for the prediction of measurements regardless of changes in the wire's position. We achieve high accuracy for each measurement type, 99.1%, 98.7%, 92.6%, 92.5%, 99.9%, and 99.7%, achieving outstanding overall average accuracy of 97% across all measurements. This inspection method not only addresses the limitations of conventional visual inspections but also yields excellent results with a small amount of data. Moreover, relying solely on image processing, it is expected to be more cost-effective and applicable with less data compared to deep learning methods.

본 논문에서는 컴퓨터 비전을 사용하여 6가지 측정값(눌린 단자의 길이, 단자 끝의 치수(폭), 눌린부분(와이어 부분, 코어 부분)의 폭)을 계산하여 와이어 하네스의 결함을 정확하고 빠르게 탐지할 것을 제안한다. 두 가지 유형의 데이터에서 Harris 코너 검출을 활용하여 물체의 위치를 탐지하고 측정 영역별 특징과 배경과 물체 사이의 음영 차이를 활용하여 각 샘플의 기울기를 반영하는 측정값을 추출하기 위한 기준점을 생성한다. 이후 유클리드 거리 방법과 보정 계수를 사용하여 예측값을 계산하는 방법을 통해 와이어의 위치 변화에 관계 없이 측정값을 예측할 수 있다. 각 측정 유형별로 99.1%, 98.7%, 92.6%, 92.5%, 99.9%, 99.7% 정확도를 달성하였으며, 모든 측정값에서 평균 97%의 정확도로 우수한 결과를 얻었다. 해당 검사 방법은 기존 검사 방법인 육안 검사의 문제점을 보완하고, 작은 양의 데이터만을 이용하여 우수한 결과를 도출 가능하다. 또한 이미지 처리만 이용하기 때문에 딥러닝 방법보다 더 적은 데이터와 비용으로 적용 가능할 것으로 기대된다.

Keywords

I. Introduction

최근 자율주행이 가능한 전기 자동차가 미래형 자동차로 각광받으면서, 자동차는 하드웨어가 맞물려 구동하는 단순한 이동수단이 아니 다양한 기능이 탑재된 스마트 모빌리티 디바이스로 소프트웨어의 중요성이 갈수록 커지고 있다. 자동차에는 인포테인먼트, 안전, 도로 지원 및 텔레매틱스 등 고도화된 기능이 탑재되어 있으며, 이를 제어하는 차량 내 전자제어장치(ECU, Electronic Control Unit)의 비중이 증가 되었다. ECU는 차량의 하나 이상의 장치를 제어하는데 사용되는 내부 사전 프로그래밍 및 프로그래밍 기능 칩셋이 있는 전자 구성요소의 연합으로 차량 시스템을 담당하는 임베디드 시스템이다.[1] 대략 자동차 한대당 70~100개에 달하며 지난 10년간 차에 탑재되는 ECU의 수와 복잡성이 크게 증가하였다.[2] 이에 높은 대역폭과의 융합과 대용량 전송 속도를 지원하는 새로운 통신네트워크의 필요성이 증대되고 있으며, 전자제어장치 개수 감소와 시스템 복잡도 감소, 차체의 경량화와 전체 부품 비용 절감을 위해 데이터 통신네트워크에서 사용되는 이더넷 기술을 차량용 네트워크로 적용하기 위한 연구가 활발히 이루어지고 있다.

하네스(=와이어 하네스)는 전기공급을 위해 사용되는 전선의 집합체로 이더넷 하네스는 미래형 자동차 통신네트워크의 핵심부품이지만, 현재 완성차업체에서 사용되는 이터넷 커넥트는 대부분 수입제품으로 전용설비 사용(Schleuniger 社, 스위스)을 요구하며 부품 공급에 어려움을 겪고 있다. 상대적으로 저렴한 부품을 제공하고 신속한 대응을 위해선 이더넷 제조 기술의 국산화가 필요하며, 이를 위한 안정적 부품 공급체계를 위해선 검정 공정 또한 필수적이라 볼 수 있다. 또한 차량에서의 불량 발생은 인명피해로 직결되기에 생산품의 품질 관리가 매우 중요하다.[3,4] 그러나 현재 와이어 하네스의 불량 검사작업은 숙련된 작업자들의 육안에 의해서만 검사되고 있으며, 이러한 육안 검사는 장시간 많은 양의 제품을 반복적으로 검사함에 따라 착시현상이나 눈의 피로 등을 유발하여 일관성 있는 검사 수행의 어려움이 있고 불량 제품을 놓칠 가능성이 있다.[5]

이러한 부분을 보완하기 위해 컴퓨터 비전을 통해 불량 여부를 자동으로 구하여 기존 방법보다 정확하고 빠르게 불량 여부를 검수하고자 한다. 본 논문에서 검수하는 이더넷 케이블은 2 pair 전선으로 이루어져 있어 두 전선의 각 길이와 너비, 개별 와이어의 심선부와 와이어부의 폭을 각 영역의 특징을 이용하여 위치를 추정하고 하네스의 기울기의 맞춰 예측값을 추출하였다. 해당 방법은 향후 하네스 생산 제품의 양품 및 불량품의 판별 자동화 기술을 지원할 수 있을 것으로 전망한다.

본 논문은 다음과 같이 구성된다. 관련 연구에서는 이미지를 이용하여 결정을 내리는 시스템인 머신 비전에 대하여 소개하고, 와이어 하네스 불량 검출에 대해 이미지 처리만을 이용한 기존 연구와 최근 많이 사용되는 딥러닝을 이용한 기존 연구에 대하여 분석한다. 3장에서는 사용한 데이터와 제안 하는 방법이 어떻게 구성되었는지 구체적으로 설명하고 결과에 대해 분석한다. 4장에서는 제안한 방법에 대하여 정리하고 향후 연구 방향을 제안하도록 한다.

II. Preliminaries

1. Related works

1.1 Computer vision

머신 비전은 사람의 시각에 의존해 원하는 정보를 얻거나 상황을 판단하는 능력을 기계가 대신하는 기술을 의미한다.[6] 인간의 시각 메커니즘과 동일한 머신 비전은 카메라, 렌즈, 컴퓨터와 같은 하드웨어 장치를 통해 디지털 이미지, 비디오 및 기타 영상 데이터를 얻을 뿐만 아니라 영상처리 기술을 이용한 알고리즘 기반으로 원하는 정보를 추출 및 가공하여 목적에 맞게 활용하는 기능이 갖춰져 있어야 한다. 사람은 작업자의 컨디션이나 숙련도에 따라 작업 능률의 차이가 존재하지만, 머신 비전 시스템은 기계가 대신함으로써 더 높은 일관성, 정밀성, 정확성을 가지고 있어 자동화된 공장 시스템을 위해선 필수적이다.

현재 반도체, 디스플레이 산업뿐만 아니라 자동차, 의료, 방위산업 등 다양한 산업 분야에서 사용되고 있으며 유형에 따라 품질 검사, 계측, 인식, 자동제어로 나눠볼 수 있다.[7] 품질 검사는 반도체, 전자, 자동차 등 다양한 산업현장에서 현재 가장 널리 활용되고 있는 분야로 생성된 제품이 규정된 기준에 부합하는지 확인하는 것이다. 약간의 결함만으로도 부품의 성능과 안정성이 저하되는 반도체 IC, LED 패널, 플라스틱 성형부품, 금속 가공부품 등을 대상으로 표면 결함 검사, 외형 결함 검사 등을 수행한다. 계측은 제품의 정확한 치수 및 크기인 거리, 직경, 굴곡, 면적 등을 측정하는 것으로 제품을 가공하는 과정에서 정확한 사양을 준수하고 품질을 유지하기 위한 목적으로 사용된다. 인식 분야는 제품의 형태, 패턴, 레이블을 식별하여 자동으로 분류하기 위해 활용되는 것으로 바코드 인식, 문자 인식 등을 통해 제품 생산효율을 개선 및 제품 관리를 위한 목적으로 활용되고 있다. 자동제어는 실시간으로 제품 및 공정 상태를 모니터링하고, 필요에 따라 제어 신호를 발생시켜 생산 프로세스를 기계가 자동으로 조절하거나 제어하는 것으로 생산과정의 효율성을 증대시킨다. 본 논문에서 제시한 방법은 제품 이미지의 특정 위치를 정확한 치수를 추출하는 계측 알고리즘이라 볼 수 있다.

1.2 Image processing

이미지 처리는 1920년대 디지털 압축 기술을 사용한 것부터 오랜 역사를 가지고 있다.[8] 초기에는 2차원 비선형 논리 필터링이나 간단한 패턴 특징을 이용한 결함 감지가 가능하였지만[9,10], 현재에는 컴퓨터 기술과 수학적 이론의 발달로 다양한 방법들이 제시되고 있다.

이미지 처리는 이미지 내에서 제품의 모양 및 크기 특징, 결함의 선, 곡선, 어떤 도형 형태의 형상 정보나 면적, 둘레 같은 크기 정보, 제품의 표면 구조 배열과 배경 간의 차이를 통한 질감 특징, 제품과 배경의 값 차이와 같은 제품의 특성을 설명하는 정보 등을 추출하여 불량을 감지한다.[11]

이미지 처리 기반 불량 검출에 관한 최근 연구에서 Supriya et al.[12]은 와이어 길이, 구성요소, 순서, 라벨 여부 등 다양한 매개변수에 대해 Edge 감지, 임계값 처리, 색상 기반 분할 방법을 적용한 길이 측정, 시퀀스 감지, 구성요소 및 라벨 감지 알고리즘을 구현함으로써 자동으로 와이어 하네스 불량을 분류하는 시스템을 설계하였다. Lee et al.[13]는 그레이 스케일 이미지에서 패턴 매칭과 Edge 검출 방식을 이용하여 와이어의 구성요소 감지 및 위치, 길이 측정을 위한 자동화된 광학 검사 시스템을 개발하였다. Yumbla et al.[14]은 와이어 하네스 조립 작업을 위해 케이블 커넥터의 정확한 위치를 탐지하고자 하였다. 이미지에서 색상의 임계값과 부분적 HSV 변수를 통해 하네스의 위치를 탐지하고, 와이어와 커넥트를 분류하기 위해 이미지 이진화와 opencv의 findContours() 함수를 이용하여 윤곽선을 감지하였다. 최종적으로 윤곽선 길이 정보를 활용하여 자동화된 광학 검사 및 부품 위치 파악을 실현하였다.

1.3 Deep learning

최근 딥러닝이 발전하면서 더욱 많은 분야에서 활용되고 있는데 딥러닝이란 인간의 경험을 통한 배움처럼 수많은 데이터를 통해 영상의 패턴을 인식하거나 분류하는 등 다양한 방법으로 모델을 학습시키는 방법을 의미한다.[6] 이와 같은 딥러닝의 장점은 공간 정보를 활용하여 이미지에서 자동으로 낮은 수준부터 복잡한 질감 패턴이나 강도 변화와 같은 높은 수준의 특징을 제품의 크기, 모양에 상관없이 추출하여 학습함으로써 기존 컴퓨터 비전 접근 방식과 대비 포괄적인 기능 모델링이 필요하지 않고 일반화가 가능하다는 것이다.

이를 이용하여 기존의 존재했던 3D 영상 인식 분야, 영상에서의 동작 인식과 같은 한계점을 극복하였고, 현재 많은 제조 공정에 사용되고 있다. 검사 과정에서는 객체의 x축과 y 축 정보만 필요한 경우 2D 이미지를 사용하고, 객체의 높이나 깊이 정보까지 필요한 경우 3D 이미지를 처리해야 한다.

CNN(Convolutional Neural Network)[15]과 DNN(Deep Neural Network)을 활용한 솔루션은 인식률이 매우 높아 조명에 대한 강건성이 뛰어나며, 검사 대상의 그림자나 빛 반사를 고려하지 않아도 된다. 특히 CNN은 여러 분야에서 기존의 전통적인 컴퓨터 비전 접근 방식보다 뛰어난 성능을 보였으며, 특징 추출과 공간 차원 축소를 통해 2차원 이미지 데이터를 1차원 특징 벡터에 매핑하는 다층 계층 네트워크로 객체 감지, 객체 위치 파악 및 분류, 동작 추적, 자세 추정, 의미론적 분할과 같은 시각 관련된 다양한 문제에 적용 가능하다.

이러한 딥러닝 기술을 이용한 솔루션은 정확도가 높아 인라인 검사 중에도 실시간 처리 능력과 데이터 처리량을 높일 수 있고 지연 시간을 줄일 수 있으며, 미세한 부품을 검사하기 위해 얻어지는 고해상도 이미지를 처리하는 데에 적합하다. 이를 통해 머신 비전을 통한 객체 검사가 더욱 정확하고 효율적으로 이루어질 수 있다. 딥러닝 기반의 와이어 하네스 검출에 관한 연구에서 Nguyen et al.[16]는 3D 환경에서 고정밀 위치 정보를 얻기 위해 CNN과 깊이 카메라를 이용한 주변 깊이 값 기반의 보정 기술의 조합을 사용하여 와이어 하네스의 전체 와이어 프로파일을 성공적으로 감지하였다. Zürn et al.[17]는 2D 영상에서 Mask R-CNN[18]을 이용한 인스턴스 분할을 진행하여 Plug, Clip 및 Branch Point 같은 특정 위치의 특징들을 학습시킴으로써 BDLO(Branched Deformable Linear Object)의 물리적 특징을 추출하였다.

이미지 처리를 이용한 기존 연구에서는 배경이 하얀색인 RGB 이미지 데이터 기반으로 색의 임계값을 이용하여 와이어나 커넥트의 위치를 탐지하였다. 또한 cm단위의 소수 첫째 자리까지 길이를 예측함으로써 본 논문보다 더 포괄적인 단위로 예측하였으며[12], 와이어의 위치가 고정되어 있어 위치 변화가 있을 시, 정확한 결과가 나오지 않는 문제가 존재한다. 그 외에도 와이어 하네스에 흰색 테이프를 이용한 추가적인 라벨링을 통해 부품의 위치를 탐지하는 방법으로 인해 촬영 조명으로 발생한 빛 반사가 존재할 시, 잘못된 결과가 도출되기도 한다.[13,14]

본 논문에서는 기존 연구들과 달리 RGB 이미지 대비 적은 정보와 데이터 크기를 가지고 있는 그레이 스케일 이미지에 대해 측정값의 영역의 특징을 이용한 기준점을 추출함으로써 와이어의 위치를 탐지하였다. 또한 기준점에 따른 각 샘플의 기울기를 구함으로써 와이어의 위치에 따라 결과가 변하지 않으며, 기존 연구보다 더욱 세밀한 단위임에도 높은 정확도를 도출하였다.

딥러닝을 이용한 기존 연구에서는 훈련을 위한 대규모의 주석이 달린 데이터가 필요하며, 대규모 모델 아키텍처로 인해 높은 계산 비용과 메모리 용량이 필요하고 해석이 부족한 단점이 존재한다. 또한 특정 위치 값을 정밀하게 추출하는 것보다 하네스 위치나 부품 여부를 통해 불량 여부를 결정하는 것이 대부분이다.[16,17] 이러한 점을 보았을 때, 소규모의 데이터 기반으로 6개의 위치에서 소수 셋째짜리의 매우 미세한 측정값들을 추출하는 연구에 적합하지 않음을 알 수 있다.

이에 본 논문에서는 이미지 처리를 이용하여 압착된 단자의 길이와 단자 끝단 치수(너비), 압착된 부분의 폭(와이어부, 심선부) 총 6곳의 측정값을 계산하여 불량 여부 검사에 기여 하고자 한다.

III. The Proposed Scheme

3.1 Data

본 연구에서 ㈜유니코어텍에서 이더넷 커넥트를 조립하는 과정에서 촬영된 이미지와 측정값 데이터를 활용하였다. 데이터는 압착된 단자의 실루엣이 나타나는 이진 이미지(13개)와 개별 와이어가 세밀하게 표현된 그레이 스케일 이미지(10개)로, 측정값과 촬영 방법에 따라 2가지 유형으로 나눠진다.

Fig.1의 A type에서는 압착된 단자의 길이와 단자 끝단치수를, B type에서는 와이어부와 심선부(압착부)의 폭을 추출한다. 단자 길이와 끝단 치수는 오른쪽, 왼쪽에 따라 각각 L1, L2, W1, W2로, 와이어부 및 심선부 폭은 W3, W4로 지칭한다. 이는 Fig.2를 통해 볼 수 있다.

CPTSCQ_2024_v29n1_77_f0001.png 이미지

Fig. 1. Test image types

CPTSCQ_2024_v29n1_77_f0002.png 이미지

Fig. 2. Measurement points on wire harness

3.2 Computer vision–based test process

제안하는 검정 프로세스는 Fig. 3과 같이 구성하였다. 데이터 유형에 따라 검사 방법은 크게 2가지로 분류된다. 그러나 공통적으로 Harris 코너 검출[19]을 기반으로 하네스의 위치를 탐지하였으며, 두 점을 이용한 기울기 추출과 기울기를 기반으로 반대 측면의 점을 생성 방법이 적용되었다.

CPTSCQ_2024_v29n1_77_f0003.png 이미지

Fig. 3. Computer vision –based test process

(1) 단자 길이와 단자 끝단 치수

⦁ 단자 길이

원본 이미지의 배경 중 불필요한 부분을 제거한 후, Harris 코너 검출 방법을 이용하여 전 영역의 꼭짓점 정보를 획득하였다. 꼭짓점 중 y값이 가장 작으면서 헤드 측면인 점을 기반으로 측면 기울기를 가진 선을 생성하였으며, 생성된 선 위에 있으면서 동시에 헤드의 끝점인 것을 헤드의 하단 모서리 점으로 지정하였다.(Fig.4-(a)) 최종적인 헤드 기준점 후보군을 구성하기 위해 개별 와이어와 헤드가 만나는 모서리 점도 추가적으로 도출해야 하지만 헤드와 와이어가 만나는 지점에 존재하는 여러 노이즈로 시각적으로 명확한 기준이 없어, 와이어의 수가 2개인 것을 이용하여 헤드의 하단 1/4, 3/4 지점에서 가장 가까운 거리의 점을 모서리 점으로 선택하였다.(Fig.4-(b)).

CPTSCQ_2024_v29n1_77_f0004.png 이미지

Fig. 4. Terminal Length Measurement Step

전 영역의 꼭짓점 중 y축 기준으로 가장 값이 큰 값을 하단 기준점 후보군으로 지정하고, 유클리드 계산식을 이용하여 하단 기준점 후보군-헤드 기준점 후보군과의 거리를 추출하였다.

최종적으로 추출된 여러 후보군 중 단자 길이를 계산하기 위한 기준을 선정하고자, 3개의 헤드 후보군과 3개의 와이어 하단 후보군의 각 거리를 mm 단위로 변환하여 실측값과의 오차를 비교하였다. Table 1을 통해 와이어 하단의 오른쪽 점과 헤드의 모든 후보군의 평균 거리가 실측값과 오차가 0.005로 가장 근접한 것을 볼 수 있으며, 해당 기준이 단자 길이 계산 방법으로 선정되었다.

Table 1. Calculation Values and Errors for Head Reference Point to Wire Bottom Point (unit: mm)

CPTSCQ_2024_v29n1_77_t0001.png 이미지

⦁ 단자 끝단(너비)

단자 끝단은 와이어가 끝나는 지점에서 측정된 것으로 Edge의 기울기가 급격히 변화되면서 너비가 넓어진 지점을 측정 시작 위치로 선정하고, 해당 위치에서 단자 길이 계산 시 구했던 하단 기준점까지 일정한 간격으로 총 10개의 기준점을 생성하였다.

와이어마다 존재하는 기울기의 차이를 적용하기 위해 하단 기준점을 이용하여 각 와이어의 기울기를 구하고 이를 이용하여 반대 측면의 점을 구하였다. 생성된 10개의 너비값은 평균 내어 최종 W1, W2로 선정되었다.

CPTSCQ_2024_v29n1_77_f0005.png 이미지

Fig. 5. Terminal End Width Measurement Step

(2) 와이어부 및 심선부 폭

개별 하네스는 특징에 따라 ‘와이어부’와 ‘와이어-심선부 연결’, ‘심선부’ 총 3개의 영역으로 구분하였다. 와이어부는 하네스의 구성상 고무인 와이어와 금속인 와이어 바렐의 재질 차이로 인해 촬영 시, 동일한 y축에 2개의 반사면 영역이 생성된다. 와이어-심선부 연결 부분은 전선 노출로 인한 다른 영역 대비 작은 반사면이 많이 생성되고 심선부는 압착 과정에서 생성된 중앙선과 y축이 다른 2개의 반사면이 있다. 이러한 영역별 특징을 이용하여 기준점을 추출하였다.

CPTSCQ_2024_v29n1_77_f0006.png 이미지

Fig. 6. Area Separation Visualization (Red: Wire End) (Green: Wire-Core Junction) (Yellow: Core End)

와이어 내 밝기 차이와 감지된 영역의 크기를 이용하여 와이어 바렐의 위치를 탐지하고 상/하단 검출 기준점을 추출하였다. 이후 배경과 객체 간의 음영 차이를 이용하여 y값이 다른 2개의 측면의 점을 생성하고, 기울기 정보를 가진 측면선을 생성하여 와이어 마다 다른 기울기 문제를 해결하였다. 이후 해당 선과 수직인 선을 이용하여 반대편 측면의 기준점을 검출한다. 이를 두 점 사이 유클리드 거리 계산식을 이용하여 와이어폭을 구하고 상/하단 기준점 구간 안에서 10 pixel 간격으로 반복한 뒤, 최종 너비값들을 보정 계수인 0.02023을 이용하여 mm 단위로 변환시켰다.

심선부 영역은 영역별 특징을 통해 찾고 와이어부와 동일한 과정을 걸쳐 기준점을 생성하였다. 그러나 이미지 내 객체 그림자와 같은 요소로 인해 오차 발생으로 이를 고려하여 기준점을 양쪽으로 2 pixel씩 이동하여 너비값을 추출하였다. mm 단위로 변환된 너비값들은 평균 내어 최종 W3, W4로 선정하였다.

CPTSCQ_2024_v29n1_77_f0007.png 이미지

Fig. 7. Visualization of Wire-End and Core-End Width Measurement Results

3.3 Results

본 논문은 이미지 처리를 이용하여 이더넷 하네스의 6개 지점에 대해 계산하였으며, 각 지점의 실측값과 계산값의 오차, 오차율, 위치별 정확도를 구하는 방법은 식 1. 과같다.

오차값(error) = A - B

오차율(error rate) = \(\begin{align}\frac{A-B}{A}\times {100}\end{align}\)

정확도(Accuracy) = \(\begin{align}1-\frac{1}{n} \sum_{i=1}^{n}{\text {error rate} }_{i}\end{align}\)

(A : 실측값, B: 계산값, n : 데이터개수)

식 1. Error, Error Rate, Accuracy

하네스는 매우 미세한 차이로 양품과 불량이 구별되기에 소수 셋째 자리를 기준으로 오차값을 확인하며, Table 3을 통해 각 샘플 마다 오차 편차가 존재하는 것을 볼 수 있다. 거의 차이가 없는 13번 샘플 대비 5, 11번 샘플은 모든 측정값에서 다른 샘플 대비 높은 오차율을 보이고 있으며, 8번 같이 같은 샘플 내에서 측정값의 편차가 큰 경우도 있다. 또한 최대 오차율이 1.85%, 3.81%인 L1, L2과 달리 W1, W2의 최대 오차율은 14.34%, 16.61%로 비교적 오차가 크다는 것을 알 수 있다.

Table 2. Actual Measurements of Terminal Length and Terminal End (unit: mm)

CPTSCQ_2024_v29n1_77_t0002.png 이미지

Table 3. Errors and Error Rates of Actual Measurements and Calculated Values by Measurement Location (unit: mm)

CPTSCQ_2024_v29n1_77_t0003.png 이미지

Table 4. Actual Measurements and Calculated Values of Wire-End and Core-End Width (unit: mm)

CPTSCQ_2024_v29n1_77_t0004.png 이미지

Table 5. Errors and Error Rates by Measurement Location (unit: mm)

CPTSCQ_2024_v29n1_77_t0005.png 이미지

W3, W4의 최저 오차율과 최대 오차율은 각각 0.07%, 1.26%, 0.50%, 1.49%로 기존 측정값의 최저 오차율보단 비교적 크지만 최대 오차율은 낮다. 또한 샘플마다 측정별 오차의 편차는 존재하지만 이전의 측정값들보단 낮은 편차를 보인다.

전반적으로 모든 지점에서 정확도 90% 이상을 달성하였으며, 평균 정확도 97.1%에 달성하였다. 그러나 다른 지점의 정확도가 98% 이상인 것에 비해 W1, W2의 정확도가 낮은 것을 볼 수 있다. 또한 실루엣만 나와 정확한 기준점의 위치를 알기 어려운 A type의 계산 값들의 평균 정확도(95.7%) 대비 B type의 계산 값의 평균 정확도(99.8%)가 4.1% 더 높다.

Table 6. Final Accuracy (Unit:%)

CPTSCQ_2024_v29n1_77_t0006.png 이미지

IV. Conclusions

본 연구는 기존의 육안 검사로 발생할 수 있는 누락 문제를 방지하고자 이미지 처리만을 이용하여 유형이 다른 와이어 하네스 이미지에서 각기 다른 검수 값들을 자동으로 계산하고자 하였다. 음영 차이를 활용해 생성한 기준점을 통해 각 샘플마다의 기울기를 적용하여 검수 값을 구함으로써 샘플의 위치의 차이가 존재하여도 적용 가능케 하였다. 최근 많이 사용되는 딥러닝 기반의 모델 대비 이미지 처리만을 이용하였기에 더 빠른 결과를 추출할 수 있으며, 적은 데이터로도 구현이 가능하다. 또한 와이어 하네스를 검정하는 것이기에 자동차용 제품 생산 외에도 다른 전자 기기와 같이 다른 분야에도 적용이 가능할 것으로 예상된다. 연구결과 모든 지점의 실측값과 평균 97%의 정확도로 거의 유사하게 수치를 도출 해내는 것을 볼 수 있다. 본 연구는 전 세계적으로 와이어 하네스 제조에 대해 외산 장비가 차지하고 있는 현 상황에서 와이어 하네스 제조 국산화를 통해 비용 절감 및 안정적인 부품 공급 체계를 위한 기반을 마련하였다.

향후 연구에서는 데이터를 더 확보하여 샘플별 오차의 편차를 줄이고 검사의 일반화 가능성을 향상시키며, 촬영 밝기나 각도가 다양한 데이터를 사용한 실험을 통해 정확도를 더 높이고자 한다.

ACKNOWLEDGEMENT

This research was supported by "Regional Innovation Strategy(RIS)" through by the National Research Foundation of Korea (NRF) by the Ministry of Education(MOE) (2021RIS-004).

We would like to express our gratitude to Professor Nam Yoon-Young from Soonchunhyang University for their participation in this research.

References

  1. Research and Development Special Zone Promotion Foundation, Automotive Electronic Control Unit (ECU) Market (Source): (Marketsandmarkets, Automotive ECU Market, 2018 etc), 2018.
  2. Trommnau, Jerome, et al. "Overview of the state of the art in the production process of automotive wire harnesses, current research and future trends." Procedia CIRP 81 (2019): pp.387-392, doi: 10.1016/j.procir.2019.03.067.
  3. E. Smirni, and G. Ciardo, "Workload-Aware Load Balancing for Cluster Web Servers," IEEE Trans. on Parallel and Distributed Systems, Vol. 16, No. 3, pp. 219-232, March 2005. doi: 10.1109/TPDS.2005.38
  4. M. Kuhn, H. G. Nguyen, H. Otten and J. Franke, "Blockchain Enabled Traceability - Securing Process Quality in Manufacturing Chains in the Age of Autonomous Driving," 2018 IEEE International Conference on Technology Management, Operations and Decisions (ICTMOD), Marrakech, Morocco, 2018, pp. 131-136, doi: 10.1109/ITMC.2018.8691242.
  5. Jung Mantae, Vision and Strategy for the Intelligent Flexible Manufacturing Systems Field in 2020, KIET Industrial Research Institute, 2007.
  6. T. W. Kim, Y. G. Jin, Y. B. Kim, A. R. Cho, K. B. Kwon, and H. W. Lee, "Research Trends on Deep Learning-Based Machine Vision Technology," Proceedings of Symposium of the Korean Institute of communications and Information Sciences, pp. 1178-1179, February 2023.
  7. Jaesik Yun, A Study on an Automotive Component Inspection System Using Machine Vision, Doctoral dissertation in Engineering at Pukyong National University, 2012.
  8. Gonzalez, Rafael C., and R. Woods. "Digital image processing: Pearson education india." Digital image processing: Pearson education india, 2009.
  9. Masakazu Ejiri, Takeshi Uno, Michihiro Mese, Sadahiro Ikeda,"A process for detecting defects in complicated patterns." Computer graphics and image processing 2.3-4 (1973): pp.326-339, doi:10.1016/0146-664X(73)90011-7.
  10. Y. Hara, N. Akiyama and K. Karasaki, "Automatic Inspection System for Printed Circuit Boards," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. PAMI-5, no. 6, pp. 623-630, Nov. 1983, doi: 10.1109/TPAMI.1983.4767453.
  11. Ren, Zhonghe, et al. "State of the art in defect detection based on machine vision." International Journal of Precision Engineering and Manufacturing-Green Technology 9.2 (2022): pp.661-691, doi: 10.1007/s40684-021-00343-6.
  12. S. Kamble Supriya and A. Kulkarni Ashwini, "Automatic Optical Inspection System for wiring harness using Computer Vision," 2021 IEEE International Conference on Electronics, Computing and Communication Technologies (CONECCT),Bangalore, India, 2021, pp. 1-5, doi: 10.1109/CONECCT52877.2021.9622654.
  13. W. -c. Lee and K. -s. Cao, "Application of Machine Vision to Inspect a Wiring Harness," 2019 IEEE International Conference on Industrial Cyber Physical Systems (ICPS), Taipei, Taiwan, 2019, pp. 457-460, doi: 10.1109/ICPHYS.2019.8780292.
  14. F. Yumbla, M. Abeyabas, T. Luong, J. -S. Yi and H. Moon, "Preliminary Connector Recognition System Based on Image Processing for Wire Harness Assembly Tasks," 2020 20th International Conference on Control, Automation and Systems (ICCAS), Busan, Korea (South), 2020, pp. 1146-1150, doi:10.23919/ICCAS50221.2020.9268291.
  15. LeCun, Yann, and Yoshua Bengio. "Convolutional networks for images, speech, and time series." The handbook of brain theory and neural networks 3361.10 (1995): 1995.
  16. H. G. Nguyen, M. Meiners, L. Schmidt and J. Franke, "Deep learning-based automated optical inspection system for crimp connections," 2020 10th International Electric Drives Production Conference (EDPC), Ludwigsburg, Germany, 2020, pp. 1-5, doi:10.1109/EDPC51184.2020.9388203.
  17. M. Zurn et al., "Deep Learning-Based Instance Segmentation for Feature Extraction of Branched Deformable Linear Objects for Robotic Manipulation," 2023 IEEE 19th International Conference on Automation Science and Engineering (CASE), Auckland, New Zealand, 2023, pp. 1-6, doi: 10.1109/CASE56687.2023.10260646.
  18. HE, Kaiming, et al. Mask R-CNN. In: 2017 IEEE International Conference on Computer Vision (ICCV). IEEE Computer Society, 2017. pp. 2980-2988, doi: 10.1109/ICCV.2017.322.
  19. Harris, Chris, and Mike Stephens. "A combined corner and edge detector." Alvey vision conference. Vol. 15. No. 50. 1988, pp. 10-5244.