• 전기학회논문지
• /
• 제66권7호
• /
• pp.1100-1104
• /
• 2017

A detector-based approach shows the limited performances for the defect inspections such as shallow fine cracks and indistinguishable defects from background. Deep learning technique is widely used for object recognition and it's applications to detect defects have been gradually attempted. Deep learning requires huge scale of learning data, but acquisition of data can be limited in some industrial application. The possibility of applying CNN which is one of the deep learning approaches for surface defect inspection is investigated for industrial parts whose detection difficulty is challenging and learning data is not sufficient. VOV is adopted for pre-processing and to obtain a resonable number of ROIs for a data augmentation. Then CNN method is applied for the classification. Three CNN networks, AlexNet, VGGNet, and mofified VGGNet are compared for experiments of defects detection.

• Smart Structures and Systems
• /
• 제2권3호
• /
• pp.253-274
• /
• 2006

The structural monitoring of multi-wire strands is of importance to prestressed concrete structures and cable-stayed or suspension bridges. This paper addresses the monitoring of strands by ultrasonic guided waves with emphasis on the signal processing and automatic defect classification. The detection of notch-like defects in the strands is based on the reflections of guided waves that are excited and detected by magnetostrictive ultrasonic transducers. The Discrete Wavelet Transform was used to extract damage-sensitive features from the detected signals and to construct a multi-dimensional Damage Index vector. The Damage Index vector was then fed to an Artificial Neural Network to provide the automatic classification of (a) the size of the notch and (b) the location of the notch from the receiving sensor. Following an optimization study of the network, it was determined that five damage-sensitive features provided the best defect classification performance with an overall success rate of 90.8%. It was thus demonstrated that the wavelet-based multidimensional analysis can provide excellent classification performance for notch-type defects in strands.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권10호
• /
• pp.3608-3626
• /
• 2021

The detection of bolts is an important task in high-speed train inspection systems, and it is frequently performed to ensure the safety of trains. The difficulty of the vision-based bolt inspection system lies in small sample defect detection, which makes the end-to-end network ineffective. In this paper, the problem is resolved in two stages, which includes the detection network and cascaded classification networks. For small bolt detection, all bolts including defective bolts and normal bolts are put together for conducting annotation training, a new loss function and a new boundingbox selection based on the smallest axis-aligned convex set are proposed. These allow YOLOv3 network to obtain the accurate position and bounding box of the various bolts. The average precision has been greatly improved on PASCAL VOC, MS COCO and actual data set. After that, the Siamese network is employed for estimating the status of the bolts. Using the convolutional Siamese network, we are able to get strong results on few-shot classification. Extensive experiments and comparisons on actual data set show that the system outperforms state-of-the-art algorithms in bolt inspection.

• 한국인터넷방송통신학회논문지
• /
• 제20권3호
• /
• pp.171-179
• /
• 2020

최근 연구 결과에 따르면, 컨볼루션 신경 회로망은 이미지 분류, 객체 검출, 이미지 생성 등의 문제에서 최고의 성능을 보여주고 있다. 비전 카메라를 사용한 결함 검사는 다른 결함 검사보다 경제적이기 때문에 공장 자동화에 있어서 아주 중요하고, 딥러닝의 지도학습은 전통 기계학습 방식의 결함 검사 성능을 월등히 뛰어넘었다. 하지만, 딥러닝의 지도학습은 엄청난 양의 데이터 주석 작업을 요구하기 때문에, 이를 실제 산업 현장에 적용하는 것은 효율적이지 않다. 따라서 본 연구는 최근 이미지 생성 과업에서 큰 성공을 보여주고 있는 변분 오토인코더와 적대적 생성 신경망을 활용하여 비지도 방식의 비정상 검출을 위한 신경망 회로 구조를 제안하였고, 이를 MNIST, 용접 결함 데이터에 적용하여 비정상 검출 성능을 검증하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2016년도 춘계학술대회
• /
• pp.367-370
• /
• 2016

QFN(Quad Flat No-leads package)은 SMD(Surface Mount Device) 자재 중의 하나로써, 납땜을 하는 lead 부분이 따로 있지 않아 납땜에 대한 불량이 많이 발생하고 있다. 따라서 본 논문에서는 QFN의 납땜에 대한 불량을 검출하는 기법을 제안하고자 한다. 우리는 QFN의 납땜에 대한 불량 검출을 위해 기계학습 방법 중 하나인 Convolutional Neural Network(CNN)을 사용하였고, CNN에 학습을 시키기 위한 데이터로는 납땜을 한 QFN 컬러 다단 영상을 사용하였다. 이 영상은 3채널 컬러 영상으로, 이를 바로 CNN에 적용시켜 학습시키기에는 문제가 있다. 그렇기 때문에 3채널 컬러 영상을 세개의 1채널 Grayscale 영상(Red, Green, Blue)로 분리시켜 CNN에 적용시켰다. 이렇게 학습시킨 결과를 이용하여 QFN의 납땜에 대한 불량을 검출할 수 있었다. 현재는 Dicing과 Punch에 대해서만 테스트를 해보았기 때문에, 추후에 이를 제외한 다른 것들에 대한 추가적인 연구가 필요하다.

• 한국정보통신학회논문지
• /
• 제26권6호
• /
• pp.834-841
• /
• 2022

최근 스마트팩토리와 인공지능 기술의 수요 증가로 인해 다양한 분야에서 인공지능 기술을 적용하는 연구가 진행되고 있다. 결함 검사 분야에서도 인공지능 알고리즘을 도입하기 위한 노력을 기울이고 있다. 특히, 금속 외관의 결함을 검출하는 연구는 다른 소재(목재, 플라스틱, 섬유 등)의 결함을 검출하는 연구에 비해 많은 연구가 이루어지고 있다. 본 논문에서는 머신러닝 기법(서포터 벡터 머신(SVM: Support Vector Machine), 소프트맥스 회귀(Softmax Regression), 결정 트리(Decesion Tree))과 차원 축소 알고리즘(주성분 분석(PCA: Principal Component Analysis), 오토인코더(AutoEncoder))의 9가지 조합과 2가지 합성곱신경망(CNN: Convolutional Neural Network) 기법(자체 알고리즘, ResNet)의 금속 외관의 결함 분류 성능 및 속도를 비교하고 분석하는 연구를 수행하고자 한다. 두 종류의 학습 데이터셋((i) 공용 데이터셋(Public Dataset), (ii) 실측 데이터셋(Actual Dataset))에 대한 실험을 통해 각 데이터셋에 대한 성능 및 속도를 비교 분석하고, 가장 효율적인 알고리즘을 찾아낸다.

• 한국전자통신학회논문지
• /
• 제15권3호
• /
• pp.513-520
• /
• 2020

최근 기계 학습을 활용한 비전 검사 시스템의 개발이 활발해지고 있다. 본 연구는 기계 학습을 활용한 결함 검사 모델을 개발하고자 한다. 이미지에 대한 결함 검출 문제는 기계 학습에 있어 지도 학습 방법인 분류 문제에 해당한다. 본 연구에서는 특징을 자동 추출하는 알고리즘과 특징을 추출하지 않는 알고리즘을 기반으로 결함 검출 모델을 개발한다. 특징을 자동 추출하는 알고리즘으로 1차원 합성곱 신경망과 2차원 합성곱 신경망을 활용하였으며, 특징을 추출하지 않는 알고리즘으로 다중 퍼셉트론, 서포트 벡터 머신을 활용하였다. 4가지 모델을 기반으로 결함 검출 모델을 개발하였고 이들의 정확도와 AUC를 기반으로 성능 비교하였다. 이미지 분류는 합성곱 신경망을 활용한 모델 개발이 일반적임에도, 본 연구에서 이미지의 화소를 RGB 값으로 변환하여 서포트 벡터 머신 모델을 개발할 때 높은 정확도와 AUC를 얻을 수 있었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 춘계학술대회
• /
• pp.623-625
• /
• 2021

고무 오링은 일반적인 사출 성형 방식으로 생산된다. 이때 정상적으로 성형되지 않은 제품은 무조건 불량으로 판별한다. 그러나 영상기반 판독 시 획득한 영상을 원본 그대로 판독 할 경우 정확도가 떨어지는 문제가 발생한다. 이에 획득한 영상을 적응형 이진화와 Convex Hull 알고리즘을 사용한 전처리를 통해 원본영상에서 고무 오링 부분만 추출하여 합성곱 신경망에 학습하였다. 테스트 과정에서 제안하는 전처리를 적용한 학습방법의 불량검출 성능이 제시한 기준치 보다 나은 성능을 보이는 것을 확인 할 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권5호
• /
• pp.1597-1610
• /
• 2022

At present, the main method of high-speed train chassis detection is using computer vision technology to extract keypoints from two related chassis images firstly, then matching these keypoints to find the pixel-level correspondence between these two images, finally, detection and other steps are performed. The quality and accuracy of image matching are very important for subsequent defect detection. Current traditional matching methods are difficult to meet the actual requirements for the generalization of complex scenes such as weather, illumination, and seasonal changes. Therefore, it is of great significance to study the high-speed train image matching method based on deep learning. This paper establishes a high-speed train chassis image matching dataset, including random perspective changes and optical distortion, to simulate the changes in the actual working environment of the high-speed rail system as much as possible. This work designs a convolutional neural network to intensively extract keypoints, so as to alleviate the problems of current methods. With multi-level features, on the one hand, the network restores low-level details, thereby improving the localization accuracy of keypoints, on the other hand, the network can generate robust keypoint descriptors. Detailed experiments show the huge improvement of the proposed network over traditional methods.

• 전기학회논문지
• /
• 제67권7호
• /
• pp.865-870
• /
• 2018

A machine vision based industrial inspection includes defects detection and classification. Fast inspection is a fundamental problem for many applications of real-time vision systems. It requires little computation time and localizing defects robustly with high accuracy. Deep learning technique have been known not to be suitable for real-time applications. Recently a couple of fast region-based CNN algorithms for object detection are introduced, such as Faster R-CNN, and YOLOv2. We apply these methods for an industrial inspection problem. Three CNN based detection algorithms, VOV based CNN, Faster R-CNN, and YOLOv2, are experimented for defect detection on metal surface. The results for inspection time and various performance indices are compared and analysed.