• 제어로봇시스템학회논문지
• /
• 제15권9호
• /
• pp.899-905
• /
• 2009

There are many different types of surface defects on semiconductor Integrated Chips (IC's) caused by various factors during manufacturing process, such as Scratch, Flash, Resin bleed, and Melting. These defects must be detected and classified by an inspection system for productivity improvement and effective process control. Among defects, in particular, Resin bleed and Melting are the most difficult ones to classify accurately. The brightness value and the shape of Resin bleed and Melting defects are so similar that normally it is difficult to classify the Resin bleed and Melting. In this paper, we propose a segmenting method and a set of features for detecting and classifying the Resin bleed and Melting defects.

• 한국건축시공학회지
• /
• 제23권2호
• /
• pp.197-207
• /
• 2023

콘크리트는 압축력에 잘 저항하고 내구성이 우수하여 널리 사용되는 재료이다. 하지만 구조물은 시공 단계에서 주변 환경, 사용되는 재료의 특성에 따라 완공된 후 표면의 균열, 구조물의 침하 등 다양한 하자가 발생하거나 시간이 지남에 따라 콘크리트 구조물 표면에 결함이 발생한다. 그대로 방치하면 구조물에 심각한 손상을 초래하기 때문에 안전 점검을 통해 검사해야 한다. 하지만 전문 검사원들이 직접 조사하기에 비용이 높고 육안으로 판단하는 외관 검사법을 사용한다. 고층 건물일수록 상세한 검사가 힘들다. 본 연구는 노후화로 인해 콘크리트 표면에 발생하는 결함 중 균열을 탐지하는 딥러닝 기반 시맨틱 세그먼테이션 모형과 해당 모형의 특징 추출과 일반화 성능을 높이기 위한 이미지 어그멘테이션 기법을 개발하였다. 이를 위해 공개 데이터셋과 자체 데이터셋을 결합하여 시맨틱 세그먼테이션용 데이터셋을 구축하고 대표적인 딥러닝 기반 시맨틱 세그먼테이션 모형들을 비교실험하였다. 콘크리트 내벽을 중점으로 학습한 모형의 균열 추출 성능은 81.4%이며, 개발한 이미지 어그멘테이션을 적용한 결과 3%의 성능향상을 확인하였다. 향후 고층 건물과 같이 접근성이 어려운 지점을 드론을 통해 콘크리트 외벽에서 균열을 검출할 수 있는 시스템을 개발함으로써 실질적으로 활용할 수 있기를 기대한다.

• 한국정밀공학회지
• /
• 제16권12호
• /
• pp.60-70
• /
• 1999

An efficient automatic inspection system for Floating Seal is developed, The proposed system consists of a high resolution line scan camera, microcomputer, and PLC (Programmable Logic Controller). In order to perform rapid inspection, The ROI (Region of Interest) is extracted from the original image. There are types of defects; shape defects and surface defects. Each features of defects are captured by edge detect, segmentation, morphological operation, and threshold analysis. PLC controller is used to synchronize the whole system and store the inspection results temporarily to reduce the overhead of microcomputer. As a result, the system is being utilized successfully in a teal inspection line.

• Smart Structures and Systems
• /
• 제29권1호
• /
• pp.207-220
• /
• 2022

Structural health monitoring (SHM) plays a vital role in the maintenance and operation of constructions. In recent years, autonomous inspection has received considerable attention because conventional monitoring methods are inefficient and expensive to some extent. To develop autonomous inspection, a potential approach of crack identification is needed to locate defects. Therefore, this study exploits two deep learning-based segmentation models, DeepLabv3+ and Mask R-CNN, for crack segmentation because these two segmentation models can outperform other similar models on public datasets. Additionally, impacts of label quality on model performance are explored to obtain an empirical guideline on the preparation of image datasets. The influence of image cropping and label refining are also investigated, and different strategies are applied to the dataset, resulting in six alternated datasets. By conducting experiments with these datasets, the highest mean Intersection-over-Union (mIoU), 75%, is achieved by Mask R-CNN. The rise in the percentage of annotations by image cropping improves model performance while the label refining has opposite effects on the two models. As the label refining results in fewer error annotations of cracks, this modification enhances the performance of DeepLabv3+. Instead, the performance of Mask R-CNN decreases because fragmented annotations may mistake an instance as multiple instances. To sum up, both DeepLabv3+ and Mask R-CNN are capable of crack identification, and an empirical guideline on the data preparation is presented to strengthen identification successfulness via image cropping and label refining.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제15권6호
• /
• pp.464-468
• /
• 2009

본 연구는 Apoptosis세포들의 형상을 검출하기 위하여 전통적인 세포측정법과는 다른 영상기반 접근법을 제안한다. 이 방법은 세포측정 법의 단점을 극복하고 Apoptosis 세포들을 정확하게 인식할 수 있다. 본 연구에서 K-means 군집화 방법이 Apoptosis 세포의 거시적인 분할을 행하는 데 사용되었으며, '스네이코'라고 불리는 액티브 윤곽선 모델이 정밀한 경계선 검출을 위해 사용되었다. 그리고 Apoptosis세포들의 물리적 특징, 형태적 특징 그리고 무늬특징들을 포함하는 몇가지 특징들이 추출되었다. 마지막으로 Mahalanobis 거리 분류기가 Apoptosis세포와 비Apoptosis 세포로서 분할영상들을 분류한다.

• 반도체디스플레이기술학회지
• /
• 제20권2호
• /
• pp.126-130
• /
• 2021

The ball grid array is one of the packaging methods that used in high density printed circuit board. Solder void defects caused by voids in the solder ball during the BGA process do not directly affect the reliability of the product, but it may accelerate the aging of the device on the PCB layer or interface surface depending on its size or location. Void inspection is important because it is related in yields with products. The most important process in the optical inspection of solder void is the segmentation process of solder and void. However, there are several segmentation algorithms for the vision inspection, it is impossible to inspect all of images ideally. When X-Ray images with poor contrast and high level of noise become difficult to perform image processing for vision inspection in terms of software programming. This paper suggests the solution to deal with the suggested problem by means of using Mask R-CNN instead of digital image processing algorithm. Mask R-CNN model can be trained with images pre-processed to increase contrast or alleviate noises. With this process, it provides more efficient system about complex object segmentation than conventional system.

• Smart Structures and Systems
• /
• 제31권4호
• /
• pp.383-392
• /
• 2023

Post-earthquake building condition assessment is crucial for subsequent rescue and remediation and can be automated by emerging computer vision and deep learning technologies. This study is based on an endeavour for the 2nd International Competition of Structural Health Monitoring (IC-SHM 2021). The task package includes five image segmentation objectives - defects (crack/spall/rebar exposure), structural component, and damage state. The structural component and damage state tasks are identified as the priority that can form actionable decisions. A multi-task Convolutional Neural Network (CNN) is proposed to conduct the two major tasks simultaneously. The rest 3 sub-tasks (spall/crack/rebar exposure) were incorporated as auxiliary tasks. By synchronously learning defect information (spall/crack/rebar exposure), the multi-task CNN model outperforms the counterpart single-task models in recognizing structural components and estimating damage states. Particularly, the pixel-level damage state estimation witnesses a mIoU (mean intersection over union) improvement from 0.5855 to 0.6374. For the defect detection tasks, rebar exposure is omitted due to the extremely biased sample distribution. The segmentations of crack and spall are automated by single-task U-Net but with extra efforts to resample the provided data. The segmentation of small objects (spall and crack) benefits from the resampling method, with a substantial IoU increment of nearly 10%.

• 한국콘텐츠학회논문지
• /
• 제11권3호
• /
• pp.18-25
• /
• 2011

현재 주화의 제조 공정에서는 주화의 표면 품질 진단을 사람이 눈으로 직접 확인하여 수행하고 있다. 본 논문은 컨베이어 벨트에 놓이어 이동하는 주화로부터 획득한 영상을 이용하여 주화 표면의 결함을 검출하는 영상처리 방법을 제시한다. 결함 검출 방법은 영상에서 주화 영역을 분할하고, 분할된 동전을 비교할 모델에 정렬하며, 정렬된 영상을 최적의 고유 영상 공간으로 투영, 투영 오차와 학습된 가변 임계값과 비교하여 결함 부위를 검출한다. 본 논문에서는 이러한 일련의 영상처리 과정 중에서 주화 표면 진단과 관련하여 특화된 새로운 방법을 제시한다. 주화의 정렬을 위하여 분할된 주화의 히스토그램을 사용한다. 이 방법은 2차원 영상의 정렬을 일차원 히스토그램의 정렬로 변환하는 것이다. 다음으로 정렬된 영상을 고유 영상공간에 투영시켜 주화 방향에 따른 휘도 변화를 보정한다. 이 방법은 소수의 고유 영상 벡터들로 구성된 고유 영상 공간을 여러 개 생성하고, 최적의 고유 영상 공간에 정렬된 영상을 투영하여 실시간 구현이 가능하게 한다.

• 한국멀티미디어학회논문지
• /
• 제15권4호
• /
• pp.439-448
• /
• 2012

TFT-LCD 패널을 저해상도로 획득한 영상은 불균일한 휘도 분포와 노이즈 신호, 그리고 결함 신호로 구성되어 있다. 불균일한 휘도 분포와 노이즈로 인해 결함 신호를 분할하기 어려우며 이를 위해 다양한 분할 방법이 개발되고 있다. 본 논문에서는 공간영역 상에서 Eikvil et al.'s에 의해 제안되어진 크기가 다른 두 개의 창을 두고 각 창의 평균을 계산하고 그 값의 차이를 이용하는 방법을 이용하여 TFT-LCD 패널 이미지 상에 존재하는 결함의 영역을 분할하는 방법을 제안한다. 하지만 이 방법은 창의 크기에 의해 검출 가능한 결함영역의 크기가 제한되어 큰 결함영역을 분할하기 위해서는 창을 키워야 하므로 효율적이지 못한 문제점을 가지고 있다. 이 문제를 해결하기위해 멀티스케일(Multi-scale)을 이용하고, 각 스케일에서 검출 가능한 결함 크기를 제한함으로써 다양한 크기의 결함 영역을 분할 할 수 있는 알고리즘을 제안한다. 알고리즘의 성능을 검증하기위해 다양한 크기의 결함 영역을 만들어 분할되어진 결과와 실제 결함이 존재하는 TFT-LCD 패널 이미지의 분할 결과들을 통해 실제 적용 가능한 알고리즘임을 보인다.

• 국제학술발표논문집
• /
• The 10th International Conference on Construction Engineering and Project Management
• /
• pp.311-318
• /
• 2024

Quality control in construction projects necessitates the detection of defects during construction. Currently, this task is performed manually by site supervisors. This manual process is inefficient, labor-intensive, and prone to human error, potentially leading to decreased productivity. To address this issue, research has been conducted to automate defect detection using computer vision-based object detection technologies. However, these studies often suffer from a lack of data for training deep learning models, resulting in inadequate accuracy. This study proposes a method to improve the accuracy of deep learning models through the use of virtual image data. The target building is created as a 3D model and finished with materials similar to actual components. Subsequently, a virtual defect texture is produced by layering three types of images: defect information, area information, and material information images, to fabricate materials with defects. Images are generated by rendering the 3D model and the defect, and annotations are created for segmentation. This approach creates a hybrid dataset by combining virtual data with actual site image data, which is then used to train the deep learning model. This research was conducted on the tile process of finishing construction projects, focusing on cracks and falls as the target defects. The training results of the deep learning model show that the F1-Score increased by 12.08% for falls and cracks when using the hybrid dataset compared to the real image dataset alone, validating the hybrid data approach. This study contributes not only to unmanned and automated smart construction management but also to enhancing safety on construction sites. To establish an integrated smart quality management system, it is necessary to detect various defects simultaneously with high accuracy. Utilizing this method for automatic defect detection in other types of construction can potentially expand the possibilities for implementing an integrated smart quality management system.