• Smart Structures and Systems
• /
• 제32권3호
• /
• pp.135-151
• /
• 2023

Using 3D asphalt pavement surface data, a deep and multiscale network named CrackNet-M is proposed in this paper for pixel-level crack detection for improvements in both accuracy and robustness. The CrackNet-M consists of four function-specific architectural modules: a central branch net (CBN), a crack map enhancement (CME) module, three pooling feature pyramids (PFP), and an output layer. The CBN maintains crack boundaries using no pooling reductions throughout all convolutional layers. The CME applies a pooling layer to enhance potential thin cracks for better continuity, consuming no data loss and attenuation when working jointly with CBN. The PFP modules implement direct down-sampling and pyramidal up-sampling with multiscale contexts specifically for the detection of thick cracks and exclusion of non-crack patterns. Finally, the output layer is optimized with a skip layer supervision technique proposed to further improve the network performance. Compared with traditional supervisions, the skip layer supervision brings about not only significant performance gains with respect to both accuracy and robustness but a faster convergence rate. CrackNet-M was trained on a total of 2,500 pixel-wise annotated 3D pavement images and finely scaled with another 200 images with full considerations on accuracy and efficiency. CrackNet-M can potentially achieve crack detection in real-time with a processing speed of 40 ms/image. The experimental results on 500 testing images demonstrate that CrackNet-M can effectively detect both thick and thin cracks from various pavement surfaces with a high level of Precision (94.28%), Recall (93.89%), and F-measure (94.04%). In addition, the proposed CrackNet-M compares favorably to other well-developed networks with respect to the detection of thin cracks as well as the removal of shoulder drop-offs.

• 정보보호학회논문지
• /
• 제33권6호
• /
• pp.1087-1098
• /
• 2023

인공지능 기술의 급격한 발전으로 다양한 분야에서 적극적으로 활용되고 있으나, 이와 함께 인공지능 기반 시스템에 대한 공격 위협이 증가하고 있다. 특히, 딥러닝에서 사용되는 인공신경망은 입력 데이터를 고의로 변형시켜 모델의 오류를 유발하는 적대적 공격에 취약하다. 본 연구에서는 이미지에서 단 하나의 픽셀 정보만을 변형시킴으로써 시각적으로 인지하기 어려운 One-Pixel 공격으로부터 이미지 분류 모델을 보호하기 위한 방법을 제안한다. 제안된 방어 기법은 오토인코더 모델을 이용하여 분류 모델에 입력 이미지가 전달되기 전에 잠재적 공격 이미지에서 위협 요소를 제거한다. CIFAR-10 데이터셋을 이용한 실험에서 본 논문에서 제안하는 오토인코더 기반의 One-Pixel 공격 방어 기법을 적용한 사전 학습 이미지 분류 모델들은 기존 모델의 수정 없이도 One-Pixel 공격에 대한 강건성이 평균적으로 81.2% 향상되는 결과를 보였다.

• 방송공학회논문지
• /
• 제25권2호
• /
• pp.200-207
• /
• 2020

CNN 기반 인공신경망은 영상 분류, 객체 인식, 화질 개선 등 다양한 분야에서 뛰어난 성능을 보이고 있다. 그러나, 많은 응용에서 딥러닝(Deep Learning) 모델의 복잡도 및 연산량이 방대해짐에 따라 IoT 기기 및 모바일 환경에 적용하기에는 제한이 따른다. 따라서 기존 딥러닝 모델의 성능을 유지하면서 모델 크기를 줄이는 인공신경망 압축 기법이 연구되고 있다. 본 논문에서는 인공신경망 압축기법을 통하여 원본 CNN 모델을 압축하고, 압축된 모델을 임베디드 시스템 환경에서 그 성능을 검증한다. 성능 검증을 위해 인공지능 지원 맞춤형 칩인 QCS605를 내장한 임베디드 보드에서 카메라로 입력한 영상에 대해서 원 CNN 모델과 압축 CNN 모델의 분류성능과 추론시간을 비교 분석한다. 본 논문에서는 이미지 분류 CNN 모델인 MobileNetV2, ResNet50 및 VGG-16에 가지치기(pruning) 및 행렬분해의 인공신경망 압축 기법을 적용하였고, 실험결과에서 압축된 모델이 원본 모델 분류 성능 대비 2% 미만의 손실에서 모델의 크기를 1.3 ~ 11.2배로 압축했을 뿐만 아니라 보드에서 추론시간과 메모리 소모량을 각각 1.2 ~ 2.1배, 1.2 ~ 3.8배 감소함을 확인했다.

• 방송공학회논문지
• /
• 제28권1호
• /
• pp.132-140
• /
• 2023

본 논문에서는 클리핑 감지기를 이용하여 음성 신호의 클리핑 제거 성능을 향상시키는 방법을 제안한다. 클리핑은 입력 음성 신호의 크기가 마이크의 동적 범위를 넘을 때 발생하며, 음성 품질을 저하시키는 요인이 된다. 최근 머신러닝을 이용한 많은 클리핑 제거 기술이 개발되었고 우수한 성능을 제공하고 있다. 그러나 머신러닝 기반의 클리핑 제거 방법은 신호 복원 과정의 왜곡으로 인해 클리핑이 심하지 않을 때 출력 신호의 품질이 저하되는 문제를 가진다. 이를 해결하기 위해 클리핑 제거기를 클리핑 감지기와 연동시켜 클리핑 수준에 따라 클리핑 제거 동작을 선택적으로 적용하는 방법을 제안하고, 이를 통해 모든 클리핑 수준에서 우수한 품질의 신호를출력하도록 한다. 다양한 평가 지표로 클리핑 제거 성능을 측정하였고, 제안 방법이 기존 방법에 비해 모든 클리핑 수준에 대한 평균성능을 향상시키고, 특히 클리핑 왜곡이 작을 때 성능을 크게 향상시키는 것을 확인하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권12호
• /
• pp.517-524
• /
• 2022

사람의 자세추정(Human pose estimation)은 사람의 관절 키포인트를 추출하여 자세를 추정하는 방법이다. 폐색현상(Occlusion)이 발생하면, 사람의 관절이 가려지므로 관절 키포인트 추출 성능이 낮아진다. 폐색현상은 총 3가지로 행동할 때 스스로 가려짐, 다른 사물에 의해 가려짐과 배경에 의해 가려짐으로 크게 나뉜다. 본 논문에서는 폐색현상 증강기법을 활용하여 효과적인 자세추정방법을 제안한다. 자세추정방법이 지속적으로 연구되어왔지만, 자세추정방법의 가려짐 현상에 관한 연구는 상대적으로 부족한 상태이다. 이를 해결하기 위해 저자는 사람의 관절을 타겟팅하여 의도적으로 가리는 데이터 증강기법을 제안한다. 본 논문에서의 실험 결과는 의도적으로 폐색현상 증강기법을 활용하면 폐색현상에 강인하며 성능이 올라간 것을 보여준다.

• 인터넷정보학회논문지
• /
• 제25권1호
• /
• pp.99-107
• /
• 2024

경제성장과 산업 발전에 따라 반도체 제품부터 SMT 제품, 전기 배터리 제품에 이르기 까지 많은 전자통신 부품들의 제조과정에서 발생하는 철, 알루미늄, 플라스틱 등의 이물질로 인해 제품이 제대로 동작하지 않거나, 전기 배터리의 경우 화재를 발생하는 문제까지 심각한 문제로 이어질 가능성이 있다. 이러한 문제를 해결하기 위해 초음파나 X-ray를 이용한 비파괴 방법으로 제품 내부에 이물질이 있는지 판단하여 문제의 발생을 차단하고 있으나, X-ray 영상을 취득하여 이물질이 있는지 판정하는 데에도 여러 한계점이 존재한다. 특히. 크기가 작거나 밀도가 낮은 이물질들은 X-Ray장비로 촬영을 하여도 보이지 않는 문제점이 있고, 잡음 등으로 인해 이물들이 잘 안 보이는 경우가 있으며, 특히 높은 생산성을 가지기 위해서는 빠른 검사속도가 필요한데, 이 경우 X-ray 촬영시간이 짧아지게 되면 신호 대비 잡음비율(SNR)이 낮아지면서 이물 탐지 성능이 크게 저하되는 문제를 가진다. 따라서, 본 논문에서는 저화질로 인해 이물질을 탐지하기 어려운 한계를 극복하기 위한 5단계 방안을 제안한다. 첫번째로, Global 히스토그램 최적화를 통해 X-Ray영상의 대비를 향상시키고, 두 번째로 고주파 영역 신호의 구분력을 강화하기 위하여 Local contrast기법을 적용하며, 세 번째로 Edge 선명도 향상을 위해 Unsharp masking을 통해 경계선을 강화하여 객체가 잘 구분되도록 한다, 네 번째로, 잡음 제거 및 영상향상을 위해 Resdual Dense Block(RDB)의 초고해상화 방법을 제안하며, 마지막으로 Yolov5 알고리즘을 이용하여 이물질을 학습한 후 탐지한다. 본 연구에서 제안하는 방식을 이용하여 실험한 결과, 저밀도 영상 대비 정밀도 등의 평가기준에서 10%이상의 성능이 향상된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 춘계학술발표대회
• /
• pp.335-337
• /
• 2018

음성향상기법은 음성에 포함된 잡음이나 잔향을 제거하는 기술로써 마이크로폰으로 입력된 음성신호는 잡음이나 잔향에 의해 왜곡되어지므로 음성인식, 음성통신 등의 음성신호처리 기술의 핵심 기술이다. 이전에는 음성신호와 잡음신호 사이의 통계적 정보를 이용하는 통계모델 기반의 음성향상기법이 주로 사용되었으나 통계 모델 기반의 음성향상기술은 정상 잡음 환경과는 달리 비정상 잡음 환경에서 성능이 크게 저하되는 문제점을 가지고 있었다. 최근 머신러닝 기법인 심화신경망 (DNN, deep neural network)이 도입되어 음성 향상 기법에서 우수한 성능을 내고 있다. 심화신경망을 이용한 음성 향상 기법은 다수의 은닉 층과 은닉 노드들을 통하여 잡음이 존재하는 음성 신호와 잡음이 존재하지 않는 깨끗한 음성 신호 사이의 비선형적인 관계를 잘 모델링하였다. 이러한 심화신경망 기반의 음성향상기법을 향상 시킬 수 있는 방법 중 하나인 강화학습을 적용하여 기존 심화신경망 대비 성능을 향상시켰다. 강화학습이란 대표적으로 구글의 알파고에 적용된 기술로써 특정 state에서 최고의 reward를 받기 위해 어떠한 policy를 통한 action을 취해서 다음 state로 나아갈지를 매우 많은 경우에 대해 학습을 통해 최적의 action을 선택할 수 있도록 학습하는 방법을 말한다. 본 논문에서는 composite measure를 기반으로 reward를 설계하여 기존 PESQ (Perceptual Evaluation of Speech Quality) 기반의 reward를 설계한 기술 대비 음성인식 성능을 높였다.

• 한국컴퓨터정보학회논문지
• /
• 제28권8호
• /
• pp.11-19
• /
• 2023

본 논문에서는 기존에 영상의 품질을 평가하는 데 사용되던 지표가 저조도 영상에 대해서도 적용될 수 있음을 확인한다. 저조도 영상의 특성상, 빛과 관련된 요인들이 다양한 잡음 패턴을 만들어내고 빛의 양이 적을수록 극심한 잡음을 가지고 있다. 그렇기 때문에, 잡음이 없는 깨끗한 영상을 구하기 힘든 상황에서 잡음이 제거된 저조도 영상의 품질을 사람의 눈으로 판단하는 경우가 많다. 본 논문에서는, ground truth를 구할 수 없는 저조도 영상의 잡음을 Noise2Noise를 이용해서 제거하고, MTF와 SNR 등의 지표로 공간 해상도와 방사 해상도를 ISO 12233 차트와 colorchecker를 대상으로 평가한다. 정성적 평가 위주로 평가되던 저조도 영상의 품질이 정량적으로도 평가될 수 있음을 보여줄 수 있다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제18권8호
• /
• pp.2199-2213
• /
• 2024

To enhance the quality of defect detection for Printed Circuit Board Assembly (PCBA) during electronic product manufacturing, this study primarily focuses on optimizing the YOLOv7-based method for PCBA defect detection. In this method, the Mish, a smoother function, replaces the Leaky ReLU activation function of YOLOv7, effectively expanding the network's information processing capabilities. Concurrently, a Squeeze-and-Excitation attention mechanism (SEAM) has been integrated into the head of the model, significantly augmenting the precision of small target defect detection. Additionally, considering angular loss, compared to the CIoU loss function in YOLOv7, the SIoU loss function in the paper enhances robustness and training speed and optimizes inference accuracy. In terms of data preprocessing, this study has devised a brightness adjustment data enhancement technique based on split-filtering to enrich the dataset while minimizing the impact of noise and lighting on images. The experimental results under identical training conditions demonstrate that our model exhibits a 9.9% increase in mAP value and an FPS increase to 164 compared to the YOLOv7. These indicate that the method proposed has a superior performance in PCBA defect detection and has a specific application value.

• Journal of Web Engineering
• /
• 제21권2호
• /
• pp.425-442
• /
• 2021

Media technology has been developed to give users a sense of immersion. Recent media using 3D spatial data, such as augmented reality and virtual reality, has attracted attention. A point cloud is a data format that consists of a number of points, and thus can express 3D media using coordinates and color information for each point. Since a point cloud has a larger capacity than 2D images, a technology to compress the point cloud is required, i.e., standardized in the international standard organization MPEG as a video-based point cloud compression (V-PCC). V-PCC decomposes 3D point cloud data into 2D patches along orthogonal directions, and those patches are placed into a 2D image sequence, and then compressed using existing 2D video codecs. However, data loss may occur while converting a 3D point cloud into a 2D image sequence and encoding this sequence using a legacy video codec. This data loss can cause deterioration in the quality of a reconstructed point cloud. This paper proposed a method of enhancing a reconstructed point cloud by applying a super resolution network to the 2D patch image sequence of a 3D point cloud.