• Journal of the Institute of Convergence Signal Processing
• /
• v.23 no.2
• /
• pp.84-90
• /
• 2022

Machine tool state monitoring is a process that automatically detects the states of machine. In the manufacturing process, the efficiency of machining and the quality of the product are affected by the condition of the tool. Wear and broken tools can cause more serious problems in process performance and lower product quality. Therefore, it is necessary to develop a system to prevent tool wear and damage during the process so that the tool can be replaced in a timely manner. This paper proposes a method for diagnosing five tool states using a deep learning-based hierarchical convolutional neural network to change tools at the right time. The one-dimensional acoustic signal generated when the machine cuts the workpiece is converted into a frequency-based power spectral density two-dimensional image and use as an input for a convolutional neural network. The learning model diagnoses five tool states through three hierarchical steps. The proposed method showed high accuracy compared to the conventional method. In addition, it will be able to be utilized in a smart factory fault diagnosis system that can monitor various machine tools through real-time connecting.

• Annual Conference of KIPS
• /
• 2023.05a
• /
• pp.507-509
• /
• 2023

최근 딥러닝은 도로 CCTV 동영상의 교통사고 검출에 널리 사용되지만 일인칭 동영상의 교통사고 검출은 분명히 어렵다. 일인칭 동영상은 역동적이고 시야가 제한되어 있기 때문이다. 본 논문에서는 일인칭 동영상을 분석하여 교통사고를 검출하는 방법을 제시한다. 이 방법은 교통 표현 특성을 분석하는 것 외에도 의미를 이해하고 교통 장면을 인코딩한다. 프레임의 표현 특징은 각 프레임 상의 물체의 특징과 물체의 위치 관계의 공간적 숨겨진 특진을 학습함으로써 얻어진다. 그 후에 프레임 표현 특징과 교통 장면의 특징이 연결되어 GRU 실행기에 공급된다. 여러 GRU 실행기는 분석한 후 사고가 발생했는지 확인된다. 이 방법은 높은 역학과 제한된 시야 문제를 효과적으로 해결한다.

• Annual Conference of KIPS
• /
• 2020.05a
• /
• pp.446-450
• /
• 2020

딥러닝 기반의 영상 분석 방법들은 많은 양의 학습 데이터가 필요하며, 학습 데이터 구축에는 많은 시간과 노력이 소요된다. 특히 객체 검출 분야의 경우 영상 내 객체의 위치, 크기, 범주 등의 정보가 모두 필요하여 학습 데이터 구축에 더 많은 어려움이 있으며, 이를 해결하기 위해 최근 이미지 합성기반 데이터 증강에 관한 연구가 활발히 진행되고 있다. 이미지 합성기반 데이터 증강 방법은 배경 영상에 객체를 합성할 때 객체와 배경 영상이 접한 영역에서 아티팩트(Artifact)가 발생하며, 이는 객체 검출 모델이 아티팩트를 객체의 특징으로 모델링하여 검출 성능이 저하되는 원인이 된다. 이러한 문제를 해결하기 위하여 본 논문에서는 양방향 필터 기반의 이미지 합성 방법을 제안하고, 단일 단계 검출의 대표적인 방법인 RetinaNet을 이용하여 이미지 합성기반 데이터 증강 방법의 성능을 분석하였다. 공개 데이터셋에 대한 실험 결과 본 논문에서 사용한 단일 검출 방법 및 데이터 증강 기법을 사용하면 더 적은 양의 증강 데이터로 기존 방법과 동일한 성능을 보여주는 것을 확인하였다.

• KIPS Transactions on Software and Data Engineering
• /
• v.11 no.5
• /
• pp.211-220
• /
• 2022

Recently, research on smart factories triggered by the 4th industrial revolution is being actively conducted. Accordingly, the manufacturing industry is conducting various studies to improve productivity and quality based on deep learning technology with robust performance. This paper is a study on the method of detecting tire surface defects in the visual inspection stage of the tire manufacturing process, and introduces a tire surface defect detection method using a depth image acquired through a 3D camera. The tire surface depth image dealt with in this study has the problem of low contrast caused by the shallow depth of the tire surface and the difference in the reference depth value due to the data acquisition environment. And due to the nature of the manufacturing industry, algorithms with performance that can be processed in real time along with detection performance is required. Therefore, in this paper, we studied a method to normalize the depth image through relatively simple methods so that the tire surface defect detection algorithm does not consist of a complex algorithm pipeline. and conducted a comparative experiment between the general normalization method and the normalization method suggested in this paper using YOLO V3, which could satisfy both detection performance and speed. As a result of the experiment, it is confirmed that the normalization method proposed in this paper improved performance by about 7% based on mAP 0.5, and the method proposed in this paper is effective.

• Annual Conference of KIPS
• /
• 2021.11a
• /
• pp.1012-1015
• /
• 2021

Covid-19 로 인한 마스크 착용이 청각장애인들의 소통을 더 어렵게 하는 바, 제 3 자의 도움 없이 쌍방향 소통을 가능하게 하는 서비스의 필요성이 커지고 있다. 이에 본 논문은 소통의 어려움을 겪는 청각장애인과 비청각장애인을 위한 쌍방향 소통 서비스에 대한 연구와 개발 과정, 기대 효과를 담는다. 서비스는 GRU-CNN 하이브리드 아키텍처를 사용하여 데이터셋을 영상 공간 정보와 시간 정보를 포함한 프레임으로 분할하는 영상 분류 기법과 같은 딥 러닝 알고리즘을 통해 수어 영상을 분류한다. 해당 연구는 "눈속말" 모바일 어플리케이션으로 제작 중이며 음성을 인식하여 수어영상과 텍스트로 번역결과를 제공하는 청각장애인 버전과 카메라를 통해 들어온 수어 영상을 텍스트로 변환하여 음성과 함께 제공하는 비청각장애인 버전 두 가지로 나누어 구현한다. 청각장애인과 비장애인의 쌍방향 소통을 위한 서비스는 청각장애인이 사회로 나아가기 위한 가장 기본적인 관문으로서의 역할을 할 것이며 사회 참여를 돕고 소통이라는 장벽을 넘어서는 발돋움이 될 것이라 예측된다.

• KIPS Transactions on Software and Data Engineering
• /
• v.11 no.6
• /
• pp.255-266
• /
• 2022

The quality control of coarse aggregate among aggregates, which are the main ingredients of concrete, is currently carried out by SPC(Statistical Process Control) method through sampling. We construct a smart factory for manufacturing innovation by changing the quality control of coarse aggregates to inspect the coarse aggregates based on this image by acquired images through the camera instead of the current sieve analysis. First, obtained images were preprocessed, and HED(Hollistically-nested Edge Detection) which is the filter learned by deep learning segment each object. After analyzing each aggregate by image processing the segmentation result, fineness modulus and the aggregate shape rate are determined by analyzing result. The quality of aggregate obtained through the video was examined by calculate fineness modulus and aggregate shape rate and the accuracy of the algorithm was more than 90% accurate compared to that of aggregates through the sieve analysis. Furthermore, the aggregate shape rate could not be examined by conventional methods, but the content of this paper also allowed the measurement of the aggregate shape rate. For the aggregate shape rate, it was verified with the length of models, which showed a difference of ±4.5%. In the case of measuring the length of the aggregate, the algorithm result and actual length of the aggregate showed a ±6% difference. Analyzing the actual three-dimensional data in a two-dimensional video made a difference from the actual data, which requires further research.

• Annual Conference of KIPS
• /
• 2020.11a
• /
• pp.960-963
• /
• 2020

소비자원 소비자 위해 정보 동향 분석 보고서에 따르면, 10대 미만과 60대 이상이 겪는 사고 중 가정 내 사고의 비율이 약 70%로 높은 비율을 차지하는 것을 볼 수 있다. 기존의 CCTV는 실시간으로 영상 전송은 가능하지만 영상 속의 상황 분석은 하지 못하며, 이를 위해선 지켜보는 인력이 추가로 필요하다. 따라서 보호자의 비용 부담 없이 24시간 행동 분석을 통해 보호가 필요한 가족 구성원의 사고를 예방할 수 있으며 침입과 같은 범죄를 막을 수 있는 AI CCTV의 필요성을 느껴 제작하였다. 해당 CCTV는 실시간 분석으로 영상 내의 위험을 감지하고 감지 후 관련 사항을 등록된 연락처로 송출해서 보호자에게 위험 상황을 알릴 수 있다. 향후 가정 내의 IOT 기기들과 연결하여 위험 상황 발생 시 직접 위험 상황을 해결할 수 있는 스마트 홈 보안으로 범위를 넓힐 수 있다.

• Journal of the Korea Convergence Society
• /
• v.11 no.12
• /
• pp.39-47
• /
• 2020

In this paper, we proposed a deep learning-based detection method using Saliency Attention to detect salient objects in images. The salient object detection separates the object where the human eye is focused from the background, and determines the highly relevant part of the image. It is usefully used in various fields such as object tracking, detection, and recognition. Existing deep learning-based methods are mostly Autoencoder structures, and many feature losses occur in encoders that compress and extract features and decoders that decompress and extend the extracted features. These losses cause the salient object area to be lost or detect the background as an object. In the proposed method, Saliency Attention is proposed to reduce the feature loss and suppress the background region in the Autoencoder structure. The influence of the feature values was determined using the ELU activation function, and Attention was performed on the feature values in the normalized negative and positive regions, respectively. Through this Attention method, the background area was suppressed and the projected object area was emphasized. Experimental results showed improved detection results compared to existing deep learning methods.

• Journal of the Institute of Convergence Signal Processing
• /
• v.23 no.3
• /
• pp.160-165
• /
• 2022

Mutual distillation is a knowledge distillation method that guides a cohort of neural networks to learn cooperatively by transferring knowledge between them, without the help of a teacher network. This paper aims to confirm whether mutual distillation is also applicable to super-resolution networks. To this regard, we conduct experiments to apply mutual distillation to the discriminators of SRGANs and analyze the effect of mutual distillation on improving SRGAN's performance. As a result of the experiment, it was confirmed that SRGANs whose discriminators shared their knowledge through mutual distillation can produce super-resolution images enhanced in both quantitative and qualitative qualities.

• Annual Conference of KIPS
• /
• 2022.11a
• /
• pp.562-564
• /
• 2022

조호환경이란 환자의 지속적인 추적 및 관찰이 필요한 환경으로써, 병원 입원실, 요양원 등을 의미한다. 조호환경 내 환자의 이상 증세가 발생하는 시간 및 이상 증세의 종류는 예측할 수 없기에 인력을 통한 상시 관리는 필수적이다. 또한, 환자의 이상 증세 발견 시간은 발병 시점부터의 소요 시간이 생사와 즉결되기에 빠른 발견이 매우 중요하다. 하지만, 인력을 통한 상시 관리는 많은 경제적 비용을 수반하기에 독거 노인, 빈민층 등 요양 비용을 충당하지 못하는 환자들이 수혜받는 것은 어려우며, 인력을 통해 이루어지기 때문에 이상 증세 발병 즉시 발견에 한계를 가진다. 즉, 기존까지 조호환경 내 환자 관리 방식은 경제적 비용과 이상 증세 발병 즉시 발견에 한계를 가진다는 문제점을 가진다. 따라서 본 논문은 YOLO 모델의 조호환경 내 환자 탐지 성능 비교 및 바운딩 박스 앙상블 기법을 제안한다. 이를 통해, 딥러닝 모델을 통한 환자 상시 관리가 이루어지기에 높은 경제적 비용문제를 해소할 수 있다. 또한, YOLO 모델 바운딩 박스 앙상블 기법 WBF를 통해 폐색이 짙은 조호환경 영상 데이터 내에 객체 탐지 영역 정확도 향상 방법을 연구하였다.