• 대한임베디드공학회논문지
• /
• 제19권3호
• /
• pp.151-158
• /
• 2024

Although on-device artificial intelligence (AI) has gained attention to diagnosing machine faults in real time, most previous studies did not consider the model retraining and redeployment processes that must be performed in real-world industrial environments. Our study addresses this challenge by proposing an on-device AI-based real-time machine fault diagnosis system that utilizes continual learning. Our proposed system includes a lightweight convolutional neural network (CNN) model, a continual learning algorithm, and a real-time monitoring service. First, we developed a lightweight 1D CNN model to reduce the cost of model deployment and enable real-time inference on the target edge device with limited computing resources. We then compared the performance of five continual learning algorithms with three public bearing fault datasets and selected the most effective algorithm for our system. Finally, we implemented a real-time monitoring service using an open-source data visualization framework. In the performance comparison results between continual learning algorithms, we found that the replay-based algorithms outperformed the regularization-based algorithms, and the experience replay (ER) algorithm had the best diagnostic accuracy. We further tuned the number and length of data samples used for a memory buffer of the ER algorithm to maximize its performance. We confirmed that the performance of the ER algorithm becomes higher when a longer data length is used. Consequently, the proposed system showed an accuracy of 98.7%, while only 16.5% of the previous data was stored in memory buffer. Our lightweight CNN model was also able to diagnose a fault type of one data sample within 3.76 ms on the Raspberry Pi 4B device.

• 스마트미디어저널
• /
• 제10권1호
• /
• pp.79-87
• /
• 2021

In recent years research on automatic font generation with machine learning mainly focus on using transformation-based methods, in comparison, generative model-based methods of font generation have received less attention. Transformation-based methods learn a mapping of the transformations from an existing input to a target. This makes them ambiguous because in some cases a single input reference may correspond to multiple possible outputs. In this work, we focus on font generation using the generative model-based methods which learn the buildup of the characters from noise-to-image. We propose a novel way to train a conditional generative deep neural model so that we can achieve font style control on the generated font images. Our research demonstrates how to generate new font images conditioned on both character class labels and character style labels when using the generative model-based methods. We achieve this by introducing a modified generator network which is given inputs noise, character class, and style, which help us to calculate losses separately for the character class labels and character style labels. We show that adding the character style vector on top of the character class vector separately gives the model rich information about the font and enables us to explicitly specify not only the character class but also the character style that we want the model to generate.

• Steel and Composite Structures
• /
• 제45권2호
• /
• pp.159-173
• /
• 2022

This paper proposes a hybrid machine-learning model, which is called DANN-IP, that combines a deep artificial neural network (DANN) and an interior-point (IP) algorithm in order to improve the prediction capacity on the patch loading resistance of steel plate girders. For this purpose, 394 steel plate girders that were subjected to patch loading were tested in order to construct the DANN-IP model. Firstly, several DANN models were developed in order to establish the relationship between the patch loading resistance and the web panel length, the web height, the web thickness, the flange width, the flange thickness, the applied load length, the web yield strength, and the flange yield strength of steel plate girders. Accordingly, the best DANN model was chosen based on three performance indices, which included the R^2, RMSE, and a20-index. The IP algorithm was then adopted to optimize the weights and biases of the DANN model in order to establish the hybrid DANN-IP model. The results obtained from the proposed DANN-IP model were compared with of the results from the DANN model and the existing empirical formulas. The comparison showed that the proposed DANN-IP model achieved the best accuracy with an R^2 of 0.996, an RMSE of 23.260 kN, and an a20-index of 0.891. Finally, a Graphical User Interface (GUI) tool was developed in order to effectively use the proposed DANN-IP model for practical applications.

• 한국전자통신학회논문지
• /
• 제19권4호
• /
• pp.791-798
• /
• 2024

본 연구의 목적은 YOLOv8, ResNet50, Faster R-CNN 모델을 활용하여 고추 작물의 질병을 진단하고, 각 모델의 성능을 비교하는 것이다. 첫 번째 모델은 YOLOv8을 사용하여 질병을 진단하였고, 두 번째 모델은 ResNet50을 단독으로 사용하였다. 세 번째 모델은 YOLOv8과 ResNet50을 결합하여 질병을 진단하였으며, 네 번째 모델은 Faster R-CNN을 사용하여 질병을 진단하였다. 각 모델의 성능은 정확도, 정밀도, 재현율, F1-Score 지표로 평가된다. 연구 결과, YOLOv8과 ResNet50을 결합한 모델이 가장 높은 성능을 보였으며, YOLOv8 단독 모델도 높은 성능을 나타냈다.

• 한국컴퓨터정보학회논문지
• /
• 제28권8호
• /
• pp.49-58
• /
• 2023

학생들의 중도 탈락은 대학의 재정적 손실 뿐 아니라, 학생 개개인 및 사회적으로도 부정적인 영향을 끼친다. 이러한 문제를 해결하기 위해 기계 학습을 이용하여 대학생들의 중도 탈락 여부를 예측하고자 하는 다양한 시도가 이루어지고 있다. 본 논문에서는 대학생들의 중도 탈락 여부를 예측하기 위해 DNN(Deep Neural Network)과 LGBM(Light Gradient Boosting Machine)을 이용한 모델을 구현하고 성능을 비교하였다. 학습 데이터로는 서울 소재 중소규모 4년제 대학인 A 대학의 20,050명의 학생을 대상으로 수집된 학적 및 성적 데이터를 학습에 이용하였다. 원본 데이터의 140여개의 속성 중 중도 탈락 여부를 나타내는 속성과의 상관계수가 0.1 이상인 속성들만 추출하여 학습하였다. 두 모델의 성능 실험 결과, DNN과 LGBM의 F1-스코어는 0.798과 0.826이었으며, LGBM이 DNN에 비해 2.5% 나은 예측 성능을 보였다.

• International Journal of Computer Science & Network Security
• /
• 제23권8호
• /
• pp.177-189
• /
• 2023

Malware detection is an increasingly important operational focus in cyber security, particularly given the fast pace of such threats (e.g., new malware variants introduced every day). There has been great interest in exploring the use of machine learning techniques in automating and enhancing the effectiveness of malware detection and analysis. In this paper, we present a deep recurrent neural network solution as a stacked Long Short-Term Memory (LSTM) with a pre-training as a regularization method to avoid random network initialization. In our proposal, we use global and short dependencies of the inputs. With pre-training, we avoid random initialization and are able to improve the accuracy and robustness of malware threat hunting. The proposed method speeds up the convergence (in comparison to stacked LSTM) by reducing the length of malware OpCode or bytecode sequences. Hence, the complexity of our final method is reduced. This leads to better accuracy, higher Mattews Correlation Coefficients (MCC), and Area Under the Curve (AUC) in comparison to a standard LSTM with similar detection time. Our proposed method can be applied in real-time malware threat hunting, particularly for safety critical systems such as eHealth or Internet of Military of Things where poor convergence of the model could lead to catastrophic consequences. We evaluate the effectiveness of our proposed method on Windows, Ransomware, Internet of Things (IoT), and Android malware datasets using both static and dynamic analysis. For the IoT malware detection, we also present a comparative summary of the performance on an IoT-specific dataset of our proposed method and the standard stacked LSTM method. More specifically, of our proposed method achieves an accuracy of 99.1% in detecting IoT malware samples, with AUC of 0.985, and MCC of 0.95; thus, outperforming standard LSTM based methods in these key metrics.

• 한국컴퓨터정보학회논문지
• /
• 제26권10호
• /
• pp.37-43
• /
• 2021

말소리의 음향 특징을 이용하여 화자에 대한 중요한 사회, 언어학적 정보를 얻을 수 있는데 그 중 한 가지 핵심 특징은 방언이다. 화자의 방언 사용은 컴퓨터와의 상호작용을 방해하는 주요 요소이다. 방언은 발화의 음소, 음절, 단어, 문장 및 구와 같이 다양한 수준에서 구분할 수 있지만 이를 하나하나 식별하여 방언을 구분하기는 어렵다. 이에 본 논문에서는 음성 데이터의 특성 중 MFCC만 사용하는 경량화된 한국어 방언 분류 모델을 제안한다. 한국인 대화 음성 데이터를 통해 MFCC 특징을 활용하는 최적의 방법을 연구하고, 8가지 머신 러닝 및 딥러닝 분류 모델에서 경기/서울, 강원, 충청, 전라, 경상 5개의 한국어 방언 분류 성능을 비교한다. MFCC를 정규화하는 방법으로 대부분의 분류 모델에서 성능을 향상시켰으며, MFCC를 정규화하기 전 분류 모델의 최고 성능과 비교하여 정확도는 1.07%, F1-score는 2.04% 향상된 성능을 기록하였다.

• 전기전자학회논문지
• /
• 제26권2호
• /
• pp.176-185
• /
• 2022

데이터 증강이란 다양한 데이터 변환 및 왜곡을 통해 데이터셋의 크기와 품질을 개선하는 기법으로, 기계학습 모델의 과적합 문제를 해결하기 위한 대표적인 접근법이다. 그러나 심층학습 이미지 생성 모델인 GAN 기반 모델에서 데이터 증강을 적용하면 생성된 이미지에 데이터 변환과 왜곡이 반영되는 증강 누출 문제가 발생하여 생성 이미지의 품질이 하락한다. 이러한 문제를 해결하기 위해 본 논문에서는 데이터 증강의 종류와 수에 관계없이 증강 누출을 방지하는 기법을 제안한다. 증강 누출의 발생 조건을 분석하였으며, 보조적인 데이터 증강 작업 분류기를 GAN 모델에 적용하여 증강 누출을 방지하였다. 정성적 정량적 평가를 통해 제안된 기법을 적용하면 증강 누출이 발생하지 않음을 보이고 추가적으로 생성 이미지의 품질을 향상시키며 기존 기법과 비교하여 발전된 성능을 보임을 입증하였다.

• 대한원격탐사학회지
• /
• 제34권5호
• /
• pp.811-827
• /
• 2018

본 연구의 목적은 다중시기 원격탐사 자료를 이용한 작물분류에서 기계학습 알고리즘과 딥러닝 알고리즘의 비교에 있다. 이를 위해 전라남도 해남군과 미국 Illinois 주의 작물 재배지를 대상으로 기계학습 알고리즘과 딥러닝 알고리즘에 대해 (1) 하이퍼파라미터와 (2) 훈련자료의 크기에 따른 영향을 비교 분석하였다. 비교 실험에는 기계학습 알고리즘으로 support vector machine(SVM)을 적용하고 딥러닝 알고리즘으로 convolutional neural network(CNN)를 적용하였다. 특히 CNN에서 2차원의 공간정보를 고려하는 2D-CNN과 시간차원을 확장한 구조의 3D-CNN을 적용하였다. 비교 실험 결과, 다양한 하이퍼파라미터를 고려해야 하는 CNN의 경우 SVM과 다르게 두 지역에서 정의된 하이퍼파라미터 값이 유사한 것으로 나타났다. 이러한 결과를 바탕으로 모델 최적화에 많은 시간이 소요되지만 최적화된 CNN 모델을 다른 지역으로 확장할 수 있는 전이학습의 적용 가능성이 높을 것으로 판단된다. 다음 훈련자료 크기에 따른 비교 실험 결과, SVM 보다 CNN에서 훈련자료 크기의 영향이 큰 것으로 나타났는데 특히 다양한 공간특성을 갖는 Illinois 주에서 이러한 경향이 두드러지게 나타났다. 또한 Illinois 주에서 3D-CNN의 분류 성능이 저하되는 것으로 나타났는데, 이는 모델 복잡도가 증가하면서 과적합의 영향이 발생한 것으로 판단된다. 즉 모델의 훈련 정확도는 높지만 다양한 공간특성이나 입력 자료의 잡음 효과 등으로 오히려 분류 성능이 저하된 것으로 나타났다. 이러한 결과는 대상 지역의 공간특성을 고려해 적절한 분류 알고리즘을 선택해야 하는 것을 의미한다. 또한 CNN에서 특히, 3D-CNN에서 일정 수준의 분류 성능을 담보하기 위해 다량의 훈련자료 수집이 필요하다는 것을 의미한다.

• 한국건축시공학회지
• /
• 제22권6호
• /
• pp.619-630
• /
• 2022

콘크리트의 배합설계와 압축강도 평가는 지속가능한 구조물의 내구성을 위한 기초적인 자료로서 활용되고 있다. 하지만, 콘크리트 배합설계는 최근 배합요소의 다변화 등의 이유로 인하여 정확한 배합요소 산정이나 기준값 설정에 어려움을 겪고 있다. 본 연구에서는 인공지능 기법 중 하나인 딥러닝 기법을 사용하여 삼성분계 콘크리트의 배합요소를 산정하는 양방향 해석의 예측모델을 설계하는 것을 목적으로 한다. 콘크리트 배합요소 산정을 위한 DNN 기반 예측모 델은 층 수, 은닉 뉴런 수를 변수로 한 총 8개의 모델을 사용하여 성능평가 및 비교를 실시하였으며, 이후 학습된 DNN 모델을 사용하여 소요압축강도에 따른 콘크리트 배합 산정 결과를 출력하였다. 모델의 성능평가 결과, 콘크리트 압축 강도 인자에 대하여 평균 약 1.423%의 오류율을 나타내었으며, 삼성분계 콘크리트 배합인자 예측에 대하여 평균 8.22%의 MAPE 오차를 만족하였다. DNN 모델의 구조별 성능평가 비교 결과, 모든 배합인자에 대하여 DNN5L-2048 모델이 가장 높은 성능을 보였다. 학습된 DNN 모델을 사용하여 30, 50MPa의 소요압축강도를 가지는 삼성분계 콘크 리트 배합표 예측을 진행하였으며, 추후 학습을 위한 데이터 세트 확장과 실제 콘크리트 배합표와 DNN 모델 출력 콘 크리트 배합표 간의 비교를 통한 검증 과정이 필요할 것으로 판단된다.