• 제목/요약/키워드: Pre-trained Model

검색결과 286건 처리시간 0.019초

Deep Learning Based Tree Recognition rate improving Method for Elementary and Middle School Learning

  • Choi, Jung-Eun;Yong, Hwan-Seung
    • 한국컴퓨터정보학회논문지
    • /
    • 제24권12호
    • /
    • pp.9-16
    • /
    • 2019
  • 본 연구의 목적은 수업 시 스마트기기에 적용할 수 있는 나무 이미지를 인식하고 분류하여 정확도를 측정할 수 있는 효율적인 모델을 제안하는 것이다. 2015개정 교육과정으로 개정되면서 초등학교 4학년 과학교과서의 학습 목표에서 스마트 기기 사용한 식물 인식이 새롭게 추가 되었다. 특히 나무 인식의 경우 다른 사물 인식과 달리 수형, 수피, 잎, 꽃, 열매의 부위별 특징이 있으며, 계절에 따라 모양 및 색깔의 변화를 거치므로 인식률에 차이가 존재한다. 그러므로 본 연구를 통해 컨볼루션 신경망 기반의 사전 학습된 인셉션V3모델을 이용하여 재학습 전 후의 나무 부위별 인식률을 비교한다. 또한 각 나무의 유형별 이미지 정확도를 결합시키는 방식을 통해 효율적인 나무 분류 방안을 제시하며 교육현장에서 사용하는 스마트기기에 적용 할 수 있을 것이라 기대한다.

Prediction of squeezing phenomenon in tunneling projects: Application of Gaussian process regression

  • Mirzaeiabdolyousefi, Majid;Mahmoodzadeh, Arsalan;Ibrahim, Hawkar Hashim;Rashidi, Shima;Majeed, Mohammed Kamal;Mohammed, Adil Hussein
    • Geomechanics and Engineering
    • /
    • 제30권1호
    • /
    • pp.11-26
    • /
    • 2022
  • One of the most important issues in tunneling, is the squeezing phenomenon. Squeezing can occur during excavation or after the construction of tunnels, which in both cases could lead to significant damages. Therefore, it is important to predict the squeezing and consider it in the early design stage of tunnel construction. Different empirical, semi-empirical and theoretical-analytical methods have been presented to determine the squeezing. Therefore, it is necessary to examine the ability of each of these methods and identify the best method among them. In this study, squeezing in a part of the Alborz service tunnel in Iran was estimated through a number of empirical, semi- empirical and theoretical-analytical methods. Among these methods, the most robust model was used to obtain a database including 300 data for training and 33 data for testing in order to develop a machine learning (ML) method. To this end, three ML models of Gaussian process regression (GPR), artificial neural network (ANN) and support vector regression (SVR) were trained and tested to propose a robust model to predict the squeezing phenomenon. A comparative analysis between the conventional and the ML methods utilized in this study showed that, the GPR model is the most robust model in the prediction of squeezing phenomenon. The sensitivity analysis of the input parameters using the mutual information test (MIT) method showed that, the most sensitive parameter on the squeezing phenomenon is the tangential strain (ε_θ^α) parameter with a sensitivity score of 2.18. Finally, the GPR model was recommended to predict the squeezing phenomenon in tunneling projects. This work's significance is that it can provide a good estimation of the squeezing phenomenon in tunneling projects, based on which geotechnical engineers can take the necessary actions to deal with it in the pre-construction designs.

전이학습 기반 특징융합을 이용한 누출판별 기법 연구 (A Study on Leakage Detection Technique Using Transfer Learning-Based Feature Fusion)

  • 한유진;박태진;이종혁;배지훈
    • 정보처리학회 논문지
    • /
    • 제13권2호
    • /
    • pp.41-47
    • /
    • 2024
  • 시간 및 주파수 영역에서 각각 학습한 모델 간에 성능 차이가 발생할 경우, 앙상블을 수행하더라도 개별 모델 간의 성능 불균형으로 인하여 앙상블의 성능이 오히려 저하되는 현상을 확인할 수 있었다. 따라서, 본 논문은 시간 영역과 주파수 영역에서 특징을 추출하고, 이들을 융합한 단계적 학습 방법을 통해 파이프라인 누출 감지의 정확성을 높이기 위한 누출판별 기법을 제안한다. 이 방법은 두 단계의 학습 과정으로 이루어지며, 먼저, 단계 1에서는 시간 영역과 주파수 영역에서 독립적으로 모델 학습을 수행하여 도메인별로 주어진 데이터로부터 중요한 특징들을 효과적으로 추출하도록 하였다. 단계 2에서는 사전학습 완료된 각 모델로부터 해당 분류기를 제거한 후, 두 도메인의 특징들을 서로 융합하고 새로운 분류기를 추가하여 재학습을 수행하였다. 본 논문에서 제안하는 전이학습 기반 특징융합 기법은 시간 및 주파수 영역에서 추출된 특징들을 융합하여 모델 학습을 수행함으로써, 두 영역의 특징이 상호 보완적으로 작용하여 모델이 다양한 정보를 활용함으로 인해 99.88%의 높은 정확도를 달성하여 파이프 누수 감지에 있어 우수한 성능을 입증하였다.

음성 명료도 향상을 위한 분류 모델의 잡음 환경 적응 (Adaptation of Classification Model for Improving Speech Intelligibility in Noise)

  • 정준영;김기백
    • 방송공학회논문지
    • /
    • 제23권4호
    • /
    • pp.511-518
    • /
    • 2018
  • 본 논문에서는 잡음 환경의 음성 신호를 시간-주파수 영역으로 분해한 후 0 또는 1로 표현되는 이진 마스크를 적용하여 음성의 명료도를 높이는 방법에 대해 다룬다. 시간-주파수 영역으로 분해된 신호에 대해 상대적으로 잡음이 많이 섞인 경우는 마스크 "0"을 할당하여 제거하고, 그렇지 않은 경우는 마스크 "1"을 할당하여 보존하는 방식을 채택한다. 이러한 이진 마스크의 추정은 가우시안 혼합 모델로 학습된 베이지안 분류기를 사용한다. 가우시안 혼합 모델 학습에 포함된 잡음 환경에 대해서는 학습된 모델을 이용하여 추정된 이진 마스크의 적용을 통해 잡음 환경에서 음성 명료도를 높일 수 있으나 학습에 포함되지 않은 잡음 환경에 대해서는 음성 명료도를 향상시키지 못하는 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 학습 모델을 잡음 환경에 적응시키고자 한다. 새로운 잡음 환경에 대처하고자 음성 인식에서 사용되는 대표적인 화자 적응 방법을 적용하였으며 실험을 통해 새로운 잡음 환경에 적응함을 확인하였다.

명화 하브루타 지원을 위한 딥러닝 기반 동양화 인물 분석 (Deep Learning-based Person Analysis in Oriental Painting for Supporting Famous Painting Habruta)

  • 문혜영;김남규
    • 한국콘텐츠학회논문지
    • /
    • 제21권9호
    • /
    • pp.105-116
    • /
    • 2021
  • 하브루타 교육은 짝을 지어 대화하고 토론하고 논쟁하는 방식의 질문 중심 교육이며, 특히 명화 하브루타는 명화에 대한 질문과 답변을 통해 그림의 감상 능력을 증진하고 표현력을 풍부하게 하기 위한 목적으로 시행되고 있다. 본 연구에서는 동양화를 대상으로 한 명화 하브루타를 지원하기 위해, 최신 딥러닝 기술을 활용하여 동양화 등장인물의 성별 관점에서 질문을 자동으로 생성하는 방안을 제시한다. 구체적으로 본 연구에서는 사전학습모델인 VGG16을 바탕으로 동양화 인물 중심의 미세조정을 수행하여 동양화의 인물 분석을 효과적으로 수행할 수 있는 모델을 제안한다. 또한 질문의 유형을 명화 하브루타에서 사용되는 사실 질문, 상상 질문, 그리고 적용 질문의 3가지 유형으로 분류하고, 각 질문을 등장인물에 따라 세분화하여 총 9가지의 질문 패턴을 도출하였다. 제안 방법론의 활용 가능성을 확인하기 위해 실제 동양화의 등장인물 300건을 분석한 실험을 수행하였으며, 실험 결과 제안 방법론에 따른 성별 분류 모델이 기존 모델에 비해 높은 정확도를 나타냄을 확인하였다.

Automatic Categorization of Islamic Jurisprudential Legal Questions using Hierarchical Deep Learning Text Classifier

  • AlSabban, Wesam H.;Alotaibi, Saud S.;Farag, Abdullah Tarek;Rakha, Omar Essam;Al Sallab, Ahmad A.;Alotaibi, Majid
    • International Journal of Computer Science & Network Security
    • /
    • 제21권9호
    • /
    • pp.281-291
    • /
    • 2021
  • The Islamic jurisprudential legal system represents an essential component of the Islamic religion, that governs many aspects of Muslims' daily lives. This creates many questions that require interpretations by qualified specialists, or Muftis according to the main sources of legislation in Islam. The Islamic jurisprudence is usually classified into branches, according to which the questions can be categorized and classified. Such categorization has many applications in automated question-answering systems, and in manual systems in routing the questions to a specialized Mufti to answer specific topics. In this work we tackle the problem of automatic categorisation of Islamic jurisprudential legal questions using deep learning techniques. In this paper, we build a hierarchical deep learning model that first extracts the question text features at two levels: word and sentence representation, followed by a text classifier that acts upon the question representation. To evaluate our model, we build and release the largest publicly available dataset of Islamic questions and answers, along with their topics, for 52 topic categories. We evaluate different state-of-the art deep learning models, both for word and sentence embeddings, comparing recurrent and transformer-based techniques, and performing extensive ablation studies to show the effect of each model choice. Our hierarchical model is based on pre-trained models, taking advantage of the recent advancement of transfer learning techniques, focused on Arabic language.

딥러닝 기반의 BERT 모델을 활용한 학술 문헌 자동분류 (Automatic Classification of Academic Articles Using BERT Model Based on Deep Learning)

  • 김인후;김성희
    • 정보관리학회지
    • /
    • 제39권3호
    • /
    • pp.293-310
    • /
    • 2022
  • 본 연구에서는 한국어 데이터로 학습된 BERT 모델을 기반으로 문헌정보학 분야의 문서를 자동으로 분류하여 성능을 분석하였다. 이를 위해 문헌정보학 분야의 7개 학술지의 5,357개 논문의 초록 데이터를 학습된 데이터의 크기에 따라서 자동분류의 성능에 어떠한 차이가 있는지를 분석, 평가하였다. 성능 평가척도는 정확률(Precision), 재현율(Recall), F 척도를 사용하였다. 평가결과 데이터의 양이 많고 품질이 높은 주제 분야들은 F 척도가 90% 이상으로 높은 수준의 성능을 보였다. 반면에 데이터 품질이 낮고 내용적으로 다른 주제 분야들과 유사도가 높고 주제적으로 확실히 구별되는 자질이 적을 경우 유의미한 높은 수준의 성능 평가가 도출되지 못하였다. 이러한 연구는 미래 학술 문헌에서 지속적으로 활용할 수 있는 사전학습모델의 활용 가능성을 제시하기 위한 기초자료로 활용될 수 있을 것으로 기대한다.

ISFRNet: A Deep Three-stage Identity and Structure Feature Refinement Network for Facial Image Inpainting

  • Yan Wang;Jitae Shin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권3호
    • /
    • pp.881-895
    • /
    • 2023
  • Modern image inpainting techniques based on deep learning have achieved remarkable performance, and more and more people are working on repairing more complex and larger missing areas, although this is still challenging, especially for facial image inpainting. For a face image with a huge missing area, there are very few valid pixels available; however, people have an ability to imagine the complete picture in their mind according to their subjective will. It is important to simulate this capability while maintaining the identity features of the face as much as possible. To achieve this goal, we propose a three-stage network model, which we refer to as the identity and structure feature refinement network (ISFRNet). ISFRNet is based on 1) a pre-trained pSp-styleGAN model that generates an extremely realistic face image with rich structural features; 2) a shallow structured network with a small receptive field; and 3) a modified U-net with two encoders and a decoder, which has a large receptive field. We choose structural similarity index (SSIM), peak signal-to-noise ratio (PSNR), L1 Loss and learned perceptual image patch similarity (LPIPS) to evaluate our model. When the missing region is 20%-40%, the above four metric scores of our model are 28.12, 0.942, 0.015 and 0.090, respectively. When the lost area is between 40% and 60%, the metric scores are 23.31, 0.840, 0.053 and 0.177, respectively. Our inpainting network not only guarantees excellent face identity feature recovery but also exhibits state-of-the-art performance compared to other multi-stage refinement models.

ProphetNet 모델을 활용한 시계열 데이터의 열화 패턴 기반 Health Index 연구 (A Study on the Health Index Based on Degradation Patterns in Time Series Data Using ProphetNet Model)

  • 원선주;김용수
    • 산업경영시스템학회지
    • /
    • 제46권3호
    • /
    • pp.123-138
    • /
    • 2023
  • The Fourth Industrial Revolution and sensor technology have led to increased utilization of sensor data. In our modern society, data complexity is rising, and the extraction of valuable information has become crucial with the rapid changes in information technology (IT). Recurrent neural networks (RNN) and long short-term memory (LSTM) models have shown remarkable performance in natural language processing (NLP) and time series prediction. Consequently, there is a strong expectation that models excelling in NLP will also excel in time series prediction. However, current research on Transformer models for time series prediction remains limited. Traditional RNN and LSTM models have demonstrated superior performance compared to Transformers in big data analysis. Nevertheless, with continuous advancements in Transformer models, such as GPT-2 (Generative Pre-trained Transformer 2) and ProphetNet, they have gained attention in the field of time series prediction. This study aims to evaluate the classification performance and interval prediction of remaining useful life (RUL) using an advanced Transformer model. The performance of each model will be utilized to establish a health index (HI) for cutting blades, enabling real-time monitoring of machine health. The results are expected to provide valuable insights for machine monitoring, evaluation, and management, confirming the effectiveness of advanced Transformer models in time series analysis when applied in industrial settings.

전이 학습 기반의 생성 이미지 판별 모델 설계 (Transfer Learning-based Generated Synthetic Images Identification Model)

  • 김채원;윤성연;한명은;박민서
    • 문화기술의 융합
    • /
    • 제10권2호
    • /
    • pp.465-470
    • /
    • 2024
  • 인공지능(Artificial Intelligence, AI) 기반 이미지 생성 기술의 발달로 다양한 이미지가 생성되고 있으며, 이를 정확하게 판별하는 기술이 필요하다. 생성된 이미지 데이터의 양에는 한계가 있으며, 한정된 데이터로 높은 성능을 내기 위해 본 연구에서는 전이 학습(Transfer Learning)을 활용한 생성 이미지를 판별하는 모델을 제안한다. ImageNet 데이터 셋으로 사전학습 된 모델을 입력 데이터 셋인 CIFAKE 데이터 셋에 그대로 적용하여 학습의 시간 비용을 줄인 후, 3개의 은닉층과 1개의 출력층을 더해 모델을 튜닝한다. 모델링 결과, 최종 레이어를 조정한 모델의 성능이 높아짐을 확인하였다. 딥러닝에서 전이 학습을 통해 학습한 후 출력층과 가까운 레이어를 데이터의 특성에 맞게 추가 및 조정하는 과정을 통해 적은 이미지 데이터로 인한 학습 정확도 이슈를 줄이고 생성된 이미지 판별을 할수 있다는 데 의의가 있다.