• 제목/요약/키워드: Attention LSTM

검색결과 110건 처리시간 0.022초

Feature Selection with Ensemble Learning for Prostate Cancer Prediction from Gene Expression

  • Abass, Yusuf Aleshinloye;Adeshina, Steve A.
    • International Journal of Computer Science & Network Security
    • /
    • 제21권12spc호
    • /
    • pp.526-538
    • /
    • 2021
  • Machine and deep learning-based models are emerging techniques that are being used to address prediction problems in biomedical data analysis. DNA sequence prediction is a critical problem that has attracted a great deal of attention in the biomedical domain. Machine and deep learning-based models have been shown to provide more accurate results when compared to conventional regression-based models. The prediction of the gene sequence that leads to cancerous diseases, such as prostate cancer, is crucial. Identifying the most important features in a gene sequence is a challenging task. Extracting the components of the gene sequence that can provide an insight into the types of mutation in the gene is of great importance as it will lead to effective drug design and the promotion of the new concept of personalised medicine. In this work, we extracted the exons in the prostate gene sequences that were used in the experiment. We built a Deep Neural Network (DNN) and Bi-directional Long-Short Term Memory (Bi-LSTM) model using a k-mer encoding for the DNA sequence and one-hot encoding for the class label. The models were evaluated using different classification metrics. Our experimental results show that DNN model prediction offers a training accuracy of 99 percent and validation accuracy of 96 percent. The bi-LSTM model also has a training accuracy of 95 percent and validation accuracy of 91 percent.

머신러닝을 이용한 이러닝 학습자 집중도 평가 연구 (A Study on Evaluation of e-learners' Concentration by using Machine Learning)

  • 정영상;주민성;조남욱
    • 디지털산업정보학회논문지
    • /
    • 제18권4호
    • /
    • pp.67-75
    • /
    • 2022
  • Recently, e-learning has been attracting significant attention due to COVID-19. However, while e-learning has many advantages, it has disadvantages as well. One of the main disadvantages of e-learning is that it is difficult for teachers to continuously and systematically monitor learners. Although services such as personalized e-learning are provided to compensate for the shortcoming, systematic monitoring of learners' concentration is insufficient. This study suggests a method to evaluate the learner's concentration by applying machine learning techniques. In this study, emotion and gaze data were extracted from 184 videos of 92 participants. First, the learners' concentration was labeled by experts. Then, statistical-based status indicators were preprocessed from the data. Random Forests (RF), Support Vector Machines (SVMs), Multilayer Perceptron (MLP), and an ensemble model have been used in the experiment. Long Short-Term Memory (LSTM) has also been used for comparison. As a result, it was possible to predict e-learners' concentration with an accuracy of 90.54%. This study is expected to improve learners' immersion by providing a customized educational curriculum according to the learner's concentration level.

RDNN: Rumor Detection Neural Network for Veracity Analysis in Social Media Text

  • SuthanthiraDevi, P;Karthika, S
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권12호
    • /
    • pp.3868-3888
    • /
    • 2022
  • A widely used social networking service like Twitter has the ability to disseminate information to large groups of people even during a pandemic. At the same time, it is a convenient medium to share irrelevant and unverified information online and poses a potential threat to society. In this research, conventional machine learning algorithms are analyzed to classify the data as either non-rumor data or rumor data. Machine learning techniques have limited tuning capability and make decisions based on their learning. To tackle this problem the authors propose a deep learning-based Rumor Detection Neural Network model to predict the rumor tweet in real-world events. This model comprises three layers, AttCNN layer is used to extract local and position invariant features from the data, AttBi-LSTM layer to extract important semantic or contextual information and HPOOL to combine the down sampling patches of the input feature maps from the average and maximum pooling layers. A dataset from Kaggle and ground dataset #gaja are used to train the proposed Rumor Detection Neural Network to determine the veracity of the rumor. The experimental results of the RDNN Classifier demonstrate an accuracy of 93.24% and 95.41% in identifying rumor tweets in real-time events.

지진하중 및 임의의 하중을 받는 배관 시스템에 대한 응답을 추정하기 위한 데이터 기반 디지털 트윈 (Data-Driven Digital Twin for Estimating Response of Pipe System Subjected to Seismic Load and Arbitrary Loads)

  • 김동창;김건규;곽신영;임승현
    • 한국지진공학회논문집
    • /
    • 제27권6호
    • /
    • pp.231-236
    • /
    • 2023
  • The importance of Structural Health Monitoring (SHM) in the industry is increasing due to various loads, such as earthquakes and wind, having a significant impact on the performance of structures and equipment. Estimating responses is crucial for the effective health management of these assets. However, using numerous sensors in facilities and equipment for response estimation causes economic challenges. Additionally, it could require a response from locations where sensors cannot be attached. Digital twin technology has garnered significant attention in the industry to address these challenges. This paper constructs a digital twin system utilizing the Long Short-Term Memory (LSTM) model to estimate responses in a pipe system under simultaneous seismic load and arbitrary loads. The performance of the data-driven digital twin system was verified through a comparative analysis of experimental data, demonstrating that the constructed digital twin system successfully estimated the responses.

리뷰 데이터와 제품 정보를 이용한 멀티모달 감성분석 (Multimodal Sentiment Analysis Using Review Data and Product Information)

  • 황호현;이경찬;유진이;이영훈
    • 한국전자거래학회지
    • /
    • 제27권1호
    • /
    • pp.15-28
    • /
    • 2022
  • 최근 의류 등의 특정 쇼핑몰의 온라인 시장이 크게 확대되면서, 사용자의 리뷰를 활용하는 것이 주요한 마케팅 방안이 되었다. 이를 이용한 감성분석에 대한 연구들도 많이 진행되고 있다. 감성분석은 사용자의 리뷰를 긍정과 부정 그리고 필요에 따라서 중립으로 분류하는 방법이다. 이 방법은 크게 머신러닝 기반의 감성분석과 사전기반의 감성분석으로 나눌 수 있다. 머신러닝 기반의 감성분석은 사용자의 리뷰 데이터와 그에 대응하는 감성 라벨을 이용해서 분류 모델을 학습하는 방법이다. 감성분석 분야의 연구가 발전하면서 리뷰와 함께 제공되는 이미지나 영상 데이터 등을 함께 고려하여 학습하는 멀티모달 방식의 모델들이 연구되고 있다. 리뷰 데이터에서 제품의 카테고리와 사용자별로 사용되는 단어 등의 특징이 다르다. 따라서 본 논문에서는 리뷰데이터와 제품 정보를 동시에 고려하여 감성분석을 진행한다. 리뷰를 분류하는 모델로는 기본 순환신경망 구조에서 Gate 방식을 도입한 Gated Recurrent Unit(GRU), Long Short-Term Memory(LSTM) 그리고 Self Attention 기반의 Multi-head Attention 모델, Bidirectional Encoder Representation from Transformer(BERT)를 사용해서 각각 성능을 비교하였다. 제품 정보는 모두 동일한 Multi-Layer Perceptron(MLP) 모델을 이용하였다. 본 논문에서는 사용자 리뷰를 활용한 Baseline Classifier의 정보와 제품 정보를 활용한 MLP모델의 결과를 결합하는 방법을 제안하며 실제 데이터를 통해 성능의 우수함을 보인다.

변이형 오토인코더와 어텐션 메커니즘을 결합한 차트기반 주가 예측 (Chart-based Stock Price Prediction by Combing Variation Autoencoder and Attention Mechanisms)

  • 배상현;최병구
    • 경영정보학연구
    • /
    • 제23권1호
    • /
    • pp.23-43
    • /
    • 2021
  • 최근 인공지능 기법을 활용하여 캔들스틱 차트를 분석함으로써 주식가격 예측의 정확성을 높이고자 하는 다양한 연구가 진행되어 왔다. 그러나 이러한 연구들은 주식가격 예측을 위한 학습에 있어 캔들스틱 차트의 시계열적 특성을 고려하지 못한다는 점과 시장 참여자들의 감정 상태를 고려하지 못한다는 점 등이 문제로 지적되고 있다. 본 연구에서는 시장 참여자들의 감정상태를 반영하기 위해 변동성지수(VIX: volatility index) 차트를 캔들스틱 차트와 함께 고려하여 학습시키고 이를 변이형 오토인코더(VAE: variational auto encoder)와 어텐션 메커니즘(attention mechanisms)을 결합한 새로운 방법으로 분석하여 캔들스틱 차트의 시계열적 특성을 고려함으로써 기존 연구의 한계를 극복하고자 한다. 본 연구에서 제안한 방법의 성능 비교를 위해 S&P 500 기업 가운데 50개를 임의로 추출하여 제안한 방법을 통해 이들의 주식가격을 예측하고 이를 합성곱 신경망(CNN: convolutional neural network) 또는 장단기메모리(LSTM: long-short term memory) 등과 같은 기존 방법들과 비교하였다. 비교 결과 기존 방법들에 비해 본 연구에서 제안한 방법이 더 우수한 성능을 보이는 것으로 나타났다. 본 연구는 시장 참여자들의 감정 상태와 캔들스틱 차트의 시계열적 특성을 고려함으로써 주식 가격 예측의 정확성을 높였다는 점에서 그 의의가 있다.

GRU 언어 모델을 이용한 Fuzzy-AHP 기반 영화 추천 시스템 (A Fuzzy-AHP-based Movie Recommendation System using the GRU Language Model)

  • 오재택;이상용
    • 디지털융복합연구
    • /
    • 제19권8호
    • /
    • pp.319-325
    • /
    • 2021
  • 무선 기술의 고도화 및 이동통신 기술의 인프라가 빠르게 성장함에 따라 AI 기반 플랫폼을 적용한 시스템이 사용자의 주목을 받고 있다. 특히 사용자의 취향이나 관심사 등을 이해하고, 선호하는 아이템을 추천해주는 시스템은 고도화된 전자상거래 맞춤형 서비스 및 스마트 홈 등에 적용되고 있다. 그러나 이러한 추천 시스템은 다양한 사용자들의 취향이나 관심사 등에 대한 선호도를 실시간으로 반영하기 어렵다는 문제가 있다. 본 연구에서는 이러한 문제를 해소하기 위해 GRU(Gated Recurrent Unit) 언어 모델을 이용한 Fuzzy-AHP 기반 영화 추천 시스템을 제안하였다. 본 시스템에서는 사용자의 취향이나 관심사를 실시간으로 반영하기 위해 Fuzzy-AHP를 적용하였다. 또한 대중들의 관심사 및 해당 영화의 내용을 분석하여 사용자가 선호하는 요인과 유사한 영화를 추천하기 위해 GRU 언어 모델 기반의 모델을 적용하였다. 본 추천 시스템의 성능을 검증하기 위해 학습 모듈에서 사용된 스크래핑 데이터를 이용하여 학습 모델의 적합성을 측정하였으며, LSTM(Long Short-Term Memory) 언어 모델과 Epoch 당 학습 시간을 비교하여 학습 수행 속도를 측정하였다. 그 결과 본 연구의 학습 모델의 평균 교차 검증 지수가 94.8%로 적합하다는 것을 알 수 있었으며, 학습 수행 속도가 LSTM 언어 모델보다 우수함을 확인할 수 있었다.

BiLSTM 기반의 설명 가능한 태양광 발전량 예측 기법 (Explainable Photovoltaic Power Forecasting Scheme Using BiLSTM)

  • 박성우;정승민;문재욱;황인준
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권8호
    • /
    • pp.339-346
    • /
    • 2022
  • 최근 화석연료의 무분별한 사용으로 인한 자원고갈 문제 및 기후변화 문제 등이 심각해짐에 따라 화석연료를 대체할 수 있는 신재생에너지에 대한 관심이 증가하고 있다. 특히 신재생에너지 중 태양광 에너지는 다른 신재생에너지원에 비해 고갈될 염려가 적고, 공간적인 제약이 크지 않아 전국적으로 수요가 증가하고 있다. 태양광 발전 시스템에서 생산된 전력을 효율적으로 사용하기 위해서는 보다 정확한 태양광 발전량 예측 모델이 필요하다. 이를 위하여 다양한 기계학습 및 심층학습 기반의 태양광 발전량 예측 모델이 제안되었지만, 심층학습 기반의 예측 모델은 모델 내부에서 일어나는 의사결정 과정을 해석하기가 어렵다는 단점을 보유하고 있다. 이러한 문제를 해결하기 위하여 설명 가능한 인공지능 기술이 많은 주목을 받고 있다. 설명 가능한 인공지능 기술을 통하여 예측 모델의 결과 도출 과정을 해석할 수 있다면 모델의 신뢰성을 확보할 수 있을 뿐만 아니라 해석된 도출 결과를 바탕으로 모델을 개선하여 성능 향상을 기대할 수도 있다. 이에 본 논문에서는 BiLSTM(Bidirectional Long Short-Term Memory)을 사용하여 모델을 구성하고, 모델에서 어떻게 예측값이 도출되었는지를 SHAP(SHapley Additive exPlanations)을 통하여 설명하는 설명 가능한 태양광 발전량 예측 기법을 제안한다.

A Method for Generating Malware Countermeasure Samples Based on Pixel Attention Mechanism

  • Xiangyu Ma;Yuntao Zhao;Yongxin Feng;Yutao Hu
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권2호
    • /
    • pp.456-477
    • /
    • 2024
  • With information technology's rapid development, the Internet faces serious security problems. Studies have shown that malware has become a primary means of attacking the Internet. Therefore, adversarial samples have become a vital breakthrough point for studying malware. By studying adversarial samples, we can gain insights into the behavior and characteristics of malware, evaluate the performance of existing detectors in the face of deceptive samples, and help to discover vulnerabilities and improve detection methods for better performance. However, existing adversarial sample generation methods still need help regarding escape effectiveness and mobility. For instance, researchers have attempted to incorporate perturbation methods like Fast Gradient Sign Method (FGSM), Projected Gradient Descent (PGD), and others into adversarial samples to obfuscate detectors. However, these methods are only effective in specific environments and yield limited evasion effectiveness. To solve the above problems, this paper proposes a malware adversarial sample generation method (PixGAN) based on the pixel attention mechanism, which aims to improve adversarial samples' escape effect and mobility. The method transforms malware into grey-scale images and introduces the pixel attention mechanism in the Deep Convolution Generative Adversarial Networks (DCGAN) model to weigh the critical pixels in the grey-scale map, which improves the modeling ability of the generator and discriminator, thus enhancing the escape effect and mobility of the adversarial samples. The escape rate (ASR) is used as an evaluation index of the quality of the adversarial samples. The experimental results show that the adversarial samples generated by PixGAN achieve escape rates of 97%, 94%, 35%, 39%, and 43% on the Random Forest (RF), Support Vector Machine (SVM), Convolutional Neural Network (CNN), Convolutional Neural Network and Recurrent Neural Network (CNN_RNN), and Convolutional Neural Network and Long Short Term Memory (CNN_LSTM) algorithmic detectors, respectively.

어텐션 메커니즘 기반 Long-Short Term Memory Network를 이용한 EEG 신호 기반의 감정 분류 기법 (Emotion Classification based on EEG signals with LSTM deep learning method)

  • 김유민;최아영
    • 한국산업정보학회논문지
    • /
    • 제26권1호
    • /
    • pp.1-10
    • /
    • 2021
  • 본 연구에서는 EEG 신호를 기반으로 감정 인식에 유용한 딥러닝 기법을 제안한다. 감정이 시간에 따라 변화하는 특성을 반영하기 위해 Long-Short Term Memory 네트워크를 사용하였다. 또한, 특정 시점의 감정적 상태가 전체 감정 상태에 영향을 미친다는 이론을 기반으로 특정 순간의 감정 상태에 가중치를 주기 위해 어텐션 메커니즘을 적용했다. EEG 신호는 DEAP 데이터베이스를 사용하였으며, 감정은 긍정과 부정의 정도를 나타내는 정서가(Valence)와 감정의 정도를 나타내는 각성(Arousal) 모델을 사용하였다. 실험 결과 정서가(Valence)와 각성(Arousal)을 2단계(낮음, 높음)로 나누었을 때 분석 정확도는 정서가(Valence)의 경우 90.1%, 각성(Arousal)의 경우 88.1%이다. 낮음, 중간, 높음의 3단계로 감정을 구분한 경우 정서가(Valence)는 83.5%, 각성(Arousal)은 82.5%의 정확도를 보였다.