• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권11호
• /
• pp.5580-5593
• /
• 2019

A malicious Uniform Resource Locator (URL) recognition and detection method based on the combination of Attention mechanism with Convolutional Neural Network and Long Short-Term Memory Network (Attention-Based CNN-LSTM), is proposed. Firstly, the WHOIS check method is used to extract and filter features, including the URL texture information, the URL string statistical information of attributes and the WHOIS information, and the features are subsequently encoded and pre-processed followed by inputting them to the constructed Convolutional Neural Network (CNN) convolution layer to extract local features. Secondly, in accordance with the weights from the Attention mechanism, the generated local features are input into the Long-Short Term Memory (LSTM) model, and subsequently pooled to calculate the global features of the URLs. Finally, the URLs are detected and classified by the SoftMax function using global features. The results demonstrate that compared with the existing methods, the Attention-based CNN-LSTM mechanism has higher accuracy for malicious URL detection.

• Asia pacific journal of information systems
• /
• 제30권4호
• /
• pp.719-740
• /
• 2020

The stock market changes continuously as new information emerges, affecting the judgments of investors. Online news articles are valued as a traditional window to inform investors about various information that affects the stock market. This paper proposed new ways to utilize online news articles with technical indicators. The suggested hybrid model consists of three models. First, a self-attention-based convolutional neural network (CNN) model, considered to be better in interpreting the semantics of long texts, uses news content as inputs. Second, a self-attention-based, bi-long short-term memory (bi-LSTM) neural network model for short texts utilizes news titles as inputs. Third, a bi-LSTM model, considered to be better in analyzing context information and time-series models, uses 19 technical indicators as inputs. We used news articles from the previous day and technical indicators from the past seven days to predict the share price of the next day. An experiment was performed with Korean stock market data and news articles from 33 top companies over three years. Through this experiment, our proposed model showed better performance than previous approaches, which have mainly focused on news titles. This paper demonstrated that news titles and content should be treated in different ways for superior stock price prediction.

• 한국컴퓨터정보학회논문지
• /
• 제27권8호
• /
• pp.1-7
• /
• 2022

인공지능 기술이 발달하면서 뉴로사이언스 마이닝(NSM: NeuroScience Mining)과 AI를 접목하려는 시도가 증가하고 있다. 나아가 NSM은 뉴로사이언스와 비즈니스 애널리틱스의 결합으로 인해 연구범위가 확장되고 있다. 본 연구에서는 fNIRS 실험을 통해 확보한 뉴로 데이터를 분석하여 비즈니스 문제 해결 창의성(BPSC: business problem-solving creativity)을 예측하고 이를 통해 NSM의 잠재력을 조사한다. BPSC는 비즈니스에서 차별성을 가지게 하는 중요한 요소이지만, 인지적 자원의 하나인 BPSC의 측정 및 예측에는 한계가 존재한다. 본 논문에서는 BPSC 예측 성능을 높이는 방안으로 CNN, BiLSTM 그리고 어텐션 네트워크를 결합한 새로운 NSM 기법을 제안한다. 제안된 NSM 기법을 15만 개 이상의 fNIRS 데이터를 활용하여 유효성을 입증하였다. 연구 결과, 본 논문에서 제안하는 NSM 방법이 벤치마킹한 알고리즘(CNN, BiLSTM)에 비하여 우수한 성능을 가지는 것으로 나타났다.

• 항공우주시스템공학회지
• /
• 제16권4호
• /
• pp.45-52
• /
• 2022

최근 차세대 운송시스템으로 주목받고 있는 UAM 분야에서 무인항공기 활용을 위한 기술 개발이 활발히 진행되고 있다. 이러한 기술이 적용된 무인항공기는 주로 도심에서 운용되기 때문에 추락사고를 예방하는 것이 중요하다. 그러나 충돌이 발생되는 무인항공기는 비선형성이 강하기 때문에 비정상 비행상태를 예측하는 것은 쉽지 않은 일이다. 본 논문에서는 CNN-LSTM 혼합모델을 이용하여 무인항공기의 비행상태를 예측하는 방법을 제안한다. 제안 모델은 비행 데이터간의 시간적, 공간적 특징을 추출하는 CNN 모델과 추출된 특징의 장단기 시간 의존성을 추출하는 LSTM 모델을 결합하여 미래의 특정 시점에서 비행 상태변수를 예측한다. 모의 실험은 제안하는 방법이 기존 인공신경망 모델에 기반한 예측 방법보다 우수한 성능을 보인다.

• International Journal of Contents
• /
• 제15권4호
• /
• pp.59-64
• /
• 2019

In recent years, emotion recognition has been an interesting and challenging topic. Compared to facial expressions and speech modality, gesture-based emotion recognition has not received much attention with only a few efforts using traditional hand-crafted methods. These approaches require major computational costs and do not offer many opportunities for improvement as most of the science community is conducting their research based on the deep learning technique. In this paper, we propose an end-to-end deep learning approach for classifying emotions based on bodily gestures. In particular, the informative keyframes are first extracted from raw videos as input for the 3D-CNN deep network. The 3D-CNN exploits the short-term spatiotemporal information of gesture features from selected keyframes, and the convolutional LSTM networks learn the long-term feature from the features results of 3D-CNN. The experimental results on the FABO dataset exceed most of the traditional methods results and achieve state-of-the-art results for the deep learning-based technique for gesture-based emotion recognition.

• International Journal of Contents
• /
• 제17권4호
• /
• pp.1-15
• /
• 2021

Named entity recognition (NER) is a crucial task for NLP, which aims to extract information from texts. To build NER systems, deep learning (DL) models are learned with dictionary features by mapping each word in the dataset to dictionary features and generating a unique index. However, this technique might generate noisy labels, which pose significant challenges for the NER task. In this paper, we proposed DL-dictionary features, and evaluated them on two datasets, including the OntoNotes 5.0 dataset and our new infectious disease outbreak dataset named GFID. We used (1) a Bidirectional Long Short-Term Memory (BiLSTM) character and (2) pre-trained embedding to concatenate with (3) our proposed features, named the Convolutional Neural Network (CNN), BiLSTM, and self-attention dictionaries, respectively. The combined features (1-3) were fed through BiLSTM - Conditional Random Field (CRF) to predict named entity classes as outputs. We compared these outputs with other predictions of the BiLSTM character, pre-trained embedding, and dictionary features from previous research, which used the exact matching and partial matching dictionary technique. The findings showed that the model employing our dictionary features outperformed other models that used existing dictionary features. We also computed the F1 score with the GFID dataset to apply this technique to extract medical or healthcare information.

• 지능정보연구
• /
• 제29권2호
• /
• pp.129-148
• /
• 2023

블록체인 기술이 적용되어 있는 암호화폐는 높은 가격 변동성을 가지며 투자자 및 일반 대중으로부터 큰 관심을 받아왔다. 이러한 관심을 바탕으로 암호화폐를 비롯한 투자상품의 미래가치를 예측하기 위한 연구가 이루어지고 있으나 예측모형에 대한 설명력 및 해석 가능성이 낮아 실무에서 활용하기 어렵다는 비판을 받아왔다. 본 연구에서는 암호화폐 가격 예측모형의 성과를 향상시키기 위해 금융투자상품의 가치평가에 활용되는 기술적 지표들과 함께 투자자의 사회적 관심도를 반영할 수 있는 구글 키워드 검색량 데이터를 사용하고 설명 가능한 인공지능을 적용하여 모형에 대한 해석을 제공하고자 한다. 최근 금융 시계열 분야에서 예측성과의 우수성을 인정받고 있는 LSTM(Long Short Term Memory)과 CNN(Convolutional Neural Networks)을 활용하고, 'bitcoin'을 검색어로 하는 구글 검색량 데이터를 적용해 일주일 후의 가격 등락 예측모형을 구축하였다. LSTM과 CNN을 활용해 구축한 모형들이 높은 예측성능을 보였으며 구글 검색량을 반영한 모형에서 더 높은 예측성과를 확인할 수 있었다. 딥러닝 모형의 해석 가능성 및 설명력을 위해 XAI의 SHAP 기법을 적용한 결과, 구글 검색량과 함께 과매수, 과매도 정도를 파악할 수 있는 지표들이 모형의 의사결정에 가장 큰 영향들을 미치고 있음을 파악할 수 있었다. 본 연구는 암호화폐 가격 등락 예측에 있어 전통적으로 시계열 예측에 우수한 성과를 인정받고 있는 LSTM뿐만 아니라 이미지 분류에서 높은 예측성과를 보이는 딥러닝 기법인 CNN 또한 우수한 예측성능을 보일 수 있음을 확인하였으며, XAI를 통해 예측모형에 대한 해석을 제공하고, 대중의 심리를 반영하는 정보 중 하나인 구글 검색량을 활용해 예측성과를 향상시킬 수 있다는 것을 확인했다는 점에서 의의가 있다.

• 항공우주시스템공학회지
• /
• 제18권3호
• /
• pp.48-55
• /
• 2024

최근에 무인항공기의 사업화가 활발하게 추진됨에 따라 무인항공기의 안전성 확보를 위한 기술 개발에 많은 관심이 집중되고 있다. 일반적으로 무인항공기는 운용 중 급기동, 외란, 조종사 실수 등으로 인하여 조종 불능의 상태로 진입할 가능성을 지닌다. 조종 불능 상태로의 진입을 예방하기 위해서는 무인항공기의 비행 상태를 예측하는 것이 필수적으로 요구된다. 본 논문에서는 무인항공기의 비행 상태 예측 성능의 향상을 위하여 개선된 CNN-LSTM 혼합모델을 제안한다. 모의실험은 제안하는 모델을 이용한 예측 기법이 기존 예측 기법에 비하여 비행 상태 예측 성능이 우수하며 온보드 환경에서 실시간으로 운용됨을 보인다.

• 스마트미디어저널
• /
• 제10권1호
• /
• pp.63-69
• /
• 2021

사람이 어떤 문장을 보고 그 문장에 대해 이해하는 것은 문장 안에서 주요한 단어를 이미지로 연상시켜 그 문장에 대해 이해한다. 이러한 연상과정을 컴퓨터가 할 수 있도록 하는 것을 text-to-image라고 한다. 기존 딥 러닝 기반 text-to-image 모델은 Convolutional Neural Network(CNN)-Long Short Term Memory(LSTM), bi-directional LSTM을 사용하여 텍스트의 특징을 추출하고, GAN에 입력으로 하여 이미지를 생성한다. 기존 text-to-image 모델은 텍스트 특징 추출에서 기본적인 임베딩을 사용하였으며, 여러 모듈을 사용하여 이미지를 생성하므로 학습 시간이 오래 걸린다. 따라서 본 연구에서는 자연어 처리분야에서 성능 향상을 보인 어텐션 메커니즘(Attention Mechanism)을 문장 임베딩에 사용하여 특징을 추출하고, 추출된 특징을 GAN에 입력하여 이미지를 생성하는 방법을 제안한다. 실험 결과 기존 연구에서 사용되는 모델보다 inception score가 높았으며 육안으로 판단하였을 때 입력된 문장에서 특징을 잘 표현하는 이미지를 생성하였다. 또한, 긴 문장이 입력되었을 때에도 문장을 잘 표현하는 이미지를 생성하였다.

• ETRI Journal
• /
• 제43권2호
• /
• pp.288-298
• /
• 2021

Abstractive text summarization is a process of making a summary of a given text by paraphrasing the facts of the text while keeping the meaning intact. The manmade summary generation process is laborious and time-consuming. We present here a summary generation model that is based on multilayered attentional peephole convolutional long short-term memory (MAPCoL; LSTM) in order to extract abstractive summaries of large text in an automated manner. We added the concept of attention in a peephole convolutional LSTM to improve the overall quality of a summary by giving weights to important parts of the source text during training. We evaluated the performance with regard to semantic coherence of our MAPCoL model over a popular dataset named CNN/Daily Mail, and found that MAPCoL outperformed other traditional LSTM-based models. We found improvements in the performance of MAPCoL in different internal settings when compared to state-of-the-art models of abstractive text summarization.