• Title/Summary/Keyword: LSTM-RNN

Search Result 205, Processing Time 0.022 seconds

Modified ARIMA-based Distance Learning Learner Preprocessing Study (수정된 ARIMA 기반 원격교육 학습자 전처리 연구)

  • Min, Youn A;Baek, YeongTae
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2022.07a
    • /
    • pp.535-536
    • /
    • 2022
  • 본 논문 원격교육환경에서 학습자가 남긴 개별 데이터에 대한 장기적 관리 및 효율적 학습자 관리를 위한 데이터 전처리 방법으로 전통적인 ARIMA를 수정하여 연구하였다. ARIMA는 과거시점 데이터에 대한 회귀식과 변화율을 현 시점 데이터에 반영하는 방식이며 본 연구에서는 ARIMA 처리과정에서 딥러닝 알고리즘인 RNN의 변형방법인 LSTM을 적용하여 부분 데이터셋의 전처리과정에 대한 정확성과 재현율을 높이도록 하였다. 본 연구의 결과 전통적인 ARIMA 적용시와 대비하여 7~9%의 성능향상을 확인하였다.

  • PDF

Attention-LSTM based Lane Change Possibility Decision Algorithm for Urban Autonomous Driving (도심 자율주행을 위한 어텐션-장단기 기억 신경망 기반 차선 변경 가능성 판단 알고리즘 개발)

  • Lee, Heeseong;Yi, Kyongsu
    • Journal of Auto-vehicle Safety Association
    • /
    • v.14 no.3
    • /
    • pp.65-70
    • /
    • 2022
  • Lane change in urban environments is a challenge for both human-driving and automated driving due to their complexity and non-linearity. With the recent development of deep-learning, the use of the RNN network, which uses time series data, has become the mainstream in this field. Many researches using RNN show high accuracy in highway environments, but still do not for urban environments where the surrounding situation is complex and rapidly changing. Therefore, this paper proposes a lane change possibility decision network by adopting Attention layer, which is an SOTA in the field of seq2seq. By weighting each time step within a given time horizon, the context of the road situation is more human-like. A total 7D vectors of x, y distances and longitudinal relative speed of side front and rear vehicles, and longitudinal speed of ego vehicle were used as input. A total 5,614 expert data of 4,098 yield cases and 1,516 non-yield cases were used for training, and the performance of this network was tested through 1,817 data. Our network achieves 99.641% of test accuracy, which is about 4% higher than a network using only LSTM in an urban environment. Furthermore, it shows robust behavior to false-positive or true-negative objects.

Analysis of AI-based techniques for predicting water level according to rainfall (강우에 따른 수위 예측을 위한 AI 기반 기법 분석)

  • Kim, Jin Hyuck;Kim, Chung-Soo;Kim, Cho-Rong
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.294-294
    • /
    • 2021
  • 강우에 따른 수위예측은 수자원 관리 및 재해 예방에 있어 중요하다. 기존의 수문분석은 해당지역의 지형 데이터, 매개변수 최적화 등 수위예측 분석에 있어 어려움을 동반한다. 최근 AI(Artificial Intelligence) 기술의 발전에 따라, 수자원 분야에 AI 기술을 활용하는 연구가 수행되고 있다. 본 연구에서는 데이터 간의 관계를 포착할 수 있는 AI 기반의 기법을 이용하여 강우에 따른 수위예측을 실시하였다. 연구대상 유역으로는 과거 수문데이터가 풍부한 설마천 유역으로 선정하였다. AI 기법으로는 머신러닝 중 SVM (Support Vector Machine)과 Gradient boosting 기법을 이용하였으며, 딥러닝으로는 시계열 분석에 사용되는 RNN (Recurrent Neural Network) 중 LSTM (Long Short-Term Memory) 네트워크을 이용하여 수위 예측 분석을 수행하였다. 성능지표로는 수문분석에 주로 사용되는 상관계수와 NSE (Nash-Sutcliffe Efficiency)를 이용하였다. 분석결과 세 기법 모두 강우에 따른 수위예측을 우수하게 수행하였다. 이 중, LSTM 네트워크는 과거데이터를 이용한 보정기간이 늘어날수록 더욱 높은 성능을 보여주었다. 우리나라의 집중호우와 같은 긴급 재난이 우려되는 상황 시 수위예측은 빠른 판단을 요구한다. 비교적 간편한 데이터를 이용하여 수위예측이 가능한 AI 기반 기법을 적용할 시 위의 요구사항을 충족할 것이라 사료된다.

  • PDF

Named-entity Recognition Using Bidirectional LSTM CRFs (Bidirectional LSTM CRFs를 이용한 한국어 개체명 인식)

  • Song, Chi-Yun;Yang, Sung-Min;Kang, Sangwoo
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.321-323
    • /
    • 2017
  • 개체명 인식은 문서 내에서 고유한 의미를 갖는 인명, 기관명, 지명, 시간, 날짜 등을 추출하여 그 종류를 결정하는것을 의미한다. Bidirectional LSTM CRFs 모델은 연속성을 갖는 데이터에 가장 적합한 RNN기반의 심층 학습모델로서 개체명 인식 연구에 가장 우수한 성능을 보여준다. 본 논문에서는 한국어 개체명 인식을 위하여 Bidirectional LSTM CRFs 모델을 사용하고, 입력 자질로 단어뿐만 아니라 품사 임베딩 모델과, 개체명 사전을 활용하여 입력 자질을 구성한다. 또한 입력 자질에 대한 벡터의 크기를 최적화 하여 기본 모델보다 성능이 향상되었음을 증명하였다.

  • PDF

Named-entity Recognition Using Bidirectional LSTM CRFs (Bidirectional LSTM CRFs를 이용한 한국어 개체명 인식)

  • Song, Chi-Yun;Yang, Sung-Min;Kang, Sangwoo
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.321-323
    • /
    • 2017
  • 개체명 인식은 문서 내에서 고유한 의미를 갖는 인명, 기관명, 지명, 시간, 날짜 등을 추출하여 그 종류를 결정하는 것을 의미한다. Bidirectional LSTM CRFs 모델은 연속성을 갖는 데이터에 가장 적합한 RNN기반의 심층 학습모델로서 개체명 인식 연구에 가장 우수한 성능을 보여준다. 본 논문에서는 한국어 개체명 인식을 위하여 Bidirectional LSTM CRFs 모델을 사용하고, 입력 자질로 단어뿐만 아니라 품사 임베딩 모델과, 개체명 사전을 활용하여 입력 자질을 구성한다. 또한 입력 자질에 대한 벡터의 크기를 최적화 하여 기본 모델보다 성능이 향상되었음을 증명하였다.

  • PDF

Comparison of Neural Network Techniques for Text Data Analysis

  • Kim, Munhee;Kang, Kee-Hoon
    • International Journal of Advanced Culture Technology
    • /
    • v.8 no.2
    • /
    • pp.231-238
    • /
    • 2020
  • Generally, sequential data refers to data having continuity. Text data, which is a representative type of unstructured data, is also sequential data in that it is necessary to know the meaning of the preceding word in order to know the meaning of the following word or context. So far, many techniques for analyzing sequential data such as text data have been proposed. In this paper, four methods of 1d-CNN, LSTM, BiLSTM, and C-LSTM are introduced, focusing on neural network techniques. In addition, by using this, IMDb movie review data was classified into two classes to compare the performance of the techniques in terms of accuracy and analysis time.

Handheld Shot Detection Technique based on LSTM (LSTM 기반의 Handheld 샷 검출)

  • Park, Se-Hee;Park, Ji-Young;Son, Jung-Eui;Park, Seung-Bo
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2021.07a
    • /
    • pp.193-194
    • /
    • 2021
  • 영화, 드라마 등과 같은 콘텐츠에서 표현되는 감정은 등장인물의 대화와 표정뿐만이 아니라, 영상이 표현하는 다양한 정보 중 하나인 촬영기법, 장면의 배경 등을 통해서도 표현된다. 특히 핸드헬드 샷은 불안정하지만 현장감과 자유분방한 감정을 관객에게 전달하며 긴장감, 공포 등 배우들의 감정선을 따라가게 하는 효과가 있다. 따라서 영상 콘텐츠에서 감정 정보를 분석하기 위해서는 핸드헬드 샷을 검출하는 것은 기초적인 작업에 해당한다. 본 논문에서는 핸드헬드 샷을 양방향 LSTM을 활용하여 구별하는 방법을 제안한다. 제안된 방법으로 인식한 핸드헬드의 인식 정확도는 97%였다.

  • PDF

New Hybrid Approach of CNN and RNN based on Encoder and Decoder (인코더와 디코더에 기반한 합성곱 신경망과 순환 신경망의 새로운 하이브리드 접근법)

  • Jongwoo Woo;Gunwoo Kim;Keunho Choi
    • Information Systems Review
    • /
    • v.25 no.1
    • /
    • pp.129-143
    • /
    • 2023
  • In the era of big data, the field of artificial intelligence is showing remarkable growth, and in particular, the image classification learning methods by deep learning are becoming an important area. Various studies have been actively conducted to further improve the performance of CNNs, which have been widely used in image classification, among which a representative method is the Convolutional Recurrent Neural Network (CRNN) algorithm. The CRNN algorithm consists of a combination of CNN for image classification and RNNs for recognizing time series elements. However, since the inputs used in the RNN area of CRNN are the flatten values extracted by applying the convolution and pooling technique to the image, pixel values in the same phase in the image appear in different order. And this makes it difficult to properly learn the sequence of arrangements in the image intended by the RNN. Therefore, this study aims to improve image classification performance by proposing a novel hybrid method of CNN and RNN applying the concepts of encoder and decoder. In this study, the effectiveness of the new hybrid method was verified through various experiments. This study has academic implications in that it broadens the applicability of encoder and decoder concepts, and the proposed method has advantages in terms of model learning time and infrastructure construction costs as it does not significantly increase complexity compared to conventional hybrid methods. In addition, this study has practical implications in that it presents the possibility of improving the quality of services provided in various fields that require accurate image classification.

Korean Dialogue Modeling using MTRNN (MTRNN을 이용한 한국어 대화 모델 생성)

  • Shin, Chang-Uk;Cha, Jeong-Won
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.285-287
    • /
    • 2017
  • 본 논문에서는 Multi-layer sequence-to-sequence 구조를 이용해 한국어 대화 시스템을 개발하였다. sequence-to-sequence는 RNN 혹은 그 변형 네트워크에 데이터를 입력하고, 입력이 완료된 후의 은닉층의 embedding에 기반해 출력열을 생성한다. 우리는 sequence-to-sequence로 입력된 발화에 대해 출력 발화를 내어주는 대화 모델을 학습하였고, 그 성능을 측정하였다. RNN에 대해서는 약 80만 발화를, MTRNN에 대해서는 5만 발화를 학습하고 평가하였다. 모델의 결과로 나타난 발화들을 정리하고 분석하였다.

  • PDF

Korean Dialogue Modeling using MTRNN (MTRNN을 이용한 한국어 대화 모델 생성)

  • Shin, Chang-Uk;Cha, Jeong-Won
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.285-287
    • /
    • 2017
  • 본 논문에서는 Multi-layer sequence-to-sequence 구조를 이용해 한국어 대화 시스템을 개발하였다. sequence-to-sequence는 RNN 혹은 그 변형 네트워크에 데이터를 입력하고, 입력이 완료된 후의 은닉층의 embedding에 기반해 출력열을 생성한다. 우리는 sequence-to-sequence로 입력된 발화에 대해 출력 발화를 내어주는 대화 모델을 학습하였고, 그 성능을 측정하였다. RNN에 대해서는 약 80만 발화를, MTRNN에 대해서는 5만 발화를 학습하고 평가하였다. 모델의 결과로 나타난 발화들을 정리하고 분석하였다.

  • PDF