• Title/Summary/Keyword: Recurrent neural networks

Search Result 285, Processing Time 0.027 seconds

Hybrid Document Summarization using a TextRank Algorithm and an Attentive Recurrent Neural Networks (TextRank 알고리즘과 주의 집중 순환 신경망을 이용한 하이브리드 문서 요약)

  • Jeong, Seok-won;Lee, Hyeon-gu;Kim, Harksoo
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.47-50
    • /
    • 2017
  • 문서 요약은 입력 문서가 가진 주제를 유지하면서 크기가 축약된 새로운 문서를 생성하는 것이다. 문서 요약의 방법론은 크게 추출 요약과 추상 요약으로 구분된다. 추출 요약의 경우 결과가 문서 전체를 충분히 대표하지 못하거나 문장들 간의 호응이 떨어지는 문제점이 있다. 최근에는 순환 신경망 구조의 모델을 이용한 추상 요약이 활발히 연구되고 있으나, 이러한 방법은 입력이 길어지는 경우 정보가 누락된다는 문제점을 가지고 있다. 본 논문에서는 이러한 단점들을 해소하기 위해 추출 요약으로 입력 문서의 중요한 일부 문장들을 선별하고 이를 추상 요약의 입력으로 사용했을 때의 성능 변화를 관찰한다. 추출 요약을 통해 원문 대비 30%까지 문서를 요약한 후 요약을 생성했을 때, ROUGE-1 0.2802, ROUGE-2 0.1294, ROUGE-L 0.3254의 성능을 보였다.

  • PDF

Development of a Dialogue System Model for Korean Restaurant Reservation with End-to-End Learning Method Combining Domain Specific Knowledge (도메인 특정 지식을 결합한 End-to-End Learning 방식의 한국어 식당 예약 대화 시스템 모델 개발)

  • Lee, Dong-Yub;Kim, Gyeong-Min;Lim, Heui-Seok
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.111-115
    • /
    • 2017
  • 목적 지향적 대화 시스템(Goal-oriented dialogue system)은 텍스트나 음성을 통해 특정한 목적을 수행할 수 있는 시스템이다. 최근 RNN(recurrent neural networks)을 기반으로 대화 데이터를 end-to-end learning 방식으로 학습하여 대화 시스템을 구축하는데에 활용한 연구가 있다. End-to-end 방식의 학습은 도메인에 대한 지식 없이 학습 데이터 자체만으로 대화 시스템 구축을 위한 학습이 가능하다는 장점이 있지만 도메인 지식을 학습하기 위해서는 많은 양의 데이터가 필요하다는 단점이 존재한다. 이에 본 논문에서는 도메인 특정 지식을 결합하여 end-to-end learning 방식의 학습이 가능한 Hybrid Code Network 구조를 기반으로 한국어로 구성된 식당 예약에 관련한 대화 데이터셋을 이용하여 식당 예약을 목적으로하는 대화 시스템을 구축하는 방법을 제안한다. 실험 결과 본 시스템은 응답 별 정확도 95%와 대화 별 정확도 63%의 성능을 나타냈다.

  • PDF

Speech Recognitioin Using Multilayered Recurrent Neural Networks (다층회귀신경망을 이용한 음성인식)

  • 어태경
    • Proceedings of the Acoustical Society of Korea Conference
    • /
    • 1998.08a
    • /
    • pp.267-271
    • /
    • 1998
  • 신경망에 의한 음절과 연속음성 인식시 동특성처리의 한방법으로 회귀신경망을 이용한다. 본 연구는 비회귀형 상위은닉층과 회귀형 하위은닉층을 가진 4층 구조의 다층회귀신경망으로 예측기를 반들어 나성화자 5명이 CV형 음절 14개, CVC형 음절 14개를 각각 5회씩 발음한 총 700개의 음성중 3회분인 420개 음성으로 학습한 후 나머지 2회분인 280개 음성으로 인식을 평가한다. 입력신호의 예측차수와 상, 하위 은닉층으 뉴런수를 변경시키면서 각각의 인식률을 조사해 본 결과 상위 은닉층의 뉴런이 10개이고 하위 은닉층의 뉴런이 10개와 15개 그리고 예측차수가 3,4차일 때 가장 양호한 인식기로 동작한다는 것을 알 수 있었다. 이 때 나타난 인식률은 Elman 망보다 다소 우세하다.

  • PDF

Efficient LSTM Configuration in IoT Environment (IoT 환경에서의 효율적인 LSTM 구성)

  • Lee, Jongwon;Hwang, Chulhyun;Lee, Sungock;Song, Hyunok;Jung, Hoekyung
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2018.10a
    • /
    • pp.345-346
    • /
    • 2018
  • Internet of Things (IoT) data is collected in real time and is treated as highly reliable data because of its high precision. However, IoT data is not always highly reliable data. Because, data be often incomplete values for reasons such as sensor aging and failure, poor operating environment, and communication problems. So, we propose the methodology for solve this problem. Our methodology implements multiple LSTM networks to individually process the data collected from the sensors and a single LSTM network that batches the input data into an array. And, we propose an efficient method for constructing LSTM in IoT environment.

  • PDF

Background subtraction using LSTM and spatial recurrent neural network (장단기 기억 신경망과 공간적 순환 신경망을 이용한 배경차분)

  • Choo, Sungkwon;Cho, Nam Ik
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2016.11a
    • /
    • pp.13-16
    • /
    • 2016
  • 본 논문에서는 순환 신경망을 이용하여 동영상에서의 배경과 전경을 구분하는 알고리즘을 제안한다. 순환 신경망은 일련의 순차적인 입력에 대해서 내부의 루프(loop)를 통해 이전 입력에 의한 정보를 지속할 수 있도록 구성되는 신경망을 말한다. 순환 신경망의 여러 구조들 가운데, 우리는 장기적인 관계에도 반응할 수 있도록 장단기 기억 신경망(Long short-term memory networks, LSTM)을 사용했다. 그리고 동영상에서의 시간적인 연결 뿐 아니라 공간적인 연관성도 배경과 전경을 판단하는 것에 영향을 미치기 때문에, 공간적 순환 신경망을 적용하여 내부 신경망(hidden layer)들의 정보가 공간적으로 전달될 수 있도록 신경망을 구성하였다. 제안하는 알고리즘은 기본적인 배경차분 동영상에 대해 기존 알고리즘들과 비교할만한 결과를 보인다.

  • PDF

Backstepping Control-Based Precise Positioning Control Using Robust Friction State Observer and RFNN (강인한 마찰상태관측기와 RFNN을 이용한 백스테핑 제어기반 정밀 위치제어)

  • Yeo, Dae-Yeon;Han, Seong-Ik;Lee, Kwon-Soon
    • Journal of the Korean Society of Manufacturing Technology Engineers
    • /
    • v.19 no.3
    • /
    • pp.394-401
    • /
    • 2010
  • In this article, we investigate a robust friction compensation scheme for the purpose of accomplishing precision positioning performance a servo mechanical system with nonlinear dynamic friction. To estimate the friction state and tackle robustness problem for uncertainty, a RFNN and reconstructed error compensator as well as a robust friction state observer are developed. The asymptotic stability of the series of friction compensation methodologies are verified from the Lyapunov's stability theory. Some simulations and experiments on a servo mechanical system were carried out to evaluate the effectiveness of the proposed control scheme.

Prediction of DorimRiver Water Level Using Tensorflow (Tensorflow를 이용한 도림천 수위 예측)

  • Yuk, Gi-moon;Lee, Jung-hwan;Jeong, Min-su;Moon, Hyeon-Tae;Moon, Yong-il
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2019.05a
    • /
    • pp.188-188
    • /
    • 2019
  • 본 연구에서는 텐서플로우를 이용한 관측자료 기반의 수위예측 연구를 수행하였다. 대상유역은 도림천 유역으로 선정하였으며 관측강우와 상류하천의 수위자료를 이용하여 하류인 도림교지점의 수위를 예측하였으며 다른 변수는 배제하였다. 사용된 모형은 시계열 데이터예측에 우수한 성능을 보이는 RNN(Recurrent Neural Network)과 LSTM(Long Short Term Memory networks)을 이용하였으며 수위자료는 2005년부터 2016년도 10분단위 관측강우와 수위 데이터를 학습하여 2017년도 수위데이터를 예측하도록 하였다. 본 연구를 통하여 홍수기 실시간 수위예측이 가능할것으로 판단되며 도시지역 골든타임 확보에 활용될 것으로 판단된다.

  • PDF

Industrial Process Monitoring and Fault Diagnosis Based on Temporal Attention Augmented Deep Network

  • Mu, Ke;Luo, Lin;Wang, Qiao;Mao, Fushun
    • Journal of Information Processing Systems
    • /
    • v.17 no.2
    • /
    • pp.242-252
    • /
    • 2021
  • Following the intuition that the local information in time instances is hardly incorporated into the posterior sequence in long short-term memory (LSTM), this paper proposes an attention augmented mechanism for fault diagnosis of the complex chemical process data. Unlike conventional fault diagnosis and classification methods, an attention mechanism layer architecture is introduced to detect and focus on local temporal information. The augmented deep network results preserve each local instance's importance and contribution and allow the interpretable feature representation and classification simultaneously. The comprehensive comparative analyses demonstrate that the developed model has a high-quality fault classification rate of 95.49%, on average. The results are comparable to those obtained using various other techniques for the Tennessee Eastman benchmark process.

A Deeping Learning-based Article- and Paragraph-level Classification

  • Kim, Euhee
    • Journal of the Korea Society of Computer and Information
    • /
    • v.23 no.11
    • /
    • pp.31-41
    • /
    • 2018
  • Text classification has been studied for a long time in the Natural Language Processing field. In this paper, we propose an article- and paragraph-level genre classification system using Word2Vec-based LSTM, GRU, and CNN models for large-scale English corpora. Both article- and paragraph-level classification performed best in accuracy with LSTM, which was followed by GRU and CNN in accuracy performance. Thus, it is to be confirmed that in evaluating the classification performance of LSTM, GRU, and CNN, the word sequential information for articles is better than the word feature extraction for paragraphs when the pre-trained Word2Vec-based word embeddings are used in both deep learning-based article- and paragraph-level classification tasks.

Real - Time Applications of Video Compression in the Field of Medical Environments

  • K. Siva Kumar;P. Bindhu Madhavi;K. Janaki
    • International Journal of Computer Science & Network Security
    • /
    • v.23 no.11
    • /
    • pp.73-76
    • /
    • 2023
  • We introduce DCNN and DRAE appraoches for compression of medical videos, in order to decrease file size and storage requirements, there is an increasing need for medical video compression nowadays. Using a lossy compression technique, a higher compression ratio can be attained, but information will be lost and possible diagnostic mistakes may follow. The requirement to store medical video in lossless format results from this. The aim of utilizing a lossless compression tool is to maximize compression because the traditional lossless compression technique yields a poor compression ratio. The temporal and spatial redundancy seen in video sequences can be successfully utilized by the proposed DCNN and DRAE encoding. This paper describes the lossless encoding mode and shows how a compression ratio greater than 2 (2:1) can be achieved.