• Title/Summary/Keyword: LSTM-RNN

Search Result 203, Processing Time 0.027 seconds

Guided Sequence Generation using Trie-based Dictionary for ASR Error Correction (음성 인식 오류 수정을 위한 Trie 기반 사전을 이용한 Guided Sequence Generation)

  • Choi, Junhwi;Ryu, Seonghan;Yu, Hwanjo;Lee, Gary Geunbae
    • 한국어정보학회:학술대회논문집
    • /
    • 2016.10a
    • /
    • pp.211-216
    • /
    • 2016
  • 현재 나오는 많은 음성 인식기가 대체로 높은 정확도를 가지고 있더라도, 음성 인식 오류는 여전히 빈번하게 발생한다. 음성 인식 오류는 관련 어플리케이션에 있어 많은 오동작의 원인이 되므로, 음성 인식 오류는 고쳐져야 한다. 본 논문에서는 Trie 기반 사전을 이용한 Guided Sequence Generation을 제안한다. 제안하는 모델은 목표 단어와 그 단어의 문맥을 Encoding하고, 그로부터 단어를 Character 단위로 Decoding하며 단어를 Generation한다. 올바른 단어를 생성하기 위하여, Generation 시에 Trie 기반 사전을 통해 유도한다. 실험을 위해 모델은 영어 TV 가이드 도메인의 말뭉치의 음성 인식 오류를 단순히 Simulation하여 만들어진 말뭉치로부터 훈련되고, 같은 도메인의 음성 인식 문장과 결과로 이루어진 병렬 말뭉치에서 성능을 평가하였다. Guided Generation은 Unguided Generation에 비해 14.9% 정도의 오류를 줄였다.

  • PDF

Guided Sequence Generation using Trie-based Dictionary for ASR Error Correction (음성 인식 오류 수정을 위한 Trie 기반 사전을 이용한 Guided Sequence Generation)

  • Choi, Junhwi;Ryu, Seonghan;Yu, Hwanjo;Lee, Gary Geunbae
    • Annual Conference on Human and Language Technology
    • /
    • 2016.10a
    • /
    • pp.211-216
    • /
    • 2016
  • 현재 나오는 많은 음성 인식기가 대체로 높은 정확도를 가지고 있더라도, 음성 인식 오류는 여전히 빈번하게 발생한다. 음성 인식 오류는 관련 어플리케이션에 있어 많은 오동작의 원인이 되므로, 음성 인식 오류는 고쳐져야 한다. 본 논문에서는 Trie 기반 사전을 이용한 Guided Sequence Generation을 제안한다. 제안하는 모델은 목표 단어와 그 단어의 문맥을 Encoding하고, 그로부터 단어를 Character 단위로 Decoding하며 단어를 Generation한다. 올바른 단어를 생성하기 위하여, Generation 시에 Trie 기반 사전을 통해 유도한다. 실험을 위해 모델은 영어 TV 가이드 도메인의 말뭉치의 음성 인식 오류를 단순히 Simulation하여 만들어진 말뭉치로부터 훈련되고, 같은 도메인의 음성 인식 문장과 결과로 이루어진 병렬 말뭉치에서 성능을 평가하였다. Guided Generation은 Unguided Generation에 비해 14.9% 정도의 오류를 줄였다.

  • PDF

Deep Learning based Sentence Analysis for Query Generation (검색어 생성을 위한 딥 러닝 기반 문장 분석 연구)

  • Na, Seong-Won;Yoon, Kyoungro
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2018.06a
    • /
    • pp.336-337
    • /
    • 2018
  • 최근 이미지의 Visual 정보를 추출하고 Multi label 분류를 통해 나온 결과의 상관관계를 modeling하여 문장으로 출력하는 CNN-RNN 아키텍처가 많은 발전을 이뤘다. 이 아키텍처의 출력은 이미지의 정보가 요약되어 문장으로 표현되기 때문에 Semantic정보가 풍부하여 유사 콘텐츠 검색에도 사용 가능하다. 하지만 결과 문장에 사람이 포함 되면 광범위한 검색 결과를 얻게 되고 부정확한 결과를 초래하게 된다. 이에 본 논문에서는 문장에서 사람을 인식하여 Identity를 부여함으로써 검색어를 좀 더 구체적으로 생성하고자 한다. 이 문제를 해결하기 위해 자연어 처리의 분야 중 하나인 개체명 인식(Named Entity Recognition) 문제로 다루며, 가장 많이 사용되고 있는 모델인 Bidirectional-LSTM-CRF와 CoNLL2003 dataset을 사용하여 수행 한다.

  • PDF

Two-dimensional attention-based multi-input LSTM for time series prediction

  • Kim, Eun Been;Park, Jung Hoon;Lee, Yung-Seop;Lim, Changwon
    • Communications for Statistical Applications and Methods
    • /
    • v.28 no.1
    • /
    • pp.39-57
    • /
    • 2021
  • Time series prediction is an area of great interest to many people. Algorithms for time series prediction are widely used in many fields such as stock price, temperature, energy and weather forecast; in addtion, classical models as well as recurrent neural networks (RNNs) have been actively developed. After introducing the attention mechanism to neural network models, many new models with improved performance have been developed; in addition, models using attention twice have also recently been proposed, resulting in further performance improvements. In this paper, we consider time series prediction by introducing attention twice to an RNN model. The proposed model is a method that introduces H-attention and T-attention for output value and time step information to select useful information. We conduct experiments on stock price, temperature and energy data and confirm that the proposed model outperforms existing models.

Machine Learning based Bandwidth Prediction for Dynamic Adaptive Streaming over HTTP

  • Yoo, Soyoung;Kim, Gyeongryeong;Kim, Minji;Kim, Yeonjin;Park, Soeun;Kim, Dongho
    • Journal of Advanced Information Technology and Convergence
    • /
    • v.10 no.2
    • /
    • pp.33-48
    • /
    • 2020
  • By Digital Transformation, new technologies like ML (Machine Learning), Big Data, Cloud, VR/AR are being used to video streaming technology. We choose ML to provide optimal QoE (Quality of Experience) in various network conditions. In other words, ML helps DASH in providing non-stopping video streaming. In DASH, the source video is segmented into short duration chunks of 2-10 seconds, each of which is encoded at several different bitrate levels and resolutions. We built and compared the performances of five prototypes after applying five different machine learning algorithms to DASH. The prototype consists of a dash.js, a video processing server, web servers, data sets, and five machine learning models.

Predicting Blood Glucose Data and Ensuring Data Integrity Based on Artificial Intelligence (인공지능 기반 혈당 데이터 예측 및 데이터 무결성 보장 연구)

  • Lee, Tae Kang
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2022.10a
    • /
    • pp.201-203
    • /
    • 2022
  • Over the past five years, the number of patients treated for diabetes has increased by 27.7% to 3.22 million, and since blood sugar is still checked through finger blood collection, continuous blood glucose measurement and blood sugar peak confirmation are difficult and painful. To solve this problem, based on blood sugar data measured for 14 days, three months of blood sugar prediction data are provided to diabetics using artificial intelligence technology.

  • PDF

Feature Selection Deep Learning Model considering Time Series Prediction (시계열 예측을 고려한 속성 선택 딥러닝 모델)

  • Park, Kwang Ho;Munkhdalai, Lkhagvadorj;Ryu, Keun Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.509-512
    • /
    • 2021
  • 최근 다양한 시계열 데이터의 분석이 딥러닝 방법을 통하여 수행되고 있다. 주로 RNN과 LSTM을 이용하여 많은 시계열 예측이 이루어지고 있다. 하지만 이러한 예측모델을 생성하는데 가장 중요한 것은 어떠한 변수를 얼마나 사용하는지가 중요하다. 이에 대하여, 본 연구에서는 3개의 신경망을 적용하여, 속성을 선택하는 Selection MLP, 속성에 가중치를 부여하는 Extraction MLP 그리고 예측을 진행하는 Prediction MLP로 이루어진 MLP-SEL 구조를 제안한다. 비교를 위하여 다른 순환 신경망에 대하여 시계열 데이터에 대한 예측을 진행하였으며, 그 결과 우리가 제안한 MLP-SEL 모델의 시계열 예측이 좋은 성능을 보였다.

A Study on AI active noise cancellation for daily noise reduction (AI 스피커를 이용한 생활소음 감소)

  • Lee, Jong-Jae;Song, Youn-Joo;Won, Chae-Young;Kim, Min-ji;Kim, Jeong-Min
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.1203-1206
    • /
    • 2021
  • 소음은 난청, 스트레스 등의 원인이 된다. 본 연구에서는 ANC(Active Noise Cancellation)을 바탕으로, 기술적인 방법을 통해 소음을 저감 시키는 스피커를 구현하였다. ANC 란 소음 주파수의 위상을 180° 변환하여 주파수와 레벨이 동일한 역 소음을 발생시켜 주변 소음을 저감, 차단하는 기술이다. 현재 시중 제품들에 적용되는 일반적인 ANC 의 경우, 피드백(Feedback) 방식이라는 점과 시간 지연(Time gap)이 발생한다는 한계가 있다. 이를 보완하기 위해 AI 학습으로 소음을 미리 예측하여 시간 지연을 줄이는 방법을 고안했다. 순환 신경망(RNN)의 장기의존성 문제를 해결하는 시계열 예측 딥러닝 알고리즘인 LSTM(Long Short-Term Memory Network) 모델을 사용하였다. 또한, AI 학습 효율을 향상시킬 수 있는 하드웨어 장비들을 활용하였다.

Trend on Text password guessing (텍스트 형식의 암호 추측기법 동향)

  • Kim, Hyun-Jun;Sim, Min-Joo;Eum, Si-Woo;Seo, Hwa-Jeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.293-296
    • /
    • 2021
  • 텍스트 형식의 암호는 가용성이 높고 비용이 저렴한 장점으로 인해 가장 널리 사용되는 방식이다. 사용자는 암호를 알고 있어야 하므로 기억하기 쉬워야하므로 대부분의 암호는 편향되어 규칙성을 보인다. 암호 크래킹의 대부분은 이러한 규칙을 기반으로 수행된다. 최근에는 GAN, RNN, LSTM의 딥러닝 모델을 사용하여 암호 크래킹 연구에 적용되고 있으며 또한 다가오는 양자 컴퓨터 시대에서는 Grover의 알고리즘을 사용과 편향된 암호의 특성을 기반으로 사용자 암호에 대한 위협이 될 수 있다.

Development of a modified model for predicting cabbage yield based on soil properties using GIS (GIS를 이용한 토양정보 기반의 배추 생산량 예측 수정모델 개발)

  • Choi, Yeon Oh;Lee, Jaehyeon;Sim, Jae Hoo;Lee, Seung Woo
    • Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography
    • /
    • v.40 no.5
    • /
    • pp.449-456
    • /
    • 2022
  • This study proposes a deep learning algorithm to predict crop yield using GIS (Geographic Information System) to extract soil properties from Soilgrids and soil suitability class maps. The proposed model modified the structure of a published CNN-RNN (Convolutional Neural Network-Recurrent Neural Network) based crop yield prediction model suitable for the domestic crop environment. The existing model has two characteristics. The first is that it replaces the original yield with the average yield of the year, and the second is that it trains the data of the predicted year. The new model uses the original field value to ensure accuracy, and the network structure has been improved so that it can train only with data prior to the year to be predicted. The proposed model predicted the yield per unit area of autumn cabbage for kimchi by region based on weather, soil, soil suitability classes, and yield data from 1980 to 2020. As a result of computing and predicting data for each of the four years from 2018 to 2021, the error amount for the test data set was about 10%, enabling accurate yield prediction, especially in regions with a large proportion of total yield. In addition, both the proposed model and the existing model show that the error gradually decreases as the number of years of training data increases, resulting in improved general-purpose performance as the number of training data increases.