• 제목/요약/키워드: Recurrent neural networks

검색결과 285건 처리시간 0.108초

기술 용어에 대한 한국어 정의 문장 자동 생성을 위한 순환 신경망 모델 활용 연구 (Research on the Utilization of Recurrent Neural Networks for Automatic Generation of Korean Definitional Sentences of Technical Terms)

  • 최가람;김한국;김광훈;김유일;최성필
    • 한국문헌정보학회지
    • /
    • 제51권4호
    • /
    • pp.99-120
    • /
    • 2017
  • 본 논문에서는 지속적으로 커져가는 산업 시장에 대해 관련 연구자들이 이를 효율적으로 분석할 수 있는 반자동 지원 체제개발을 위한 기술 용어와 기술 개념에 대한 정의문 및 설명문을 자동으로 생성하는 한국어 문장 생성 모델을 제시한다. 한국어 정의 문장 생성을 위하여 딥러닝 기술 중 데이터의 전/후 관계를 포함한 시퀀스 레이블링이 가능한 LSTM을 활용한다. LSTM을 근간으로 한 두 가지 모델은 기술명을 입력할 시 그에 대한 정의문 및 설명문을 생성한다. 다양하게 수집된 대규모 학습 말뭉치를 이용해 실험한 결과, 본 논문에서 구현한 2가지 모델 중 CNN 음절 임베딩을 활용한 어절 단위 LSTM 모델이 용어에 대한 정의문 및 설명문을 생성하는데 더 나은 결과를 도출시킨다는 사실을 확인하였다. 본 논문의 연구 결과를 바탕으로 동일한 주제를 다루는 문장 집합을 생성할 수 있는 확장 모델을 개발할 수 있으며 더 나아가서는 기술에 대한 문헌을 자동으로 작성하는 인공지능 모델을 구현할 수 있으리라 사료된다.

순환 심층 신경망 모델을 이용한 전용회선 트래픽 예측 (Leased Line Traffic Prediction Using a Recurrent Deep Neural Network Model)

  • 이인규;송미화
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권10호
    • /
    • pp.391-398
    • /
    • 2021
  • 전용회선은 데이터 전송에 있어서 연결된 두 지역을 독점적으로 사용하는 구조이기 때문에 안정된 품질수준과 보안성이 확보되어 교환회선의 급격한 증가에도 불구하고 기업 내부에서는 지속적으로 많이 사용하는 회선 방식이다. 하지만 비용이 상대적으로 고가이기 때문에 기업 내 네트워크 운영자의 중요한 역할 중의 하나는 네트워크 전용회선의 자원을 적절히 배치하고 활용하여 최적의 상태를 유지하는 것이 중요한 요소이다. 즉, 비즈니스 서비스 요구 사항을 적절히 지원하기 위해서는 데이터 전송 관점에서 전용회선의 대역폭 자원에 대한 적절한 관리가 필수적이며 전용회선 사용량을 적절히 예측하고 관리하는 것이 핵심 요소가 된다. 이에 본 연구에서는 기업 네트워크에서 사용하는 전용회선의 실제 사용률 데이터를 기반으로 다양한 예측 모형을 적용하고 성능을 평가하였다. 일반적으로 통계적인 방법으로 많이 사용하는 평활화 기법 및 ARIMA 모형과 요즘 많은 연구가 되고 있는 인공신경망에 기반한 딥러닝의 대표적인 모형들을 적용하여 각각의 예측에 대한 성능을 측정하고 비교하였다. 또한, 실험결과에 기초하여 전용회선 자원의 효과적인 운영 관점에서 각 모형이 예측에 대하여 좋은 성능을 내기 위하여 고려해야 할 사항을 제안하였다.

Prediction Model of Real Estate ROI with the LSTM Model based on AI and Bigdata

  • Lee, Jeong-hyun;Kim, Hoo-bin;Shim, Gyo-eon
    • International journal of advanced smart convergence
    • /
    • 제11권1호
    • /
    • pp.19-27
    • /
    • 2022
  • Across the world, 'housing' comprises a significant portion of wealth and assets. For this reason, fluctuations in real estate prices are highly sensitive issues to individual households. In Korea, housing prices have steadily increased over the years, and thus many Koreans view the real estate market as an effective channel for their investments. However, if one purchases a real estate property for the purpose of investing, then there are several risks involved when prices begin to fluctuate. The purpose of this study is to design a real estate price 'return rate' prediction model to help mitigate the risks involved with real estate investments and promote reasonable real estate purchases. Various approaches are explored to develop a model capable of predicting real estate prices based on an understanding of the immovability of the real estate market. This study employs the LSTM method, which is based on artificial intelligence and deep learning, to predict real estate prices and validate the model. LSTM networks are based on recurrent neural networks (RNN) but add cell states (which act as a type of conveyer belt) to the hidden states. LSTM networks are able to obtain cell states and hidden states in a recursive manner. Data on the actual trading prices of apartments in autonomous districts between January 2006 and December 2019 are collected from the Actual Trading Price Disclosure System of the Ministry of Land, Infrastructure and Transport (MOLIT). Additionally, basic data on apartments and commercial buildings are collected from the Public Data Portal and Seoul Metropolitan Government's data portal. The collected actual trading price data are scaled to monthly average trading amounts, and each data entry is pre-processed according to address to produce 168 data entries. An LSTM model for return rate prediction is prepared based on a time series dataset where the training period is set as April 2015~August 2017 (29 months), the validation period is set as September 2017~September 2018 (13 months), and the test period is set as December 2018~December 2019 (13 months). The results of the return rate prediction study are as follows. First, the model achieved a prediction similarity level of almost 76%. After collecting time series data and preparing the final prediction model, it was confirmed that 76% of models could be achieved. All in all, the results demonstrate the reliability of the LSTM-based model for return rate prediction.

음성인식 성능 개선을 위한 다중작업 오토인코더와 와설스타인식 생성적 적대 신경망의 결합 (Combining multi-task autoencoder with Wasserstein generative adversarial networks for improving speech recognition performance)

  • 고조원;고한석
    • 한국음향학회지
    • /
    • 제38권6호
    • /
    • pp.670-677
    • /
    • 2019
  • 음성 또는 음향 이벤트 신호에서 발생하는 배경 잡음은 인식기의 성능을 저하시키는 원인이 되며, 잡음에 강인한 특징을 찾는데 많은 노력을 필요로 한다. 본 논문에서는 딥러닝을 기반으로 다중작업 오토인코더(Multi-Task AutoEncoder, MTAE) 와 와설스타인식 생성적 적대 신경망(Wasserstein GAN, WGAN)의 장점을 결합하여, 잡음이 섞인 음향신호에서 잡음과 음성신호를 추정하는 네트워크를 제안한다. 본 논문에서 제안하는 MTAE-WGAN는 구조는 구배 페널티(Gradient Penalty) 및 누설 Leaky Rectified Linear Unit (LReLU) 모수 Parametric ReLU (PReLU)를 활용한 변수 초기화 작업을 통해 음성과 잡음 성분을 추정한다. 직교 구배 페널티와 파라미터 초기화 방법이 적용된 MTAE-WGAN 구조를 통해 잡음에 강인한 음성특징 생성 및 기존 방법 대비 음소 오인식률(Phoneme Error Rate, PER)이 크게 감소하는 성능을 보여준다.

수위예측 알고리즘 정확도 향상을 위한 Hybrid 활성화 함수 개발 (Development of hybrid activation function to improve accuracy of water elevation prediction algorithm)

  • 유형주;이승오
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.363-363
    • /
    • 2019
  • 활성화 함수(activation function)는 기계학습(machine learning)의 학습과정에 비선형성을 도입하여 심층적인 학습을 용이하게 하고 예측의 정확도를 높이는 중요한 요소 중 하나이다(Roy et al., 2019). 일반적으로 기계학습에서 사용되고 있는 활성화 함수의 종류에는 계단 함수(step function), 시그모이드 함수(sigmoid 함수), 쌍곡 탄젠트 함수(hyperbolic tangent function), ReLU 함수(Rectified Linear Unit function) 등이 있으며, 예측의 정확도 향상을 위하여 다양한 형태의 활성화 함수가 제시되고 있다. 본 연구에서는 기계학습을 통하여 수위예측 시 정확도 향상을 위하여 Hybrid 활성화 함수를 제안하였다. 연구대상지는 조수간만의 영향을 받는 한강을 대상으로 선정하였으며, 2009년 ~ 2018년까지 10년간의 수문자료를 활용하였다. 수위예측 알고리즘은 Python 내 Tensorflow의 RNN (Recurrent Neural Networks) 모델을 이용하였으며, 강수량, 수위, 조위, 댐 방류량, 하천 유량의 수문자료를 학습시켜 3시간 및 6시간 후의 수위를 예측하였다. 예측정확도 향상을 위하여 입력 데이터는 정규화(Normalization)를 시켰으며, 민감도 분석을 통하여 신경망모델의 은닉층 개수, 학습률의 최적 값을 도출하였다. Hybrid 활성화 함수는 쌍곡 탄젠트 함수와 ReLU 함수를 혼합한 형태로 각각의 가중치($w_1,w_2,w_1+w_2=1$)를 변경하여 정확도를 평가하였다. 그 결과 가중치의 비($w_1/w_2$)에 따라서 예측 결과의 RMSE(Roote Mean Square Error)가 최소가 되고 NSE (Nash-Sutcliffe model Efficiency coefficient)가 최대가 되는 지점과 Peak 수위의 예측정확도가 최대가 되는 지점을 확인할 수 있었다. 본 연구는 현재 Data modeling을 통한 수위예측의 정확도 향상을 위해 기초가 되는 연구이나, 향후 다양한 형태의 활성화 함수를 제안하여 정확도를 향상시킨다면 예측 결과를 통하여 침수예보에 대한 의사결정이 가능할 것으로 기대된다.

  • PDF

비정형화 데이터를 활용한 수위예측 알고리즘 개발 : 청담대교 적용 (Development of water elevation prediction algorithm using unstructured data : Application to Cheongdam Bridge, Korea)

  • 이승연;유형주;이승오
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.121-121
    • /
    • 2019
  • 특정 지역에 집중적으로 비가 내리는 현상인 국지성호우가 빈번히 발생함에 따라 하천 주변 사회기반시설의 침수 위험성이 증가하고 있다. 침수 위험성 판단 여부는 주로 수위정보를 이용하며 수위 예측은 대부분 수치모형을 이용한다. 본 연구에서는 빅데이터 기반의 RNN(Recurrent Neural Networks)기법 알고리즘을 활용하여 수위를 예측하였다. 연구대상지는 조위의 영향을 많이 받는 한강 전역을 대상으로 하였다. 2008년~2018년(10개년)의 실제 침수 피해 실적을 조사한 결과 잠수교, 한강대교, 청담대교 등에서 침수 피해 발생률이 높게 나타났고 SNS(Social Network Services)와 같은 비정형화 자료에서는 청담대교가 가장 많이 태그(Tag)되어 청담대교를 연구범위로 설정하였다. 본 연구에서는 Python에서 제공하는 Tensor flow Library를 이용하여 수위예측 알고리즘을 적용하였다. 데이터는 정형화 데이터와 비정형 데이터를 사용하였으며 정형화 데이터는 한강홍수 통제소나 기상청에서 제공하는 최근 10년간의 (2008~2018) 수위 및 강우량 자료를 수집하였다. 비정형화 데이터는 SNS를 이용하여 민간 정보를 수집하여 정형화된 자료와 함께 전체자료를 구축하였다. 민감도 분석을 통하여 모델의 은닉층(5), 학습률(0.02) 및 반복횟수(100)의 최적값을 설정하였고, 24시간 동안의 데이터를 이용하여 3시간 후의 수위를 예측하였다. 2008년~ 2017년 까지의 데이터는 학습 데이터로 사용하였으며 2018년의 수위를 예측 및 평가하였다. 2018년의 관측수위 자료와 비교한 결과 90% 이상의 데이터가 10% 이내의 오차를 나타내었으며, 첨두수위도 비교적 정확하게 예측되는 것을 확인하였다. 향후 수위와 강우량뿐만 아니라 다양한 인자들도 고려한다면 보다 신속하고 정확한 예측 정보를 얻을 수 있을 것으로 기대된다.

  • PDF

어텐션 알고리듬 기반 양방향성 LSTM을 이용한 동영상의 압축 표준 예측 (Video Compression Standard Prediction using Attention-based Bidirectional LSTM)

  • 김상민;박범준;정제창
    • 방송공학회논문지
    • /
    • 제24권5호
    • /
    • pp.870-878
    • /
    • 2019
  • 본 논문에서는 어텐션 알고리듬 (attention algorithm) 기반의 양방향성 LSTM (bidirectional long short-term memory; BLSTM) 을 동영상의 압축 표준을 예측하기 위해 사용한다. 자연어 처리 (natural language processing; NLP) 분야에서 순환적 신경망 (recurrent neural networks; RNN) 의 구조를 이용하여 문장의 다음 단어를 예측하거나 의미에 따라 문장을 분류하거나 번역하는 연구들은 계속되어왔고, 이는 챗봇, 음성인식 스피커, 번역 애플리케이션 등으로 상용화되었다. LSTM 은 RNN에서 gradient vanishing problem 을 해결하고자 고안됐고, NLP 분야에서 유용하게 사용되고 있다. 제안한 알고리듬은 BLSTM과 특정 단어에 집중하여 분류할 수 있는 어텐션 알고리듬을 자연어 문장이 아닌 동영상의 비트스트림에 적용해 동영상의 압축 표준을 예측하는 것이 가능하다.

RNN 기반 디지털 센서의 Rising time과 Falling time 고장 검출 기법 (An RNN-based Fault Detection Scheme for Digital Sensor)

  • 이규형;이영두;구인수
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권1호
    • /
    • pp.29-35
    • /
    • 2019
  • 4차 산업 혁명이 진행되며 많은 회사들의 스마트 팩토리에 대한 관심이 커지고 있으며 센서의 중요성 또한 대두되고 있다. 정보를 수집하기 위한 센서에서 고장이 발생하면 공장을 최적화하여 운영할 수 없기 때문에 이에 따른 손해가 발생할 수 있다. 이를 위해 센서의 상태를 진단하여 센서의 고장을 진단하는 일이 필요하다. 본 논문에서는 디지털 센서의 고장유형 중 Rising time과 Falling time 고장을 딥러닝 알고리즘 RNN의 LSTM을 통해 신호를 분석하여 고장을 진단하는 모델을 제안한다. 제안한 방식의 실험 결과를 정확도와 ROC 곡선 그래프의 AUC(Area under the curve)를 이용하여 Rule 기반 고장진단 알고리즘과 비교하였다. 실험 결과, 제안한 시스템은 Rule 기반 고장진단 알고리즘 보다 향상되고 안정된 성능을 보였다.

GPS 시각전송 측정데이터에 대한 딥러닝 모델 기반 시각오프셋 예측 (Deep Learning based Time Offset Estimation in GPS Time Transfer Measurement Data)

  • 유동희;김민호
    • 한국정보통신학회논문지
    • /
    • 제26권3호
    • /
    • pp.456-462
    • /
    • 2022
  • 본 논문에서는 세계협정시(UTC)를 결정하기 위해 GPS 위성에서 전송된 코드 신호에서 추출한 측정 데이터를 기반으로 한 정밀시각비교 기법에 딥러닝 모델인 LSTM을 적용하여 시각 오프셋을 예측하는 방법을 소개한다. 이를 위해 우선, 하루 단위로 GPS 위성으로부터 수신된 코드 신호에서 시각 정보를 추출하고 하루 단위의 시각 오프셋을 하나의 시계열 데이터로 구축하는 과정을 소개한다. 구축된 시각 오프셋 시계열 데이터에 대해 딥러닝 모델을 적용하는데, 순환신경망 중 하나인 LSTM을 적용하여 GPS의 시각 오프셋 예측을 수행하였다. 본 연구를 통해 GNSS 기반 정밀 시각비교분야에서 딥러닝을 적용한 시각 오프셋 예측의 가능성을 확인하였다.

LDA와 LSTM를 응용한 뉴스 기사 기반 선물가격 예측 (Futures Price Prediction based on News Articles using LDA and LSTM)

  • 주진현;박근덕
    • 산업융합연구
    • /
    • 제21권1호
    • /
    • pp.167-173
    • /
    • 2023
  • 경제지표를 분석하는 방법으로 회귀 분석이나, 인공지능을 활용하여 미래의 데이터를 예측하는 연구가 발표되었다. 본 연구에서는 토픽모델링을 사용하여 과거 뉴스 기사로부터 얻은 주제 확률 데이터를 이용한 인공지능으로 미래 선물 가격을 예측하는 시스템을 구상하였다. 과거 뉴스 기사로부터 비지도학습을 통한 문서의 주제를 추출할 수 있는 LDA 방법으로 각 뉴스 기사 주제 확률 분포 데이터를 얻을 수 있고, 해당 데이터를 인공지능의 RNN의 파생 구조인 LSTM의 입력 데이터로 활용함으로써 미래 선물 가격을 예측하였다. 본 연구에서 제안한 방법에서는 선물 가격의 추세를 예측할 수 있었고, 이를 활용하여 추후 옵션 상품 등의 파생 상품에 대한 가격 추세도 예측할 수 있을 것으로 보인다. 다만, 일부 데이터에 대해 오차가 발생하는 것이 확인되어 정확도 향상을 위한 추가적인 연구가 필요하다.