• 제목/요약/키워드: 장단기 기억 신경망

검색결과 33건 처리시간 0.03초

장단기 기억 신경망과 공간적 순환 신경망을 이용한 배경차분 (Background subtraction using LSTM and spatial recurrent neural network)

  • 추성권;조남익
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2016년도 추계학술대회
    • /
    • pp.13-16
    • /
    • 2016
  • 본 논문에서는 순환 신경망을 이용하여 동영상에서의 배경과 전경을 구분하는 알고리즘을 제안한다. 순환 신경망은 일련의 순차적인 입력에 대해서 내부의 루프(loop)를 통해 이전 입력에 의한 정보를 지속할 수 있도록 구성되는 신경망을 말한다. 순환 신경망의 여러 구조들 가운데, 우리는 장기적인 관계에도 반응할 수 있도록 장단기 기억 신경망(Long short-term memory networks, LSTM)을 사용했다. 그리고 동영상에서의 시간적인 연결 뿐 아니라 공간적인 연관성도 배경과 전경을 판단하는 것에 영향을 미치기 때문에, 공간적 순환 신경망을 적용하여 내부 신경망(hidden layer)들의 정보가 공간적으로 전달될 수 있도록 신경망을 구성하였다. 제안하는 알고리즘은 기본적인 배경차분 동영상에 대해 기존 알고리즘들과 비교할만한 결과를 보인다.

  • PDF

Merlin 툴킷을 이용한 한국어 TTS 시스템의 심층 신경망 구조 성능 비교 (Performance comparison of various deep neural network architectures using Merlin toolkit for a Korean TTS system)

  • 홍준영;권철홍
    • 말소리와 음성과학
    • /
    • 제11권2호
    • /
    • pp.57-64
    • /
    • 2019
  • 본 논문에서는 음성 합성을 위한 오픈소스 시스템인 Merlin 툴킷을 이용하여 한국어 TTS 시스템을 구성한다. TTS 시스템에서 HMM 기반의 통계적 음성 합성 방식이 널리 사용되고 있는데, 이 방식에서 문맥 요인을 포함시키는 음향 모델링 구성의 한계로 합성 음성의 품질이 저하된다고 알려져 있다. 본 논문에서는 여러 분야에서 우수한 성능을 보여 주는 심층 신경망 기법을 적용하는 음향 모델링 아키텍처를 제안한다. 이 구조에는 전연결 심층 피드포워드 신경망, 순환 신경망, 게이트 순환 신경망, 단방향 장단기 기억 신경망, 양방향 장단기 기억 신경망 등이 포함되어 있다. 실험 결과, 문맥을 고려하는 시퀀스 모델을 아키텍처에 포함하는 것이 성능 개선에 유리하다는 것을 알 수 있고, 장단기 기억 신경망을 적용한 아키텍처가 가장 좋은 성능을 보여주었다. 그리고 음향 특징 파라미터에 델타와 델타-델타 성분을 포함하는 것이 성능 개선에 유리하다는 결과가 도출되었다.

커널 모델과 장단기 기억 신경망을 결합한 보컬 및 비보컬 분리 (Vocal and nonvocal separation using combination of kernel model and long-short term memory networks)

  • 조혜승;김형국
    • 한국음향학회지
    • /
    • 제36권4호
    • /
    • pp.261-266
    • /
    • 2017
  • 본 논문에서는 커널 모델과 장단기 기억(Long-Short Term Memory, LSTM) 신경망을 결합한 보컬 및 비보컬 분리 방식을 제안한다. 기존의 음원 분리 방식은 비보컬 음원만 있는 구간에서 음원을 오추정하여 불필요한 비보컬 음원을 출력하는 한계가 있다. 따라서 본 논문에서는 커널 모델 기반의 보컬음 분리 방식에 LSTM 신경망 기반의 보컬 구간 분류 방식을 결합하여 보컬 음원의 오추정 문제를 개선하고 분리 성능을 향상시키고자 하였다. 또한 본 논문에서는 방식간의 결합 구조에 따라 병렬 결합형 분리 알고리즘과 직렬 결합형 분리 알고리즘을 제안하였으며, 실험을 통해 제안하는 방식들이 기존의 방식에 비해 더욱 향상된 분리 성능을 보이는 것을 확인할 수 있었다.

장단기 기억 신경망을 활용한 선박교통 해양사고 패턴 분석 및 예측 (Analysis and Prediction Methods of Marine Accident Patterns related to Vessel Traffic using Long Short-Term Memory Networks)

  • 장다운;김주성
    • 해양환경안전학회지
    • /
    • 제28권5호
    • /
    • pp.780-790
    • /
    • 2022
  • 해양사고 예방을 위해서는 사고의 원인과 결과에 대한 분석 및 진단뿐만 아니라, 사고의 발생 패턴과 변화 추이를 예측함으로써 정량적 위험도를 제시할 필요성이 있다. 선박교통과 관련된 해양사고 예측은 선박의 충돌위험도 분석 및 항해 경로 탐색 등 선박교통의 흐름에 관한 연구가 주로 수행되었으며, 해양사고의 발생 패턴에 대한 분석은 전통적인 통계 분석에 따라 제시되었다. 본 연구에서는 해양사고 통계 자료 중 선박교통관련 사고의 월별, 시간대별 발생 현황 데이터를 활용하여 해양사고 발생 예측 모델을 제시하고자 한다. 국내 해양사고 발생 현황 중 월별, 시간대별 데이터 집계가 가능한 1998년부터 2021년까지의 통계자료 중 선박교통 관련 데이터를 분류하여 정형 시계열 데이터로 변환하였으며, 대표적인 인공지능 모델인 순환 신경망 기반 장단기 기억 신경망을 통하여 예측 모델을 구축하였다. 검증데이터를 통하여 모델의 성능을 검증한 결과 RMSE는 초기 신경망 모델에서 월별 52.5471, 시간대별 126.5893으로 나타났으며, 관측값으로 신경망 모델을 업데이트한 결과 RMSE는 월별 31.3680, 시간대별 36.3967로 개선되었다. 본 연구에서 제안한 신경망 모델을 기반으로 다양한 해양사고의 특징 데이터를 학습하여 해양사고 발생 패턴을 예측할 수 있을 것이다. 향후 해양사고 발생 위험의 정량적 제시와 지역기반의 위험지도 개발 등에 관한 추가 연구가 필요하다.

한국어 문서 분류를 위한 신경망 구조 탐색 (Neural Architecture Search for Korean Text Classification)

  • 지병규
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.125-130
    • /
    • 2023
  • 최근 심층 신경망을 활용한 한국어 자연어 처리에 대한 관심이 높아지고 있지만, 한국어 자연어 처리에 적합한 신경망 구조 탐색에 대한 연구는 이뤄지지 않았다. 본 논문에서는 문서 분류 정확도를 보상으로 하는 강화 학습 알고리즘을 이용하여 장단기 기억 신경망으로 한국어 문서 분류에 적합한 심층 신경망 구조를 탐색하였으며, 탐색을 위해 사전 학습한 한국어 임베딩 성능과 탐색한 신경망 구조를 분석하였다. 탐색을 통해 찾아낸 신경망 구조는 기존 한국어 자연어 처리 모델에 대해 4 가지 한국어 문서 분류 과제로 비교하였을 때 일반적으로 성능이 우수하고 모델의 크기가 작아 효율적이었다.

  • PDF

도심 자율주행을 위한 어텐션-장단기 기억 신경망 기반 차선 변경 가능성 판단 알고리즘 개발 (Attention-LSTM based Lane Change Possibility Decision Algorithm for Urban Autonomous Driving)

  • 이희성;이경수
    • 자동차안전학회지
    • /
    • 제14권3호
    • /
    • pp.65-70
    • /
    • 2022
  • Lane change in urban environments is a challenge for both human-driving and automated driving due to their complexity and non-linearity. With the recent development of deep-learning, the use of the RNN network, which uses time series data, has become the mainstream in this field. Many researches using RNN show high accuracy in highway environments, but still do not for urban environments where the surrounding situation is complex and rapidly changing. Therefore, this paper proposes a lane change possibility decision network by adopting Attention layer, which is an SOTA in the field of seq2seq. By weighting each time step within a given time horizon, the context of the road situation is more human-like. A total 7D vectors of x, y distances and longitudinal relative speed of side front and rear vehicles, and longitudinal speed of ego vehicle were used as input. A total 5,614 expert data of 4,098 yield cases and 1,516 non-yield cases were used for training, and the performance of this network was tested through 1,817 data. Our network achieves 99.641% of test accuracy, which is about 4% higher than a network using only LSTM in an urban environment. Furthermore, it shows robust behavior to false-positive or true-negative objects.

합성곱-장단기 기억 신경망의 하이브리드 결합 모델을 이용한 부정맥 분류 (Arrhythmia Classification using Hybrid Combination Model of CNN-LSTM)

  • 조익성;권혁숭
    • 한국정보통신학회논문지
    • /
    • 제26권1호
    • /
    • pp.76-84
    • /
    • 2022
  • 부정맥은 심장 박동이 비정상 혹은 불규칙하게 뛰고 있는 상태를 말하며, 실신이나 심장돌연사 등과 같은 위험한 상황을 유발할 수 있기 때문에 이의 조기 검출은 매우 중요하다. 하지만 심전도 신호의 개인차로 인해 분류 시 성능하락이 나타날 수밖에 없다. 본 연구에서는 CNN-LSTM 하이브리드 결합 모델을 이용한 부정맥 분류 방법을 제안한다. 이를 위해 먼저 잡음을 제거한 ECG 신호에서 R파를 검출하고 단일 비트 세그먼트를 추출하였다. 이후 부정맥 신호의 특징을 세밀하게 추출하도록 8개의 합성곱 계층으로 구성하고 이를 LSTM의 입력으로 사용한 후 가중치를 학습시키고 검증 데이터로 모델을 평가한 후 정상 및 부정맥 분류의 변화를 확인하였다. 제안한 방법의 타당성 검증을 위해 MIT-BIH 부정맥 데이터베이스를 사용하여 정확도(accuracy), 정밀도(precision), 재현율(recall), F1 스코어가 사용되었다. 성능평가 결과, 정확도, 정밀도, 재현율, F1 스코어는 각각 92.3%, 90.98%, 92.20%, 90.72%의 우수한 분류율을 나타내었다.

다변수 LSTM 순환신경망 딥러닝 모형을 이용한 미술품 가격 예측에 관한 실증연구 (An Empirical Study on Prediction of the Art Price using Multivariate Long Short Term Memory Recurrent Neural Network Deep Learning Model)

  • 이지인;송정석
    • 한국콘텐츠학회논문지
    • /
    • 제21권6호
    • /
    • pp.552-560
    • /
    • 2021
  • 새로운 미술품 유통방식의 발달로 미술품의 미적 효용을 넘어 투자재로서 바라보는 시각이 활성화되고 있다. 미술품의 가격은 주식이나 채권 등과 달리 객관적 요소와 주관적 요소들이 모두 반영되어 결정되는 이질적 특성이 있기 때문에 가격 예측에 있어서 그 불확실성이 높다. 본 연구에서는 LSTM(장단기 기억) 순환신경망 딥러닝 모형을 활용하여 낙찰총액 순위 1위부터 10위까지의 한국 작가의 회화 작품을 대상으로 작가의 특성, 작품의 물리적 특성, 판매적 특성 등을 입력으로 하여 경매 낙찰가의 예측을 시도하였다. 연구 결과, 모델에 의한 예측 가격과 실제 낙찰 가격의 차이를 설명하는 RMSE 값이 0.064 수준이었으며 작가별로는 이대원 작가의 예측력이 가장 높았고, 이중섭 작가의 예측력이 가장 낮았다. 투자재로서 미술품 시장이 더욱 활성화되고 경매 낙찰 가격의 예측 수요가 높아지면서 본 연구의 결과가 활용될 수 있을 것이다.

DNN과 LSTM을 활용한 콘크리트의 건조수축량 예측성능 평가 (Performance Evaluation of Concrete Drying Shrinkage Prediction Using DNN and LSTM)

  • 한준희;임군수;이현직;박재웅;김종;한민철
    • 한국건축시공학회:학술대회논문집
    • /
    • 한국건축시공학회 2023년도 봄 학술논문 발표대회
    • /
    • pp.179-180
    • /
    • 2023
  • In this study, the performance of the prediction model was compared and analyzed using DNN and LSTM learning models to predict the amount of dry shrinkage of the concrete. As a result of the analysis, DNN model had a high error rate of about 51%, indicating overfitting to the training data. But, the LSTM learning model showed a relatively higher accuracy with an error rate of 12% compared to the DNN model. Also, the Pre_LSTM model which preprocess data, showed the performance with an error rate of 9% and a coefficient of determination of 0.887 in the LSTM learning model.

  • PDF

메모리 요소를 활용한 신경망 연구 동향 (A Survey on Neural Networks Using Memory Component)

  • 이지환;박진욱;김재형;김재인;노홍찬;박상현
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제7권8호
    • /
    • pp.307-324
    • /
    • 2018
  • 최근 순환 신경 망(Recurrent Neural Networks)은 시간에 대한 의존성을 고려한 구조를 통해 순차 데이터(Sequential data)의 예측 문제 해결에서 각광받고 있다. 하지만 순차 데이터의 시간 스텝이 늘어남에 따라 발생하는 그라디언트 소실(Gradients vanishing)이 문제로 대두되었다. 이를 해결하기 위해 장단기 기억 모델(Long Short-Term Memory)이 제안되었지만, 많은 데이터를 저장하고 장기간 보존하는 데에 한계가 있다. 따라서 순환 신경망과 메모리 요소(Memory component)를 활용한 학습 모델인 메모리-증대 신경망(Memory-Augmented Neural Networks)에 대한 연구가 최근 활발히 진행되고 있다. 본 논문에서는 딥 러닝(Deep Learning) 분야의 화두로 떠오른 메모리-증대 신경망 주요 모델들의 구조와 특징을 열거하고, 이를 활용한 최신 기법들과 향후 연구 방향을 제시한다.