• 제목/요약/키워드: 자기회귀 신경망

검색결과 40건 처리시간 0.023초

단어 정렬을 이용한 한국어-영어 비자기회귀 신경망 기계 번역 (Korean-English Non-Autoregressive Neural Machine Translation using Word Alignment)

  • 정영준;이창기
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.629-632
    • /
    • 2021
  • 기계 번역(machine translation)은 자연 언어로 된 텍스트를 다른 언어로 자동 번역 하는 기술로, 최근에는 주로 신경망 기계 번역(Neural Machine Translation) 모델에 대한 연구가 진행되었다. 신경망 기계 번역은 일반적으로 자기회귀(autoregressive) 모델을 이용하며 기계 번역에서 좋은 성능을 보이지만, 병렬화할 수 없어 디코딩 속도가 느린 문제가 있다. 비자기회귀(non-autoregressive) 모델은 단어를 독립적으로 생성하며 병렬 계산이 가능해 자기회귀 모델에 비해 디코딩 속도가 상당히 빠른 장점이 있지만, 멀티모달리티(multimodality) 문제가 발생할 수 있다. 본 논문에서는 단어 정렬(word alignment)을 이용한 비자기회귀 신경망 기계 번역 모델을 제안하고, 제안한 모델을 한국어-영어 기계 번역에 적용하여 단어 정렬 정보가 어순이 다른 언어 간의 번역 성능 개선과 멀티모달리티 문제를 완화하는 데 도움이 됨을 보인다.

  • PDF

지수평활법을 외생변수로 사용하는 자기회귀 신경망 모형 (Neural network AR model with ETS inputs)

  • 김민재;성병찬
    • 응용통계연구
    • /
    • 제37권3호
    • /
    • pp.297-309
    • /
    • 2024
  • 본 논문에서는 자기회귀 신경망 모형과 지수평활법을 결합(NNARX+ETS 모형)하고 그 성능을 평가한다. 제안된 결합 모형은 시계열 자료를 예측하기 위하여 NNARX 모형의 외생변수로서 ETS 모형의 구성 성분을 활용한다. 이 모형의 주요 아이디어는, 신경망 모형이 원시계열 자료의 과거 시차만을 고려하는 것을 한계를 넘어서서 전통적 시계열 예측 방법인 지수평활법에 의해서 추출된 정제된 시계열 구성 성분까지도 추가로 신경망 모형의 입력값으로 사용하는 것이다. 예측 성능 평가는 2가지 실제 시계열 자료를 사용하였으며 제안된 모형을 NNAR 모형 및 전통적 시계열 분석 방법인 ETS와 ARIMA 모형과 비교하였다.

회귀신경망을 이용한 음성인식에 관한 연구 (A Study on Speech Recognition using Recurrent Neural Networks)

  • 한학용;김주성;허강인
    • 한국음향학회지
    • /
    • 제18권3호
    • /
    • pp.62-67
    • /
    • 1999
  • 본 논문은 회귀신경망을 이용한 음성인식에 관한 연구이다. 예측형 신경망으로 음절단위로 모델링한 후 미지의 입력음성에 대하여 예측오차가 최소가 되는 모델을 인식결과로 한다. 이를 위해서 예측형으로 구성된 신경망에 음성의 시변성을 신경망 내부에 흡수시키기 위해서 회귀구조의 동적인 신경망인 회귀예측신경망을 구성하고 Elman과 Jordan이 제안한 회귀구조에 따라 인식성능을 서로 비교하였다. 음성DB는 ETRI의 샘돌이 음성 데이터를 사용하였다. 그리고, 신경망의 최적모델을 구하기 위하여 예측차수와 은닉층 유니트 수의 변화에 따른 인식률의 변화와 문맥층에서 자기회귀계수를 두어 이전의 값들이 문맥층에서 누적되도록 하였을 경우에 대한 인식률의 변화를 비교하였다. 실험결과, 최적의 예측차수, 은닉층 유니트수, 자기회귀계수는 신경망의 구조에 따라 차이가 나타났으며, 전반적으로 Jordan망이 Elman망보다 인식률이 높았으며, 자기회귀계수에 대한 영향은 신경망의 구조와 계수값에 따라 불규칙하게 나타났다.

  • PDF

자기회귀누적이동평균모형과 신경망모형을 이용한 시계열예측의 비교 (A Comparison of Autoregressive Integrated Moving Average and Artificial Neural Network for Time Series Prediction)

  • 윤여창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.1516-1519
    • /
    • 2011
  • 예측에 필요한 중요한 자료에는 비선형 자료와 시계열과 같은 선형 자료 등이 있다. 이들 자료는 그 함축적인 관계가 매우 복잡하여 전통적인 통계분석 도구로 식별하는데 어려움이 많다. 신경망 분석은 비모수적 문제나 비선형 곡선 적합능력의 우수성 때문에 현실세계에서의 고유한 복잡성을 다루는 많은 경제 응용 분야에서 널리 이용되고 있다. 신경망은 또한 경제 시계열자료의 예측분야에서도 여러 연구에서 훌륭한 도구로서 적용되고 있다. 전통적으로 우리나라에서 시계열자료의 예측은 선형 자료적 분석을 중심으로 하는 분석도구인 자기회귀누적이동평균(ARIMA)모형을 이용한 시계열분석이 일반적이다. 이 연구에서는 신경망과 ARIMA 모형을 이용하여 한국의 주가변동 자료 및 자동차등록 현황 자료등과 같은 시계열자료를 이용한 예측결과를 비교한다. 연구의 결과는 신경망을 이용한 예측 방법들이 ARIMA 예측 결과보다 통계적으로 작은 오차를 주는 보다 효율적인 방법임을 보여주고 있다.

선형 및 신경망 자기회귀모형을 이용한 주식시장 불안정성지수 개발 (Stock market stability index via linear and neural network autoregressive model)

  • 오경주;김태윤;정기웅;김치호
    • Journal of the Korean Data and Information Science Society
    • /
    • 제22권2호
    • /
    • pp.335-351
    • /
    • 2011
  • 오경주와 김태윤 (2007) 등은 위기 관련 데이터의 희귀성 에서 발생하는 문제를 해결하기 위해 과거 금융시장이 안정적이었던 구간을 기준 구간으로 설정하고 기준 구간의 금융시장 움직임을 점 근 자기회귀 모형으로 적합한 후 현재의 금융시장 상황과 비교하여 불안정 지수를 도출할 것을 제안하였다. 그러나 비모수 기법인 신경망을 사용하여 도출된 불안정 지수가 기준 구간의 데이터에 지나치게 의존하는 관계로 불안정 지수가 종종 실제 경제상황을 제대로 반영하지 못하는 것으로 관찰되고 있다. 본 연구에서는 비모수 기법인 신경망과 모수 기법인 선형모형을 이용하여 기준구간에 대한 적합을 독립적으로 수행하여 두 종류의 불안정성 지수들을 도출한 후 이 둘을 결합한 통합 불안정성 지수를 사용할 것을 제안한다. 두 지수의 적절한 통합을 위해 신경망과 선형모형을 통해 도출된 두 지수의 최적 결합비율을 부여하는 방법을 제안하며 제안기법의 타당성을 국내 주식시장 대상으로 검증하였다.

자기회귀 모델과 신경망 모델을 이용한 복잡한 지형 내 항만에서의 파고 및 하역중단 예측 (Wave Height and Downtime Event Forecasting in Harbour with Complex Topography Using Auto-Regressive and Artificial Neural Networks Models)

  • 이진학;류경호;백원대;정원무
    • 한국해안·해양공학회논문집
    • /
    • 제29권4호
    • /
    • pp.180-188
    • /
    • 2017
  • 최근에 기후변화로 인해 너울성 고파 등 이상고파의 출현빈도가 높아지고 항만에서의 하역중단이 증가할 가능성이 커지고 있다. 하역중단을 최소화할 수 있도록 방파제(breakwater) 등을 추가적으로 건설하여 정온도(tranquility)를 향상시키는 것도 매우 중요하지만, 하역중단시점을 미리 예보함으로써 항만 운영을 효율적으로 하는 것도 또한 중요하다. 본 연구에서는 효율적인 항만 운영을 위하여 하역중단시점을 사전에 예보할 수 있도록 바람 예보자료를 이용하여 항외 주요 지점에서의 파랑자료를 추산하고, 복잡한 지형을 가진 항내 주요 지점에 대해서는 장기 관측을 실시하여 파랑자료를 수집한 후, 광역 계산지점에서의 파고와 항내 관측지점에서의 파고 사이의 관계를 자기회귀모델(auto-regressive model)과 인공신경망(artificial neural networks) 모델을 이용하여 바람예보자료를 이용한 수치실험 결과만으로 항내 파고를 예측하고, 하역중단시점을 예보할 수 있는 방법을 제안하였다. 제안방법의 적용성을 평가하기 위하여 포켓(pocket) 형상의 비교적 복잡한 지형 조건을 가진 포항신항 내 파랑관측지점에서의 파고 예측 및 하역중단시점을 예측하였으며, 그 결과를 관측자료와 비교하여 제안 방법의 성능을 검증하였다. 인공신경망 모델의 파고 예측결과를 자기회귀모델에 의한 파고 예측결과와 비교할 때, 인공신경망 모델의 예측결과가 관측자료와의 상관계수가 높고 RMS 오차가 작음을 알 수 있었고, 하역중단시점의 예측에 있어서도 인공신경망의 결과가 자기회귀모델의 결과보다 상대적으로 우수함을 알 수 있었다.

청소년의 컴퓨터 오락추구 행동을 예측하기 위한 신경망 활용 (Application of the Neural Network to Predict the Adolescents' Computer Entertainment Behavior)

  • 이혜주;정의현
    • 컴퓨터교육학회논문지
    • /
    • 제16권2호
    • /
    • pp.39-48
    • /
    • 2013
  • 본 연구에서는 신경망을 활용하여 청소년의 컴퓨터 오락추구 행동을 설명하는 예측모형을 조사하고자 하였다. 이를 위해 한국청소년 패널 조사(KYPS)의 중 2패널의 1차년도 데이터(총 3449명, 남: 1725명, 여: 1724명)를 대상으로 하여 신경망 모형(모형 1)을 구축하였다. 또한 신경망 모형의 성능을 분석하고자 로지스틱 회귀 분석을 실시하고 로지스틱 회귀 분석과의 보다 정확한 비교를 위해 동일한 변수를 입력데이터 값으로 하는 신경망 모형(모형 2)도 구축하여 세 모형의 예측율을 비교하였다. 그 결과, 신경망 모형 1이 가장 높은 분류적중율을 나타냈으며, 이 모형에 따라 성별, 컴퓨터사용시간, 가구월평균소득, 친한친구수, 비행친구수, 개인공부시간, 자기통제력, 사교육시간, 여가시간, 자기신뢰감, 스트레스, 학교적응, 공부고민 등의 변수들로 청소년의 컴퓨터 오락추구 행동을 예측하는 것이 보다 정확하고 효율적임을 제시하였다. 본 연구의 결과는 청소년의 컴퓨터 오락추구 행동을 예측하고 진단하거나 적절하게 조절 대처하는데 사용될 수 있음을 제언한다.

  • PDF

수문모형과 기계학습을 연계한 실시간 하천홍수 예측 (Linkage of Hydrological Model and Machine Learning for Real-time Prediction of River Flood)

  • 이재영;김현일;한건연
    • 대한토목학회논문집
    • /
    • 제40권3호
    • /
    • pp.303-314
    • /
    • 2020
  • 수자원분야에서 이용되는 강우에 따른 유역의 수문학적 시스템, 도시지역 및 하천에 대한 수리학적 시스템은 비선형성이 강하고 많은 변수들을 포함하고 있다. 이러한 특성을 가진 시계열 자료에서 기계학습을 통한 예측은 예측시점 이전의 자료 특성을 반영하지 못하는 등 기본적인 신경망으로는 부족한 상황이 발생하기도 한다. 본 연구에서 적용할 강우-유출량과 같이 비선형성이 강하고 시간종속성이 높은 복잡한 시계열 자료를 예측하기 위해 신경망의 학습능력을 극대화한 순환형 동적 신경망(Recurrent Dynamic Neural Network)의 한 종류인 동시에, 시간 지연 신경망(Time-Delay Neural Network)의 특성을 가진 비선형 자기회귀(NARX, Nonlinear Autoregressive Exogenous Model) 인공신경망을 사용하였다. 이를 태화강 지방하천 구간에 적용하여 NARX 인공신경망의 시간 지연 매개변수를 10분에서 120분까지 조정하며 모의한 결과에 대해 여러 통계지표를 이용해 정량적으로 평가하였다. 그 결과 지연시간이 증가할수록 효율계수(NSE)가 0.530에서 0.988으로 증가하고, 평균제곱근편차(RMSE)가 379.9 ㎥/s에서 16.1 ㎥/s로 감소하는 등 정교한 예측이 가능함을 확인하였다.

신경망을 이용한 비선형 시계열 자료의 예측 (Prediction for Nonlinear Time Series Data using Neural Network)

  • 김인규
    • 디지털융복합연구
    • /
    • 제10권9호
    • /
    • pp.357-362
    • /
    • 2012
  • 본 논문에서는 분산이 각각 다른 이분산성을 갖는 비선형 시계열 자료를 가지고, 비선형 시계열 모형중 1차 일반화 확률계수 자기회귀모형(GRCA(1))과 자료의 형태에 상관없이 적용할 수 있는 신경망 모형을 이용하여 예측을 해서 어느 모형이 최소 평균예측오차제곱의 기준에서 비선형 시계열 자료의 예측에 적합한지를 비교 분석 하는 것이다. 조건부 이분산 모형에 따르는 자료로 확인된 종합주가지수 변동율에 대한 사례 분석 결과를 보면 신경망 모형은 단기 예측에서 좋은 예측 결과를 보였고, 비선형 모형인 GRCA(1) 모형은 장기 예측에서 좋은 예측 결과를 보여 주었다.

경기도 파주시 오존농도의 통계모형 연구 (Analysis of statistical models for ozone concentrations at the Paju city in Korea)

  • 이훈자
    • Journal of the Korean Data and Information Science Society
    • /
    • 제20권6호
    • /
    • pp.1085-1092
    • /
    • 2009
  • 지표오존 농도는 국가의 중요한 환경 척도 중의 하나이다. 본 연구에서는 경기도 파주시 오존농도를 자기회귀오차모형과 신경망모형으로 분석하였다. 오존 분석을 위한 설명변수로는 이산화황, 이산화질소, 일산화탄소, 프로메툼10 등의 대기자료와 일 최고온도, 풍속, 상대습도, 강수량, 이슬점온도, 운량, 수증기압 등의 기상자료를 사용하였다. 분석 결과 전반적으로 신경망모형이 좋은 모형으로 나타났고, 자기회귀오차모형도 오존에 영향을 주는 설명변수를 첨가하면 좋은 모형이 될 것으로 생각된다.

  • PDF