• 제목/요약/키워드: auto-regressive models

검색결과 51건 처리시간 0.029초

시계열 예측을 위한 스타일 기반 트랜스포머 (Style-Based Transformer for Time Series Forecasting)

  • 김동건;김광수
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권12호
    • /
    • pp.579-586
    • /
    • 2021
  • 시계열 예측은 과거 시점의 정보를 토대로 미래 시점의 정보를 예측하는 것을 말한다. 향후 시점의 정보를 정확하게 예측하는 것은 다양한 분야 전략 수립, 정책 결정 등을 위해 활용되기 때문에 매우 중요하다. 최근에는 트랜스포머 모델이 시계열 예측 모델로서 주로 연구되고 있다. 그러나 기존의 트랜스포머의 모델은 예측 순차를 출력할 때 출력 결과를 다시 입력하는 자가회귀 구조로 되어 있다는 한계점이 있다. 이 한계점은 멀리 떨어진 시점을 예측할 때 정확도가 떨어진다는 문제점을 초래한다. 본 논문에서는 이러한 문제점을 개선하고 더 정확한 시계열 예측을 위해 스타일 변환 기법에 착안한 순차 디코딩 모델을 제안한다. 제안하는 모델은 트랜스포머-인코더에서 과거 정보의 특성을 추출하고, 이를 스타일-기반 디코더에 반영하여 예측 시계열을 생성하는 구조로 되어 있다. 이 구조는 자가회귀 방식의 기존의 트랜스포머의 디코더 구조와 다르게, 예측 순차를 한꺼번에 출력하기 때문에 더 먼 시점의 정보를 좀 더 정확히 예측할 수 있다는 장점이 있다. 서로 다른 데이터 특성을 가지는 다양한 시계열 데이터셋으로 예측 실험을 진행한 결과, 본 논문에서 제시한 모델이 기존의 다른 시계열 예측 모델보다 예측 정확도가 우수하다는 것을 보인다.

언어 모델 기반 페르소나 대화 모델 (Personalized Chit-chat Based on Language Models)

  • 장윤나;오동석;임정우;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.491-494
    • /
    • 2020
  • 최근 언어 모델(Language model)의 기술이 발전함에 따라, 자연어처리 분야의 많은 연구들이 좋은 성능을 내고 있다. 정해진 주제 없이 인간과 잡담을 나눌 수 있는 오픈 도메인 대화 시스템(Open-domain dialogue system) 분야에서 역시 이전보다 더 자연스러운 발화를 생성할 수 있게 되었다. 언어 모델의 발전은 응답 선택(Response selection) 분야에서도 모델이 맥락에 알맞은 답변을 선택하도록 하는 데 기여를 했다. 하지만, 대화 모델이 답변을 생성할 때 일관성 없는 답변을 만들거나, 구체적이지 않고 일반적인 답변만을 하는 문제가 대두되었다. 이를 해결하기 위하여 화자의 개인화된 정보에 기반한 대화인 페르소나(Persona) 대화 데이터 및 태스크가 연구되고 있다. 페르소나 대화 태스크에서는 화자마다 주어진 페르소나가 있고, 대화를 할 때 주어진 페르소나와 일관성이 있는 답변을 선택하거나 생성해야 한다. 이에 우리는 대용량의 코퍼스(Corpus)에 사전 학습(Pre-trained) 된 언어 모델을 활용하여 더 적절한 답변을 선택하는 페르소나 대화 시스템에 대하여 논의한다. 언어 모델 중 자기 회귀(Auto-regressive) 방식으로 모델링을 하는 GPT-2, DialoGPT와 오토인코더(Auto-encoder)를 이용한 BERT, 두 모델이 결합되어 있는 구조인 BART가 실험에 활용되었다. 이와 같이 본 논문에서는 여러 종류의 언어 모델을 페르소나 대화 태스크에 대해 비교 실험을 진행했고, 그 결과 Hits@1 점수에서 BERT가 가장 우수한 성능을 보이는 것을 확인할 수 있었다.

  • PDF

Air pollution study using factor analysis and univariate Box-Jenkins modeling for the northwest of Tehran

  • Asadollahfardi, Gholamreza;Zamanian, Mehran;Mirmohammadi, Mohsen;Asadi, Mohsen;Tameh, Fatemeh Izadi
    • Advances in environmental research
    • /
    • 제4권4호
    • /
    • pp.233-246
    • /
    • 2015
  • High amounts of air pollution in crowded urban areas are always considered as one of the major environmental challenges especially in developing countries. Despite the errors in air pollution prediction, the forecasting of future data helps air quality management make decisions promptly and properly. We studied the air quality of the Aqdasiyeh location in Tehran using factor analysis and the Box-Jenkins time series methods. The Air Quality Control Company (AQCC) of the Municipality of Tehran monitors seven daily air quality parameters, including carbon monoxide (CO), Nitrogen Monoxide (NO), Nitrogen dioxide ($NO_2$), $NO_x$, ozone ($O_3$), particulate matter ($PM_{10}$) and sulfur dioxide ($SO_2$). We applied the AQCC data for our study. According to the results of the factor analysis, the air quality parameters were divided into two factors. The first factor included CO, $NO_2$, NO, $NO_x$, and $O_3$, and the second was $SO_2$ and $PM_{10}$. Subsequently, the Box- Jenkins time series was applied to the two mentioned factors. The results of the statistical testing and comparison of the factor data with the predicted data indicated Auto Regressive Integrated Moving Average (0, 0, 1) was appropriate for the first factor, and ARIMA (1, 0, 1) was proper for the second one. The coefficient of determination between the factor data and the predicted data for both models were 0.98 and 0.983 which may indicate the accuracy of the models. The application of these methods could be beneficial for the reduction of developing numbers of mathematical modeling.

VAR모형을 이용한 수출상품 수요예측에 관한 연구: 소형 승용차 모델별 분기별 대미수출을 중심으로 (A Study on Demand Forecasting of Export Goods Based on Vector Autoregressive Model : Subject to Each Small Passenger Vehicles Quarterly Exported to USA)

  • 조중형
    • 통상정보연구
    • /
    • 제16권3호
    • /
    • pp.73-96
    • /
    • 2014
  • 본 연구는 우리나라 수출 상위 5개 품목 중 하나인 자동차 수출을 대상으로, 승용차 브랜드별 단기 수출수요에 영향을 미치는 이론적 잠재요인을 발굴 및 설계하여 이론적 수출수요예측모델을 개발하고, 다변량시계열분석 기반의 VAR(Vector Auto Regressive)모형을 이용한 실증분석을 통해 개별상품과 시장특성이 반영된 단기수출수요예측모델을 검정하고자 하였다. 따라서 미국에 수출되고 있는 우리나라 소형 승용차 2개 브랜드(엑센트, 아반떼)에 대해 VAR모형을 이용한 분기단위 단기수요예측모델을 개발하고, 브랜드별 예측모델을 통해 산출된 t+1분기 시점의 예측값과 실제 판매된 판매대수를 대상기간을 1분기씩 달리하여 비교평가 하였다. 그 결과 엑센트와 아반떼의 RMSE %는 각각 4.3%와 20.0%로 났으며, 일평균 판매량을 기준으로 보았을 때 엑센트는 3.9일에 해당하고 아반떼는 18.4일에 해당하는 물량임을 알 수 있었다. 따라서 본 연구의 단기수출수요예측모델은 예측력과 검정시점별 일관성 측면에서 활용성이 높은 것으로 평가할 수 있었다.

  • PDF

궤도틀림 진전 예측을 위한 시계열 모델 적용 (Application of Time-Series Model to Forecast Track Irregularity Progress)

  • 정민철;김건우;김정훈;강윤석;공정식
    • 한국전산구조공학회논문집
    • /
    • 제25권4호
    • /
    • pp.331-338
    • /
    • 2012
  • 현재 국내에서 EM-120에 의해 검측된 틀림 데이터는 매우 불규칙적인 형태를 나타내며 데이터 분석 시 다양한 문제점을 가지고 있다. 본 연구에서는 궤도의 효율적인 유지관리를 위해 검측된 틀림데이터의 특징과 문제점을 분석하고, 이를 보완할 수 있는 효율적인 처리 기법을 개발하였으며, 정제된 데이터의 ARIMA 분석을 통해 검측데이터와 계절 변화의 상관관계 분석을 수행하였다. 또한 회귀모형, 지수평활법, ARIMA 모형 등 다양한 예측 모델의 적용을 통해 검측 데이터의 시계열 분석을 수행하고, 궤도 틀림 데이터의 예측 모델에 적합한 최적 모델 선정과 관련한 연구를 수행하였다.

외재적 변수를 이용한 딥러닝 예측 기반의 도시가스 인수량 예측 (Deep Learning Forecast model for City-Gas Acceptance Using Extranoues variable)

  • 김지현;김지은;박상준;박운학
    • 한국가스학회지
    • /
    • 제23권5호
    • /
    • pp.52-58
    • /
    • 2019
  • 본 연구에서는 국내 도시가스 인수량에 대한 예측 모델을 개발하였다. 국내의 도시가스 회사는 KOGAS에 차년도 수요를 예측하여 보고해야 하므로 도시가스 인수량 예측은 도시가스 회사에 중요한 사안이다. 도시가스 사용량에 영향을 미치는 요인은 용도구분에 따라 다소 상이하나, 인수량 데이터는 용도별 구분이 어렵기 때문에 특정 용도에 관계없이 영향을 주는 요인으로 외기온도를 고려하여 모델개발을 실시하였다.실험 및 검증은 JB주식회사의 2008년부터 2018년까지 총 11년 치 도시가스 인수량 데이터를 사용하였으며, 전통적인 시계열 분석 중 하나인 ARIMA(Auto-Regressive Integrated Moving Average)와 딥러닝 기법인 LSTM(Long Short-Term Memory)을 이용하여 각각 예측 모델을 구축하고 두 방법의 단점을 최소화하기 위하여 다양한 앙상블(Ensemble) 기법을 사용하였다. 본 연구에서 제안한 일별 예측의 오차율 절댓값 평균은 Ensemble LSTM 기준 0.48%, 월별 예측의 오차율 절댓값 평균은 2.46%, 1년 예측의 오차율 절댓값 평균은 5.24%임을 확인하였다.

기후변화에 따른 소하천에서의 수온 모의연구 (Water temperature assessment on the small ecological stream under climate change)

  • 박정술;김삼은;곽재원;김정욱;김형수
    • 한국습지학회지
    • /
    • 제18권3호
    • /
    • pp.313-323
    • /
    • 2016
  • 수온은 하천의 물리적 생물학적 과정에 지대한 영향을 미치는 인자로서 어류를 비롯한 수생생태계에 대한 제약조건으로 작용한다. 기후변화로 인하여 실질적인 환경의 변화가 나타나고 있는 현실에서 수온 변화에 대한 예측은 필수적이라 하겠다. 본 연구의 목적은 자연 소하천을 대상으로 하천 수온을 모의 및 그 효율을 비교 분석하고, 향후 기후변화로 인한 하천 수온의 변동을 고찰하는 것이다. 이를 위하여 본 연구에서는 캐나다 동북부의 Fourchue 강을 대상으로 하여 2011년부터 2014년까지의 하천수온을 측정하고 결정론적, 확률론적, 비선형 수온모형을 적용하여 각각의 방법론에 따른 효율성을 비교 분석하여 미래 수온 모의를 위한 모형으로 결정론적 모형인 CEQUEAU 모형을 선정하였다. 또한, 선정된 모형을 기반으로 하여 CMIP5 기후모형과 RCP 2.6, 4.5, 8.5 기후변화 시나리오를 이용하여 해당 소하천 유역의 미래 수온 변동성을 예측하고 분석하였다. 연구결과, Fourchue 강의 수온은 6월 중 평균 수온은 $0.2{\sim}0.7^{\circ}C$가 상승하고, 9월은 $0.2{\sim}1.1^{\circ}C$가 감소하는 것으로 나타나 실질적인 수온환경의 변화가 발생하는 것으로 나타나서 이에 대한 주의가 요구된다. 또한, 해당 수역에 서식하고 있는 연어류의 치사상한수온을 넘는 경우도 발생하여 이에 대한 대책이 시급한 것으로 판단된다.

BDS 통계와 DVS 알고리즘을 이용한 수문시계열의 비선형성 분석 (Detecting Nonlinearity of Hydrologic Time Series by BDS Statistic and DVS Algorithm)

  • 최강수;경민수;김수전;김형수
    • 대한토목학회논문집
    • /
    • 제29권2B호
    • /
    • pp.163-171
    • /
    • 2009
  • 수문시계열 분석과 예측을 위하여 통상적으로 기존의 선형적인 모형들을 이용하여 왔다. 그러나 최근 자연현상이나 수문시계열의 패턴 그리고 변동성에 비선형구조가 존재하고 있다는 것이 입증되고 있다. 따라서 기존의 선형적인 방법들에 의한 시계열분석이나 예측은 비선형 시스템에 대해서 적절하지 않을 것이다. 최근, 시계열의 비선형성 구조를 판단하기 위해 카오스 이론을 토대로 한 상관적분으로부터 BDS(Brock-Dechert-Scheinkman) 통계 기법이 유도되었다. BDS 통계는 시스템의 비선형구조와 무작위성 구조를 구별하는데 매우 효과적으로 이용되어 오고 있다. 또한 DVS(Deterministic Versus Stochastic) 알고리즘은 카오스와 추계학적 시스템을 구별하고 예측하는데 주로 이용되어 왔다. 그러나 본 연구에서는 DVS 알고리즘에 의해 시계열의 비선형성을 판별할 수 있음을 보이고자 한다. 따라서 본 연구에서는 추계학적 시계열과 수문학적 시계열들의 비선형성을 검사하고자 한다. ARMA 모형과 TAR(Threshold autoregressive) 모형으로부터로 발생시킨 추계학적 시계열, 미국 유타주 GSL 체적자료, 미국 플로리다 주 St. Johns 강 Cocoa 지점의 유출량 자료, 소양강 댐 일 유입량 자료 등의 수문시계열에 대해 비선형성 분석을 수행하고 그 결과를 비교하였다. 분석결과 BDS 통계가 선형 및 비선형 시계열을 구분하는데 매우 강력한 도구임을 보였고, DVS 알고리즘 또한 시계열의 비선형성을 구별하는데 효과적으로 이용될 수 있음을 보였다.

부분구조추정법을 이용한 대형구조물의 효율적인 구조안전도 모니터링 (Efficient Structral Safety Monitoring of Large Structures Using Substructural Identification)

  • 윤정방;이형진
    • 한국지진공학회논문집
    • /
    • 제1권2호
    • /
    • pp.1-15
    • /
    • 1997
  • 본 논문에서는 대형구조물에서 구조물의 안전성 평가와 관련하여 구조물이 국부손상도를 추정하기 위한 효율적인 부분구조추정(Substructural Identification) 기법에 대하여 연구하였다. 먼저, 부분구조 추정법을 위한 모형식을 설정하기 위하여 운동방정식으로부터 부분구조에 대한 계측오차를 처리하기 위한 모형을 포함한 추계론적 자동회귀-이동평균(ARAMX) 모형식을 유도하였다. 추정된 모형식의 계수는 유도된 관계식을 이용하면, 구조손상 평가에 이용될 수 있는 강성행렬로 환산될 수 있다. 본 논문에서 유도된 부분구조 추정법의 가장 큰 장점은 매우 안정되고 정확도가 우수한 구조추정법인 ARMAX 모형식에 기반한 순차적 예측오차 방법을 사용함으로써 다른 방법에 비해 추정의 안정성 및 정확도가 뛰어나다는 것이다. 다음으로는 개발된 부분구조 추정법을 이용하여 구조 손상도 추정이 수행되었다. 손상도 추정을 위하여 앞서 순차적 예측오차 방법을 이용하여 추정된 구조계 현상태의 강성행렬을 바탕으로, 최소지승법을 이용하여 구하는 간접법이 제시되었다. 제시된 방법들의 검증을 위하여 예제해석이 수행되었다. 트러스 및 연속교 모형 그리고 실험적 예제에 적용하여 구조의 강성행렬 및 감쇠행렬을 추정하였다. 이를 바탕으로 손상도 추정방법이 검증되었다. 해석결과로부터, 개발된 방법이 효율적이고 정확도 및 안정성의 측면에서 우수한 성질이 있음을 확인할 수 있다.

  • PDF

한반도를 포함한 동아시아 영역에서 오존전량과 유해자외선의 특성과 예측 (Characteristics and Prediction of Total Ozone and UV-B Irradiance in East Asia Including the Korean Peninsula)

  • 문윤섭;민우석;김유근
    • 한국환경과학회지
    • /
    • 제15권8호
    • /
    • pp.701-718
    • /
    • 2006
  • The average ratio of the daily UV-B to total solar (75) irradiance at Busan (35.23$^{\circ}$N, 129.07$^{\circ}$E) in Korea is found as 0.11%. There is also a high exponential relationship between hourly UV-B and total solar irradiance: UV-B=exp (a$\times$(75-b))(R$^2$=0.93). The daily variation of total ozone is compared with the UV-B irradiance at Pohang (36.03$^{\circ}$N, 129.40$^{\circ}$E) in Korea using the Total Ozone Mapping Spectrometer (TOMS) data during the period of May to July in 2005. The total ozone (TO) has been maintained to a decreasing trend since 1979, which leading to a negative correlation with the ground-level UV-B irradiance doting the given period of cloudless day: UV-B=239.23-0.056 TO (R$^2$=0.52). The statistical predictions of daily total ozone are analyzed by using the data of the Brewer spectrophotometer and TOMS in East Asia including the Korean peninsula. The long-term monthly averages of total ozone using the multiplicative seasonal AutoRegressive Integrated Moving Average (ARIMA) model are used to predict the hourly mean UV-B irradiance by interpolating the daily mean total ozone far the predicting period. We also can predict the next day's total ozone by using regression models based on the present day's total ozone by TOMS and the next day's predicted maximum air temperature by the Meteorological Mesoscale Model 5 (MM5). These predicted and observed total ozone amounts are used to input data of the parameterization model (PM) of hourly UV-B irradiance. The PM of UV-B irradiance is based on the main parameters such as cloudiness, solar zenith angle, total ozone, opacity of aerosols, altitude, and surface albedo. The input data for the model requires daily total ozone, hourly amount and type of cloud, visibility and air pressure. To simplify cloud effects in the model, the constant cloud transmittance are used. For example, the correlation coefficient of the PM using these cloud transmissivities is shown high in more than 0.91 for cloudy days in Busan, and the relative mean bias error (RMBE) and the relative root mean square error (RRMSE) are less than 21% and 27%, respectively. In this study, the daily variations of calculated and predicted UV-B irradiance are presented in high correlation coefficients of more than 0.86 at each monitoring site of the Korean peninsula as well as East Asia. The RMBE is within 10% of the mean measured hourly irradiance, and the RRMSE is within 15% for hourly irradiance, respectively. Although errors are present in cloud amounts and total ozone, the results are still acceptable.