• 제목/요약/키워드: 시계열 데이터 분석

검색결과 731건 처리시간 0.037초

적대적 생성망을 이용한 부동산 시계열 데이터 생성 방안 (A Methodology for Realty Time-series Generation Using Generative Adversarial Network)

  • 유재필;한창훈;신현준
    • 한국융합학회논문지
    • /
    • 제12권10호
    • /
    • pp.9-17
    • /
    • 2021
  • 최근 빅데이터 분석, 인공지능, 기계학습 등의 발전으로 인해서 데이터를 과학적으로 분석하는 기술이 발전하고 있으며 이는 의사결정 문제를 최적으로 해결해주고 있다. 그러나 특정 분야의 경우에는 데이터의 양이 부족해서 과학적 방식에 적용하는 것이 어렵다. 예컨대 부동산과 같은 데이터는 데이터 발표 시점이 최근이거나 비 유동성 자산이다 보니 발표 주기가 긴 경우가 많다. 따라서 본 연구에서는 이런 문제점을 극복하기 위해서 TimeGAN 모형을 통해 기존의 시계열의 확장 가능성에 대해서 연구하고자 한다. 이를 위해 부동산과 관련된 총 45개의 시계열을 데이터 셋에 맞게 2012년부터 2021년까지 주 단위로 데이터를 수집하고 시계열 간의 상관관계를 고려해서 총 15개의 최종 시계열을 선정한다. 15개의 시계열에 대해서 TimeGAN 모형을 통해 데이터 확장을한 결과, PCA 및 T-SNE 시각화 알고리즘을 통해 실제 데이터와 확장 데이터 간의 통계적 분포가 유사하다는 것을 확인할 수 있었다. 따라서 본 논문을 통해서 데이터의 과적합 또는 과소적합이라는 한계점을 극복할 수 있는 다양한 실험이 연구되기를 기대한다.

품질 및 조건 기반 시계열 데이터 선별 활용 방법 (Methods for screening time series data according to data quality and statistical status)

  • 문재원;유미선;오승택;금승우;황지수;이지훈
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
    • /
    • pp.399-402
    • /
    • 2022
  • 본 논문에서는 불완전한 시계열 데이터를 활용하기 전 데이터를 선별하여 활용하는 방법을 소개한다. 시계열 데이터의 품질은 수집 네트워크와 수집 기기의 시간적 변화와 같은 가변적 상황에 의존적이므로 불규칙적으로 이상 혹은 누락 데이터가 발생한다. 이때 에러를 포함하였다는 이유로 일괄적으로 데이터를 제거하여 활용하지 않거나, 혹은 누락 데이터의 구간을 조건 없이 복원하여 활용한다면 원하지 않는 결과를 초래할 수 있다. 제안하는 방법은 시계열 데이터의 구간에 대한 누락 데이터의 통계적 정보를 축출하고 이에 기반하여 활용 목적과 활용 가능한 품질의 기준에 부합하지 않는다면 활용 불가능한 데이터라고 판별하고 미리 분석 등의 데이터 활용 시 자동 제외하는 구조를 제안하고 실험하였다. 제안하는 방법은 활용 목적과 상황에 적응적으로 누락 값을 포함하는 데이터의 빠른 활용 판단이 가능하며 보다 나은 분석 결과를 얻을 수 있다.

  • PDF

전이함수를 적용한 토양 수분 시계열 자료의 분석 (Modeling of Soil Moisture Time Series using Single Input Single Output Transfer Function)

  • 최경문;선한나;김상현;정성원
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2008년도 학술발표회 논문집
    • /
    • pp.1137-1141
    • /
    • 2008
  • 본 연구에서는 경기도 설마천 지역에 위치한 독립사면에서 토양수분을 연속측정한 결과를 분석하였다. 관측망의 설계를 통하여 선정한 위치에 탐침을 매설하고 공간적인 분포를 가진 시계열 형태의 데이터를 10cm 깊이에서 수집하였다. 전이함수 모형을 사면에서의 토양수분 전이과정에 대응하고, 이를 실제 측정한 데이터에 의해서 분석한 결과와 비교해 보았다. 전이 함수 모형은 강우 데이터를 입력변수로 하고 토양수분 시계열 데이터를 반응 변수로 하여 전개하였고, 시계열 모형의 전개는 크게 자료전처리, 모형구조의 규명, 모수추정, 모형진단 등의 과정을 통해서 적합한 모형을 도출하였다. 산지 사면에서의 토양수분을 전이함수에 의하여 전개한 모형은 토양수분의 깊이별 변화와 지형적 분포 양상에 따라 특색을 나타내었다. 또한 2003년 가을과 2004년 봄의 전이함수 모형 추정을 통하여 계절별 특성이 나타남을 알 수 있는데, 봄의 토양수분의 분포는 가을의 토양수분에 비하여 큰 변동성과 고차항의 반응양상을 보인다. 본 연구는 전이함수를 이용한 토양수분의 시계열 분석이 사면에서의 토양수분 변동특성을 지형적, 계절적 특성과 연계하여 이해하고 특성화하는 과정의 적절한 도구가 될 수 있음을 보여주고 있다.

  • PDF

Graphgen: REST API를 이용한 시계열 데이터의 실시간 시각화 마이크로서비스 (Graphgen: Real-time Visualization Microservice for Time Series Data Using REST API)

  • 권동우;옥기수;지영민
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.581-584
    • /
    • 2018
  • 최근 다양한 분야에서 대량의 데이터를 수집하여 처리하고 분석하는 빅데이터 기술이 활용되고 있다. 빅데이터 분석을 위해서는 데이터 시각화 기술이 필수적이다. 본 논문에서는 REST API를 사용하여 시계열 데이터베이스에 데이터를 질의하고, 응답받은 시계열 데이터를 다양한 형태의 차트로 시각화하는 마이크로서비스(Graphgen)를 설계하고 구현한다. 이 서비스는 데이터의 변동에 따라 실시간으로 시각화 객체를 갱신하며, 대용량 데이터 처리의 성능저하를 최소화하도록 개발된다. Graphgen은 InfluxDB와 OpenTSDB 시계열 데이터베이스와 Bokeh 시각화 라이브러리를 지원하며, 추후 서비스 확장이 용이하도록 개발된다. 또한 부하 분산과 통합 배포 관리를 위하여 컨테이너를 기반으로 개발된다.

Levinson-Durbin 알고리듬과 Newton-Raphson Method를 이용한 개방형 시계열 데이터 예측엔진 구현에 관한 연구 (Implementation of an Open Prediction Engine for Time-Series Data Using Levinson-Durbin Algorithm and Newton-Raphson Method)

  • 구진모;홍태화;김학배
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2000년도 하계학술대회 논문집 D
    • /
    • pp.2968-2970
    • /
    • 2000
  • 시계열(time series)이란 한 사상 또는 여러 사상에 대하여 시간의 흐름에 따라 일정한 간격으로 이들을 관측하여 기록한 자료를 말한다. 이러한 시계열은 어떠한 경제현상이나 자연현상에 관한 시간적 변화를 나타내는 역사적 계열(historical series)이므로 어느 한 시점에서 관측된 시계열자료는 그 이전까지의 자료들에 주로 의존하게 된다. 따라서 시계열분석을 통한 예측에서는 과거의 자료들을 분석하여 법칙성을 발견해서 이를 모형화하여 추정하고. 이 추정된 모형을 사용하여 미래에 관측될 값들을 예측하게 된다. 본 연구에서는 ARMA (p, q)모형 (autoregressive moving-average model)을 이용하여 시계열 데이터를 분석하며 계수의 추정에는 Levinson-Durbin 알고리듬과 Newton-Raphson Method를 이용한다.

  • PDF

설마천 유역의 토양수분과 유출간의 전이함수 분석 (Transfer Function Analysis Between Soil Miosture and Runoff at a Hillslope in the Sulmachun)

  • 선한나;주승효;김상현
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2009년도 학술발표회 초록집
    • /
    • pp.62-67
    • /
    • 2009
  • 본 연구에서는 경기도 설마천 지역에 위치한 독립사면에서 시간에 따라 연속 측정한 토양수분을 이용하여 시계열 분석 을 수행하였다. 토양수분의 측정 방법은 장기간 토양수분의 확보에 신뢰성을 인정받은 TDR을 이용하였다. 관측망의 설계를 통하여 선정한 측정지점에 탐침을 매설하고 공간적인 분포를 가진 시계열 형태의 데이터를 수집하였다. 유출은 해당 사이트 인근에 위치한 사방댐과 전격비교의 수위계에서 실측한 값을 사용 하였다. 전이함수 모형을 사면에서의 토양수분 전이과정에 대응되도록 물리적으로 전개하고 실측한 토양수분 시계열 데이터로 분석한 결과와 비교하였다. 전이 함수 모형은 토양수분 시계열 데이터를 입력변수로 하고 유출 데이터를 반응 변수로 하여 전개하여 토양수분 변화량과 유출간의 전이함수 모형을 도출하였다. 시계열 모형의 전개는 크게 자료전처리, 모형구조의 규명, 모수추정, 모형진단 등의 과정을 통해서 적절한 모형을 도출하였다. 산지 사면에서의 토양수분을 전이함수에 의하여 전개한 모형은 지형적 분포 양상에 따라 특색을 나타내었다. 또한 2003년 가을과 2004년 봄의 전이함수 모형 추정을 통하여 계절별 특성이 나타났고, 모형양상에 원인을 검토해 보았다. 본 연구는 전이함수를 이용한 토양수분의 시계열 분석이 사면에서의 토양수분 변동특성을 지형적, 계절적 특성과 연계하여 이해하고 특성화 하는 과정의 적절한 도구가 될 수 있음을 보여주고 있다.

  • PDF

금융 빅 데이터를 이용한 주식수익률 행태 분석 (An Analysis of Stock Return Behavior using Financial Big Data)

  • 정헌용;김상식
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 추계학술대회
    • /
    • pp.708-710
    • /
    • 2014
  • 최근 금융 분야에서는 빅 데이터를 이용하여 주가예측 모형을 만들어내고 있으며, 특히 금융 시계열 자료의 변동성 집중 현상을 금융 빅 데이터를 이용하여 분석함으로써 세계 주식시장의 동조화 현상을 분석하고 있다. 본 논문에서는 한국과 중국의 일별 주가지수수익률과 일중 주가지수수익률을 이용하여 이들 2개 국가의 대표적인 주가지수 시계열 데이터에 변동성 집중 현상이 존재하는지를 보다 세밀하게 추적하여 양국 주식시장의 동조화 현상을 분석한다. 분석 결과, 한국의 KOSPI와 중국의 Shanghai 종합주가지수의 지수수익률 시계열 자료는 단위근이 존재하지 않으며, 변동성 집중 현상을 보이는 것으로 나타났다. 또한 한국보다는 중국 주식시장의 변동성 집중현상이 보다 강하게 나타나며, 이러한 현상은 일중 주가지수수익률 시계열 자료에서 보다 두드러지게 나타났다.

  • PDF

홀트-윈터스 가법모형에 의한 전국 학생수 예측 (Forecasting number of student by Holt-Winters additive model)

  • 김종태
    • Journal of the Korean Data and Information Science Society
    • /
    • 제20권4호
    • /
    • pp.685-694
    • /
    • 2009
  • 본 연구는 전국 초 중 고등학교 학생수 데이터를 계절성과 추세성을 가지는 시계열 데이터로 전환하는데 있다. 시계열 데이터로의 전환방법은 학년의 진급에 따라서, 초등1학년에서 고3학년까지 12년 한 주기로 하는 모형 A의 시계열 데이터 전환과, 각 학년을 한 주기로 하는 모형 B의 시계열 데이터 전환방법을 사용하였다. 전환된 시계열 데이터, 모형 A와 모형 B를 가지고, 홀트-윈터스의 가법모형을 이용하여 학생수를 예측하였다. 2019년까지의 전국 초.중.고등학교의 학생수를 예측하고, 교육과학기술부의 교육인적자원 통계서비스의 2007년에 예측한 2019년까지의 학생수 예측과 비교분석 하였다.

  • PDF

자동 위성영상 수집을 통한 다종 위성영상의 시계열 데이터 생성 (Generation of Time-Series Data for Multisource Satellite Imagery through Automated Satellite Image Collection)

  • 남윤지;정성우;김태정;이수암
    • 대한원격탐사학회지
    • /
    • 제39권5_4호
    • /
    • pp.1085-1095
    • /
    • 2023
  • 위성데이터를 활용한 시계열 데이터는 다양한 분야에서 변화 탐지와 모니터링에 필수적인 자료로 활용되고 있다. 시계열 데이터 생성에 관한 선행 연구에서는 데이터의 통일성을 유지하기 위해 주로 단일 영상을 기반으로 분석하는 방식이 사용되었다. 또한 공간 및 시간 해상도 향상을 위해 다종 영상을 활용하는 연구도 활발하게 진행되고 있다. 시계열 데이터의 중요성은 계속해서 강조되지만, 데이터를 자동으로 수집하고 가공하여 연구에 활용하기 위한 산출물은 아직 제공되지 않고 있다. 따라서 이러한 한계를 극복하기 위해 본 논문에서는 사용자가 설정한 지역의 위성정보를 자동으로 수집하고 시계열 데이터를 생성하는 기능을 제안한다. 본 연구는 한 종류의 위성영상뿐만 아니라 동일 지역의 여러 위성데이터를 수집하고 이를 시계열 데이터로 변환하여 산출물을 생성하는 것을 목표로 하며, 이를 위한 위성영상 자동 수집 시스템을 개발하였다. 이 시스템을 활용하면 사용자는 관심 있는 지역을 설정함으로써 해당 지역에 맞게 데이터가 수집되고 Crop되어 즉시 활용할 수 있는 데이터를 생성할 수 있다. 실험 결과로는 웹 상에서 무료로 제공되는 Landsat-8/9 OLI 및 Sentinel-2 A/B 영상의 자동 획득이 가능함을 확인하였으며, 수동 입력을 통해 별도의 고해상도 위성영상도 함께 처리할 수 있었다. 고해상도 위성영상을 기준으로 자동 수집 및 편집된 영상 간의 정확도를 비교하고 육안 분석을 수행한 결과, 큰 오차 없이 결과물을 생성할 수 있음을 확인했다. 이후 시계열 데이터 간 상대적 위치 오차 최소화 및 좌표가 획득되어 있지 않은 데이터 처리 등에 대한 연구 및 다양한 위성영상을 활용한 시계열 데이터 생성 기능 추가가 계획되어 있다. 위성영상을 활용한 시계열 데이터의 생성 방법이 정립되고, 국토위성, 농림위성과 같은 국내 위성정보를 이용한 시계열 데이터가 효과적으로 활용될 경우, 국토·농림·산업·해양 분야에서 다양한 응용 가능성이 기대된다.

시계열 데이터로부터 경향성을 이용한 순차패턴의 탐색 (Rule discovery for sequential patterns of trend from Time-Series)

  • 오용생;남도원;장지숙;이동하;이전영
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2000년도 추계정기학술대회:지능형기술과 CRM
    • /
    • pp.325-332
    • /
    • 2000
  • 데이터마이닝 분야에서 시계얼 데이터(time-series data)내에서 숨어 있는 순차패턴의 발견은 상품(Items)이나 어떤 사건(Event)과 같이 데이터의 특징이 명확한 대상에 대한 연구는 많이 되어왔으나 수치 값을 가지는 시계열 데이터에서 이들 내부에 숨어 있는 패턴을 발견하는 것은 최근에 관심을 가지게 되었다. 우리는 시계열 데이터를 시간적 변화에 따라 값의 변화 경향(Trend)이 같은 데이터 그룹을 패턴 요소인 벡터 (Vestor)로 표현하여 이들을 이용해서 흥미로운 패턴들을 발견한다. 이와 같은 벡터적인 표현으로 우리는 벡터들 간의 포함관계를 적용해 모든 가능한 형태의 패턴 발견을 목적으로 한다. 또한 경향성을 가진 패턴 요소를 사건(Event)과 같이 취급함으로써 다양한 종류의 시계열 데이터가 동시에 발생될 때 이들 상호간에 연관된 시간적 패턴을 찾을 수 있다. 따라서 이 연구에서 제안하는 경향성을 기초로 한 순차패턴의 탐식은 기업내부의 판매실적의 변화 패턴이나, 고객의 구매 행동분석에 적용이 가능하리라 여겨진다

  • PDF