• 제목/요약/키워드: Time Series Data Processing

검색결과 327건 처리시간 0.026초

시계열정보 처리를 위한 연상기억 모델 (Associative Memory Model for Time Series Data)

  • 박철영
    • 한국산업정보학회논문지
    • /
    • 제6권3호
    • /
    • pp.29-34
    • /
    • 2001
  • 본 논문에서는 신경회로망을 이용하여 아날로그 시 계열정보를 직접 처리할 수 있는 연상기억 시스템을 제안한다. 제안하는 시스템은 시 계열정보를 상기할 때 현재의 정보와의 일치 결과만으로 출력(상기결과)을 결정하는 것 외에 과거의 일치결과도 고려한 상태에서 출력을 결정하는 시스템이다. 시스템의 기본적인 능력을 조사하기 위하여 기억패턴을 주기계열로 그리고 하중은 전부 고정하는 조건으로 단순화하여 시뮬레이션을 행하여 오류정정 능력을 갖는 것을 확인하였다. 시간축 방향의 하중을 적절하게 설정하면 기억용량의 증대나 상기 오류의 저감 등의 효과가 기대된다.

  • PDF

시계열 데이터베이스에서 순위를 지원하는 서브시퀀스 매칭 방법을 위한 시각화 툴 (A Visualization Tool for Ranked Subsequence Matching in Time-Series Databases)

  • 이성진;이진수;조훈;한욱신
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 추계학술발표대회
    • /
    • pp.787-788
    • /
    • 2009
  • 시계열 데이터(time-series data)는 연속적인 데이터를 고정된 시간 간격으로 샘플링한 실수 값들의 연속을 의미한다. 시계열 데이터의 예로는, 음악 및 동영상 데이터, 심전도 데이터, 주식 그래프 등의 데이터가 있다. 시계열 데이터는 다시 데이터베이스에 저장 되어있는 데이터 시퀀스(data sequence)와, 사용자에 의해 주어지는 질의 시퀀스(query sequence)로 분류된다. 시계열 데이터베이스(time-series database)에서 순위를 지원하는 서브시퀀스 매칭 방법(ranked subsequence matching)은 데이터 시퀀스와 질의 시퀀스가 주어졌을 때, 질의 시퀀스의 길이와 같은 데이터 시퀀스의 서브시퀀스(subsequence)들 중에서 질의 시퀀스와 가장 유사한 상위 k개의 서브시퀀스들을 찾는 것이다. 본 논문의 목적은 사용자가 매칭 방법에 대한 인식과 이해가 부족하더라도 기존의 콘솔 기반의 매칭 프로그램을 보다 쉽게 사용할 수 있도록 이용성을 향상시키기 위하여 시각화 툴을 개발하는 것이다. 구체적으로, 5가지 시각화(visualization) 기능을 제공하는 사용자 인터페이스를 구현하였다. 구현된 사용자 인터페이스를 통해 사용자가 기존의 매칭 프로그램을 보다 쉽고 간편하게 사용할 수 있도록 기여한다.

유비쿼터스 컴퓨팅 환경에서 컨텍스트 예측을 위한 시계열 분석 기반 사용자 모델링 (User Modeling based Time-Series Analysis for Context Prediction in Ubiquitous Computing Environment)

  • 최영환;이상용
    • 한국지능시스템학회논문지
    • /
    • 제19권5호
    • /
    • pp.655-660
    • /
    • 2009
  • 기존의 예측 알고리즘들은 실시간 환경에서 학습 데이터 처리에서 오는 시간지연 문제, 구현의 어려움 등으로 개인화된 실시간 서비스를 제공하는 컨텍스트 인식 환경에서 사용하기에 적합하지 않다. 본 논문에서는 사용자 모델을 이용하여 컨텍스트 예측 알고리즘의 처리시간 단축과 예측 정확도를 향상시키기 위한 연구를 제안한다. 컨텍스트 예측을 위하여 사용자의 컨텍스트 중에서 이동경로를 사용한다. 이동경로를 기반으로 시계열 분석 방법을 통하여 사용자 모델을 생성하고, 생성된 사용자 모델을 시퀀스 매칭 방법을 이용하여 사용자의 컨텍스트를 예측한다. 기존 예측 알고리즘과 본 연구에서 제안한 예측 알고리즘을 시뮬레이션을 통하여 처리시간 및 예측 정확도를 비교한 결과, 실시간 서비스 환경에서 예측 정확도는 기존 예측 알고리즘들과 비슷한 결과를 보였고, 처리시간은 사용자 모델을 사용한 경우가 시퀀스 매칭을 사용한 경우보다 평균 40% 정도 감소시킬 수 있음을 알 수 있었다.

다중 해시함수 기반 데이터 스트림에서의 아이템 의사 주기 탐사 기법 (Finding Pseudo Periods over Data Streams based on Multiple Hash Functions)

  • 이학주;김재완;이원석
    • 한국IT서비스학회지
    • /
    • 제16권1호
    • /
    • pp.73-82
    • /
    • 2017
  • Recently in-memory data stream processing has been actively applied to various subjects such as query processing, OLAP, data mining, i.e., frequent item sets, association rules, clustering. However, finding regular periodic patterns of events in an infinite data stream gets less attention. Most researches about finding periods use autocorrelation functions to find certain changes in periodic patterns, not period itself. And they usually find periodic patterns in time-series databases, not in data streams. Literally a period means the length or era of time that some phenomenon recur in a certain time interval. However in real applications a data set indeed evolves with tiny differences as time elapses. This kind of a period is called as a pseudo-period. This paper proposes a new scheme called FPMH (Finding Periods using Multiple Hash functions) algorithm to find such a set of pseudo-periods over a data stream based on multiple hash functions. According to the type of pseudo period, this paper categorizes FPMH into three, FPMH-E, FPMH-PC, FPMH-PP. To maximize the performance of the algorithm in the data stream environment and to keep most recent periodic patterns in memory, we applied decay mechanism to FPMH algorithms. FPMH algorithm minimizes the usage of memory as well as processing time with acceptable accuracy.

N-Step Sliding Recursion Formula of Variance and Its Implementation

  • Yu, Lang;He, Gang;Mutahir, Ahmad Khwaja
    • Journal of Information Processing Systems
    • /
    • 제16권4호
    • /
    • pp.832-844
    • /
    • 2020
  • The degree of dispersion of a random variable can be described by the variance, which reflects the distance of the random variable from its mean. However, the time complexity of the traditional variance calculation algorithm is O(n), which results from full calculation of all samples. When the number of samples increases or on the occasion of high speed signal processing, algorithms with O(n) time complexity will cost huge amount of time and that may results in performance degradation of the whole system. A novel multi-step recursive algorithm for variance calculation of the time-varying data series with O(1) time complexity (constant time) is proposed in this paper. Numerical simulation and experiments of the algorithm is presented and the results demonstrate that the proposed multi-step recursive algorithm can effectively decrease computing time and hence significantly improve the variance calculation efficiency for time-varying data, which demonstrates the potential value for time-consumption data analysis or high speed signal processing.

시간의 흐름과 위치 변화에 따른 멀티 블록 스트림 데이터의 의미 있는 패턴 추출 방법 (The Method for Extracting Meaningful Patterns Over the Time of Multi Blocks Stream Data)

  • 조경래;김기영
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제3권10호
    • /
    • pp.377-382
    • /
    • 2014
  • 모바일 통신과 사물 인터넷(IoT) 환경에서 시간에 따른 데이터의 분석 기술은 주로 의미 있는 정보를 찾기 위해 수집 된 데이터에서 의미있는 패턴을 추출하기 위해 사용된다. 기존의 데이터 마이닝을 이용한 분석 방법은 데이터 수집이 어렵고 시간의 경과와 관련된 시계열 데이터의 변경을 반영하기 위해 완료 상태에 기초하여 해석되어야 한다. 이러한 패턴의 다양성, 대용량성, 연속성 등의 여러 가지 특성을 가진 데이터 스트림의 분석을 위한 방법으로 멀티 블록 스트리밍 데이터 분석(AM-MBSD) 방법을 제안한다. 의미 있는 데이터 추출을 위해 멀티 블록 스트리밍 데이터의 패턴을 추출하고 추출된 연속적 데이터를 여러 개의 블록으로 정의하고 제안 방법의 검증을 위해 각 데이터 블록의 데이터 패턴 생성 시간, 주파수를 수집하고 시계열 데이터를 분석, 실험하였다.

A study on analysis to time series data by using vegetation surface roughness index

  • Konda, Asako;Kajiwara, Koji;Honda, Yoshiaki
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2003년도 Proceedings of ACRS 2003 ISRS
    • /
    • pp.706-708
    • /
    • 2003
  • Index for difference of vegetation surface roughness (BSI: Bi-directional reflectance factor structure Index) was proposed in our laboratory (Konda et al., 2000). It is thought that BSI is useful vegetation index for vegetation monitoring. If it can be applied for global covered satellite data, detailed monitoring of global vegetation can be expected. However, in order to apply BSI to global satellite data, there are some problems to be solved. In this study, in order to make global data set of BSI, it arranged about processing of the global satellite data for making BSI data sets.

  • PDF

SSA를 이용한 일 단위 물수요량 단기 예측에 관한 연구 (A Study of Short Term Forecasting of Daily Water Demand Using SSA)

  • 권현한;문영일
    • 상하수도학회지
    • /
    • 제18권6호
    • /
    • pp.758-769
    • /
    • 2004
  • The trends and seasonalities of most time series have a large variability. The result of the Singular Spectrum Analysis(SSA) processing is a decomposition of the time series into several components, which can often be identified as trends, seasonalities and other oscillatory series, or noise components. Generally, forecasting by the SSA method should be applied to time series governed (may be approximately) by linear recurrent formulae(LRF). This study examined forecasting ability of SSA-LRF model. These methods are applied to daily water demand data. These models indicate that most cases have good ability of forecasting to some extent by considering statistical and visual assessment, in particular forecasting validity shows good results during 15 days.

환율데이타의 장기기억성과 정답율 (Long-Term Memory and Correct Answer Rate of Foreign Exchange Data)

  • 원석준
    • 한국정보처리학회논문지
    • /
    • 제7권12호
    • /
    • pp.3866-3873
    • /
    • 2000
  • 본 논문에서는 경제시계열 데이타중에 하나인 환율데이타(Yen/Dollar)의 장기기억성과 정답율을 조사했다. 통상 단기 기억성을 가진 대표적 모델 AR 모델로 부터 생성되는 시계열에는 두종류의 프랙탈차원이 존재하는 경우가 많다. 두차원으로 분리되는 샘플 간격을 $k^{crossover}$라고 한다면, 통계모델에서K < $k^{crossover}$일때의 프랙탈차원을 $D_1$, K > $k^{crossover}$일때의 프랙차원을 $D_2$라고 한다면 $ D_1이면서 $D_2\cong2$ 인 관계를 가진다. 그러나 일본경제평균등 실제의 시계열에서는 이것에 반대되는 결과가 나타났다. 그 한 예로써 환율데이타에서는 $D_1>D_2$라는 관계를 가진다는 것을 알았다. 이것은 데이타 사이의 시간 간격이 멀어지는데 오히려 상관은 강해지는 현상을 나타내는 것이다. 환율 시계열을 뉴럴네트워크를 이용해서 예측한 결과, 예측오차로부터 얻어진 지수(指數) $\beta$와 D가 프랙탈성질을 가진 비선형 모델로 부터 구한 관계식 $\beta$=2-2D을 정확히 만족 시키는 것을 확인했다. 그리고 프랙탈차원의 차이가 정답율에서도 나타남을 확인했다.

  • PDF

실시간 철도안전 관제를 위한 데이터 처리 방안 연구 (Data Processing Method for Real-time Safety Supervision System in Railway)

  • 신광호;정혜란;안진
    • 한국철도학회논문집
    • /
    • 제19권4호
    • /
    • pp.445-455
    • /
    • 2016
  • 실시간 철도안전 관제시스템은 철도시스템을 구성하는 열차, 신호, 전력 및 설비 등으로 분산되어 감시되던 시스템의 안전관련 데이터를 통합하여 안전감시 효율을 향상시키고 사고를 예방하는 것이 목적으로, 기존 개별 감시 시스템과 달리 데이터의 대용량 처리와 실시간 처리 성능을 동시에 요구하고 있다. 기존 관제시스템에서 주로 활용되는 디스크 기반 데이터베이스는 실시간 및 빅 데이터 처리기능이 없고, 최근 도입되는 메모리 기반 데이터베이스는 빅데이터 처리기능이 없으며, 시계열 데이터베이스는 실시간 처리 기능이 없다. 이에 따라, 실시간 안전관제에서 요구되는 빅 데이터 처리와 실시간 처리를 동시에 제공하는 새로운 솔루션이 필요하다. 본 연구에서는 기존 관제의 데이터 처리 사례를 분석하고, 빅 데이터 처리와 실시간 처리를 동시에 제공하는 새로운 데이터 처리 방안을 제안하였으며, 이를 검증하였다.