• 제목/요약/키워드: Time-interval Data Stream

검색결과 30건 처리시간 0.023초

다차원 스트림 데이터 환경에서 이벤트 가중치를 고려한 시간 관계 탐사 (Discovering Temporal Relation Considering the Weight of Events in Multidimensional Stream Data Environment)

  • 김재인;김대인;송명진;한대영;황부현
    • 한국콘텐츠학회논문지
    • /
    • 제10권2호
    • /
    • pp.99-110
    • /
    • 2010
  • 이벤트는 환자의 증상과 같은 시간 속성을 갖는 흐름을 의미하며 센서를 통하여 수집된 스트림 데이터는 시작과 종료 시점을 갖는 인터벌 이벤트로 요약 가능하다. 그러나 대부분의 시간 마이닝 기법은 빈발 이벤트만을 고려하며, 빈발하지 않는 이벤트는 중요하더라도 제외되는 문제가 있다. 이 논문에서는 다차원 스트림 데이터 환경에서 인터벌 이벤트에 기초하여 의미있는 시간 관계에 대한 연관 규칙 마이닝 기법을 제안한다. 제안 방법은 이벤트 가중치와 이상 이벤트가 감지된 시점의 스트림 데이터만 고려하여 이벤트의 발생 횟수에 상관없이 의미있는 시간 관계에 대한 연관 규칙을 탐사한다. 그리고 성능 평가를 통하여 제안 방법이 기존의 방법에 비하여 보다 유용한 지식을 탐사함을 보인다.

QUISIS: Interval Skip List를 활용한 질의 색인 기법 (QUISIS: A Query Index Method Using Interval Skip List)

  • 민준기
    • 정보처리학회논문지D
    • /
    • 제15D권3호
    • /
    • pp.297-304
    • /
    • 2008
  • 인터넷과 인트라넷의 확산에 따라, 스트림 데이터 처리(stream data processing)와 같은 새로운 분야가 등장하게 되었다. 스트림 데이터는 실시간적이고 연속적으로 생성된다. 스트림 데이터 환경에서는 복수 개의 질의들이 미리 등록되고 후에 도착되는 데이터는 등록된 질의들에 의하여 평가된다. 따라서 질의 성능을 향상시키기 위하여, 스트림 데이터 처리 시스템을 위한 다양한 연속성 질의 색인 방법들이 제안되었다. 본 논문에서는 스트림 데이터를 위한 질의 색인에 대하여 다룬다. 일반적으로, 스트림 질의는 간격 조건식을 포함하고 있다. 따라서, 간격 조건식을 이용하여, 질의들을 색인화할 수 있다. 이 논문에서, 탐색 속도를 향상시키기 위하여, Interval Skip List를 수정한 효율적인 질의 색인 방법, QUISIS를 제안한다. QUISIS는 최근 데이터 값이 근 미래에 도착하는 값과 비슷하다는 지역성을 활용한다. 성능 평가를 통하여, 본 논문에서 제안하는 기법의 효율성을 보인다.

짧은 구간을 갖는 범위 질의의 효율적인 질의 색인 기법 (Efficient Query Indexing for Short Interval Query)

  • 김재인;송명진;한대영;김대인;황부현
    • 정보처리학회논문지D
    • /
    • 제16D권4호
    • /
    • pp.507-516
    • /
    • 2009
  • 데이터 스트림 환경에서는 지속적으로 입력되는 데이터에 대한 실시간 처리를 수행하기 위하여 범위를 갖는 다수의 질의를 시스템에 미리 등록한다. 등록된 질의를 입력 스트림에 따라 빠르게 검색하기 위해 질의 색인 기법을 사용하는데, 질의 색인은 메인 메모리 기반에서 동작하기 위해 색인 정보의 저장 비용이 낮아야 하고 빠른 질의 탐색을 실시해야 한다. 본 논문에서는 다수의 범위 질의에 대하여 색인 정보의 저장 비용이 낮고 빠른 질의 탐색을 실시하는 질의 색인 기법으로 LVC-based(Limited Virtual Construct-based) 기법을 제안한다. 해시기반으로 동작하는 LVC-based 색인 기법은 입력 스트림의 범위를 가상의 분할 구조로 나눈 LVC를 이용한다. 각 LVC는 식별자가 할당되고 각 LVC에 구간에 해당하는 범위 질의를 저장하며 색인을 실시한다. LVC-based 기법은 입력 스트림의 범위가 길고 범위가 짧은 다수의 질의를 색인할 때 저장비용과 탐색 비용에서 좋은 효율을 보이며 이는 기 제안된 CEI-based 색인 기법과의 비교를 통하여 입증하였다.

다중 해시함수 기반 데이터 스트림에서의 아이템 의사 주기 탐사 기법 (Finding Pseudo Periods over Data Streams based on Multiple Hash Functions)

  • 이학주;김재완;이원석
    • 한국IT서비스학회지
    • /
    • 제16권1호
    • /
    • pp.73-82
    • /
    • 2017
  • Recently in-memory data stream processing has been actively applied to various subjects such as query processing, OLAP, data mining, i.e., frequent item sets, association rules, clustering. However, finding regular periodic patterns of events in an infinite data stream gets less attention. Most researches about finding periods use autocorrelation functions to find certain changes in periodic patterns, not period itself. And they usually find periodic patterns in time-series databases, not in data streams. Literally a period means the length or era of time that some phenomenon recur in a certain time interval. However in real applications a data set indeed evolves with tiny differences as time elapses. This kind of a period is called as a pseudo-period. This paper proposes a new scheme called FPMH (Finding Periods using Multiple Hash functions) algorithm to find such a set of pseudo-periods over a data stream based on multiple hash functions. According to the type of pseudo period, this paper categorizes FPMH into three, FPMH-E, FPMH-PC, FPMH-PP. To maximize the performance of the algorithm in the data stream environment and to keep most recent periodic patterns in memory, we applied decay mechanism to FPMH algorithms. FPMH algorithm minimizes the usage of memory as well as processing time with acceptable accuracy.

A Real-Time Integrated Hierarchical Temporal Memory Network for the Real-Time Continuous Multi-Interval Prediction of Data Streams

  • Kang, Hyun-Syug
    • Journal of Information Processing Systems
    • /
    • 제11권1호
    • /
    • pp.39-56
    • /
    • 2015
  • Continuous multi-interval prediction (CMIP) is used to continuously predict the trend of a data stream based on various intervals simultaneously. The continuous integrated hierarchical temporal memory (CIHTM) network performs well in CMIP. However, it is not suitable for CMIP in real-time mode, especially when the number of prediction intervals is increased. In this paper, we propose a real-time integrated hierarchical temporal memory (RIHTM) network by introducing a new type of node, which is called a Zeta1FirstSpecializedQueueNode (ZFSQNode), for the real-time continuous multi-interval prediction (RCMIP) of data streams. The ZFSQNode is constructed by using a specialized circular queue (sQUEUE) together with the modules of original hierarchical temporal memory (HTM) nodes. By using a simple structure and the easy operation characteristics of the sQUEUE, entire prediction operations are integrated in the ZFSQNode. In particular, we employed only one ZFSQNode in each level of the RIHTM network during the prediction stage to generate different intervals of prediction results. The RIHTM network efficiently reduces the response time. Our performance evaluation showed that the RIHTM was satisfied to continuously predict the trend of data streams with multi-intervals in the real-time mode.

스트림 데이터 환경에서 배치 가중치를 이용하여 사용자 특성을 반영한 빈발항목 집합 탐사 (Discovering Frequent Itemsets Reflected User Characteristics Using Weighted Batch based on Data Stream)

  • 서복일;김재인;황부현
    • 한국콘텐츠학회논문지
    • /
    • 제11권1호
    • /
    • pp.56-64
    • /
    • 2011
  • 스트림데이터는 무한하고 연속적인 특성을 지니고 있기 때문에 전체 데이터를 기반으로 빈발 항목 집합을 탐사하는 것은 어렵다. 이 때문에 데이터의 특성과 사용자의 특성을 반영한 특수한 데이터마이닝 방법이 필요하다. 이 논문에서는 사용자가 최근에 발생한 데이터에 더 많은 관심이 있다는 특성을 반영하여 빈발 항목을 탐사하는 FIMWB 방법을 제안한다. FIMWB는 과거 데이터의 발생 시점과 현재 시점과의 시간 간격에 따라 가변적인 가중치를 배치에 부여하여 최신 데이터에 더 많은 관심과 중요성을 반영한다. FP-Digraph는 FIMWB를 통해 탐사된 빈발 항목으로 그래프를 구성하여 빈발 항목 집합을 탐사한다. 실험 결과로 FIMWB 방법이 불필요한 항목의 생성을 감소시키고 트리기반(FP-Tree)의 빈발 항목 집합 탐사에 비해 제안하는 FP-Digraph 방법이 스트림 데이터 환경에 더 적합함을 알 수 있다.

웹 클릭 스트림의 효율적 분석을 위한 시간 간격 제한을 활용한 관심 순차패턴 탐색 (Mining Interesting Sequential Pattern with a Time-interval Constraint for Efficient Analyzing a Web-Click Stream)

  • 장중혁
    • 한국산업정보학회논문지
    • /
    • 제16권2호
    • /
    • pp.19-29
    • /
    • 2011
  • 웹 관련 기술의 발달 및 스마트폰과 같은 지능형 모바일 서비스 기기의 사용 증가로 인해 오늘날 많은 분야에서 다양한 웹기반 서비스들이 널리 활용되고 있다 이러한 환정에서 개인화 및 지능화된 웹 서비스를 제공하기 위한 연구들이 활발히 진행되고 있으며, 웹 서비스 이용 기록으로부터 생성되는 웹 클릭 스트림에 대한 분석 기술은 관련 기술 중 핵심 기술의 하나이다. 본 논문에서는 순차정보 형태로 발생되는 웹 클릭 스트림에 대한 효율적 분석을 위해서 데이터 스트림 처리에 대한 기본적인 요구사항을 만족하면서 정제된 결과를 얻기 위한 순차패턴 마이닝 방법을 제시한다. 이를 위해서 먼저 순차패턴에 포함되는 단위항목들의 단순 발생 순서뿐만 아니라 발생 시간 정보를 추가로 활용하는 시간 간격 제한 관심 순차패턴을 정의하고, 이어서 웹 클릭 스트림과 같은 데이터 스트림에서 이를 효율적으로 탐색하기 위한 마이닝 방법을 제안한다. 해당 연구 결과는 웹 클릭 스트림뿐만 아니라 전자상거래, 생물정보학 및 USN 환경 등과 같이 데이터 스트림 형태로 정보를 발생시키는 여러 컴퓨터 용용 분야에서 유용하게 활용될 수 있을 것이다.

유효시간 데이터 스트림에서의 스카이라인 질의 알고리즘 (Efficient Skyline Computation on Time-Interval Data Streams)

  • 박남훈;장중혁
    • 한국산학기술학회논문지
    • /
    • 제13권1호
    • /
    • pp.370-381
    • /
    • 2012
  • 다기준 의사결정 연구는 평가기준이 상이한 다수의 선호도로부터 최선의 대안을 찾는 방법으로 실시간 재난 탐지, 센서를 이용한 서식 모니터링 등의 응용환경에서 활용되어 왔다. 최근 유효시간 데이터 스트림 응용환경에서 각 객체들이 개개의 유효시간을 가지므로, 기존의 슬라이딩 윈도우보다 다기준 의사결정 방법, 즉 스카이라인 질의 수행에 더 많은 연산이 필요한다. 본 연구에서는 유효시간 데이터 스트림에서 스카이라인 질의를 수행하는 TI-Sky 알고리즘을 제시한다. 실시간 환경에서 새로운 객체가 생성되고 소멸되기까지 유효한 객체들을 관리하고 스카이라인 질의를 수행하기 위해 파티션단위의 시간 지배관계를 제시한다. 객체의 생성과 유효시간, 지배관계에 따라 시간지배관계를 갱신하며 다양한 방법으로 사멸객체를 제거하여 수행성능을 향상 시켰다. 실험을 통해 TI-Sky가 다양한 데이터 상에서 기존 연구보다 뛰어난 성능으로 스카이라인 질의를 수행하는 것을 증명하였다.

인공지능기법을 이용한 홍수량 선행예측 모형의 개발 (Development of a Runoff Forecasting Model Using Artificial Intelligence)

  • 임기석;허창환
    • 한국환경과학회지
    • /
    • 제15권2호
    • /
    • pp.141-155
    • /
    • 2006
  • This study is aimed at the development of a runoff forecasting model to solve the uncertainties occurring in the process of rainfall-runoff modeling and improve the modeling accuracy of the stream runoff forecasting, The study area is the downstream of Naeseung-chun. Therefore, time-dependent data was obtained from the Wolpo water level gauging station. 11 and 2 out of total 13 flood events were selected for the training and testing set of model. The model performance was improved as the measuring time interval$(T_m)$ was smaller than the sampling time interval$(T_s)$. The Neuro-Fuzzy(NF) and TANK models can give more accurate runoff forecasts up to 4 hours ahead than the Feed Forward Multilayer Neural Network(FFNN) model in standard above the Determination coefficient$(R^2)$ 0.7.

소규모 운영체제에서의 스트림데이터 처리기법 (The Processing Method of Stream Data in the Small-size Operating System)

  • 김진덕
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2007년도 추계종합학술대회
    • /
    • pp.871-874
    • /
    • 2007
  • 스트림 데이터들은 매우 용량이 크며, 짧은 보고 주기, 비동기적인 보고 시간을 가진다. 이러한 시스템의 질의는 최신의 값을 검색하는 현재질의, 과거 특정시점의 값을 검색하는 스냅샷 질의, 과거부터 현재까지의 값들을 검색하는 슬라이딩 윈도우 질의 등이 있다. 이 논문에서는 소규모 운영체제에서 파일 구조화된 데이터베이스를 이용하여 스트림 데이터들을 효율적으로 관리하는 기법을 제안하고자한다. 그리고 스트림 데이터에 대한 슬라이딩 윈도우 질의를 포함한 다양한 질의를 수용하는 질의 모델을 제안한다. 제안한 기법들을 원자로 안전 운전원 모듈에 적용하여 그 유용성을 검증하고자 한다. 운전원 모듈(COM)은 QNX 운영체제를 기반으로 하며, 파일 데이터베이스는 QNX COM의 적은 저장장치, 낮은 계산 능력을 감안하여 델타버젼과 버퍼링 등의 방법을 도입한다.

  • PDF