• Title/Summary/Keyword: 데이터스트림

Search Result 918, Processing Time 0.03 seconds

Query Plan Reordering Techinque for Dynamic Optimization of Stream Queries (스트림 질의의 동적 최적화를 위한 질의 계획 재구성 기법)

  • 이원근;이상돈
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.716-718
    • /
    • 2003
  • 최근 들어 데이터가 연속적으로 생성되므로 인해 디스크에 저장된 형태로 모델링되기 어려운 특성을 갖는 데이터 응용환경에 대한 관심이 증대하고 있다. 스트림 데이터를 대상으로 이루어지는 스트림 질의는 저장된 릴레이션 내의 데이터를 대상으로 한번 적용되고 마는 기존의 데이터 응용에서와는 달리, 한번 등록이 되면 계속적으로 입력 데이터 스트림을 감시하다가 질의를 만족시키는 투플이 발생될 때마다 결과를 출력하는 연속성을 갖는다. 이러한 데이터 스트림 처리 시스템에서 성능 향상을 위한 질의 계획 최적화에 대한 연구가 이루어지고 있으며, 이를 위한 하나의 방법으로 현재 사용중인 질의 계획에서 질의 계획의 일부를 재구성하기 위해서 최적화 대상 질의 계획으로의 입력을 중단하고 최적화된 새로운 질의 계획으로 바꾸어 임시 저장된 데이터를 새로운 질의 계획에 입력하는 방법이 이용되고 있다. 그러나 이 방법을 사용하는 경우 입력 데이터 버퍼링을 위한 저장공간에 대한 비용이 증가하고. 부정확한 갑을 산출을 유발할 수 있는 등 몇 가지 문제점을 안고 있다. 본 논문에서는 이러한 문제를 해결하기 위하여 최적화 대상이 되는 질의 계획을 일시적으로 중복시켜 최적화가 진행되고 있는 과정 중에도 기존의 질의 계획이 입력 스트림을 계속 처리하고, 최적화된 새로운 질의 계획으로 입력 스트림을 처리하도록 하는 일시 중복을 이용한 동적 질의 계획 재구성 기법을 제시하였다.

  • PDF

A Storage Scheme of Health Data Stream for Multidimensional Analysis (건강 스트림 데이터의 다차원적 분석을 위한 저장 구조)

  • Shin, Hea-Won;Lim, Yoon-Sun;Kim, Myung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.05a
    • /
    • pp.81-84
    • /
    • 2005
  • 유비쿼터스 의료 기술이 본격화되면서 센서 네트워크를 통해 환자의 건강 관련 데이터 스트림을 수집하여 위험상황을 탐지하고 지속적인 건강 상태를 모니터링할 수 있게 되었다. 그러나 방대한 양의 스트림 데이터로부터 의미 있는 데이터를 효과적으로 찾아내기 위해서는 실시간으로 데이터의 갱신과 집계 연산이 가능해야 하고 데이터의 압축이 효율적으로 처리 될 수 있는 다차원 저장구조가 필요하다. 기존의 다차원 데이터 분석 도구인 OLAP 큐브 저장구조는 실시간 업데이트가 힘들고, 스트림 데이터 저장 구조인 DSMS들은 다차원 데이터 분석이 용이하지 않다. 이에 본 연구에서는 건강 스트림 데이터의 특징과 질의를 분석하고, 이러한 스트림 데이터에 적합한 저장구조의 요건을 제시하였다. 또한 점진적 갱신이 가능하고, 대용량 데이터를 시간 차원으로 압축, 삭제하기 용이하며 실시간에 분석 데이터 구축이 가능한 저장구조를 제안하고 그 효율성을 보였다.

  • PDF

Efficient Filter Operator Ordering On Stream Data Environments (스트림 데이터 환경에서의 효율적인 필터 연산자 순서화)

  • Min, Jun-Ki
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.321-324
    • /
    • 2006
  • 인터넷과 인트라넷의 확산에 따라, 스트림 데이터 처리 (stream data processing) 와 같은 새로운 분야가 등장하게 되었다. 스트림 데이터의 특징은 실 시간적이고 연속적으로 생성된다는 것이다. 따라서 기존의 질의 처리와는 달리 질의 또한 연속적으로 처리된다. 본 논문에서는 시간에 따라서 예측할 수 없게 특성이 바뀌는 데이터 스트림에 대한 처리에 대하여 다룬다. 특별히, 본 논문에서는 스트림 데이터에 대한 질의문을 구성하는 연산자들 간의 효율적인 수행 순서 생성 기법을 제안한다. 본 논문에서 제안하는 방법은 시스템의 부담을 적게 주면서도 데이터의 변화에 따라 수행 순서를 변화시킨다. 또한 본 논문에서는 고정 연산자 순서와 비교하여 제안한 기법의 우수성을 보였다.

  • PDF

Strategy and Cost Model of Spatial Data Stream Joins (공간 데이터스트림 조인 전략과 비용 모델)

  • Yoo, Ki-Hyun;Ha, Tae-Suk;Nam, Kwang-Woo
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2008.06a
    • /
    • pp.67-74
    • /
    • 2008
  • 현재의 센서 네트워크 시스템은 공간적 정보를 배제한 센서 데이터스트림에 대한 저장 및 검색 방안에 대한 연구에 치중되어 있다. 하지만, 이러한 센서 네트워크가 공간적 정보와 결합하게 되면 훨씬 더 많은 응용과 의미 있는 데이터로 가공될 수 있다. 본 논문은 GeoSensor Network에서 공간적 정보와 데이터스트림이 결합된 공간 데이터스트림 정의 및 공간 데이터스트림간 조인 전략들과 그에 따른 조인 전략들 간의 비용을 추정하는 비용 모델을 제시하였다. 공간 데이터스트림간 조인 전략을 위해 Nested Loop 조인, Grid File, R-tree 알고리즘을 사용하였고, 단방향 Nested Loop 조인, 단방향 Grid 조인, 단방향 R-tree 조인 기법들을 조합하여 조인 전략들 간의 비용을 추정하였다.

  • PDF

OLAP Implementation for Network Monitoring (네트워크 모니터링을 위한 OLAP 구현)

  • Yang, Woo-Sock;Lee, Won-Suk
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2008.06a
    • /
    • pp.131-135
    • /
    • 2008
  • 데이터스트림 환경에서 무한히 연속적으로 생성되는 데이터를 처리하고 분석하 는방법에 관한 많은 연구가진행중이다. 본 논문은 데이터스트림의 한 예인 네트워크 트래픽을 모니터링하기 위한 OLAP 구현에 대하여 기술한다. 제안하는 OLAP 시스템은 기존의 네트워크 모니터링 툴이 제공하지 못했던 다양한 연산을 지원하여 유연한 분석을 가능하게 하며, 정적인 데이터를 처리하는 데이터웨어하우스에서만 적용되던 OLAP을 데이터스트림 환경에 적용할 수 있게 한다.

  • PDF

Design of the MIDAS-III Disk Scheduler to Support Multimedia Stream Data (멀티미디어 스트림 데이터 지원을 위한 MIDAS-III 디스크 스케줄러의 설계)

  • Nam, Joong-Jae;Lee, Yong-Gyu;Kim, June
    • The KIPS Transactions:PartB
    • /
    • v.8B no.1
    • /
    • pp.66-73
    • /
    • 2001
  • 본 연구는 한국전자통신연구원에서 개발한 멀티미디어 DBMS의 하부 저장 시스템인 MIDAS-III에서 기존에 지원하던 일반호일, BLOB, CLOB 형태의 데이터 이외에 멀티미디어 스트림 데이터를 추가로 지원하기 위한 연구이다. 본 논문에서는 MIDAS-III에 새롭게 추가된 데이터 형태인 멀티미디어 스트림에 대한 디스크 입출력 성능을 향상시키기 위해 스트림 데이터의 대용량, 연속재생의 특성을 고려한 데이터 저장 구조를 설계한다. 또한 디스크 스케줄러가 존재하지 않던 기존의 MIDAS-III에서 여러 형태의 데이터를 통합 지원하기 위한 2단계 디스크 스케줄러를 설계한다. 멀티미디어 스트림 데이터에 대해서는 데이터의 연속재생 특성을 고려한 선 인출 기법을 적용하여 디스크 입출력 접근 요구들을 최적화하도록 처리한다. 이에 따라 줄어든 시간만큼 BLOB, CLOB 등과 같은 다른 요구들을 처리할 수 있으므로 전체적인 성능을 향상시킬 수 있다.

  • PDF

Esper-based Real-time Filtering System (Esper 기반 실시간 필터링 시스템)

  • Park, Sebin;Lee, Sanghun;Moon, Yang-Sae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.552-555
    • /
    • 2016
  • 본 논문에서는 데이터 스트림 대상의 필터링 문제를 다룬다. 데이터 스트림은 지속적으로 생성되며, 크기 또한 거대해서 이를 실시간 처리하기 위해서는 분석에 불필요한 데이터를 충분히 필터링해야 한다. 하지만, 기존 필터링 알고리즘은 하나의 데이터 형식에만 사용이 가능하여 다양하고 복잡한 스트림 환경에서는 사용하기가 어렵다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 스트림 형식에 따라 필터링 알고리즘을 다양하게 선택할 수 있는 필터링 시스템을 제안한다. 그리고 실시간 필터링을 위해 대표적인 오픈소스 DSMS(data stream management system)인 에스퍼 기반으로 구현한다. 또한 웹 기반 클라이언트-서버 모델로 확장 구현하여 사용자가 언제 어디에서든 필터링 시스템을 사용할 수 있게 한다. 제안하는 에스퍼 기반 실시간 필터링 시스템은 데이터 스트림으로 실시간 데이터 스트림과 벌크 데이터 스트림을 지원한다. 그리고 필터링 알고리즘으로 질의 필터링, 블룸 필터링, 베이지안 필터링을 제공한다. 제안하는 필터링 시스템 구현 결과, 데이터 스트림 특성에 적합한 필터링 알고리즘을 선택적으로 제공함으로써, 사용자가 보다 정확하고 효율적으로 의미있는 데이터를 추출 가능하게 하였다.

Fast Aggregation of Stream Data Using AVL Trees (AVL 트리를 활용한 스트림 데이터의 고속 집계 연산)

  • Kim, Ji-Hyun;Kim, Myung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.417-420
    • /
    • 2006
  • 스트림 데이터는 고속으로 생성되고 용량이 방대하여 저장하기 힘들며 데이터가 흘러가는 가운데 분석해야 하므로 기존 데이터 분석 방식을 그대로 사용하기는 어렵다. 본 연구에서는 스트림 데이터 분석 연산중의 하나인 다차원 집계 연산을 고속으로 처리하는 방법을 제안한다. 기존 연구들과 마찬가지로 스트림 데이터를 시간 차원 기준으로 윈도우 단위로 나누고, 각 윈도우마다 독립적인 집계 연산을 하도록 하였으며, 생성하고자 하는 집계 테이블들은 스트림 데이터가 입력되기 전에 미리 결정된다고 가정하였다. 정렬되지 않은 스트림 데이터를 고속으로 집계하기 위해 본 연구에서는 배열과 AVL 트리 구조를 혼합하여 사용하였다. 이 방법은 생성할 집계 테이블들 선택이 자유롭고, 집계 테이블들 전체가 메모리에 상주할 수 없을 정도로 큰 경우도 집계 연산을 실행할 수 있다는 장점을 갖는다. 제안한 방법의 효율성은 실험을 통해 입증하였다.

  • PDF

A Method for Detecting Concept Drift in Data Stream by Using Convolutional Neural Network (합성곱 신경망을 이용한 데이터스트림 환경에서의 개념 변화 검출 기법)

  • Kim, Daewon;Lim, Hyo-Sang
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.04a
    • /
    • pp.865-867
    • /
    • 2017
  • 본 논문에서는 데이터스트림 환경에서 개념 변화를 탐지하기 위해 합성곱 신경망(CNN)을 사용하는 방법을 제시한다. 데이터스트림 환경에서 입력될 수 있는 데이터를 패턴화하여 신경망 모델에 학습시키고, 패턴화한 데이터를 학습시킨 신경망 모델을 이용하여 스트림 환경에서 개념 변화를 검출 가능함을 보인다.

A Grid-based Clustering Method for a Data Stream (실시간 데이터 스트림 분석을 위한 클러스터링 기법)

  • Park, Nam-Hun;Lee, Won-Suk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2007.05a
    • /
    • pp.46-49
    • /
    • 2007
  • 데이터 스트림이란, 빠른 속도로 지속적으로 생성되는 무한한 크기의 방대한 양의 데이터 집합으로 정의된다. 본 연구에서는 데이터 스트림 분석을 위한 데이터 스트림 격자 기반 클러스터링 기법을 제시한다. 주어진 초기 격자셀에 대해, 데이터 객체의 빈도가 높은 범위를 반복적으로 보다 작은 크기의 격자셀로 분할하여 최소 크기의 격자셀, 단위 격자셀을 생성한다. 격자셀에서는 데이터 객체들의 분포에 대한 통계값만을 저장하여, 기존의 클러스터링 기법에 비해 데이터 객체에 대한 탐색없이 효율적으로 클러스터를 찾을 수 있다.

  • PDF