• 제목/요약/키워드: 질의 스트림

검색결과 218건 처리시간 0.029초

스트림 데이터 처리를 위한 질의 색인 기법 (Query Indexing Technique for Processing Stream Data)

  • 이동규;정재두;이양구;정영진;류근호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 추계학술발표대회
    • /
    • pp.381-384
    • /
    • 2006
  • 센서 네트워크 환경에서 스트림 데이터를 모니터링 하기 위해서는 스트림 데이터에 대한 연속적인 질의들을 효과적으로 처리하는 것이 필요하다. 이러한 연속적인 질의를 빠르게 검색하고 처리하기 위하여 낮은 저장 비용과 빠른 탐색 성능을 가진 질의 색인 기법이 많이 활용되고 있다. 기존 연구들은 사전에 삽입될 Interval 을 알고 트리를 구성하므로 동적인 삽입, 삭제가 불가능하거나 삽입된 Interval 수와 Interval 의 범위에 따라 높은 저장 비용이나 상대적으로 느린 탐색 속도를 보인다. 따라서 이 논문에서는 연속적인 질의 처리를 효율적으로 하기 위하여 Hashed Multiple Lists 를 제안한다. 제안된 기법은 빠른 선형 탐색 성능과 낮은 저장 비용을 요구하며 삽입, 삭제가 용이하고 다양한 범위를 표현할 수 있는 장점이 있다. 제안된 색인 기법은 센서 네트워크를 응용한 시스템과 상황 인식 시스템 등에서 연속적인 질의를 처리하는데 활용할 수 있다.

  • PDF

서비스 품질(QoS) 지원을 위한 센서 스트림 데이터에 대한 우선순위 부여 방법 (A Priority Assignment Method to Sensor Stream Data for QoS Support)

  • 김기홍;홍봉희;권준호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(C)
    • /
    • pp.148-150
    • /
    • 2012
  • 최근 대용량 스트림 데이터에 대한 요구사항이 발생하고 있다. 이때 모든 대용량 스트림을 실시간으로 좋은 서비스를 제공하는 것은 실제적으로 불가능하다. 즉 대용량 스트림 데이터에 대한 QoS(Quality of Service: 서비스 품질)이 중요한 이슈가 되고 있다. 이러한 QoS를 정의하기 위해서는 센서 스트림 데이터에 대한 우선순위 부여방법이 가장 원천적으로 중요한 사항이 된다. 현재 센서 네트워크상에서의 서비스 품질은 연구되고 있지만 미들웨어 레이어에서의 우선순위 부여 방법에 대한 연구가 미비하다. 센서 스트림은 자체적으로는 우선순위를 가질 수 없으므로 사용자 질의 우선순위와 센서 스트림의 발생 시간등을 고려하여 대용량 센서 스트림에 대한 우선순위를 부여하는 방법을 제안한다.

무선 환경에서 XML 조각 스트림 질의 처리를 위한 효율적인 레이블링 기법 (Efficient Labeling Scheme for Query Processing over XML Fragment Stream in Wireless Computing)

  • 고혜경
    • 정보처리학회논문지D
    • /
    • 제17D권5호
    • /
    • pp.353-358
    • /
    • 2010
  • 전통적인 데이터베이스와 달리, XML 스트림에 대한 질의는 실시간 처리와 메모리 사용량에 제한이 있다. 이 논문에서는 XML 조각들 사이의 구조적인 관계를 빠르게 확인할 수 있는 강력한 레이블링 기법을 제안한다. 제안된 레이블링 기법은 많은 중복된 작업과 처리해야 하는 조각들의 수를 최소화하여 효율적인 질의 처리를 제공한다. 실험 결과, 제안된 레이블링 기법은 효율적으로 질의를 처리하고 메모리 사용량을 최소화 할 수 있다.

데이터 스트림에서 다중 조인 연속질의의 효과적인 처리를 위한 전처리 기법 (Preprocessing Method for Handling Multi-Way Join Continuous Queries over Data Streams)

  • 서기언;이주일;이원석
    • 인터넷정보학회논문지
    • /
    • 제13권3호
    • /
    • pp.93-105
    • /
    • 2012
  • 데이터 스트림이란 빠르게 연속적으로 무한히 발생하는 데이터 집합을 의미한다. 최근 다양한 산업의 발달로 인해 이러한 스트림 데이터의 효율적인 처리를 위한 요구 사항들이 늘어나고 있다. 특히 많은 연산 비용을 요구하는 조인 연산의 효율적인 처리는 데이터 스트림 관리 시스템의 성능 향상에 많은 영향을 미친다. 본 논문에서는 다중 조인 연속질의의 효율적인 처리를 위하여 최종 질의 결과에 포함되지 않는 불필요한 중간 조인 결과들을 사전에 제거함으로써 조인 연산의 비용을 감소시키는 방법을 제안한다. 이를 위해 스트림 데이터의 모니터링을 위한 매트릭스 기반의 구조체를 제안하고, 제안된 구조체를 이용한 매트릭스 연산을 통하여 최종 조인 결과의 투플 수를 예측함과 동시에 불필요한 중간 결과들을 만들어내는 투플들을 찾아낸다. 이를 통해 해당 투플을 이용한 조인 연산의 수행 여부를 결정하여 최종 조인 결과를 만들지 않는 투플을 조인 연산에서 배제함으로써 효율적으로 다중 조인 연속 질의를 처리한다.

대용량 그래프 스트림 환경에서 데이터 재사용을 고려한 근사 Top-k 서브 그래프 매칭 기법 (Approximate Top-k Subgraph Matching Scheme Considering Data Reuse in Large Graph Stream Environments)

  • 최도진;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제20권8호
    • /
    • pp.42-53
    • /
    • 2020
  • 소셜 네트워크 서비스의 발전과 함께 다양한 응용에서 객체 간의 관계를 표현하기 위한 그래프 자료구조가 자주 활용되고 있다. 최근에는 실시간 그래프 스트림에서 서브 그래프 매칭의 요구가 늘어나고 있다. 따라서 실시간 그래프 스트림에서 높은 응답성을 위한 효율적인 근사 Top-k 매칭 기술이 필요하다. 본 논문에서는 그래프 스트림 환경에서 데이터 재사용을 고려한 근사 Top-k 서브 그래프 매칭 기법을 제안한다. 제안하는 기법은 대용량 스트림을 효율적으로 처리하기 위해서 기존 분산 스트림 처리 플랫폼인 스톰을 활용하고 스트림 처리 비용을 감소시키기 위한 기존 데이터 재사용 방법을 활용한다. Top-k 결과 생성을 위해서 거리 기반의 요약 색인 기법을 제안한다. 제안하는 요약 색인은 사전에 선택된 정점 간의 거리 값만을 저장하기 때문에 색인의 부하가 적다. 제안하는 요약 색인에서의 근사 Top-k를 수행하여 사용자에게 근사한 k개의 결과를 제공한다. 제안하는 기법의 우수성을 입증하기 위해 다양한 실세계 그래프 데이터 집합에서의 성능 평가를 수행한다.

데이타 스트림 상에서 다중 연속 복수 조인 질의 처리 최적화 기법 (MMJoin: An Optimization Technique for Multiple Continuous MJoins over Data Streams)

  • 변창우;이헌주;박석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권1호
    • /
    • pp.1-16
    • /
    • 2008
  • 센서 네트워크에 이용되는 데이타 스트림 관리 시스템에서는 한정적 정보들이 개별적으로 입력되기 때문에 종합적인 결과를 얻기 위해서는 상대적인 계산 비용이 높은 조인 연산자는 필연적으로 요구된다. 데이타 스트림은 잠재적으로 무한한 크기를 가지므로 조인 연산자는 슬라이딩 윈도우 제약사항을 가져야 함은 당연하다. 또한, 종합적인 결과를 얻기 위해 조인 연산자는 여러 입력을 취할 수 있어야 한다. 이를 가능하게 하는 것이 바로 슬라이딩 윈도우를 가지는 MJoin 연산자이다. 본 논문에서는 이러한 여러 MJoin 연산자가 시스템에 등록되어 있는 환경을 가정하고, 슬라이딩 윈도우를 가지는 MJoin의 특성을 반영하여 전역적으로 공유된 질의 처리 기법인 MMJoin 기법을 제안한다. MMJoin 기법은 첫째, 전역적으로 공유된 질의 실행 계획 수릴 문제, 조인 연산 결과에 대한 윈도우 갱신 문제 및 라우팅 문제로 나누어 다룬다. 이러한 연구의 노력은 데이타 스트림 환경에서 효율적인 다중 질의 최적화 및 처리 기법의 기초연구로 활용될 수 있다.

RFID 입력 테이터 스트림에 대한 다중 버퍼 기반의 고속 데이터 처리 알고리즘 (A High-Speed Data Processing Algorithm for RFID Input Data Stream Using Multi-Buffer)

  • 한수;신승호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (B)
    • /
    • pp.302-307
    • /
    • 2007
  • RFID를 기반으로 유비쿼터스 환경의 응용 서비스를 지원하는 미들웨어는 지속적으로 끊임없이 입력되는 데이터를 정확하게 실시간으로 처리하고 응용 서비스에서 질의하는 결과를 획득해서 전달하여야 한다. 이와 같은 지속적으로 입력되는 대량의 데이터 스트림을 처리하기 위해서 데이터 스트림 관리 시스템(Data Stream Management System: DSMS)을 개발하기 위한 연구가 진행되고 있다. 기존에 연구되는 데이터 스트림에 대한 알고리즘은 대부분 연속 질의 결과들 사이의 평균 오차를 줄이고, 부하 발생 시 데이터의 우선순위에 따라 버리는 것에 초점이 맞추어져 있다. 본 논문에서는 RFID EPC 라는 데이터 특성에 맞추어 다중버퍼를 이용함으로써 고속의 데이터 처리 능력을 얻고, 각 버퍼마다 일정한 규칙을 통해 질의에 있어서도 빠른 대응을 할 수 있는 알고리즘을 제안한다. 본 논문은 현재 DSMS의 관련 연구와 고속 데이터 처리의 필요성을 말하고, 제안하는 알고리즘 설명과 시뮬레이션을 통해 단일버퍼와 다중버퍼일 경우 데이터 처리 속도 성능 평가와 제안한 알고리즘에 맞도록 버퍼가 생성 되는지 테스트하는 것으로 구성된다.

  • PDF

데이터 스트림에서의 확률기반 빙산 질의 처리 (Probability-based Iceberg Query Processing Over Data Streams)

  • 서대홍;이원석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.34-37
    • /
    • 2007
  • 간 및 낮은 메모리 사용량을 요구한다. 이러한 데이터 스트림에서의 데이터 마이닝은 전체 데이터에 대한 분석 보다는 사용자가 관심을 갖는 영역에 대한 마이닝에 초점이 맞추어져 있어, 사용자 관심영역에 대한 분석 데이터 탐색을 필요로 한다. 이에 본 논문에서는 기존의 분석 데이터 탐색 기법인 빙산 질의 및 상위-k 질의에 대하여 알아보고, 이를 보완하기 위한 확률에 기반한 데이터 탐색법인 확률기반 빙산 질의를 제안한다.

  • PDF

데이터 스트림 처리를 위한 윈도우 메모리 재배치의 비용 분석 (Cost Analysis of Window Memory Relocation for Data Stream Processing)

  • 이상돈
    • 한국콘텐츠학회논문지
    • /
    • 제8권4호
    • /
    • pp.48-54
    • /
    • 2008
  • 본 논문에서는 데이터 스트림 환경에서 윈도우 기반 연산자를 대상으로 메모리와 연산 비용의 상대적인 이해득실 관계를 분석한다. 이를 위하여 기본적인 연산자 네트워크 구성 요소를 식별하고, 윈도우 메모리의 재배치를 통한 메모리 소요량의 감소 효과와, 이로 인한 추가적인 연산 비용의 규모를 산정하는 비용 모델을 수립한다. 이러한 비용 모델을 통해 윈도우 메모리의 재배치의 효용성을 확인하고, 이러한 접근 방법을 데이터 스트림 질의의 실행 계획 개선을 위해 효과적으로 활용할 수 있는 방법을 모색한다. 이를 통해 데이터 스트림 환경에서 질의 처리 및 최적화의 적용 영역을 확장시키고, 윈도우 메모리 재배치를 통한 질의최적화를 위한 비용 산정 모델의 토대를 제공한다.

공간 데이터스트림의 입력 빈도와 데이터 밀집도 기반의 동적 부하제한 기법 (Dynamic Load Shedding Scheme based on Input Rate of Spatial Data Stream and Data Density)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제16권3호
    • /
    • pp.2158-2164
    • /
    • 2015
  • u-GIS 환경에서는 실시간으로 유입되는 공간 데이터 스트림으로 인해 발생되는 부하를 제한하기 위한 연구가 계속되고 있다. 그러나 기존의 비공간 데이터 기반의 부하 제한 기법은 공간 데이터의 특성을 고려하지 않아 공간 질의 처리의 정확도를 감소시킨다. 또한, 공간 데이터 기반의 부하 제한 기법도 공간 데이터 스트림의 입력 빈도 변화와 공간 데이터의 밀집도를 반영하지 않아 질의 처리 정확도와 질의 처리 성능이 저하되는 문제가 존재한다. 이에 본 논문에서는 u-GIS 환경에서 부하 발생 빈도를 최소화하고 연속 질의 처리 성능과 정확도를 향상시키기 위해 공간 데이터의 밀집도와 공간데이터스트림의 입력 변화량을 이용하여 동적으로 부하를 제한하는 기법을 제안한다. 제안 기법에서는 부하제한 요구시 공간 이용도에 따라 질의에 참여할 확률이 낮은 데이터를 샘플링함으로써 연속 질의 처리 결과의 정확도와 질의 처리 속도를 향상시킬 수 있다.