• 제목/요약/키워드: 집계

검색결과 756건 처리시간 0.024초

시점 시퀀스를 이용한 시간지원 집계의 처리 (Processing Temporal Aggregate Functions using a Time Point Sequence)

  • 권준호;송병호;이석호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제30권4호
    • /
    • pp.372-380
    • /
    • 2003
  • 시간에 따라 변화하는 사건들을 저장하는 시간지원 데이타베이스에서 기존의 집계 처리 기법에 시간을 고려하여 처리하도록 확장해야 한다. 기존의 시간지원 집계 처리 기법들은 매번 질의의 대상이 되는 사건들이 다를 때마다 시간 구간을 반복해서 구하고 그 구간마다의 결과를 계산해야 한다는 문제점이 있다. 본 논문에서는 시간지원 데이타베이스에 저장된 사건의 시작 시간과 종료 시간만을 미리 읽어 들여서 구성한 시점 시퀀스를 이용하여 시간지원 집계를 처리하는 방법을 제안하였다. 또한 데이타베이스에서 저장된 사건의 삭제나 새로운 사건의 삽입에 따른 시점 시퀀스 갱신의 용이성에 대해서도 언급하였다. 시점 시퀀스는 시간 구간에 대한 정보를 미리 저장하고 있기 때문에, 질의의 대상이 되는 사건들이 다른 시간지원 집계 질의가 계속해서 들어올 때 기존의 방법에 비해 효율적으로 처리할 수 있다.

맵리듀스에서 집계 질의 스트림의 효율적인 처리 기법 (Efficient Processing of an Aggregate Query Stream in MapReduce)

  • 최현진;이기용
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권2호
    • /
    • pp.73-80
    • /
    • 2014
  • 맵리듀스는 빅데이터 분석 및 처리에 널리 사용되는 프로그래밍 모델이다. 빅데이터 분석을 위해 흔히 사용되는 질의 중 하나는 집계 질의(aggregate query)이다. 본 논문에서는 여러 사용자가 동시에 여러 집계 질의를 계속해서 요청하는 경우, 맵리듀스를 사용하여 이들 질의를 효율적으로 처리하는 방법을 제안한다. 제안 방법은 각 집계 질의를 개별적으로 처리하지 않고, 여러 집계 질의를 묶어 하나의 최적화된 맵리듀스 잡(job)으로 만들어 일괄 처리한다. 그 결과로 제안 방법은 단순 방법에 비해 시간당 처리하는 질의 수를 크게 증가시킨다. 성능 평가를 통해, 제안 방법은 단순 방법에 비해 질의 처리 속도를 크게 향상시킴을 보인다.

시공간 집계정보를 위한 Aggregation R-tree 기반의 하이브리드 인덱스 (A Hybrid Index based on Aggregation R-tree for Spatio-Temporal Aggregation)

  • 유병섭;배해영
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권5호
    • /
    • pp.463-475
    • /
    • 2006
  • 교통 관리 시스템과 같은 응용에서는 공간 데이타 웨어하우스의 공간 계층을 이용한 분석을 수행하는데, 이러한 분석에서는 주로 단순한 집계정보만을 요구한다. 공간 계층 기반의 집계정보 제공을 위하여 기존의 연구들은 공간 인덱스를 사용한 해결방법을 제시하였는데, 대부분의 연구들은 공간 인덱스 중 가장 널리 이용되는 R-tree를 확장한 방법을 이용하였다. 그러나 단순히 현재 집계 정보만을 제공하여 수년에 걸친 분석을 요구하는 교통 정책에 대하여 의사결정을 지원할 수 없었다. 본 논문에서는 과거의 집계정보까지 관리할 수 있는 aR-tree(Aggregation R-tree)기반의 하이브리드 인덱스를 제안한다. 제안 기법은 aR-tree를 이용하여 공간 계층과 현재시점의 집계정보를 제공하며, 시간 구조체를 이용한 정렬 해쉬 테이블로 시간 계층과 과거의 집계정보를 제공한다. 따라서 제안기법은 시공간 분석을 통한 효율적인 의사결정을 지원하며, 이는 현재의 교통 분석 및 과거를 통한 교통 정책 결정을 가능하게 한다.

통행시간 산정 및 예측을 위한 최적 집계시간간격 결정에 관한 연구 (Determining Optimal Aggregation Interval Size for Travel Time Estimation and Forecasting with Statistical Models)

  • Park, Dong-Joo
    • 대한교통학회지
    • /
    • 제18권3호
    • /
    • pp.55-76
    • /
    • 2000
  • 실시간 통행시간관련자료의 집계시간간격은 보다 신뢰성있는 통행시간정보제공과 교통정보센터의 효율적인 운영을 위해 매우 중요한 요소이다. 그러나 대부분의 기존 VDS 및 TCS교통정보 데이터는 통계학적·공학적 차원에서의 합리적인 연구나 검증없이 경험적 간격으로 집계되고 있다. 본 연구의 목적은 링크 및 교통축(Corridor) 통행시간 산정 및 예측시의 최적 집계 시간간격을 결정할 수 있는 통계학적 모형을 개발하고 실제 도로망에서 수집되는 통행시간자료에 적용하는 것이다 첫째로, 본 연구는 링크 및 교통축 통행시간 산정 및 예측으로 인한 오차를 계량화하는 통계학적 모형을 제시하고, 제시된 모형의 의미를 교통류이론 측면과 통행시간정보 이용자측면에서 살펴보았다. 둘째로, 미국 Texas, Houston의 도시고속도로에서 AVI시스템을 통해 수집된 통행시간자료를 제시된 모형에 적용하였다. 적용결과 링크통행시간 산정을 위한 최적 집계시간간격보다 링크통행시간예측을 위한 최적 집계시간간격이 큰 것으로 나타났으며, 교통축 통행시간 산정 및 예측을 위한 최적 집계시간간격은 교통축을 구성하는 링크간의 상관관계 (Correlation)에 큰 영향을 받는 것으로 분석되었다.

  • PDF

범위 모자이크 질의의 효율적인 수행 (Efficient Execution of Range Mosaic Queries)

  • 홍석진;배진욱;이석호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권5호
    • /
    • pp.487-497
    • /
    • 2005
  • 질의 영역에 대한 단일 값의 통계 정보를 반환하는 범위 집계 질의와는 달리, 범위 모자이크 질의는 질의 영역 내의 데이타 분포를 모자이크 형태로 반환한다. 즉, 범위 모자이크 질의는 질의 영역을 다차원 격자로 나눈 후, 나뉜 각 영역에 대해 집계값을 구해서 결과로 반환하는 질의이다 이 논문에서는 범위 모자이크 질의와, 범위 모자이크 질의를 SQL문으로 표현하기 위한 mosaic-by 연산자를 제안한다. 그리고 이 논문에서는 집계 R-트리를 이용한 범위 모자이크 질의의 효율적인 수행 알고리즘을 소개한다. 알고리즘은 모든 모자이크 셀의 집계값을 한 번의 트리 순회만으로 계산하며, 집계 R-트리의 집계값을 이용하여 질의 영역 내의 모든 노드를 접근하지 않고도 작은 수의 노드 접근만으로 질의를 수행할 수 있다. 실험 결과를 통해 제안된 알고리즘이 생성된 데이타와 실제 데이타 모두에 대해 좋은 성능을 보이는 것을 알 수 있다.

DSMS에서 영역을 포함하는 공간 연속질의 처리를 위한 R-tree기반의 집계기법 (Aggregation Method using R-tree for Spatial Continuous Query in DSMS)

  • 김상기;이연;이동욱;오영환;배해영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (C)
    • /
    • pp.80-84
    • /
    • 2008
  • DSMS는 USN과 같은 환경으로부터 스트림데이터를 실시간으로 입력 받아 등록된 연속질의를 처리하는 시스템이다. DSMS는 등록된 연속질의 처리를 위해 필요한 데이터를 버퍼에 관리하며, 스트림데이터의 저장기법에 따라 연속질의 처리 성능 및 버퍼 저장비용이 개선될 수 있으며, DSMS에서 연속질의는 특정 스트림데이터에 대해 일정한 기간 동안의 평균 값, 최대 소 값, 누적 값 등의 집계 연산을 요구하는 경우가 많다. 기존의 DSMS에서는 이러한 집계 연산이 필요한 연속질의의 효율적인 처리를 위해 LINT, BINT등의 자원 공유 집계 처리기법이 제안 되었다. 하지만 기존의 자원공유 집계 기법들은 위치 값을 포함하는 GeoSensing 데이터에 대한 고려를 하지 않았다. 본 논문에서는 공간 DSMS에서 공간영역질의 기반의 연속질의를 효율적으로 처리하기 위한 R-tree기반의 집계기법을 제안한다. 이는 각각의 연속질의에 포함된 공간 영역을 R-tree 인덱스로 구성하고, 연속질의에 필요한 공간 스트림데이터에 대한 집계값을 저장하여 연속질의를 처리하는 것이다. 제안기법은 공간 DSMS에서 공간영역 기반의 연속질의 처리 성능을 개선할 수 있으며, R-tree 기반으로 해당 영역에 대한 데이터 만을 버퍼에 관리하여 저장비용을 줄일 수 있다.

  • PDF

시간지원데이타베이스에서의 효과적인 시간지원집계 처리 기법 (On Efficient Processing of Temporal Aggregates in Temporal Databases)

  • 강성탁;김종수;김명호
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권12호
    • /
    • pp.1418-1427
    • /
    • 1999
  • 시간지원 데이타베이스 시스템은 자료의 과거 및 현재, 그리고 미래의 상태까지 관리함으로써, 사용자에게 시간에 따라 변화하는 자료에 대한 저장 및 질의 수단을 제공한다. 시간지원 데이타베이스는 경향 분석, 버전 관리, 의료 기록 관리 및 비디오 데이타 관리 등과 같이 자료의 시간적 특성이 중요시 되는 모든 분야에 폭 넓게 응용될 수 있다. 시간지원 데이타베이스에서의 집계는 시간 애트리뷰트를 고려하지 않은 기존의 집계와는 큰 차이가 있으며, 기존의 집계 처리 기법을 이용하여 효과적으로 처리될 수 없다. 본 논문에서는 시간지원 집계를 효율적으로 처리하기 위한 새로운 자료 구조인 PA-트리를 제안하고, 이를 이용한 시간지원 집계 처리 기법을 제안한다. 또한 본 논문에서는 제안된 PA-트리를 이용한 기법과 기존의 집계 트리를 이용한 기법의 성능을 최악 경우 분석과 실험을 통해 비교한다.Abstract Temporal databases manage time-evolving data. They provide built-in supports for efficient recording and querying of temporal data. Many application area such as trend analysis, version management, and medical record management have temporal aspects, and temporal databases can handle these temporal aspects efficiently. The aggregate in temporal databases, that is, temporal aggregate is an extension of conventional aggregate on the domain and range of aggregation to include time concept. The basic techniques behind computing aggregates in conventional databases are not efficient when applied to temporal databases. In this paper, we propose a new tree structure for temporal aggregation, called PA-tree, and aggregate processing method based on the PA-tree. We compare the PA-tree with the existing aggregation tree which has been proposed for temporal aggregate.

센서 네트워크에서 데이터 집계를 위한 힐버트 커브 기반 데이터 보호 기법 (A Data Protection Scheme based on Hilbert Curve for Data Aggregation in Wireless Sensor Network)

  • 윤민;김용기;장재우
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권11호
    • /
    • pp.1071-1075
    • /
    • 2010
  • 무선 센서 네트워크에 활용되는 센서 노드는 제한된 전력, 메모리 동의 한정된 자원을 지니기 때문에, 제한된 에너지를 효율적으로 관리하기 위한 데이터 집계 기법의 연구가 활발히 진행되어 왔다. 한편, 센서 네트워크는 무선통신을 수행하기 때문에 공격자에게 쉽게 데이터 노출될 수 있다. 따라서, 센서 네트워크에서 데이터 집계를 위한 데이터 보호 기법에 관한 연구가 필수적이다. 그러나, 기존 데이터 집계를 위한 데이터 보호 기법은 네트워크 구성 및 데이터 집계 처리 시, 다수의 연산과 데이터 전송이 발생한다. 이러한 문제점을 해결하기 위하여, 본 논문에서는 데이터 집계를 위한 힐버트 커브(hilbert curve) 기반 데이터 보호 기법을 제안한다. 제안하는 기법은 트리 기반의 라우팅을 구성하여 이웃노드와의 통신을 최소화한다. 또한 seed에 기반한 힐버트 커브 기법을 통해 데이터를 암호화함으로써, 센서 노드간의 통신 시 공격자로부터 데이터를 보호할 수 있다. 마지막으로, 제안하는 기법이 메시지 전송량 및 센서노드 평균 수명 측면에서 기존 연구보다 우수함을 보인다.

무선 센서 네트워크에서 효율적인 집계 질의 처리 (Efficient Processing of Aggregate Queries in Wireless Sensor Networks)

  • 김정준;신인수;이기영;한기준
    • Spatial Information Research
    • /
    • 제19권3호
    • /
    • pp.95-106
    • /
    • 2011
  • 최근 무선 센서 네트워크에서 센서로부터 원하는 데이타를 가져오는 네트워크 내 집계 질의처리 기법에 대한 연구가 활발히 진행되고 있다. 기존의 대표적인 네트워크 내 집계 질의 처리 기법들은 집계 질의 처리를 위해 라우팅 알고리즘과 데이타 구조를 제안하고 있다. 그러나 이러한 기법들은 센서 노드들의 에너지 소모가 크고, 질의 처리 결과 정확도가 떨어지고, 또한 질의 처리 시간이 오래 걸리는 문제점들을 가지고 있다. 본 논문에서는 이러한 기존 집계 질의 처리 기법들의 문제점을 해결하고 무선 센서 네트워크에서 보다 효율적인 집계 질의 처리를 위해 BPA(Bucket-based Parallel Aggregation)를 제시하였다. BPA는 질의 영역을 센서 노드 분포에 따라 쿼드 트리로 구성하여 집계 질의를 병렬로 처리하고, 각 센서 노드로 하여금 데이타를 이중 전송하게 함으로써 전송 오류로 인한 데이타 손실을 줄인다. 또한, BPA는 집계 질의 처리시 버켓 기반의 데이타 구조를 이용하고 이러한 버켓 데이타 구조를 버켓내 데이타 개수에 따라 적응적으로 분할 및 합병한다. 특히 버켓내 데이타 크기를 줄이기 위해 데이타를 압축하고 데이타 전송 횟수를 줄이기 위해 필터링을 수행한다. 마지막으로 센서 데이타를 이용한 다양한 실험을 통해 본 논문에서 제안하는 BPA의 우수성을 입증하였다.

다중 연속질의에서 슬라이딩 윈도우 집계질의 최적화를 위한 선형 자원공유 기법 (Linear Resource Sharing Method for Query Optimization of Sliding Window Aggregates in Multiple Continuous Queries)

  • 백성하;유병섭;조숙경;배해영
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권6호
    • /
    • pp.563-577
    • /
    • 2006
  • 스트림 처리기는 다수의 연속질의에서 제한된 자원을 효율적으로 이용하기 위하여 자원공유 기법을 이용한다. 기존의 기법은 계층구조를 유지하여 집계질의를 처리한다. 그래서 삽입연산은 계층구조 재구성 비용이 필요하다. 또한 검색연산은 서로 다른 슬라이딩 윈도우 크기에 속하는 집계정보 검색비용이 필요하다. 그래서 본 논문에서는 보다 빠른 질의 처리를 위해 선형 자료구조를 사용한다. 제안기법은 팬(Pane)크기 결정단계와 팬 생성단계, 팬 삭제단계로 구성된다. 팬 크기 결정단계는 정확한 집계정보를 유지하기 위한 최적 팬 크기를 결정하는 단계이며, 팬 생성단계는 스트림 버퍼로부터 팬 크기만큼의 데이타에 대한 집계정보를 저장하는 단계이다. 팬 삭제단계는 더 이상 연속질의가 사용하지 않는 팬을 삭제하는 단계이다. 제안 기법은 선형 자료 구조를 이용하므로 계층구조를 이용하는 자료 구조에 비해 자원을 적게 사용한다. 또한 스트림 데이타가 입력되어도 팬 크기에 해당하는 집계정보만 계산하면 되므로 집계정보 삽입비용이 감소하고, 서로 다른 슬라이딩 윈도우 크기에 대해서도 선형검색으로 집계정보 검색비용이 감소한다. 성능평가를 통하여 제안기법이 적은 메모리 사용 결과를 보였으며, 질의 처리 속도가 증가하였다.