• 제목/요약/키워드: 집계

검색결과 756건 처리시간 0.033초

공간 데이터 웨어하우스에서 시공간 데이터의 효율적인 집계 정보 관리 기법 (Efficient Aggregate Information Management of Spatiotemporal Data in Spatial Data Warehouses)

  • 유호선;유병섭;박순영;이재동;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.43-46
    • /
    • 2005
  • 다차원 분석을 위한 OLAP 연산에서는 사용자의 요청에 빠르게 응답하기 위해 집계 값을 미리 계산하여 저장해 두는 사전 집계 방식을 이용한다. 시공간 데이터에 대한 사전 집계 기법으로는 R-트리의 각 노드에 대한 과거 집계 값을 요약 테이블로 관리하는 기법과 R-트리의 노드에서 현재 집계 값을 관리하는 기법이 있다. 그러나 이 기법들은 현재와 과거 모두의 집계 정보를 필요로 하는 시스템에서는 성능이 저하되며, 특히 과거 집계 정보의 경우 시간에 따른 계층화가 되어있지 않아 시간에 대한 계층 분석에 어려움이 있다. 본 논문에서는 시공간 데이터의 현재와 과거 집계 정보를 효율적으로 관리하는 기법을 제안한다. 제안 기법은 aR-tree를 이용하여 해당 영역에 대한 현재 집계 정보를 저장하고, 각 노드에 과거 집계 정보에 대한 연결을 위하여 링크를 추가하였다. 과거 집계 정보는 각 노드의 과거에서 현재까지의 집계 정보를 계층 구조로 유지하는 시간 요약 집계 테이블을 만들어 저장한다. 따라서 제안한 기법은 현재와 과거 집계 정보를 모두 유지할 수 있으므로 현재와 과거 집계 정보에 대한 처리 성능을 향상시킨다. 또한 제안 기법에서는 공간 정보를 공간 인덱스인 R-트리로 유지하고, 과거로부터의 시간 정보를 시간 요약 집계 테이블을 이용하여 계층화시켜 유지하므로 시간과 공간에 대한 계층 분석이 용이하다.

  • PDF

AVL 트리를 활용한 스트림 데이터의 고속 집계 연산 (Fast Aggregation of Stream Data Using AVL Trees)

  • 김지현;김명
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 추계학술발표대회
    • /
    • pp.417-420
    • /
    • 2006
  • 스트림 데이터는 고속으로 생성되고 용량이 방대하여 저장하기 힘들며 데이터가 흘러가는 가운데 분석해야 하므로 기존 데이터 분석 방식을 그대로 사용하기는 어렵다. 본 연구에서는 스트림 데이터 분석 연산중의 하나인 다차원 집계 연산을 고속으로 처리하는 방법을 제안한다. 기존 연구들과 마찬가지로 스트림 데이터를 시간 차원 기준으로 윈도우 단위로 나누고, 각 윈도우마다 독립적인 집계 연산을 하도록 하였으며, 생성하고자 하는 집계 테이블들은 스트림 데이터가 입력되기 전에 미리 결정된다고 가정하였다. 정렬되지 않은 스트림 데이터를 고속으로 집계하기 위해 본 연구에서는 배열과 AVL 트리 구조를 혼합하여 사용하였다. 이 방법은 생성할 집계 테이블들 선택이 자유롭고, 집계 테이블들 전체가 메모리에 상주할 수 없을 정도로 큰 경우도 집계 연산을 실행할 수 있다는 장점을 갖는다. 제안한 방법의 효율성은 실험을 통해 입증하였다.

  • PDF

저차원 집계 테이블들을 사용한 고차원 데이터의 온라인 분석 (Analysis of High Dimensional Data using Low Dimensional Summary Tables)

  • 최혜정;김명
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (1)
    • /
    • pp.16-18
    • /
    • 2002
  • 다차원 데이터를 온라인으로 분석하기 위해서는 사전에 집계 테이블들을 계산해 둔다. 대용량 고차원 데이터의 경우는 집계 테이블의 분량이 천문학적으로 방대하기 때문에 사전 집계 계산이 현실적으로 불가능한 경우가 많다. 고차원 데이터 처리에 관한 연구로는 데이터의 차원 수를 감소시키거나 인덱스를 압축하여 질의처리 시간을 단축하려는 연구를 들 수 있는데, 이러한 방법들은 고차원 데이터의 온라인 분석시에 발생하는 데이터 폭발 현상을 근본적으로 해결하지는 못한다. 본 연구에서는 고차원 데이터가 분석될 때 실제로 저차원 집계 테이블들이 주로 사용된다는 점에 착안하여 데이터 폭발 현상을 감소시키면서 데이터를 분석하는 방안을 제시한다 이 방법은 사전 집계 연산을 할 때 크기가 방대한 고차원 집계 테이블들의 생성을 생략하고, 3-6차원 또는 그 이하 차원의 집계 테이블들만을 고속으로 동시에 생성하는 방법이다.

  • PDF

집계큐브리트리 :효율적인 범위-집계 질의의 수행을 위한 큐브트리 (Aggregate Cubetree : Cubetree for Efficient Execution of Range-Aggregate Query)

  • 홍석진;송병호;이석호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.163-165
    • /
    • 2001
  • 데이터웨어하우스 환경에서는 범위-집계 질의를 효율적으로 수행하기 위해 데이터큐브로 저장뷰를 구성한다. 큐브트리란 이러한 저장뷰를 R-Tree형태로 구성하는 기법으로, 효율적인 데이터 접근성을 제공하지만 범위-집계 질의 범위 내의 모든노드를 접근해야 하는 단점이 있다. 이 논문에서는 중간노드의 MBR에 자식 노드 레코드들의 집단함수 값을 저장하여, 질의 범위에 포함되는 중간노드의 경우 단말노드를 접근하지 않고 효율적으로 범위-집계 질의를 수행할 수 있는 집계큐브트리를 제안하였다. 집계큐브트리는 기존의 큐브트리에 비해, 항상 적은 수의 노드 접근으로 질의를 수행하며 질의 범위의 크기가 커질수록 좋은 성능을 보인다.

  • PDF

시공간지원 집계 함수 연구 (Study of Aggregate Function for Spatiotemporal)

  • 정지문
    • 한국디지털정책학회:학술대회논문집
    • /
    • 한국디지털정책학회 2005년도 추계학술대회
    • /
    • pp.273-280
    • /
    • 2005
  • 시공간 데이터베이스는 실세계에 존재하는 다양한 유형의 객체에 대한 공간 관리와 이력정보를 동시에 제공함으로써 사용자에게 시공간 데이터에 대한 저장 및 질의 수단을 제공한다. 질의 연산중 집계 연산은 특정한 조건을 만족하는 데이터에 대하여 계산을 수행한 결과 값을 반환하는 연산으로, 다양한 분야에서 데이터의 분석을 위해 사용된다. 그러나 기존의 집계에 대한 연구는 시간 또는 공간에만 편중되어 시간과 공간 제약을 모두 가진 실세계의 응용에 직접 적용할 수 없다. 따라서 이 논문에서는 실세계 응용들의 분석을 위한 시공간 집계함수를 제안하고, 실제 응용에서의 분석을 위한 질의 예를 보인다. 제안된 시공간 집계함수에 의해 사용자는 응용시스템에 따른 시공간 데이터 분석을 위해 간략하고 편리한 질의 할 수 있다.

  • PDF

시공간 데이터베이스를 위한 history 집계 연산자 (History / Aggregate Operator for Spatio-Temporal Databases)

  • 이종연
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (1)
    • /
    • pp.106-108
    • /
    • 2001
  • 기존의 관계형 데이터베이스 시스템은 기본적으로 count, max, min, sum, avg의 집계 함수(aggregate functions)를 제공하며, UBMS에 따라 다양한 집계 연산자를 추가로 지원한다. 시공간 데이터베이스는 기본적인 공간 정보뿐만 아니라 시간 흐름에 따른 이력 정보를 취급하므로 데이터베이스로부터 자유로운 이력(history) 정보의 검색 기능이 요구되고 있다. 따라서, 본 연구에서는 시공간 데이터베이스로부터 이력을 자동으로 검색할 수 있는 새로운 집계 연산자, ‘history’를 제안하고, 그 처리 알고리즘과 SQL3에서 탐색 질의 표현법을 제안한다. 결과적으로, 제안된 이력 집계 연산자는 향후 SQL3리 질의 표현 능력의 제고에 기여할 것이다.

  • PDF

다차원 온라인 분석처리에서 분리-포함 분할 다차원 파일 구조를 사용한 원-패스 집계 알고리즘 (A One-Pass Aggregation Algorithm using the Disjoint-Inclusive Partition Multidimensional Files in Multidimensional OLAP)

  • 이영구;문양세;황규영
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제28권2호
    • /
    • pp.153-167
    • /
    • 2001
  • 다차원 온라인 분석처리(Multidimensional On-Line Analytical Processing: MOLAP)에서 집계 연산은 중요한 기본 연산이다. 기존의 MOLAP 집계 연산은 다차원 배열 구조를 기반으로 한 파일 구조에 대해서 연구되어 왔다. 이러한 파일 구조는 편중된 분포를 갖는 데이터에서는 잘 동작하지 못한다는 단점이 있다. 본 논문에서는 편중된 분포에도 잘 동작하는 다차원 파일구조를 사용한 집계 알고리즘을 제안한다. 먼저, 새로운 분리-포함 분할이라는 개념을 사용한 집계 연산 처리 모델을 제안한다. 집계 연산 처리에서 분리-포함 분할 개념을 사용하면 페이지들의 액세스 순서를 미리 알아 낼 수 있다는 특징을 가진다. 그리고, 제안한 모델에 기반하여 원-패스 버퍼 크기(one-pass buffer size)를 사용하여 집계 연산을 처리하는 원-패스 집계 알고리즘을 제안한다. 원-패스 버퍼 크기란 페이지 당 한 번의 디스크 액세스를 보장하기 위해 필요한 최소 버퍼 크기이다. 또한, 제안한 집계 연산 처리 모델 하에서 제안된 알고리즘이 최소의 원-패스 버퍼 크기를 갖는다는 것을 증명한다. 마지막으로, 많은 실험을 통하여 이론적으로 구한 원-패스 버퍼 크기가 실제 환경에서 정확히 동작함을 실험적으로 확인하였다. 리 알고리즘은 미리 알려진 페이지 액세스 순서를 이용하는 버퍼 교체 정책을 사용함으로써 최적의 원-패스 버퍼 크기를 달성한다. 제안하는 알고리즘을 여 러 집계 질의가 동시에 요청되는 다사용자 환경에서 특히 유용하다. 이는 이 알고리즘이 정규화 된 디스크 액세스 횟수를 1.0으로 유지하기 위해 반드시 필요한 크기의 버퍼만을 사용하기 때문이다.

  • PDF

시간지원 데이타베이스에서 다차원 시간 집계 연산의 효율적인 처리 기법 (On Efficient Processing of Multidimensional Temporal Aggregates In Temporal Databases)

  • 강성탁;정연돈;김명호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제29권6호
    • /
    • pp.429-440
    • /
    • 2002
  • 시간지원 데이타베이스 시스템은 자료의 과거 및 현재, 그리고 미래의 상태까지 관리함으로써, 사용자에게 시간에 따라 변화하는 자료에 대한 저장 및 질의 수단을 제공한다. 시간지원 데이터베이스에서의 집계 연산은 집계 연산과 질의에 시간 애트리뷰트를 고려하므로 기존의 집계 연산과는 큰 차이가 있다. 본 논문에서는 다차원 시간 집계 연산에 초점을 둔다. 다차원 시간 집계 연산은 시간 애트리뷰트 뿐만 아니라 하나 이상의 일반 애트리뷰트까지 고려한 시간 집계 연산으로 이력 데이타 웨어 하우스, 전화 기록 관리(CBR) 등에 유용하다. 본 논문에서는 다차원 시간 집계 연산을 효율적으로 처리하기 위한 자료 구조인 PTA-tree를 제안하고, 이를 이용한 시간 집계 처리 기법을 제안한다. 또한 본 논문에서는 제안된 PTA-tree를 이용한 기법과 기존의 SB-tree를 확장한 기법의 성능을 최악 경우 분석과 실험을 통해 비교한다.

시각화된 스키마 생성기를 이용한 데이터 웨어하우스의 실체 뷰 생성 (Generation of Materialized View for Data Warehouse Using Visualized Schema Generator)

  • 정병화;이현창;김경창;지원철
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (1)
    • /
    • pp.392-394
    • /
    • 1998
  • 데이터 웨어하우스 시스템은 의사 결정의 지원에 필요한 요약, 분석 작업을 수행하여 다양한 고품질의 정보 서비스를 사용자에게 제공한다[1]. 이러한 데이터 웨어하우스에 사용자가 질의를 요청할 경우 다차원 모델을 고려해 보면 여러 테이블을 조인해야 할 경우가 발생하고 이때 방대한 양의 사실 테이블을 가지고 있는 데이터 웨어하우스는 질의 처리시 성능 저하를 초래 할 수 있다. 그러므로 본 연구에서는 사용자의 질의에서 자주 요구되는 집계사실을 미리 저장하여 데이터 웨어하우스에 대한 질의 처리 성능향상을 기대할 수 있도록 집계사실이 저장될 효율적인 집계 테이블 생성에 따른 설계와 구현을 한다. 이를 수행하기 위해 본 논문에는 집계 사실의 저장방법에 대해 살펴보고, 집계 계획에 근거한 집계테이블 생성 인터페이스의 프로토타입 설계 및 구현을 살펴본다. 이렇게 함으로서 사용자의 의사결정에 필요한 정보를 데이터 웨어하우스에서 더욱 신속하게 얻을 수 있다.

집계 함수를 포함하는 조인 질의의 맵리듀스를 사용한 효율적인 처리 기법 (A Join Query with Aggregation functions Using Mapreduce)

  • 오소현;이기용
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.132-135
    • /
    • 2015
  • 맵리듀스(MapReduce)는 분산 환경에서의 빅데이터(Big Data), 즉 대용량 데이터를 처리하는 프로그래밍 모델이다. 대용량의 데이터를 분석하기 위해서 집계 함수(Aggregation function)로 데이터를 처리할 수 있다. 본 논문에서는 맵리듀스 환경을 기반으로 SQL 쿼리에서 집계 함수를 더 적은 비용으로 수행하며 효율적으로 처리할 수 있는 두 가지 전략을 제안한다. 두 가지 전략 중 더 높은 성능을 보이는 전략을 더 효율적인 처리 방법으로 판단한다. 첫 번째 전략은 두 테이블을 Join하여 집계 함수를 처리하는 방법이다. 두 번째 전략은 집계 함수를 처리하여 Join에 참여할 튜플의 수를 최소로 줄인 후 Join을 수행하고 다시 집계 함수를 처리하는 방법이다. 두 제안 방법을 비교하기 위하여 실험을 한 결과 두 번째 전략이 더 적은 비용이 드므로 더 효율적인 처리 방법인 것으로 보인다.