• 제목/요약/키워드: 데이터 집계

검색결과 215건 처리시간 0.022초

저차원 집계 테이블들을 사용한 고차원 데이터의 온라인 분석 (Analysis of High Dimensional Data using Low Dimensional Summary Tables)

  • 최혜정;김명
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (1)
    • /
    • pp.16-18
    • /
    • 2002
  • 다차원 데이터를 온라인으로 분석하기 위해서는 사전에 집계 테이블들을 계산해 둔다. 대용량 고차원 데이터의 경우는 집계 테이블의 분량이 천문학적으로 방대하기 때문에 사전 집계 계산이 현실적으로 불가능한 경우가 많다. 고차원 데이터 처리에 관한 연구로는 데이터의 차원 수를 감소시키거나 인덱스를 압축하여 질의처리 시간을 단축하려는 연구를 들 수 있는데, 이러한 방법들은 고차원 데이터의 온라인 분석시에 발생하는 데이터 폭발 현상을 근본적으로 해결하지는 못한다. 본 연구에서는 고차원 데이터가 분석될 때 실제로 저차원 집계 테이블들이 주로 사용된다는 점에 착안하여 데이터 폭발 현상을 감소시키면서 데이터를 분석하는 방안을 제시한다 이 방법은 사전 집계 연산을 할 때 크기가 방대한 고차원 집계 테이블들의 생성을 생략하고, 3-6차원 또는 그 이하 차원의 집계 테이블들만을 고속으로 동시에 생성하는 방법이다.

  • PDF

AVL 트리를 활용한 스트림 데이터의 고속 집계 연산 (Fast Aggregation of Stream Data Using AVL Trees)

  • 김지현;김명
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 추계학술발표대회
    • /
    • pp.417-420
    • /
    • 2006
  • 스트림 데이터는 고속으로 생성되고 용량이 방대하여 저장하기 힘들며 데이터가 흘러가는 가운데 분석해야 하므로 기존 데이터 분석 방식을 그대로 사용하기는 어렵다. 본 연구에서는 스트림 데이터 분석 연산중의 하나인 다차원 집계 연산을 고속으로 처리하는 방법을 제안한다. 기존 연구들과 마찬가지로 스트림 데이터를 시간 차원 기준으로 윈도우 단위로 나누고, 각 윈도우마다 독립적인 집계 연산을 하도록 하였으며, 생성하고자 하는 집계 테이블들은 스트림 데이터가 입력되기 전에 미리 결정된다고 가정하였다. 정렬되지 않은 스트림 데이터를 고속으로 집계하기 위해 본 연구에서는 배열과 AVL 트리 구조를 혼합하여 사용하였다. 이 방법은 생성할 집계 테이블들 선택이 자유롭고, 집계 테이블들 전체가 메모리에 상주할 수 없을 정도로 큰 경우도 집계 연산을 실행할 수 있다는 장점을 갖는다. 제안한 방법의 효율성은 실험을 통해 입증하였다.

  • PDF

공간 데이터 웨어하우스에서 시공간 데이터의 효율적인 집계 정보 관리 기법 (Efficient Aggregate Information Management of Spatiotemporal Data in Spatial Data Warehouses)

  • 유호선;유병섭;박순영;이재동;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.43-46
    • /
    • 2005
  • 다차원 분석을 위한 OLAP 연산에서는 사용자의 요청에 빠르게 응답하기 위해 집계 값을 미리 계산하여 저장해 두는 사전 집계 방식을 이용한다. 시공간 데이터에 대한 사전 집계 기법으로는 R-트리의 각 노드에 대한 과거 집계 값을 요약 테이블로 관리하는 기법과 R-트리의 노드에서 현재 집계 값을 관리하는 기법이 있다. 그러나 이 기법들은 현재와 과거 모두의 집계 정보를 필요로 하는 시스템에서는 성능이 저하되며, 특히 과거 집계 정보의 경우 시간에 따른 계층화가 되어있지 않아 시간에 대한 계층 분석에 어려움이 있다. 본 논문에서는 시공간 데이터의 현재와 과거 집계 정보를 효율적으로 관리하는 기법을 제안한다. 제안 기법은 aR-tree를 이용하여 해당 영역에 대한 현재 집계 정보를 저장하고, 각 노드에 과거 집계 정보에 대한 연결을 위하여 링크를 추가하였다. 과거 집계 정보는 각 노드의 과거에서 현재까지의 집계 정보를 계층 구조로 유지하는 시간 요약 집계 테이블을 만들어 저장한다. 따라서 제안한 기법은 현재와 과거 집계 정보를 모두 유지할 수 있으므로 현재와 과거 집계 정보에 대한 처리 성능을 향상시킨다. 또한 제안 기법에서는 공간 정보를 공간 인덱스인 R-트리로 유지하고, 과거로부터의 시간 정보를 시간 요약 집계 테이블을 이용하여 계층화시켜 유지하므로 시간과 공간에 대한 계층 분석이 용이하다.

  • PDF

시공간지원 집계 함수 연구 (Study of Aggregate Function for Spatiotemporal)

  • 정지문
    • 한국디지털정책학회:학술대회논문집
    • /
    • 한국디지털정책학회 2005년도 추계학술대회
    • /
    • pp.273-280
    • /
    • 2005
  • 시공간 데이터베이스는 실세계에 존재하는 다양한 유형의 객체에 대한 공간 관리와 이력정보를 동시에 제공함으로써 사용자에게 시공간 데이터에 대한 저장 및 질의 수단을 제공한다. 질의 연산중 집계 연산은 특정한 조건을 만족하는 데이터에 대하여 계산을 수행한 결과 값을 반환하는 연산으로, 다양한 분야에서 데이터의 분석을 위해 사용된다. 그러나 기존의 집계에 대한 연구는 시간 또는 공간에만 편중되어 시간과 공간 제약을 모두 가진 실세계의 응용에 직접 적용할 수 없다. 따라서 이 논문에서는 실세계 응용들의 분석을 위한 시공간 집계함수를 제안하고, 실제 응용에서의 분석을 위한 질의 예를 보인다. 제안된 시공간 집계함수에 의해 사용자는 응용시스템에 따른 시공간 데이터 분석을 위해 간략하고 편리한 질의 할 수 있다.

  • PDF

시각화된 스키마 생성기를 이용한 데이터 웨어하우스의 실체 뷰 생성 (Generation of Materialized View for Data Warehouse Using Visualized Schema Generator)

  • 정병화;이현창;김경창;지원철
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (1)
    • /
    • pp.392-394
    • /
    • 1998
  • 데이터 웨어하우스 시스템은 의사 결정의 지원에 필요한 요약, 분석 작업을 수행하여 다양한 고품질의 정보 서비스를 사용자에게 제공한다[1]. 이러한 데이터 웨어하우스에 사용자가 질의를 요청할 경우 다차원 모델을 고려해 보면 여러 테이블을 조인해야 할 경우가 발생하고 이때 방대한 양의 사실 테이블을 가지고 있는 데이터 웨어하우스는 질의 처리시 성능 저하를 초래 할 수 있다. 그러므로 본 연구에서는 사용자의 질의에서 자주 요구되는 집계사실을 미리 저장하여 데이터 웨어하우스에 대한 질의 처리 성능향상을 기대할 수 있도록 집계사실이 저장될 효율적인 집계 테이블 생성에 따른 설계와 구현을 한다. 이를 수행하기 위해 본 논문에는 집계 사실의 저장방법에 대해 살펴보고, 집계 계획에 근거한 집계테이블 생성 인터페이스의 프로토타입 설계 및 구현을 살펴본다. 이렇게 함으로서 사용자의 의사결정에 필요한 정보를 데이터 웨어하우스에서 더욱 신속하게 얻을 수 있다.

공간 소셜 분석을 위한 마이크로블로그 데이터의 맵리듀스 기반 공간 집계 알고리즘 (A MapReduce based Algorithm for Spatial Aggregation of Microblog Data in Spatial Social Analytics)

  • 조현구;양평우;유기현;남광우
    • 정보과학회 논문지
    • /
    • 제42권6호
    • /
    • pp.781-790
    • /
    • 2015
  • 인터넷과 모바일 환경의 발전에 따라 최근에는 마이크로블로그가 성행하고 있다. 마이크로블로그에는 부가적인 데이터가 담겨있다. 그 중 위치 정보에 대한 데이터를 포함하는 마이크로블로그 데이터를 공간 소셜 웹 객체라고 지칭한다. 이러한 마이크로블로그 데이터에 대한 일반 집계는 사용자별 데이터 집계 등이 있으나, 단일 정보에 대한 집계만 가능하다. 본 연구는 공간 소셜 웹 객체의 특성을 갖는 마이크로블로그 데이터의 공간 소셜 분석을 위해, 일반 집계와 공간 데이터를 결합하고 지오해시와 맵리듀스를 이용한 공간 집계에 대한 알고리즘을 제시한다. 이를 통해 의미있는 공간 소셜에 대한 분석의 기반을 마련하였다.

공간 데이터 웨어하우스에서 공간 분석을 위한 공간 집계연산 (Spatial Aggregations for Spatial Analysis in a Spatial Data Warehouse)

  • 유병섭;김경배;이순조;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제9권3호
    • /
    • pp.1-16
    • /
    • 2007
  • 공간 데이터 웨어하우스는 공간 의사결정을 지원하는 시스템으로 공간 데이터 큐브를 이용한다. 공간 데이터 큐브에는 분석의 기준이 되는 공간 차원테이블과 분석의 대상이 되는 공간 사실테이블들로 구성되는데 의사결정 지원을 위해서는 공간 차원테이블의 개념계층 지원과 공간 사실테이블의 요약정보 제공이 필요하다. 그러나 기존의 연구들은 공간 개념계층에 대해서만 연구하였을 뿐 공간 요약정보에 대한 연구가 미비하였다. 따라서 본 논문에서는 공간 데이터 웨어하우스에서 공간 공간 요약정보를 위한 공간 집계연산에 대하여 제안한다. 본 논문에서는 공간 집계연산을 숫자화 집계연산과 객체화 집계연산으로 나누어 제안한다. 숫자화 집계연산은 공간 분석의 결과로 숫자 형태의 데이터를 반환하며, 객체화 집계연산은 공간 객체 형태로 결과를 반환한다. 본 논문에서는 확장된 공간 데이터 자료구조를 제공하여 공간 집계연산의 효율성을 높인다.

  • PDF

센서 네트워크에서 데이터 집계를 위한 힐버트 커브 기반 데이터 보호 기법 (A Data Protection Scheme based on Hilbert Curve for Data Aggregation in Wireless Sensor Network)

  • 윤민;김용기;장재우
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권11호
    • /
    • pp.1071-1075
    • /
    • 2010
  • 무선 센서 네트워크에 활용되는 센서 노드는 제한된 전력, 메모리 동의 한정된 자원을 지니기 때문에, 제한된 에너지를 효율적으로 관리하기 위한 데이터 집계 기법의 연구가 활발히 진행되어 왔다. 한편, 센서 네트워크는 무선통신을 수행하기 때문에 공격자에게 쉽게 데이터 노출될 수 있다. 따라서, 센서 네트워크에서 데이터 집계를 위한 데이터 보호 기법에 관한 연구가 필수적이다. 그러나, 기존 데이터 집계를 위한 데이터 보호 기법은 네트워크 구성 및 데이터 집계 처리 시, 다수의 연산과 데이터 전송이 발생한다. 이러한 문제점을 해결하기 위하여, 본 논문에서는 데이터 집계를 위한 힐버트 커브(hilbert curve) 기반 데이터 보호 기법을 제안한다. 제안하는 기법은 트리 기반의 라우팅을 구성하여 이웃노드와의 통신을 최소화한다. 또한 seed에 기반한 힐버트 커브 기법을 통해 데이터를 암호화함으로써, 센서 노드간의 통신 시 공격자로부터 데이터를 보호할 수 있다. 마지막으로, 제안하는 기법이 메시지 전송량 및 센서노드 평균 수명 측면에서 기존 연구보다 우수함을 보인다.

AVL 트리를 사용한 효율적인 스트림 큐브 계산 (Efficient Computation of Stream Cubes Using AVL Trees)

  • 김지현;김명
    • 정보처리학회논문지D
    • /
    • 제14D권6호
    • /
    • pp.597-604
    • /
    • 2007
  • 스트림 데이터는 끊임없이 고속으로 생성되는 데이터로써 최근 이러한 데이터를 분석하여 부가가치를 얻고자 하는 노력이 활발히 진행 중 이다. 본 연구에서는 스트림 데이터의 다차원적 분석을 위해 큐브를 고속으로 계산하는 방법을 제안한다. 스트림 데이터는 비즈니스 데이터와는 달리 정렬되지 않은 채로 도착하며, 데이터의 끝에 도달하지 않은 상태에서는 집계 결과를 낼 수 없어서, 고속으로 집계하는 과정에서 저장 공간의 낭비를 심하게 초래한다. 또한 큐브에 속한 집계 테이블들을 모두 생성하는 것은 시간/공간 측면에서 비효율적이라는 점이 지적되고 있다. 이러한 문제를 해결하기 위해 본 연구에서는 기존 연구들과 마찬가지로 큐브에 포함시킬 집계 테이블들을 사용자가 미리 정하도록 하였고, 정렬되지 않은 스트림 데이터를 고속으로 집계하는 과정에서 배열과 AVL 트리들로 구성된 자료구조를 집계 테이블의 임시 저장소로 사용하였다. 제안한 알고리즘은 생성하려는 큐브가 메모리에 상주할 수 없을 정도로 큰 경우에도 집계 연산을 수행할 수 있다. 이론적 분석과 성능 평가를 통해 제안한 큐브 계산 알고리즘이 실용적임을 입증하였다.

집계 함수를 포함하는 조인 질의의 맵리듀스를 사용한 효율적인 처리 기법 (A Join Query with Aggregation functions Using Mapreduce)

  • 오소현;이기용
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.132-135
    • /
    • 2015
  • 맵리듀스(MapReduce)는 분산 환경에서의 빅데이터(Big Data), 즉 대용량 데이터를 처리하는 프로그래밍 모델이다. 대용량의 데이터를 분석하기 위해서 집계 함수(Aggregation function)로 데이터를 처리할 수 있다. 본 논문에서는 맵리듀스 환경을 기반으로 SQL 쿼리에서 집계 함수를 더 적은 비용으로 수행하며 효율적으로 처리할 수 있는 두 가지 전략을 제안한다. 두 가지 전략 중 더 높은 성능을 보이는 전략을 더 효율적인 처리 방법으로 판단한다. 첫 번째 전략은 두 테이블을 Join하여 집계 함수를 처리하는 방법이다. 두 번째 전략은 집계 함수를 처리하여 Join에 참여할 튜플의 수를 최소로 줄인 후 Join을 수행하고 다시 집계 함수를 처리하는 방법이다. 두 제안 방법을 비교하기 위하여 실험을 한 결과 두 번째 전략이 더 적은 비용이 드므로 더 효율적인 처리 방법인 것으로 보인다.