• 제목/요약/키워드: multi-dimensional query

검색결과 74건 처리시간 0.027초

데이터 웨어하우스에서 다차원 데이터를 위한 피벗 테이블의 효율적인 처리를 위한 관계 대수 변환 (Relational Algebra Query Transformation for Processing Efficiently Pivot Tables for Multi-dimensional Data in Data Warehouses)

  • 신성현;김진호;문양세
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.214-216
    • /
    • 2005
  • 데이터 웨어하우스에서는 데이터를 다양한 관점으로 분석하기 위해 데이터를 다차원 형태로 유지한다. 이 다차원 데이터를 간단하고 편리한 형태로 사용자에게 표현하기 위해 피벗 테이블이 이용된다. 피벗 테이블은 데이터에 대한 요약된 정보를 제공하는데 널리 사용되는 편리한 표현 방법이지만, 실제 값이 열의 제목으로 나오기 때문에 많은 개수의 열을 가질 수 있다. 이러한 피벗 테이블을 그대로 저장할 경우 관계 DBMS의 테이블 컬럼 수에 제약을 받게 되며, 데이터 저장 및 질의 처리에 성능이 떨어질 수 있다. 이 논문은 관계 데이터베이스의 테이블을 이용하여 피벗 테이블을 효율적으로 저장하는 방법을 제안한다. 이때, 피벗 테이블에 대한 질의물 저장된 형태의 테이블에 적용 가능하도록 질의를 변환시켜야 한다. 따라서 이 연구에서는 피벗 테이블에 대한 관계 연산자들(실렉션, 프로젝션, 합집합, 차집합 카디션 곱)을 효율적으로 변환하는 질의 변환 방범을 제안한다.

  • PDF

다차원 데이터 분석을 위한 비트맵 인덱스 (A Bitmap Index for Multi-Dimensional Data Analysis)

  • 임윤선;박영선;김명
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (1)
    • /
    • pp.298-300
    • /
    • 2002
  • 다차원 데이터를 배열에 저장하는 Multidimensional OLAP (MOLAP) 시스템은 배열내의 위치 정보를 통해 데이터를 신속하게 엑세스할 수 있는 장점을 갖는다. 그러나 실생활의 다차원 데이터는 대체로 희박하여 저장될 때 압축되고, 데이터가 검색될 때는 원래의 위치 정보를 찾기 위해 인덱스를 필요로 하게 된다. 다양한 종류의 다차원 인덱스가 테이블 형태의 데이터를 대상으로 개발되어 있으나, 이들은 데이터의 삽입과 삭제에 유연하게 대처할 수 있도록 하기 위해서 인덱스 공간과 데이터 검색 시간에 약간의 낭비를 초래한다. 본 연구에서는 OLAP 데이터가 주기적으로 갱신되며, 분석에 필요한 집계 데이터도 점진적으로 갱신되기보다 실제로는 새로 생성되고 있다는 점을 고려하여, 읽기 전용 MOLAP 데이터를 위한 인덱스 구조를 제안한다. 데이터는 청크들로 나뉜 후 압축 저장되며, 각 청크는 위치 정보를 유지하면서 비트로 표현되어 인덱스에 저장되도록 하였다. 제안한 비트맵 인덱스는 높은 압축률을 보이며, 범위 질의(range query)를 포함한 OLAP 주요 연산들 처리에 특히 효율적이다.

  • PDF

센서 네트워크에서 연속 스카이라인 질의 처리를 위한 상향식 필터링 투플 선정 방법 (A Bottom up Filtering Tuple Selection Method for Continuous Skyline Query Processing in Sensor Networks)

  • 선진호;정진완
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제36권4호
    • /
    • pp.280-291
    • /
    • 2009
  • 스카이라인 질의 처리는 센서 네트워크 응용에서 다차원 데이터를 효과적으로 활용할 수 있어서 그 역할이 중요하다. 센서 네트워크는 배터리 제약 사항을 가지고 있기 때문에, 센서 네트워크에서의 스카이라인에 관한 연구는 에너지 소비를 최소화 하는데 그 목표를 두고 있다. 이를 위해 기존연구에서 필터링 기법이 제안되었다. 하지만 기존 필터링 기법은 일회성 질의에 초점을 맞추고 있고, 상위 노드의 정보만을 활용하기 때문에 그 성능의 한계가 있다. 본 논문에서는 연속스카이라인 질의 처리를 위한 상향식 필터링 투플 선정 방법을 제안한다. 하위노드에서 생성된 이전 스카이라인 정보를 각 센서노드에 저장하고, 필터링 투플 선정에 활용함으로써 불필요한 데이터 통신을 감소시킬 수 있다, 이와 더불어 추가 필터링 투플을 선택할 때 사용될 수 있는 SFT(Support Filtering Tuple)방법을 제안한다. 센서 데이터의 경우, 이전 센싱된 데이터와 현재 데이터 간의 시간 관계성(temporal correlation)의 특징을 갖고 있다. SFT 방법은 저장된 과거 데이터를 기반으로 현재데이터를 예측하여 추가 필터링 투플을 선정하여 필터링 성능을 향상시킨다. 실험 결과를 통해, 제안하는 방법들이 기존 방법에 비해 데이터 감소율과 총 통신량 측면에서 효율적임을 보여준다.

PBFiltering: 무선 센서 네트워크에서 우선순위 기반 상향식 필터링을 이용한 에너지 효율적인 스카이라인 질의 처리 기법 (PBFiltering: An Energy Efficient Skyline Query Processing Method using Priority-based Bottom-up Filtering in Wireless Sensor Networks)

  • 성동욱;박준호;김학신;박형순;노규종;여명호;유재수
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제36권6호
    • /
    • pp.476-485
    • /
    • 2009
  • 센서 네트워크에서 병합 질의를 효율적으로 처리하기 위한 다양한 인-네트워크 질의 처리 기법들이 제안되었다. 스카이라인 질의는 일반적인 병합 질의와 달리 다차원 데이터에 대한 총괄적인 비교를 요구한다. 따라서, 부분적인 데이터만을 이용할 수 있는 인-네트워크 방식으로 처리하기 어렵다. 스카이라인 질의를 에너지 효율적으로 처리하기 위해서 불필요한 데이터의 전송을 제거하는 것이 중요하다. 기존에 제안된 스카이라인 처리 기법은 전체 네트워크에 필터를 배포함으로써 불필요한 데이터 전송을 차단한다. 하지만 많은 긍정 오류(False Positive) 발생에 따른 불필요한 데이터 전송과 필터 배포시 발생하는 에너지 소모로 인해 네트워크의 수명이 단축된다. 본 논문에서는 필터 배포에 따른 에너지 소모를 줄이기 위한 방법으로 상향식 필터 설정을 통한 스카이라인 질의 처리 기법과 필터링 성능을 향상시키는 PBFiltering 기법을 제안한다. 제안하는 기법은 필터를 미리 배포하지 않고 하위 노드로부터 기지국으로 데이터를 수집하는 과정에서 스카이라인 필터 테이블(SFT)을 만들고 필터링을 수행한다. 그리고 여기서 제안하는 우선순위 맵을 이용한 선 필터링(Pre-filtering) 기법을 통해 필터링 효율을 증가시킨다. 제안하는 알고리즘의 우수성을 보이기 위해 기존에 제안된 MFTAC 기법과의 시뮬레이션을 통해 비교 평가하였다. 그 결과 기존 기법에 비해 다수의 긍정 오류의 발생을 감소시키고, 네트워크 수명이 연장됨을 보였다.

효율적인 병렬 고차원 색인구조 설계 (Design of an Efficient Parallel High-Dimensional Index Structure)

  • 박춘서;송석일;신재룡;유재수
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제29권1호
    • /
    • pp.58-71
    • /
    • 2002
  • 일반적으로 이미지나 공간 데이터베이스와 같은 다차원의 특징을 갖는 데이터들은 대용량의 저장공간을 요구한다. 이 대량의 데이터를 하나의 워크스테이션에 저장하고 검색을 수행하는 데는 한계가 있다. 최근 활발히 연구되고 있는 병렬 컴퓨팅 환경에서 이들에 대한 저장 및 검색을 수행한다면 훨씬 더 높은 성능 향상을 가져 올 수 있을 것이다. 이 논문에서는 기존에 존재하는 병렬 컴퓨팅 환경의 장점을 최대한 이용하는 병렬 고차원 색인구조를 제안한다. 제안하는 색인구조는 nP(프로세서)-nD(디스크)와 lP-nD의 결합 형태인 nP-n$\times$mD의 구조라고 볼 수 있다. 노드 구조는 팬-아웃을 증가시키고 트리의 높이를 줄일 수 있도록 설계되었다. 또한 I/O의 별렬성을 최대화하는 범위 탐색 알고리즘을 제안하고 이것을 K-최근접 탐색 알고리즘에 적용하여 탐색 성능향상을 꾀한다. 마지막으로, 다양한 환경에서의 실험을 통해 제안하는 색인구조의 탐색 성능을 테스트하고 기존에 제안된 병렬 다차원 색인구조와의 비교를 통해 제안한 방법의 우수함을 보인다.

Factors Clustering Approach to Parametric Cost Estimates And OLAP Driver

  • JaeHo, Cho;BoSik, Son;JaeYoul, Chun
    • 국제학술발표논문집
    • /
    • The 3th International Conference on Construction Engineering and Project Management
    • /
    • pp.707-716
    • /
    • 2009
  • The role of cost modeller is to facilitate the design process by systematic application of cost factors so as to maintain a sensible and economic relationship between cost, quantity, utility and appearance which thus helps in achieving the client's requirements within an agreed budget. There are a number of research on cost estimates in the early design stage based on the improvement of accuracy or impact factors. It is common knowledge that cost estimates are undertaken progressively throughout the design stage and make use of the information that is available at each phase, through the related research up to now. In addition, Cost estimates in the early design stage shall analyze the information under the various kinds of precondition before reaching the more developed design because a design can be modified and changed in all process depending on clients' requirements. Parametric cost estimating models have been adopted to support decision making in a changeable environment, in the early design stage. These models are using a similar instance or a pattern of historical case to be constituted in project information, geographic design features, relevant data to quantity or cost, etc. OLAP technique analyzes a subject data by multi-dimensional points of view; it supports query, analysis, comparison of required information by diverse queries. OLAP's data structure matches well with multiview-analysis framework. Accordingly, this study implements multi-dimensional information system for case based quantity data related to design information that is utilizing OLAP's technology, and then analyzes impact factors of quantity by the design criteria or parameter of the same meaning. On the basis of given factors examined above, this study will generate the rules on quantity measure and produce resemblance class using clustering of data mining. These sorts of knowledge-base consist of a set of classified data as group patterns, of which will be appropriate stand on the parametric cost estimating method.

  • PDF

다차원 색인구조 M-트리에서 노드 색인 공간의 중첩을 최소화하기 위한 효율적인 분할 알고리즘 (An Efficient Split Algorithm to Minimize the Overlap between Node Index Spaces in a Multi-dimensional Indexing Scheme M-tree)

  • 임상혁;구경이;김기창;김유성
    • 정보처리학회논문지D
    • /
    • 제12D권2호
    • /
    • pp.233-246
    • /
    • 2005
  • 멀티미디어 데이터를 위한 내용기반 검색 서비스의 속도를 증진하기 위해 다차원 색인 기법에 대한 연구가 활발하게 진행되고 있다. 다차원 색인 기법의 하나인 M-트리는 노드의 중심점과 객체간의 상대적 거리를 이용하여 색인을 구성하고, 검색 공간에 포함되는 객체를 액세스하는 기법으로서 노드들은 페이지 단위로 구성되며 하위 엔트리들을 포함할 수 있는 반경, 즉 유사도 거리에 의해 노드의 영역이 표현되어진다. 그러나 이와 같은 노드의 영역 표현에 있어서 노드 색인 공간의 중첩으로 인해 질의 시 검색해야 하는 노드수가 증가하고 이는 거리계산과 디스크 입출력의 횟수를 증가시킨다. 본 논문에서는 M-트리에서 문제가 되고 있는 노드 색인 공간 중첩을 최소화하는 노드 분할 정책을 제안한다. M-트리의 기존 분할 정책들과는 다르게 노드의 가상 중심점을 계산하여 라우팅 객체로 이용하여 노드 색인 공간의 중첩을 최소화하고 노드 안의 엔트리 재분배를 통해 노드의 색인 공간의 크기를 작게 유지하며 밀도 높은 노드를 구성하도록 한다. 실험으로부터 제안된 노드 분한 알고리즘이 라우팅 노드의 색인 공간의 반경을 작게 유지하며 결과적으로는 사용자 질의에 대해 개선된 응답 시간을 제공하는 것으로 판명되었다.

H*-tree/H*-cubing: 데이터 스트림의 OLAP를 위한 향상된 데이터 큐브 구조 및 큐빙 기법 (H*-tree/H*-cubing-cubing: Improved Data Cube Structure and Cubing Method for OLAP on Data Stream)

  • 심상예;이연;이동욱;김경배;배해영
    • 정보처리학회논문지D
    • /
    • 제16D권4호
    • /
    • pp.475-486
    • /
    • 2009
  • 데이터 큐브는 다차원 데이터 분석 및 멀티레벨 데이터 분석에 많이 사용되고 있는 중요한 데이터 구조이다. 최근 데이터 스트림의 온라인 분석에 대한 수요가 증가하면서 스트림 큐브, Flow 큐브, S-큐브 등의 다양한 데이터 큐브 구조와 기법이 제안되었다. 그러나 기존 기법들은 데이터 큐브 생성 시 고비용이 요구되는 단점을 가지고 있어 효과적인 데이터 구조, 질의 방법 및 알고리즘에 대한 연구가 필요하다. 스트림 큐브 기법에서는 H-큐빙 기법을 사용하여 큐보이드를 선택하고, 계산된 셀들을 인기 패스에 있는 큐보이드들로 구성된 H-트리에 저장한다. 그러나 스트림 큐브 기법에서는 H-트리에 데이터를 비순차적으로 삽입하기 때문에 H-큐빙 기법을 사용하여 질의를 처리할 때 제한성을 갖고 있다. 본 논문에서는 데이터의 트리 구조의 각 층에 대한 인덱스를 구축하여 스트림 데이터에 대한 빠른 삽입 연산을 지원하는 $H^*$-tree 구조와, popular-path에 존재하지 않는 큐보이드를 빨리 계산하여 스트림 데이터에 대한 빠른 애드 혹 질의 응답을 지원하는 $H^*$-cubing 기법을 제안한다. 성능평가를 통하여 제안한 $H^*$-tree 기법은 보다 적은 큐브 구축 시간을 지원하며, $H^*$-cubing 기법이 stream cube 기법보다 빠른 애드 혹질의 응답 시간을 소요하며, 보다 적은메모리를 사용함을 보여준다.

타임스탬프를 갖는 이벤트 시퀀스의 인덱스 기반 검색 (Index-based Searching on Timestamped Event Sequences)

  • 박상현;원정임;윤지희;김상욱
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권5호
    • /
    • pp.468-478
    • /
    • 2004
  • 시퀀스 데이타베이스로부터 원하는 질의 패턴과 일치하는 모든 서브 시퀀스를 검색하는 것은 데이타 마이닝이나 바이오 인포매틱스 등 응용 분야에서 필수적인 연산이다. 예를 들어, 특정한 이벤트가 발생할 때마다 이벤트의 유형과 발생 시각을 기록하는 네트웍 이벤트 관리 시스템에서 네트웍 이벤트들의 연관 관계를 발견하기 위한 전형적인 질의 형태는 다음과 같다: 'CiscoDCDLinkUp이 발생한 후 MLMStatusUP과 TCPConnectionClose가 각각 20초 이내와 40초 이내에 순차적으로 발생하는 모든 경우를 검색하라.' 본 논문에서는 대규모 이벤트 시퀀스 데이타베이스를 대상으로 하여 위와 같은 질의를 효율적으로 처리할 수 있는 인덱싱 방법을 제안한다. 기존의 방법들이 비효율적인 순차적 검색이나 페이지화 하기 어려운 인덱스 구조에 의존하는데 반하여, 제안하는 방법은 저장 및 검색 효율이 입증된 다차원 공간 인덱스를 사용하여 질의를 만족하는 모든 서브 시퀀스를 착오 기각(false dismissal) 없이 신속하게 검색한다. 다차원 공간 인덱스의 입력은 이벤트 시퀀스 데이타베이스 상의 슬라이딩 윈도우 내에서 각 이벤트 유형이 최초로 발생한 시각을 기록한 n 차원 벡터가 된다. 여기서 n은 발생 가능한 이벤트 유형의 수이다. n이 큰 경우는 차원 저주(dimensionality curse) 문제가 발생할 수 있으므로 차원 선택이나 이벤트유형 그루핑을 이용하여 차원을 축소한다. 실험 결과에 의하면 제안된 방법은 순차적 검색이나 ISO-Depth 인덱스 기법에 비하여 몇 배에서 몇 십 배의 성능 향상 효과를 갖는 것으로 나타났다. 것으로 나타났다.예측치가 비교적 유사한 것으로 나타났으며, 평균 절도오차도 10% 수준이었다.HNP 처리구에서 가장 많았던 것으로 나타났다. 지상부 식생에 대한 총 양분함량은(N+P+K+Ca+Mg) 리기다소 나무가 703kg/ha 그리고 낙엽송이 869kg/ha였다.여 주었다.능성을 시도하였고, 그 결과는 다음과 같다. 1. Cholesterol을 제거한 cheese의 제조에서 최적조건은 균질압력 1200psi(70kg$cm^2$), 균질온도 $70^{\circ}$, $\beta$-cyclodextrin 첨가량 2%였으며, 이때 우유의 cholesterol의 제거율이 86.05%로 가장 높게 나타났다. 2. Cholesterol을 제거한 cheese들의 수율은 모두 12.53%(control 10.54%) 이상으로 균질 처리가 cheese의 수율을 18.88%이상 향상시키는 것으로 나타났다. 3. 유지방 함량 23.80%인 control 치즈의 cholesterol 함량은 81.47mg/100g이었고, 균질압력 1200psi(91kg/$cm^2$)에 $\beta$-cyclodextrin 2%를 첨가한 cheese에서는 cholesterol 함량이 20.15mg/100g으로 cholesterol 제거율이 75.27%로 가장 높게 나타났다. 4. Meltability는 균질압력 1200psi(91kg/$cm^2$)에 $\beta$-cyclodextrin 1과 2%로 처리한 치즈에서 2.25cm(control 3.34cm)로 가장 낮았으며,

센서 네트워크에서 동적 영역 분할을 이용한 다차원 범위 질의 인덱스 (A Multi-dimensional Range Query Index using Dynamic Zone Split in Sensor Networks)

  • 강홍구;김정준;홍동숙;한기준
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (D)
    • /
    • pp.52-54
    • /
    • 2006
  • 최근 데이타 중심 저장 방식의 센서 네트워크에서 다차원 범위 질의를 위한 인덱스들이 제시되고 있다. 기존에 제시된 다차원 범위 질의 인덱스는 일반적으로 다차원 속성 도메인과 센서 노드의 공간 도메인을 직접 매핑하여 데이타를 관리하는 구조로 되어있다. 그러나, 이러한 구조는 센서 노드의 공간 도메인을 정적으로 분할하기 때문에 센서 노드를 포함하지 않는 영역이 생성되어 데이타 저장 및 질의 처리에서 불필요한 통신이 발생하는 문제가 있다. 본 논문은 이러한 문제를 해결하기 위해 센서 노드의 공간 도메인이 센서 노드를 포함하도록 센서 네트워크 영역을 동적으로 분할하는 다차원 범위 질의 인덱스를 제안한다. 제안하는 인덱스는 센서 노드의 위치에 따라 센서 네트워크 영역을 동적으로 분할하여 데이타 저장 및 질의 처리시 목적 영역으로의 라우팅 경로를 최적화한다. 그리고, 분할된 영역은 모두 센서 노드를 포함함으로 센서 노드에서 발행하는 저장 부하를 분산시켜 전체 네트워크에서 발생하는 전체 통신비용을 줄인다. 실험 결과 제안한 인덱스는 DIM보다 전체 센서 네트워크와 hotspot의 통신비용에서 각각 최대 35%, 60%의 성능 향상을 보였다.

  • PDF