• 제목/요약/키워드: Bitmap index

검색결과 45건 처리시간 0.025초

관계형 DBMS 기반의 XML 데이터를 위한 k-비트맵 클러스터링 기법 (k-Bitmap Clustering Method for XML Data based on Relational DBMS)

  • 이범석;황병연
    • 정보처리학회논문지D
    • /
    • 제16D권6호
    • /
    • pp.845-850
    • /
    • 2009
  • 웹2.0 환경의 발달과 함께 XML 데이터의 사용도 증가하였는데, 특히 블로그나 뉴스 피드의 정보 전달을 위한 RSS나 ATOM 포맷의 기반 기술로 사용되면서 그 장점과 가치를 인정받고 있다. XML 데이터의 인덱싱을 위한 여러 기법들 중 빠른 검색성능을 보인 비트맵 클러스터링은 관계형 DBMS를 기반으로 메모리에 인덱스를 유지하는 기법이다. 기존의 비트맵 클러스터링 기법을 이용하여 XML 데이터를 인덱싱할 때 너무 많은 클러스터가 생성되어 오히려 검색 효율과 결과의 품질이 저하되는 문제점이 있었다. 본 논문에서는 이 문제점을 해결하기 위해 사용자가 제시하는 k개의 클러스터를 생성하는 k-비트맵 클러스터링 기법과 대표비트를 생성할 때 배제된 단어를 검색하기 위한 역인덱스를 함께 유지하는 방법을 제안한다. 성능평가를 수행한 결과 제안하는 기법은 생성되는 클러스터의 수를 임의로 설정할 수 있을 뿐만 아니라 단일 단어 검색에서 높은 재현율을 보였고, 2개의 인덱스를 함께 유지할 때에는 질의에 대해 모든 관련된 문서의 반환을 보장하였다.

xPlaneb: XML문서 검색을 위한 3차원 비트맵 인덱스 (xPlaneb: 3-Dimensional Bitmap Index for Index Document Retrieval)

  • 이재민;황병연
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권3호
    • /
    • pp.331-339
    • /
    • 2004
  • XML은 다양한 장점을 통해 데이타를 표현하고 교환하기 위한 새로운 표준이 되었으며 현대의 많은 연구와 새로운 기술들에서 핵심적인 요소가 되고 있다. 그러나 XML의 장점인 자기 서술적인 특징은 구조적으로 상이한 XML 문서의 확산을 초래하게 되었고 이에 따라 XML의 효과적인 검색에 대한 연구의 필요성이 대두되게 되었다. 본 논문에서는 빠른 검색 속도를 통해 뛰어난 성능을 입증한 비트맵 인덱싱인 BitCube의 문제점을 분석한다. 또한 BitCube의 문제점을 해결하기 위해 연결 리스트를 이용한 새로운 3차원 비트맵 인덱싱인 xPlaneb(XML Plane Web)를 설계 및 구현한다. 제안된 기법은 BitCube의 3차원 배열 인덱스를 효율적인 노드로 재구성하고 BitCube의 연산을 대체하는 새로운 연산들을 활용하여 효과적으로 정보를 추출한다. 성능 평가를 통해 제안된 기법이 클러스터내의 문서의 양이 증가함에 따라 BitCube보다 메모리 사용량과 연산 수행 속도면에서 더 우수하다는 것을 보였다.

클라우드에서 SPARQL 질의 처리를 위한 조인 성능 향상 (Improving Join Performance for SPARQL Query Processing in the Clouds)

  • 최규진;손윤희;이규철
    • 정보과학회 논문지
    • /
    • 제43권6호
    • /
    • pp.700-709
    • /
    • 2016
  • 최근 LOD 데이터의 급격한 증가로 인해 기존의 싱글 머신 시스템을 통한 대량의 LOD 처리는 성능의 한계를 가진다. 이러한 문제를 해결하기 위해 최근 연구들은 분산, 병렬 프레임워크인 맵리듀스를 활용한다. 하지만 맵리듀스를 통해 SPARQL 질의를 처리하기 위해서는 다수의 맵리듀스 잡이 필요하고, 이로 인해 추가적인 비용이 발생하게 된다. 또한, 조인을 위해 불필요한 데이터를 처리해야 하는 문제가 있다. 본 논문에서는 이를 해결하기 위해 SPARQL 질의 처리 시 발생하는 맵리듀스 잡의 개수를 줄이고 Bitmap을 기반으로 조인 인덱스를 작성 후 이용하여 불필요한 데이터 처리를 최소화 하는 방법을 제안한다.

스트림 데이터 처리를 위한 비트맵 인덱스 기반 복합 이벤트 검출 기법에 관한 연구 (A Study on The Complex Event Detection Methods Based on Bitmap Index for Stream data Processing)

  • 박용민;오영환
    • 대한전자공학회논문지TC
    • /
    • 제48권4호
    • /
    • pp.61-68
    • /
    • 2011
  • 이벤트 기반 서비스 기술은 실시간으로 발생하는 이벤트를 감지하고 분석하여 이에 대한 반응으로 서비스가 연동되는 기술로, 실시간 기업 환경 구축이나 유비쿼터스 서비스 환경 구축을 위한 핵심 기반 기술이다. 실시간 기업 환경에서 요구되고 있는 기업 내 업무 프로세스에서 발생하는 다양한 정보를 실시간 모니터링, 분석하여 변화에 대한 신속한 대응을 제공하거나, 유비쿼터스 서비스 환경에서 상황에 맞게 적시에 맞춤형서비스를 제공하기 위해서는 이벤트 기반의 서비스 기술이 요구된다. 최근 이벤트 중심의 비즈니스 프로세스로 복합 이벤트 처리(CEP : Complex Event Processing) 방식이 사용된다. 복합 이벤트 처리 방식은 여러 이벤트 소스로부터 발생한 이벤트를 대상으로 이벤트들의 영향을 분석하여 대응되는 액션을 처리하는 방식으로 가장 핵심이 되는 기술은 어떻게 사용자에게 의미있는 이벤트(복합 이벤트)를 검출하는가이다. 기존의 연구에서는 복합 이벤트를 구성하는 모든 이벤트가 발생하지 않아도 부분적으로 발생하는 이벤트에 대해 계속적으로 연산을 수행하여 많은 연산과 많은 메모리를 소비하는 문제점이 있다. 이러한 문제를 해결하기 위해 본 논문에서는 대용량의 스트림 데이터에서 발생한 모든 이벤트를 처리하지 않고 응용 계층에서 등록한 복합 이벤트를 구성하는 모든 이벤트가 발생하면, 복합 이벤트를 처리하는 이벤트 검출 기법을 제안한다. 제안 하는 기법은 먼저 비트맵 인덱스를 이용하여 이벤트의 발생 유/무를 관리한다. 또한 복합 이벤트 질이의 마지막 이벤트를 트리거 이벤트로 정의하며, 이 트리거 이벤트가 발생하는 시점을 통해 이벤트의 발생을 표시한 비트맵 인덱스에 복합 이벤트를 구성하는 모든 이벤트의 발생 유/무를 검사하여 모든 이벤트가 발생하였다면, 연산을 수행할 수 있도록 제안한다. 제안하는 기법은 실험을 통해 복합 이벤트를 구성하는 이벤트의 검사를 매번 수행하지 않고 모든 이벤트가 발생하였을 때에만 연산을 수행함으로 불필요한 연산을 방지하고, 처리하는 이벤트의 수를 감소시켜 연산의 효율성을 증가 시켰다.

GB-색인: 고차원 데이타의 복합 유사 질의 및 적합성 피드백을 위한 색인 기법 (GB-Index: An Indexing Method for High Dimensional Complex Similarity Queries with Relevance Feedback)

  • 차광호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권4호
    • /
    • pp.362-371
    • /
    • 2005
  • 멀티미디어 데이타베이스와 같은 고차원 응용에서 유사 색인과 검색은 어려운 문제이며, 특히, 다수의 특성을 함께 색인하는 경우에는 더욱 어렵다. 본 논문에서는 고차원 이미지 데이타베이스에서 복합 유사 질의 및 적합성 피드백을 효율적으로 처리하기 위한 새로운 색인 기법인 GB-색인을 제시한다. GB-색인은 각 특성 차원을 독립적으로 처리함으로써 다수의 특성과 다수의 질의 객체를 유연하게 제어한다. 아울러, 비트맵 색인을 통해 데이타베이스에 있는 모든 객체를 비트맵의 집합으로 표현하여 질의를 효율적으로 처리한다. GB-색인의 기술적인 주된 공헌은 다음과 같다: (1) 고차원 데이타를 위한 효율적인 색인, (2) 효율적인 복합 유사 질의 처리, (3) 적합성 피드백을 위한 분리형 질의의 효과적 처리. 실험 결과에 따르면 GB-색인은 순차 탐색 및 VA-파일에 비해 큰 성능 향상을 보였다.

관계형 XML 가지 패턴 질의를 위한 비트맵 인덱스와 질의 처리 기법 (Bitmap Indexes and Query Processing Strategies for Relational XML Twig Queries)

  • 이경하;문봉기;이규철
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제37권3호
    • /
    • pp.146-164
    • /
    • 2010
  • XML 데이터 량의 증가에 따라 DBMS를 이용한 XML 데이터의 저장 관리 기법들이 고안되었다. 하지만, 현재의 가지 패턴 질의 처리 알고리즘들은 XML 데이터를 태그 또는 임의 단위로 분할되고, 각 항목들이 특정 순서로 정렬된 역 리스트들을 입력으로 한다. 이러한 저장 기법의 불일치는 관계형 테이블에 나뉘어 저장되는 XML 데이터의 질의 처리에 이 알고리즘들의 적용을 어렵게 한다. 이 논문에서는 관계형 테이블에 저장된 XML 데이터에 대한 홀리스틱 가지 조인을 지원하기 위한 비트맵 인덱스와 이를 이용한 질의 처리 기법을 제안한다. 비트맵 인덱스는 많은 데이터베이스 시스템에서 지원하므로, 제안하는 인덱스와 가지 질의 처리 기법은 관계형 질의 처리 프레임워크에서 보다 이식이 용이하다. 제안하는 인덱스 기법은 압축을 통해 인덱스 크기를 줄이면서도 질의 처리시 압축해제가 불필요해 시간과 공간 효율적이다. 또한, 이 논문에서는 비트맵 인덱스만을 이용해 XML 노드들 간의 관계성을 식별함으로써, 가지 패턴 질의 처리를 레코드에 저장된 XML 데이터의 접근 없이 수행할 수 있는 혼합 인덱스를 제시한다.

청크 기반 MOLAP 큐브를 위한 비트맵 인덱스 (A Bitmap Index for Chunk-Based MOLAP Cubes)

  • 임윤선;김명
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제30권3호
    • /
    • pp.225-236
    • /
    • 2003
  • 다차원 온라인 분석처리 (MOLAP, Multidimensional On-line Analytical Processing) 시스템은 데이타를 큐브라고 불리는 다차원 배열에 저장하고 배열 인덱스를 이용하여 데이타를 엑세스한다. 큐브를 디스크에 저장할 때 각 변의 길이가 같은 작은 청크들로 조각내어 저장하게 되면 데이타 클러스터링 효과를 통해 모든 차원에 공평한 질의 처리 성능이 보장되며, 이러한 큐브 저장 방법을 ‘청크기반 MOLAP 큐브’ 저장 방법이라고 부른다. 공간 효율성을 높이기 위해 밀도가 낮은 청크들은 또한 압축되어 저장되는데 이 과정에서 데이타의 상대 위치 정보가 상실되며 원하는 청크들을 신속하게 엑세스하기 위해 인덱스가 필요하게 된다. 본 연구에서는 비트맵을 사용하여 청크기반 MOLAP 큐브를 인덱싱하는 방법을 제시한다. 인덱스는 큐브가 생성될 때 동시에 생성될 수 있으며, 인덱스 수준에서 청크들의 상대 위치 정보를 보존하여 청크들을 상수 시간에 검색할 수 있도록 하였고, 인덱스 블록마다 가능한 많은 청크들의 위치 정보가 포함되도록 하여 범위 질의를 비롯한 OLAP 주요 연산 처리 시에 인덱스 엑세스 회수를 크게 감소시켰다. 인덱스의 시간 공간적 효율성은 다차원 인덱싱 기법인 UB-트리, 그리드 파일과의 비교를 통해 검증하였다.

XML 문서의 효율적인 저장을 위한 경로 통합 기법 (A Path Combining Strategy for Efficient Storing of XML Documents)

  • 이범석;황병연
    • 한국멀티미디어학회논문지
    • /
    • 제9권10호
    • /
    • pp.1257-1265
    • /
    • 2006
  • XML의 사용이 증가함에 따라서 XML과 관련된 다양한 분야에 대한 연구의 필요성도 증대되고 있는데, 특히 XML로 표현된 문서를 효과적으로 저장, 관리, 검색하기 위한 XML 문서 관리 시스템에 대한 많은 연구들이 활발하게 진행되어 왔다. 이러한 시스템들 중 BitCube는 검색에서 빠른 속도를 통해 뛰어난 성능을 입증한 3차원 비트맵 인덱스 시스템이다. 그러나 문서, 경로, 단어의 세 축으로 이루어진 3차원 메모리 구조를 사용하기 때문에 클러스터 내의 문서가 증가함에 따라 인덱스의 크기가 급격하게 증가하고, 이로 인해 연산 수행속도가 저하되는 문제점을 가지고 있다. 본 논문에서는 BitCube시스템의 문제점을 개선하기 위해 XML 문서의 경로 통합 기법을 제안한다. 이 기법은 XML문서를 시스템의 하부구조에 사용되는 관계형 DBMS에 저장할 때, 유사한 경로들을 통합하여 저장하고, 기존의 3차원 비트맵 인덱스에서 단어로 구성했던 한 축을 value 단위로 구성하여 인덱스 크기를 줄인다 제안한 방법은 3차원 비트맵 인덱스를 구성할 때 인덱스의 크기를 줄이고, 이로 인하여 검객 속도 향상과 디스크 저장 공간의 효율을 가진다.

  • PDF

무선환경에서 효과적인 공간질의 처리를 위한 계층적 비트맵 기반 공간 색인 (A Hierarchical Bitmap-based Spatial Index for Efficient Spatial Query Processing on Air)

  • 송두희;박광진
    • 인터넷정보학회논문지
    • /
    • 제12권6호
    • /
    • pp.43-51
    • /
    • 2011
  • 최근 무선 이동 컴퓨팅 기술과 위치기반 서비스 응용기술 등의 발전으로 과거보다 신속한 질의 처리를 지원할 수 있게 되었다. 그러나 여전히 하드웨어 및 소프트웨어의 기술적 한계가 존재한다. 질의 처리에 있어 가장 중요한 부분은 정확성과 신속성이다. 정확성을 높이기 위해서는 데이터에 상세한 정보를 저장해야 한다. 이 경우 데이터의 정보량이 증가하여 신속성이 떨어지게 된다. 반면에, 신속성을 높이기 위해서는 방송 주기를 줄여야만 얻고자 하는 데이터를 신속하게 얻게 된다. 이 경우 색인 정보의 부족으로 클라이언트의 청취 시간이 증가하여 불필요한 에너지 소모가 발생할 수 있다. 이와 같이, 정확성과 신속성 사이에는 트레이드 오프(trade-off)가 발생한다. 본 논문은 위와 같은 문제점을 극복하기 위해 계층적 비트맵 기반 공간 색인(Hierarchical Bitmap-based Spatial Index: HBI)을 제안한다. 계층적 비트맵 기반 공간 색인은 힐버트 커브(Hilbert Curve) 맵(map) 내에서 객체를 비트(0, 1)로 표기한다. 계층적 비트맵 기반 공간 색인은 비트 정보와 트리 구조를 이용하여 색인크기를 줄이는 방법으로 방송 주기를 줄임으로써 청취 시간과 질의 처리시간을 줄일 수 있다. 또한 계층적 비트맵 기반 공간 색인은 객체의 위치를 모두 파악할 수 있기 때문에 선택적인 청취가 가능하다. 성능평가를 통하여 제안 기법의 우수함을 증명한다.

시퀀스 데이터웨어하우스에서 이산푸리에변환과 비트맵을 이용한 시퀀스 스트림 색인 기법 (Sequence Stream Indexing Method using DFT and Bitmap in Sequence Data Warehouse)

  • 손동원;홍동권
    • 한국지능시스템학회논문지
    • /
    • 제22권2호
    • /
    • pp.181-186
    • /
    • 2012
  • 최근 시간적으로 변화된 데이터에서 유사한 값의 움직임 즉 유사 패턴을 검색하는 연구가 활발히 진행되고 있다. 시간적으로 변화된 데이터는 시계열 데이터 (time series data) 또는 시퀀스 데이터(sequence data)로 분류되며 기존의 스칼라 값을 가지는 데이터와는 매우 다른 의미를 가진다. 본 논문에서 유사 시퀀스 검색은 시퀀스 데이터웨어하우스에서 값의 변화가 유사한 형태를 가지는 시퀀스들을 검색한다. 유사 시퀀스를 검색하기 위하여 본 논문에서는 먼저 시퀀스 원시 데이터에 이 산 푸리에 변환(DFT, Discrete Fourier Transform)을 적용하여 데이터를 변환한다. 변환된 데이터는 그 특성으로 인하여 유사 패턴의 검색에 적합하며 또 유사도를 비교할 때 일부분만 사용되므로 색인에 사용되는 속성의 개수를 줄이는 장점이 있다. 또 데이터웨어하우스 환경이므로 더 좋은 성능을 보일 수 있는 비트맵 색인 기법을 적용하였다. 시퀀스 데이터의 효율적인 검색을 위하여 영역 지정 검색 방법을 제안하고 효율적인 실행을 위한 비트맵을 활용한 다양한 조합의 색인을 생성하고, 질의 최적화기의 연산 비용을 비교하면서 효율적인 검색 연산을 위한 최저 비용의 색인을 선택하는 기법을 연구하였다.