• 제목/요약/키워드: Main-memory index structure

검색결과 35건 처리시간 0.028초

주기억 데이타베이스 인덱싱을 위한 CCMR-트리 (Making Cache-Conscious CCMR-trees for Main Memory Indexing)

  • 윤석우;김경창
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제30권6호
    • /
    • pp.651-665
    • /
    • 2003
  • 매년 CPU 속도가 60% 정도 증가되고, 메모리 속도가 10% 증가되는 현실에서, 캐쉬 미스(Cache miss)를 얼마나 줄이느냐 하는 문제가 현재의 주기억 데이타베이스 환경에서 가장 중요한 문제로 대두되었다. 최근 연구들에서는 R-트리의 변형 모델인 CR-트리와 같은 인덱스 구조들이 제시되었으나, 이는 손실 발생 가능한 압축 기법을 사용함으로써 검색 성능이 더 나빠질 수 있다는 문제점이 있다. 본 논문에서는 MR-트리라고 이름 붙여진 캐쉬 동작에 민감한 R-트리의 새로운 변형 모델을 제시한다. MR-트리는 리프가 아닌 중간 노드 엔트리들을 100%에 가깝게 사용하여 결과적으로 트리의 높이와 중간 노드 엔트리의 MBR을 줄여주는 효과를 준다. 이를 위해 노드 분할 발생시 입력 경로 상에 하나 이상의 빈 엔트리를 지니는 중간 노드가 존재할 경우에만, 노드 분할을 상위로 전송하고, 존재하지 않을 경우 새롭게 생성된 노드는 분할된 노드의 자식 노드가 된다. MR-트리는 이와 같은 동작으로 인해 발생 가능한 트리 불균형 문제를 높이 균형화(HeightBalance) 알고리즘을 수행함으로써 해결한다. 한편, 본 논문에서는 MR-트리를 캐쉬 동작에 더욱 민감한 트리형태로 만들기 위해 CCMR-트리를 제안한다. 본 논문의 실험과 분석 결과, 2차원의 MR-트리는 약간의 개선된 수정 속도와 비슷한 메모리 사용량을 기록하며, 기존의 R-트리에 비해 2.4배 이상의 빠른 검색 속도를 나타냈다.

An Efficient Indexing Structure for Multidimensional Categorical Range Aggregation Query

  • Yang, Jian;Zhao, Chongchong;Li, Chao;Xing, Chunxiao
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권2호
    • /
    • pp.597-618
    • /
    • 2019
  • Categorical range aggregation, which is conceptually equivalent to running a range aggregation query separately on multiple datasets, returns the query result on each dataset. The challenge is when the number of dataset is as large as hundreds or thousands, it takes a lot of computation time and I/O. In previous work, only a single dimension of the range restriction has been solved, and in practice, more applications are being used to calculate multiple range restriction statistics. We proposed MCRI-Tree, an index structure designed to solve multi-dimensional categorical range aggregation queries, which can utilize main memory to maximize the efficiency of CRA queries. Specifically, the MCRI-Tree answers any query in $O(nk^{n-1})$ I/Os (where n is the number of dimensions, and k denotes the maximum number of pages covered in one dimension among all the n dimensions during a query). The practical efficiency of our technique is demonstrated with extensive experiments.

XML을 위한 효율적인 저장구조 및 인덱싱 기법설계 (Design of Efficient Storage Structure and Indexing Mechanism for XML Documents)

  • 신판섭
    • 한국컴퓨터산업학회논문지
    • /
    • 제5권1호
    • /
    • pp.87-100
    • /
    • 2004
  • 최근에 인터넷의 급속한 발전과 더불어 대량의 정보를 효과적으로 표현 및 교환할 수 있는 새로운 데이터 표준으로 XML (extensible Markup Language)이 제안되었으며, XML 문서에 대한 저장과 인덱싱에 대한 연구가 활발하게 진행되고 있다. 본 논문에서는 실시간 XML 문서 처리에 효율적인 주기억장치 기반의 XML 전용 저장 시스템을 설계하고, 사용자 질의에 포함된 엘리먼트 타입 정보를 이용하여 XML 문서트리에 대한 순회를 최소화시킬 수 있는 구조적 검색 기법을 설계한다 또한, 엘리먼트의 삭제 및 삽입 등 동적인 변경에 빠르고 유연하게 대처할 수 있는 인덱스 구조와, 링크 정보를 가지고 있는 XML 문서의 질의 처리를 위해 XLink 표준을 준수하여 테이블 형식의 링크 정보 인덱스 구조를 설계한다.

  • PDF

다중 키워드 검색에 적합한 동등조인 연산 결과의 동적 관리 기법 (Dynamic Management of Equi-Join Results for Multi-Keyword Searches)

  • 임성채
    • 정보처리학회논문지A
    • /
    • 제17A권5호
    • /
    • pp.229-236
    • /
    • 2010
  • 인터넷이나 기업체 안에서 생성되는 문서의 수가 빠르게 증가하고 있고 이에 따라 효율적인 문서 검색 서비스의 중요성도 함께 커지고 있다. 이런 검색 환경에서 사용자의 검색 질의를 미리 예측할 수 없기 때문에 문서 내의 키워드를 자동 추출하여 색인어로 사용하는 전문검색(full-text search)이 일반적으로 적용된다. 전문검색을 위해 생성된 색인 파일의 크기는 문서 수 증가로 대용량화 되고, 이런 대용량 색인에 대한 다중 키워드 질의 처리에는 과도한 디스크 비용이 초래될 수 있다. 논문에서는 이런 비용 문제를 해결하기 위해 대용량 문서의 전문검색 시스템에서 다중 키워드 질의를 효율적으로 처리할 수 있게 하는 색인 파일 구조 및 관리 기법을 제안한다. 제안된 방법은 다중 키워드 검색에 적합한 것으로 알려진 역파일을 기본 색인 구조로 하며, 질의 처리의 조인 연산과 랭킹 연산에 적합하도록 색인 파일을 계층화한다. 이를 바탕으로 다중 키워드 질의를 구성할 확률이 높은 키워드 쌍에 대한 조인 연산 결과를 주기억장치 공간에 동적으로 저장함으로써 디스크 사용량을 크게 줄일 수 있다. 논문에서는 제안된 기법의 우수성을 보이기 위해 디스크 비용 모델에 기반한 성능 비교도 수행한다.

주기억장치 데이터베이스를 위한 포인터 기반 모델의 구축 (A Construction of Pointer-based Model for Main Memory Database Systems)

  • 배명남;최완
    • 한국통신학회논문지
    • /
    • 제28권4B호
    • /
    • pp.323-338
    • /
    • 2003
  • 주기억장치 데이터베이스 시스템(MMDBMS)은 디스크가 아닌 주기억장치를 주요 저장 매체로 사용하므로, 고성능이 요구되는 데이터베이스 응용을 효과적으로 지원한다. 최근, 인터넷을 중심으로 고속 데이터 처리와 함께, 보다 향상된 데이터 표현력과 보다 엄격한 데이터 일관성 보장에 대한 요구가 증대되고 있다. MMDBMS에서는 모든 데이터가 주기억장치에 상주하기 때문에, 성능에 대한 오버헤드 없이 그러한 요구를 만족시킬 수 있는 방법을 제공할 수 있다. 이들은 구체적으로 데이터를 처리하기 위한 연산과 참조 무결성과 같은 제약들로 이루어진다. 이들로 구성된 데이터 모델은 MMDBMS에서 데이터베이스의 표현력을 측정하는 중요한 컴포넌트이다. 본 논문에서는 통신 서비스의 제공에 필요한 요구들과 이를 지원하는 데이터 모델에 대해 설명한다. 다루는 주요 이슈들은 1) 포인터를 사용한 테이블간의 관계성 정의, 2) 관계성에 의한 데이터들의 항해, 3) 포인터 연산에 대한 참조 무결성 지원, 4) 죠인시 균일한 처리 시간 보장, 5) 객체지향 특성 지원, 6) 다중 테이블간 인덱스의 공유 등이다. 본 논문에서는 복잡한 응용 환경에서 이러한 이슈들을 지원할 수 있도록 설계한 데이터 모델에 대해 설명한다.

주기억장치 상주형 다차원 색인 구조 설계 (Design of a Multi-dimensional Index Structure based on Main Memory)

  • 심정민;송석일;유재수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (2)
    • /
    • pp.1-3
    • /
    • 2003
  • 최근 중앙처리장치와 주기억장치간의 병목 현상에 의한 성능 저하를 극복하기 위해 캐시를 고려한 색인 구조들이 제안되었다. 이런 색인 구조들의 궁극적인 목표는 엔트리 크기를 줄여 팬-아웃(fan-out)을 증가시키고, 캐시 접근 실패를 최소화하여 시스템의 성능을 높이는 것이다. 엔트리의 크기를 줄이는 기법에 따라 기존의 색인 구조들을 두 가지로 구분할 수 있다. 하나는 좌표 값을 고정된 비트로 양자화 함으로써, MBR 키를 압축하는 것이다. 또 다른 하나는 MBR들의 각 좌표 값 중에 그들의 부모 MBR과 같지 않은 좌표 값만을 저장하는 것이다. 본 논문에서는 두 기법의 특성들을 적절히 합한 새로운 색인 구조를 제안하고, 기존에 제시된 두 접근법을 따르는 주기억장치 상주형 다차원 색인 구조를 다양한 환경에서 성능 평가한다. 또한, 기존의 색인 구조와 비교를 통해 제안하는 색인 구조의 우수성을 보인다.

  • PDF

동적 주기억 데이터베이스를 위한 색인 구조의 성능 평가 (Performance Evaluation of an Index Structure for Dynamic Main Memory Database)

  • 박정규;전흥석;노삼혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (1)
    • /
    • pp.213-215
    • /
    • 2000
  • 주기억 데이터베이스에서 효율적인 성능을 위해서 제안된 색인 구조 중 T-트리가 있다. 이 색인 구조는 삽입 삭제가 많은 동적 주기억 데이터베이스에서 빈번한 노드 생성 및 삭제에 따르는 오버헤드(overhead)로 효율적이지 못한다. 이 문제를 극복하기 위해서 T2-트리가 제안되었다. T2-트리는 T-트리의 단점인 범위 질의의 비효율성의 해결과 삽입 삭제가 빈번한 동적 주기억 데이터베이스 시스템으 위해 억제된 노드 생성 및 삭제 기법과 스레드 이진 트리의 특징을 가지고 있다. 이 논문에서는 리눅스에서 주기억 데이터베이스 프로그램인 FastDB에 사용된 T-트리 인덱싱 구조를 새롭게 제안된 T2-트리로 수정하여 두 가지 인덱싱 구조를 비교 실험한 결과를 보여주고 있다. 실험결과에 의하면 T-트리에 비해서 T2-트리가 동적인 주기억 데이터베이스 시스템에서 효율적인 구조임을 알 수 있다.

  • PDF

$T^2$-트리: 동적 주기억 데이터베이스를 위한 효율적 색인 구조 ($T^2$-Tree: An Efficient Index Structure for Dynamic Main Memory Database)

  • 김태진;전홍석;이재호;노삼혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
    • /
    • pp.258-260
    • /
    • 1999
  • 주기억 데이터베이스를 위한 색인 구조는 기존의 디스크 기반 데이터베이스의 색인 구조와는 고려되어야 할 사항이 다르다. 최근까지 연구된 색인 구조 중 대표적인 것은 T-트리와 T*-트리이다. 비록 T*-트리가 T-트리의 단점인 범위 질의의 비효율성을 해결하고 있지만 데이터의 삽입과 삭제가 많은 시스템에서 트리 균형을 맞추기 위한 오버헤드, 회전 연산의 수행과 후위 포인터(successor pointer)의 추가적인 오버헤드가 있다. 따라서 본 논문에서는 삽입과 삭제가 빈번한 동적 주기억 데이터베이스를 위해서 억제된 노드 생성 및 삭제 기법과 스레드 이진 트리의 특성을 이용한 보다 효율적인 색인 구조인 T2-트리를 제안한다.

  • PDF

AS B-트리: SSD를 사용한 B-트리에서 삽입 성능 향상에 관한 연구 (AS B-tree: A study on the enhancement of the insertion performance of B-tree on SSD)

  • 김성호;노홍찬;이대욱;박상현
    • 정보처리학회논문지D
    • /
    • 제18D권3호
    • /
    • pp.157-168
    • /
    • 2011
  • 최근 플래시 메모리 및 SSD가 노트북이나 PC의 저장장치로 사용되는 것뿐 아니라, 기업용 서버의 차세대 저장장치로 주목 받고 있다. 대용량의 데이터를 처리하는 데이터베이스에서는 삽입, 삭제, 검색을 빠르게 하기 위해 다양한 색인 기법을 사용하는데 그 중B-트리 구조가 대표적인 기법이다. 하지만 플래시 메모리 상에서는 하드디스크와 달리 덮어쓰기(overwrite) 연산을 수행하기 위해서는 먼저 해당 블록(block)에 대하여 플래시 메모리의 연산 중 가장 비용이 많이 요구되는 삭제(erase) 연산을 수행 해야만 한다. 이러한 문제점을 극복하기 위해 플래시 메모리 사이에 위치하는 플래시 변환 계층(Flash memory Translation Layer)을 사용한다. 이 플래시 변환 계층은 수정한 데이터를 동일한 논리 주소에 덮어쓰기를 하더라도 실제로 임의의 다른 물리 주소에 저장하도록 하여 이 문제를 해결할 수 있다. NAND 플래시 메모리를 배열 형태로 포함하고 있는 SSD는 한 개 이상의 플래시 메모리 패키지를 병렬로 접근할 수 있다. 이러한 병렬 접근 방식을 사용하여 쓰기 연산 성능을 향상하기 위해서는 연속한 논리 주소에 쓰기 연산을 요청하는 것이 유리하다. 하지만 B-트리는 구성 노드에 대한 삽입 삭제 연산 시에 대부분 연속되지 않은 논리 주소 공간에 대한 갱신 연산이 일어나게 된다. 따라서 SSD의 병렬 접근 방식을 최대한 활용할 수 없게 된다. 본 논문에서는 수정한 노드를 연속한 논리 주소에 쓰도록 하는 AS B-트리 구조를 제안하여 SSD의 병렬 접근 방식을 최대한 활용할 수 있도록 하였다. 구현 및 실험한 결과 AS B-트리에서의 삽입 시간이 B-트리보다 21% 개선된 것을 확인하였다.

대용량 DNA서열 처리를 위한 서픽스 트리 생성 알고리즘의 개발 (Suffix Tree Constructing Algorithm for Large DNA Sequences Analysis)

  • 최해원
    • 한국산업정보학회논문지
    • /
    • 제15권1호
    • /
    • pp.37-46
    • /
    • 2010
  • 서픽스 트리는 데이터의 내부구조를 자세히 나타내고 선형시간 탐색이 가능한 효과적인 자료구조로서 DNA 서열분석 등에 유용하다. 그러나 서열을 서픽스 트리로 구축하는 경우 트리의 크기가 원본의 최소 30배 이상으로 커지므로 테라바이트(TB)급의 대용량 DNA 서열의 경우에 메모리상의 응용은 매우 어려운 문제점이 있다. 이에 본 논문에서는 디스크를 이용한 대용량 DNA의 서픽스 트리 응용기법을 제시한다. 이때 DNA 서열구조를 고려한 서픽스 트리 선형 탐색 특성 유지를 보장한다. 이를 검증하기 위하여 9G Byte의 유전자 단편 서열을 이용해 424G Byte의 서픽스 트리를 디스크에 구축한 다음, 임의의 질의 서열에 대해 KMP알고리즘과 비교한 결과 질의 응답시간에서 우수한 성능을 보였다.