• 제목/요약/키워드: 비트맵 인덱싱

검색결과 16건 처리시간 0.021초

비트맵 인덱싱 기반 유사한 XML 문서 검색 기법 (A Search Method of Similar XML Documents based on Bitmap Indexing)

  • 이재민;황병연
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 춘계학술발표대회
    • /
    • pp.15-18
    • /
    • 2004
  • XML 검색을 위한 기존의 비트맵 인덱싱은 XML을 문서, 경로, 단어로 구성된 3차원 비트맵 인덱스에 매핑하고 이를 이용해 정보를 추출함으로써 뛰어난 성능을 입증하였다. 그러나 이것은 유사 문서를 수집하고 검색하기 위해 경로 전체를 인덱스 구성의 단위로 사용함으로써 유사 경로를 인식하지 못하는 문제를 초래하였으며 유사 경로를 인식하지 못함으로 인해 유사 문서 검색의 치명적인 성능 저하가 발생하게 되었다. 이에 따라 본 논문에서는 기존의 XML 검색을 위한 비트맵 인덱싱이 유사 경로를 인식하지 못하는 문제점을 해결하기 위해 유사 경로 탐색을 위한 새로운 비트맵 인덱스를 설계하고 이를 통해 효과적으로 유사 문서를 검색할 수 있는 기법을 제안한다. 제안된 기법은 노드들을 단위로 하는 새로운 비트맵 인덱스를 구성하고 구성된 인덱스의 중심을 통해 유사 경로 탐색을 위한 클러스터들을 선별적으로 검색한다. 그리고 유사 경로 탐색을 통해 추출된 경로들을 유사 문서 검색에 활용함으로써 비트맵 인덱싱의 빠른 성능을 그대로 유지하면서 기존의 XML 검색을 위한 비트맵 인덱싱이 유사 경로를 인식하지 못함으로써 발생하는 유사 문서 탐색의 성능 저하를 효과적으로 해결한다.

  • PDF

연결 리스트를 이용한 3차원 비트맵 인덱싱의 공간 축약 (A Space Compression of Three-Dimensional Bitmap Indexing using Linked List)

  • 이재민;황병연
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 춘계학술발표논문집 (하)
    • /
    • pp.1519-1522
    • /
    • 2003
  • 기존의 웹 문서나 컨텐츠들의 표현적 한계를 극복하기 위한 방안으로 메타 데이터에 관한 다양한 연구가 수행되어졌고 그 결과의 산물중에 가장 대표적인 것으로 XML을 들 수 있다. XML은 문서의 내용뿐 아니라 구조까지도 기술할 수 있는 장점을 통해 향후 정보 교환에 핵심적인 역할을 할 것으로 기대되어지고 있으며 이에 따라 XML 문서를 효율적으로 저장하고 검색하기 위한 다양한 연구가 진행되고 있다. BitCube는 Bit-wise 연산이 가능한 3차원 비트맵 인덱싱을 사용하여 XML 문서들의 구조적 유사성에 따라 클러스터링하고 사용자의 질의에 대한 처리를 수행하는 인덱싱 기법으로 그것의 빠른 성능을 입증하였다. 그러나 BitCube의 클러스터링은 XML 문서의 경로에 중점을 둔 것이므로 클러스터와 경로가 담고 있는 실제 단어들간에는 연관성이 없으므로 3차원 비트맵 인덱스는 하나의 평면을 제외한 모든 평면이 굉장히 높은 공간 사용량을 갖는 회소행렬이 된다. 본 논문에서는 늘어나는 방대한 문서의 양으로 인한 시스템의 성능 저하를 막고 안정적인 성능을 유지할 수 있도록 기존 연산의 성능을 저하시키지 않으면서 공간을 최소화 할 수 있는 연결 리스트틀 설계하고 3차원 비트맵 인덱스를 연결 리스트로 재구성하는 방법을 제시한다.

  • PDF

관계형 DBMS 기반의 XML 데이터를 위한 k-비트맵 클러스터링 기법 (k-Bitmap Clustering Method for XML Data based on Relational DBMS)

  • 이범석;황병연
    • 정보처리학회논문지D
    • /
    • 제16D권6호
    • /
    • pp.845-850
    • /
    • 2009
  • 웹2.0 환경의 발달과 함께 XML 데이터의 사용도 증가하였는데, 특히 블로그나 뉴스 피드의 정보 전달을 위한 RSS나 ATOM 포맷의 기반 기술로 사용되면서 그 장점과 가치를 인정받고 있다. XML 데이터의 인덱싱을 위한 여러 기법들 중 빠른 검색성능을 보인 비트맵 클러스터링은 관계형 DBMS를 기반으로 메모리에 인덱스를 유지하는 기법이다. 기존의 비트맵 클러스터링 기법을 이용하여 XML 데이터를 인덱싱할 때 너무 많은 클러스터가 생성되어 오히려 검색 효율과 결과의 품질이 저하되는 문제점이 있었다. 본 논문에서는 이 문제점을 해결하기 위해 사용자가 제시하는 k개의 클러스터를 생성하는 k-비트맵 클러스터링 기법과 대표비트를 생성할 때 배제된 단어를 검색하기 위한 역인덱스를 함께 유지하는 방법을 제안한다. 성능평가를 수행한 결과 제안하는 기법은 생성되는 클러스터의 수를 임의로 설정할 수 있을 뿐만 아니라 단일 단어 검색에서 높은 재현율을 보였고, 2개의 인덱스를 함께 유지할 때에는 질의에 대해 모든 관련된 문서의 반환을 보장하였다.

MPEG-7 시각 정보 기술자의 특성을 반영한 효율적인 멀티미디어 데이타 비트맵 인덱싱 방법 (An Efficient Bitmap Indexing Method for Multimedia Data Reflecting the Characteristics of MPEG-7 Visual Descriptors)

  • 정진국;낭종호
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제32권1호
    • /
    • pp.9-20
    • /
    • 2005
  • 최근 멀티미디어 정보를 기술하기 위한 표준인 MPEG-7이 제안되어 이미지/동영상 검색 시스템과 간은 응용분야에서 사용되기 시작하였다. 그러나 MPEG-7 시각 정보 기술자들은 대부분 고차원으로 표현이 되고, 고차원에서 발생되는 문제인 "Curse of dimensionality" 때문에 기존의 인덱싱 방법(예를 들면 트리 구조를 이용하는 다차원 인덱싱 방법, 차원을 줄이는 방법, 양자화 등의 압축 기법을 이용하는 방법 등)으로는 효율적인 검색을 할 수 없다. 본 논문에서는 MPEG-7 시각 정보 기술자들의 특징을 반영한 효율적인 인덱싱 방법을 제안한다. 제안된 방법에서는 기술자를 속성 히스토그램으로 변형하고 히스토그램의 자 빈 값을 이진 형태로 표현하여 비트열을 생성하며, 이러한 비트열들을 이용하여 비트맵 인덱스를 구성한다. 질의 오브젝트가 입력되면 비트맵 인덱스를 이용하여 결과에 포함될 가능성이 있는 후보 오브젝트 리스트를 생성하게 되는데 즉, 각 오브젝트의 인덱스와 질의 오브젝트의 비트열에 대한 XOR(Exclusive OR) 연산을 수행하여서 후보 오브젝트 리스트를 생성한다. 그리고 이 리스트에 있는 오브젝트들에 대해서만 L1-norm과 같은, 기술자를 위해 사용되는 비교 연산식을 수행하여 최종 결과 오브젝트들을 사용자에게 보여주게 된다. 본 논문에서 제안하는 알고리즘은 단순한 비트 연산을 통해 검색 결과에 포함될 가능성이 있는 오브젝트들을 추출해낼 수 있기 때문에 빠른 시간 내에 검색을 마칠 수 있도록 해준다. 실험에 의하면 제안한 방법을 이용하는 경우, 90% 이상의 정확도를 유지하면서 검색 시간에서는 순차 검색에 비해 15배 이상의 속도 향상을 보임을 알 수 있었다.

xPlaneb: XML문서 검색을 위한 3차원 비트맵 인덱스 (xPlaneb: 3-Dimensional Bitmap Index for Index Document Retrieval)

  • 이재민;황병연
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권3호
    • /
    • pp.331-339
    • /
    • 2004
  • XML은 다양한 장점을 통해 데이타를 표현하고 교환하기 위한 새로운 표준이 되었으며 현대의 많은 연구와 새로운 기술들에서 핵심적인 요소가 되고 있다. 그러나 XML의 장점인 자기 서술적인 특징은 구조적으로 상이한 XML 문서의 확산을 초래하게 되었고 이에 따라 XML의 효과적인 검색에 대한 연구의 필요성이 대두되게 되었다. 본 논문에서는 빠른 검색 속도를 통해 뛰어난 성능을 입증한 비트맵 인덱싱인 BitCube의 문제점을 분석한다. 또한 BitCube의 문제점을 해결하기 위해 연결 리스트를 이용한 새로운 3차원 비트맵 인덱싱인 xPlaneb(XML Plane Web)를 설계 및 구현한다. 제안된 기법은 BitCube의 3차원 배열 인덱스를 효율적인 노드로 재구성하고 BitCube의 연산을 대체하는 새로운 연산들을 활용하여 효과적으로 정보를 추출한다. 성능 평가를 통해 제안된 기법이 클러스터내의 문서의 양이 증가함에 따라 BitCube보다 메모리 사용량과 연산 수행 속도면에서 더 우수하다는 것을 보였다.

경로 구성 유사도를 이용한 비트맵 인덱싱 기반 XML 문서 인식 기법 (An Identifying Method of XML Document based on Bitmap Indexing using Path Construction Similarity)

  • 이재민;황병연
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 춘계학술발표논문집 (하)
    • /
    • pp.1515-1518
    • /
    • 2003
  • XML의 대표적인 특징은 기존의 다른 컨텐츠와는 달리 문서의 구조를 기술할 수 있다는 것이다. 구조적 정보는 활용 방법에 파라 XML문서의 다양한 처리에 있어 성능을 향상시키는 핵심적인 요소가 될 수 있다. 그러나 XML 태그의 자기 서술적인 특성에서 비롯되는 구조적 표현의 차이는 오히려 문서의 식별을 어렵게 하는 원인이 된다. 본 논문에서는 기존의 비트맵 인덱스(Bitmap Index)를 이용한 XML 문서 검색 시스템이 다양한 구조적 유사성을 판별할 수 없는 단점을 보완 가능하도록 경로 중심의 유사 문서 인식 기법을 제안한다. 이 기법은 '경로 구성 유사도'와 '유사 경로 테이블'을 통해 기존의 비트맵 인덱스가 갖는 유사 경로를 인식하지 못하는 단점을 해결하고 검색의 유연성을 부여함으로써 보다 양질의 검색 결과를 도출할 수 있다. 또 이것은 기존 시스템의 Bit-wise 연산에 완전히 이식됨으로써 비트맵 인덱스의 장점인 빠른 성능을 그대로 유지할 수 있게 된다.

  • PDF

XML 문서 클러스터링을 위한 경로 유사도의 계산 (Path Similarity Calculation for Clustering of XML Documents)

  • 이범석;황병연
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 추계학술발표대회
    • /
    • pp.325-328
    • /
    • 2006
  • 최근 DTD (Document Type Descriptor)를 포함하고 있지 않은 XML 문서의 사용이 증가하고 있다. 따라서 서로 다른 구조를 갖는 많은 양의 XML 문서를 관계형 DBMS에 저장하거나, 인덱스를 이용하여 매핑하는 등 보다 효율적으로 관리하기 위한 다양한 인덱싱 기법에 대한 연구가 진행되고 있다. 이러한 연구들 중 경로 비트맵 인덱싱 기법은 경로 구성 유사도를 기반으로 3차원 비트맵 클러스터를 생성하고, 클러스터 단위의 검색을 수행함으로서 빠른 검색 속도를 보여주었다. 그러나 이 기법은 비교하려는 두 경로 중 항상 짧은 경로가 기준 경로가 되는 한계점과, 같은 노드 구성을 가지는 두 경로에서도 노드의 위치에 따라 그 유사도가 크게 변하는 등의 여러 문제점을 가지고 있었다. 이러한 문제점을 해결하고, 정확한 클러스터링을 수행하기 위해서는 합리적인 경로 유사도 계산식이 필요하게 되었다. 본 논문에서는 기존 방법의 문제점을 해결하고, 보다 정확한 클러스터링을 수행할 수 있는 새로운 경로 유사도 계산식을 제안한다.

  • PDF

효율적인 멀티미디어 검색을 위한 MPEG-7 시각 정보 기술자의 인덱싱 및 결합 알고리즘 (An Indexing and Integration Schemes of MPEG-7 Visual Descriptors for Efficient Multimedia Retrievals)

  • 송치일;김재영;정진국;낭종호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
    • /
    • pp.148-150
    • /
    • 2004
  • 최근 멀티미디어 정보를 기술하기 위한 표준인 MPEG-7이 제안되어 이미지/동영상 검색 시스템과 같은 응용분야에서 사용되기 시작하였다. 그러나 MPEG-7 시각 정보 기술자들은 대부분 고차원으로 표현되고 기술자들이 가지는 각 속성들의 성질이 서로 동일하지 않기 때문에 기존의 인덱싱 방법으로는 효율적인 검색을 할 수 없다. 본 논문에서는 MPEG-7 시각 정보 기술자중에서 많이 사용되는 Dominant Color 기술자와 Contour Shape 기술자에 대한 새로운 인덱싱 알고리즘을 제안한다. Dominant Color 기술자에서 사용되는 비 교 연산 식 은 가우스 혼합 모델에 기초하고 있기 때문에, 기술자의 각 속성들을 하냐의 칼라 히스토그램 형태로 변형시켜서 인덱스로 사용한다. Contour Shape기술자는 2 단계 형태의 알고리즘을 사용한다. 각 단계는 글로벌 파라미터 속성과 비트맵 인덱스를 사용한 인덱싱이 적용된다. 제안된 인덱싱 방법을 사용했을 때 Dominant Color의 경우 90%의 정확도에 120배 이상의 속도 향상을 나타냈고, Contour Shape의 경우 82%의 정확도에 3배 이상의 속도 향상을 나타냈다.

  • PDF

XML 문서의 유사 경로 검색을 위한 인덱싱 시스템 (An Indexing System for Retrieving Similar Paths in XML Documents)

  • 이범석;황병연
    • 정보처리학회논문지D
    • /
    • 제15D권2호
    • /
    • pp.171-178
    • /
    • 2008
  • 1998년 W3C에 의해 XML 표준이 제정된 이래로, XML을 사용하는 문서가 급증하였다. 이에 따라 방대한 양의 XML 문서들을 효율적으로 관리하고 검색하기 위한 많은 시스템들이 개발되고 있다. 특히 비트맵 인덱스 기법을 사용한 BitCube는 이러한 분야의 대표적인 시스템이다. 비트맵 인덱스 기법을 이용하여 유사한 경로를 대상으로 클러스터링을 수행한 경로 비트맵 인덱스 시스템(LH06)은 기존의 BitCube 시스템이 유사경로 검색을 할 수 없는 문제점을 개선하였다. 유사경로 검색 시스템은 정확히 일치하는 경로뿐만 아니라, 사용자가 질의한 경로와 유사한 경로까지도 빠르게 검색해 낼 수 있다는 장점을 가진다. 그러나 경로 사이의 유사도를 계산하는 알고리즘이 가진 몇 가지 문제점들로 인해 유사하다고 볼 수 있는 두 경로의 유사도를 계산할 수 없어서 서로 다른 클러스터로 인식되고, 이는 의미 없는 클러스터의 수를 증가시키는 문제점을 야기한다. 이러한 문제점의 해결을 위해 본 논문에서는 보다 합리적이고 정확한 경로 유사도 계산 방법을 제안하고, 기존 시스템과의 성능평가를 통해 제안하는 방법이 더 낫다는 것을 증명한다.

XML 문서 클러스터링을 이용한 개선된 연관규칙 (Advanced Association Rules using XML Document Clustering)

  • 김의찬;이재민;황병연
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
    • /
    • pp.181-183
    • /
    • 2004
  • 기존의 연관규칙을 생성하는 알고리즘의 문제점을 개선하기 위해 본 논문에서는 XML 문서 클러스터링을 이용하였다. XML 문서 클러스터링을 이용하여 데이터베이스 탐색 횟수 일 조인 개수를 줄여서 수행 속도를 향상시키고, 또한 클러스터링을 통해 얻은 클러스터에서 규칙을 찾기 때문에 기존의 연관규칙 생성 방법에서는 찾지 못했던 규칙들도 찾아낼 수 있다 본 논문에서 사용하는 클러스터링 방법은 XML문서 검색을 위한 3차원 비트맵 인덱싱인 xPlaneb를 사용하여 구현하였다.

  • PDF