• 제목/요약/키워드: 텍스트 인덱스

검색결과 46건 처리시간 0.025초

대용량 플래시 메모리를 위한 임베디드 텍스트 인덱스 시스템 (An Embedded Text Index System for Mass Flash Memory)

  • 윤상훈;조행래
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.1-10
    • /
    • 2009
  • 플래시 메모리는 비휘발성이고 저전력으로 동작하며 가볍고 내구성이 강하다. 이러한 특성으로 휴대용 멀티미디어 재생기(PMP)와 같은 모바일 컴퓨팅 환경에서의 저장 장치로 많이 사용되고 있다. 대용량의 플래시 메모리를 저장 장치로 가진 모바일 기기들은 비디오/오디오/사진등과 같은 다양한 종류의 멀티미디어 데이터를 저장하고 재생한다. 모바일 컴퓨팅 장치를 위한 기존의 인덱스 시스템은 노래 가사와 같은 텍스트 형태의 정보 검색에 비효육적이다. 본 논문에서는 대용량 플래시 메모리 기반 임베디드 텍스트 인덱스(Embedded Text Index: EMTEX) 시스템을 제안한다. EMTEX는 먼저 임베디드 시스템을 고려한 압축 알고리즘을 사용하며, 텍스트 인덱스가 구성된 필드에 삽입 및 삭제시 인덱스에 즉시 반영된다. 뿐만 아니라, 플래시 메모리의 특성을 고려한 효율적인 삽입, 삭제, 재구성 기능을 수행하며, DBMS의 상위 계층에서 독립적으로 동작한다는 장점을 갖는다. 제안한 시스템의 성능 평가를 위해 다양한 환경에서 실험을 수행하였다. 그 결과 EMTEX는 임베디드 환경에서 Oracle Text나 FT3와 같은 기존의 인덱스 시스템보다 더 좋은 성능을 보여주었다.

압축된 써픽스 배열 구축 알고리즘의 성능 분석 (Performance Analysis of Construction Algorithms for Compressed Suffix Arrays)

  • 박치성;조준하;심정섭;김동규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (A)
    • /
    • pp.409-411
    • /
    • 2006
  • 써픽스 배열은 사전적 순서로 정렬된 써픽스들의 인덱스를 저장한 인덱스 자료구조로서, 긴 텍스트에서 반복되는 패턴 검색 시 효율적으로 사용 될 수 있다. 하지만 O($n\;log{\Sigma}$) 비트의 텍스트보다 큰 O(n log n) 비트 공간을 차지하기 때문에 대용량의 텍스트에 대해서는 큰 공간을 필요로 하는 문제점이 있다. 이를 해결하기 위해 압축된 써픽스 배열이 제안되었지만, 구축 시 이미 만들어진 써픽스 배열을 이용하기 때문에 실제 사용 공간을 줄이지는 못했다. 최근 써픽스 배열 없이 텍스트에서 직접 압축된 써픽스 배열을 구축할 수 있는 두 가지 알고리즘이 개발되었다. 본 논문에서는 이 두 가지 알고리즘을 구현한 후, 구축 시간과 사용 공간 등의 실험을 통해 기존의 써픽스 배열들과의 성능을 비교하고 분석한다.

  • PDF

압축된 써픽스 배열 구축의 실제적인 성능 비교 (Comparisons of Practical Performance for Constructing Compressed Suffix Arrays)

  • 박치성;김민환;이석환;권기룡;김동규
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제34권5_6호
    • /
    • pp.169-175
    • /
    • 2007
  • 써픽스 배열은 기본적인 전체 텍스트 인덱스 자료구조로서, 반복되는 패턴 질의 수행 시 효율적으로 사용될 수 있다. 유용한 전체 텍스트 인덱스 자료구조들이 많이 제안되어왔음에도 불구하고, O(nlogn)-비트 공간을 필요로 하는 공통적인 문제점으로 인하여 보다 효율적으로 공간을 사용할 수 있는 방법에 대한 필요성이 요구되었다. 하지만 기 개발된 압축된 써픽스 배열이나 FM-인덱스와 같은 것들 또한 이미 존재하는 써픽스 배열에서부터 구축되어야 하기 때문에 실제적인 사용 공간을 줄일 수는 없었다. 최근, 써픽스 배열을 구축할 필요 없이 텍스트로부터 직접 압축된 써픽스 배열을 구축할 수 있는 두 가지 알고리즘들이 제안되었다. 본 논문에서는 실험을 통해 자료구조 구축 시간과 구축 시 필요로 하는 최대 사용 공간, 구축이 끝난 후 최종 자료구조의 크기 등을 측정함으로써 이 두 가지 압축된 써픽스 배열 구축 알고리즘과 기존의 써픽스 배열들과의 실제적인 성능을 비교한다.

HashMap 기반의 트라이를 이용한 파일 내용 검색 프로그램 (File Content Retrieval Program Using HashMap-based Trie)

  • 김성완;이우순
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제49차 동계학술대회논문집 22권1호
    • /
    • pp.467-468
    • /
    • 2014
  • 본 논문에서는 파일 내용 기반 검색 프로그램을 설계하고 구현하였다. 역 인덱스 구조를 이용하여 설계하였으며 별도의 정보 검색 라이브러리 사용 없이 구현하였다. 인덱스 파일은 트라이 자료 구조를 직접 설계 및 구현 하였으며 자바 언어의 HashMap 구조를 중첩 형태로 구현하였다. 개발 시스템의 유용성을 테스트하기 위해 GRE 단어집에 수록된 약 3,300개의 단어를 사용하여 임의 생성한 텍스트 파일 집합을 사용하였다.

  • PDF

비디오 문서의 구조 질의를 위한 효율적 인덱스 구조 (An Efficient Index Structure Supporting Structure Queries for Video Documents)

  • 이용규
    • 한국정보처리학회논문지
    • /
    • 제5권5호
    • /
    • pp.1109-1118
    • /
    • 1998
  • 최근에 비디오 데이터베이스에 대하여 관심이 집중되고 있다. 비디오 문서도 텍스트 문서와 마찬가지로 계층적 논리 구조를 포함하고 있다. 사용자가 구조 질의로 이 구조를 활용한다면, 내용 질의에만 의존하는 것보다 더 큰 효과를 거둘 수가 있다. 구조 질의를 효율적으로 처리하기 위해서는 비디오의 문서 요소에 빨리 접근 할 수 있도록 지원하는 인덱스 구조가 필수적이다. 이 논문에서는 트리 구조의 비디오 문서 모형을 제시하고 비디오 문서를 위한 새로운 역 인덱스 구조를 제안한다. 그리고 이 인덱스 구조의 저장 장소 요구량과 디스크 접근 시간을 평가하고, 분석 결과를 제시한다.

  • PDF

Succinct 표현의 효율적인 구현을 통한 압축된 써픽스 배열 생성 (Constructing the Compressed Suffix Array via Efficient Implementation of Succinct Representation)

  • 박치성;조준하;김동규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (1)
    • /
    • pp.955-957
    • /
    • 2005
  • 대용량의 텍스트에 대해 빠른 패턴 검색의 필요성이 증가함에 따라 써픽스 트리, 써픽스 배열 등의 인덱스 자료구조에 대해 다양한 연구들이 진행되었다. 또한 써픽스 배열을 대용량의 인덱스 자료구조로 사용하기 위해 저장 공간을 O(n log n) 비트 이하로 줄이는 문제에 대한 연구들도 많이 수행되었다. 이들 중 Grossi & Vitter 는 써픽스 배열을 압축하여, 기존의 써픽스 배열보다 작은 저장 공간을 사용할 수 있는 알고리즘을 제안하였다. Grossi & Vitter 알고리즘은 압축된 써픽스 배열에서 실제 써픽스 배열의 정보를 찾기 위하여, succinct 표현에서 기본적으로 사용되는 rank와 select 함수를 필요로 한다. 본 논문은 다양한 rank와 select 알고리즘을 각각 사용하는 압축된 써픽스 배열들의 성능 비교를 통해, succinct 표현의 효율적인 구현이 압축된 써픽스 배열의 성능에 미치는 영향을 실험적으로 보인다.

  • PDF

압축된 써픽스 배열을 직접 구축하는 선형시간 알고리즘 (Direct Construction Algorithms for Compressed Suffix Arrays in Linear Time)

  • 성종희;전정은;김동규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
    • /
    • pp.809-811
    • /
    • 2003
  • 써픽스 배열은 써픽스 트리와 더불어 바이오인포매틱스(bioinformatics) 등에 널리 사용되는 전체 텍스트(full-text)의 인덱스 자료구조이다. 여러 응용분야에서 처리해야하는 데이터양의 기하급수적인 증가에 따라, 써픽스 배열을 압축하여 저장해야 하는 필요성이 커지고 있다. Grossi와 Vitter는 주어진 스트링의 써픽스 배열이 있을 경우, 작은 저장 공간을 사용하는 압축된 써픽스 배열(compressed suffix arrays)을 정의하였다. 본 논문에서는 주어진 스트링에서 써픽스 배열을 구축할 필요 없이, 직접적으로 압축된 써픽스 배열을 구축하는 선형시간 알고리즘을 제시한다.

  • PDF

써픽스 배열을 구축하는 빠른 알고리즘 (A Fast Algorithm for Constructing Suffix Arrays)

  • 조준하;박희진;김동규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
    • /
    • pp.736-738
    • /
    • 2004
  • 써픽스 배열은 정렬된 모든 써픽스들의 인덱스를 저장한 자료구조이며, 긴 문자열에서 임의의 패턴을 효율적으로 검색을 할 수 있는 자료구조이다. 비슷한 자료구조인 써픽스 트리에 비해 적은 공간을 사용하기 때문에 대용량의 텍스트에 대한 처리에 더 적합하다. 본 논문에서는 써픽스 배열을 빠르게 구축하는 방법을 제안하고, 써픽스 배열 구축 알고리즘들 중에서 빠르다고 알려진 Larsson and Sadakane 알고리즘, 대표적인 선형 시간 알고리즘인 Karkkainen and Sanders 알고리즘 및 최근에 발표된 고정길이 문자집합에 효율적인 Kim et al. 알고리즘과 성능을 비교한다. 실험 결과 본 논문에서 제안한 알고리즘이 전반적으로 빠르게 써픽스 배열을 구축하였다.

  • PDF

멀티미디어 텍스트 데이터 검색을 위한 접근기법 연구 (A Study on Access Control of the Multimedia Text Data Retrieval)

  • 양창호;정윤기;이배호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 춘계학술발표논문집 (상)
    • /
    • pp.95-98
    • /
    • 2003
  • 컴퓨터와 통신의 급속한 발전으로 인하여 하루에도 수십 기가바이트의 정보가 매일매일 업데이트 되고 있다. 하지만 이러한 유용한 정보의 증가에도 불구하고 우리가 사용의 어려움과 검색시간이 길어진다면 엄청난 정보의 낭비를 초래할 것이다. 멀티미디어 정보에 대한 접근을 데이터의 특성상 매우 신속해야 하므로 검색시간 또한 최소화되어야 한다. 하지만 대용량의 멀티미디어 데이터베이스에서 데이터 접근은 막대한 시간을 낭비할 소지가 다분하다. 멀티미디어 데이터 접근은 데이터베이스를 구성하는 여러 미디어에 대해 생성되는 메타데이터에 기본을 둔다. 또한 사용되는 인덱스 구조는 미디어, 메타데이터, 질의 형식에 기반을 두고 생성된다. 즉 인덱싱의 기법에 따라 탁월한 검색성능의 향상을 보일 수 있다. 본 논문에서는 멀티미디어 데이터 중 텍스트 데이터 접근에 이용 가능한 여러 가지 인덱싱 기법들을 살펴보고 그에 따른 적용방법들을 제안한다.

  • PDF

XML캐쉬의 점진적 갱신을 위한 XML변경 처리 모델 (Models of XML Update Processing for Refreshing XML Cache Incrementally)

  • 한승철;황대현;강현철
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
    • /
    • pp.64-66
    • /
    • 2004
  • XML이 웹 상에서 데이터 교환의 표준으로 부각된 이래 XML데이터의 효율적 관리 기법에 관한 연구가 활발히 수행되고 있다. XML 질의의 표준화 작업도 활발히 이루어져 현재 XQuery가 유력한 표준으로 부각되었다. 그러나 XQuery 등이 완전한 XML 질의어가 되기 위해서는 변경 연산을 제공해야 하는데 XML변경어의 표준화 작업이나 XML 변경 처리 기법에 대한 연구는 아직 미미한 실정이다. 본 논문에서는 e-Commerce 등 XML 데이터베이스 기반 웹 응용의 효율적 지원을 위한 XML 캐쉬를 점진적으로 갱신하는 과정에서 발생하는 XML 변경 연산 처리의 세 가지 기본 모델. TD (텍스트/DOM 기반). PD(PDOM 기반), 그리고 IT (인덱스된 텍스트 기반)를 제안한다. 캐쉬된 XML 문서를 어떤 포맷으로 저장하는가는 이후 XML 변경 연산의 처리 및 요청된 XML문서 반환의 효율성에 영향을 미친다. 이들 모델들은 캐쉬된 XML 문서의 저장 포맷에 따라 구분한 것이다. 이들 모델 각각에 대하여 캐쉬된 XML문서의 갱신 및 반환 기능을 제공하는 XML캐쉬 관리 시스템을 구현하여 이들 기능의 성능 및 공간 부담을 평가한 결과를 기술한다.

  • PDF