• Title/Summary/Keyword: 데이터 인덱스 정보

검색결과 383건 처리시간 0.033초

압축된 써픽스 배열을 직접 구축하는 선형시간 알고리즘 (Direct Construction Algorithms for Compressed Suffix Arrays in Linear Time)

  • 성종희;전정은;김동규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
    • /
    • pp.809-811
    • /
    • 2003
  • 써픽스 배열은 써픽스 트리와 더불어 바이오인포매틱스(bioinformatics) 등에 널리 사용되는 전체 텍스트(full-text)의 인덱스 자료구조이다. 여러 응용분야에서 처리해야하는 데이터양의 기하급수적인 증가에 따라, 써픽스 배열을 압축하여 저장해야 하는 필요성이 커지고 있다. Grossi와 Vitter는 주어진 스트링의 써픽스 배열이 있을 경우, 작은 저장 공간을 사용하는 압축된 써픽스 배열(compressed suffix arrays)을 정의하였다. 본 논문에서는 주어진 스트링에서 써픽스 배열을 구축할 필요 없이, 직접적으로 압축된 써픽스 배열을 구축하는 선형시간 알고리즘을 제시한다.

  • PDF

비트 분할 시그니처 화일을 이용한 XML 인덱스 구조 (XML Indexing Structure Using Bit-Sliced Signature File)

  • 강인선;홍석진;이태원;이석호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (1)
    • /
    • pp.109-111
    • /
    • 2002
  • 데이터베이스에 저장된 맡은 양의 XML 데이터를 빠르게 검색하는 과정에서, 경로식을 만족하는 노드를 추출하는 부분은 가장 많은 비용을 요구한다. 기존 방법은 여러 번의 조인을 통해 이를 처리하기 때문에 많은 비용이 드는 단점이 있다. 본 연구에서는 각 노드의 경로에 대한 시그니처를 만들고, 질의문의 경로식에 대한 시그니처와의 비트연산을 통해 후보 경로 집합을 선택하는 방법을 제안한다. 이 방법은 조인 연산 없이 경로식을 처리하기 때문에 기존의 조인 연산비용을 줄일 수 있으며, 기존 관계형 데이터베이스에 쉽게 적용시킬 수 있는 장점이 있다.

  • PDF

대용량 멀티미디어 데이터의 내용 기반 검색을 위한 고확장 지원 색인 기법 (A Scalable Index for Content-based Retrieval of Large Scale Multimedia Data)

  • 최현화;이미영;이규철
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2009년도 춘계 종합학술대회 논문집
    • /
    • pp.726-730
    • /
    • 2009
  • 카메라 기술의 발전 및 사용자 중심의 인터넷 패러다임인 웹 2.0을 토대로 멀티미디어 데이터가 급증하면서, 멀티미디어 검색은 인터넷 서비스로서 그 중요성이 날로 증가되고 있다. 현재 멀티미디어 검색은 단순한 키워드(keyword) 검색에 의존하고 있는 실정으로, 정보 검색의 정확도 및 사용자의 만족도를 충족시키기 위해서는 내용 기반 검색 지원이 필요하다. 본 논문에서는 대용량의 멀티미디어 데이터의 내용 기반 검색을 지원하기 위하여, 데이터의 분포에 따른 다중 길이의 시그니처를 기반으로 한 새로운 분산 인덱스 구조를 제안한다. 제안하는 인덱스 구조는 고차원 데이터의 클러스터링에 따라 데이터의 분포를 분석하여 서로 다른 요약 파일을 분산 생성하고, 이를 기반으로 유사 검색을 병렬로 수행할 수 있도록 설계되었다. 그리하여, 클러스터 환경 하에서 고차원 데이터의 분산 저장이 용이하고, 각 노드들은 서로 다른 시그니처 파일을 기반으로 검색을 병렬 수행함으로써 효율적인 검색을 지원한다.

  • PDF

데이터베이스 아웃소싱 환경에서 순서 보존 암호화 기법을 이용한 질의 결과 무결성 검증 기법 (A Query Result Integrity Assurance Scheme Using an Order-preserving Encryption Scheme in the Database Outsourcing Environment)

  • 장미영;장재우
    • 정보과학회 논문지
    • /
    • 제42권1호
    • /
    • pp.97-106
    • /
    • 2015
  • 최근 데이터베이스 아웃소싱(Outsourcing) 환경에서 데이터 보호를 위한 암호화 기법 및 질의 결과 검증 기법에 대한 관심이 고조되고 있다. 그러나 기존 아웃소싱 데이터 암호화 기법들은 원본 데이터베이스 도메인 정보를 알고 있는 공격자에 의한 순서 매칭 공격 및 카운팅 공격에 취약한 문제점을 지닌다. 기존 질의 결과 무결성 검증 기법은 질의 결과 검증 데이터 전송 오버헤드 문제를 지닌다. 따라서, 본 논문에서는 데이터 보호를 위한 그룹 순서 보존 암호화 인덱스 및 이를 기반으로 한 질의 결과 무결성 검증 기법을 제안한다. 제안하는 기법은 순서 보존 암호화 인덱스를 통해 데이터를 암호화 하고, 복호화 없이 질의를 수행한다. 또한, 힐버트 커브를 통해 그룹 정보를 은닉함으로써, 질의 수행 과정에서 데이터 그룹 정보가 유출되는 것을 방지한다. 마지막으로, 주기함수 기반 그룹 분할 및 그룹 기반 인증을 통해 질의 결과 무결성 검증을 위한 데이터 크기를 감소시킨다. 성능평가를 통해, 제안하는 기법이 기존 버킷 기반 인증 기법에 비해 질의 처리 시간 측면에서 평균 1.6배, 검증 데이터 오버헤드 측면에서 최대 20배의 성능을 개선함을 보인다.

PPFP(Push and Pop Frequent Pattern Mining): 빅데이터 패턴 분석을 위한 새로운 빈발 패턴 마이닝 방법 (PPFP(Push and Pop Frequent Pattern Mining): A Novel Frequent Pattern Mining Method for Bigdata Frequent Pattern Mining)

  • 이정훈;민연아
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권12호
    • /
    • pp.623-634
    • /
    • 2016
  • 현존하는 빈발 패턴 마이닝 방법은 대부분 시간 효율성을 목표로 하고, 물리적 메모리 사용에 매우 의존적이다. 하지만 빅데이터 시대가 도래함에 따라 실제 세상의 데이터베이스는 급속도로 증가하고 있으며, 그에 따라 기존의 방법으로 현실적인 거대한 양의 데이터를 마이닝하기에 물리적 메모리 공간이 부족한 실정이다. 이러한 문제를 해결하기 위해, 빈발 패턴 마이닝의 메모리 의존성을 줄이기 위한 보조저장장치 기반의 연구들이 진행되었으나, 메모리 기반의 방법들에 비해 처리 시간이 너무 많이 소비된다는 한계가 있었다. 따라서 확장성을 가지며, 기존의 디스크 기반의 방법들에 비해 시간효율성을 높인 새로운 빈발 패턴 마이닝이 필요하게 되었다. 본 논문에서는 빅데이터로부터 빈도 아이템 집합들을 마이닝하기 위해 메모리와 디스크를 함께 사용하는 스택 기반의 새로운 접근법인 PPFP 알고리즘을 제안하였다. PPFP는 빈발 패턴 마이닝 접근법 중 가장 인기 있고 효율적인 접근법 중 하나인 FP-growth를 기반으로 하고 있다. PPFP 마이닝 방법은 다음과 같이 두 단계로 진행된다. (1) IFP-tree 구축: FP-tree를 생성한 후, 새로운 인덱스 번호 부여 방법으로 FP-tree의 각 노드에 인덱스 번호를 부여하고, 이 인덱스 번호가 부여된 FP-tree(IFP-tree)를 테이블로 변환하여(IFP-table) 디스크에 저장한다. (2) PPFP 알고리즘을 이용한 빈발 패턴 마이닝: 스택 기반의 PUSH-POP 방식으로 패턴을 확장시켜 나가며 빈발 패턴을 마이닝한다. 이러한 방식을 통해 메모리 기반의 방법에 비해 반복적으로 많은 시간이 소모되는 연산에 매우 적은 양의 메모리를 활용하여 확장성과 함께 시간효율성 또한 향상시킬 수 있었다. 그리고 기존의 연구 방법들과 비교 실험을 통해 새로운 알고리즘의 성능을 증명하였다.

3차원 객체의 모양에 기반한 특징추출 기법 (A Feature-Extraction Method based on shapes of 3D Object)

  • 신준섭;황수찬
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.70-72
    • /
    • 2001
  • 최근 멀티미디어 응용의 증가에 따라 그래픽 데이터를 위한 내용 기반 검색 기술에 대한 연구가 활발히 진행되고 있다. 또한 인터넷 응용분야에서 3차원 그래픽 데이터베이스 사용의 필요성이 대두되고 활용되고 있다. 대부분의 3차원 그래픽 시스템은 사용자에게 그래픽은 검색이 대상이 아니라 단순히 보여주는 역할로 주로 사용되고 있다. 3차원 그래픽객체는 어떤 객체들로 구성되여 있으며 그들의 크기는 어떠한지 등의 정보를 포함하고 있다. 따라서 3차원 그래픽 객체에서는 2차원 그래픽 객체에서는 2차원 이미지보다 의미객체에 대한 정확한 정보를 더 많이 얻어 낼 수 있다. 이러한 사실 때문에 2차원 이미지의 특징추출의 방법과는 다른 형식의 접근이 필요하다. 본 논문에서는 3차원 그래픽으로 모델링 된 3차원 객체들을 대상으로 객체가 이루는 X, Y, Z축상의 비율과 윤곽형태에 대한 SPBT(Space Partitioning Binary Tree)의 결과값으로 특징을 추출하고 샘플 데이터를 통해서 이들간의 클러스터링과 실제 예제 질의를 토한 비교분석을 통해 객체간의 유사검색이 가능하도록 하는 특징추출 방법을 제안하였다. 본 논문에서는 제시한 모양기반 특징추출 방법은 웹상의 다양한 3차원 객체정보의 자동분류나 3차원 그래픽 데이터베이스를 위한 인덱스 구축 등에 활용될 수 있을 것이다.

  • PDF

타일화된 항공 라이다 데이터로부터의 재귀적 건물영역 추출 기법 (A Recursive Building Area Extraction Technique for Tiled Aeriel LiDAR Data)

  • 박창후;김유성
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 춘계학술발표대회
    • /
    • pp.1453-1456
    • /
    • 2011
  • 타일로 분할된 항공 라이다 데이터로 부터 데이터마이닝 기법을 이용한 지표면 분류 결과에 따라 건물을 포함하는 타일에 대해 적용할 건물영역 추출 기법을 제안한다. 본 기법은 재귀적 경계점 추출 알고리즘과 경계점 연결을 통해 경계선을 형성하고 경계선을 타일의 외벽과 연결해 건물영역의 외곽을 추출한다. 제안된 기법으로 추출된 건물 영역을 실제 항공사진과 비교하여 제시하고 재귀적 경계점 추출 알고리즘의 실행시간을 단축시키기 위해 사용된 지형정보 인덱스의 실행시간 단축 효과 분석이 제시된다.

DAS 모델에서 데이터베이스 검색에 적합한 고속 암복호화 메커니즘 설계 (Design of Fast Encryption/Decryption Mechanism for Query in DAS(Database As a Service) Model)

  • 송유진;이동혁;이승민;남택용
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 추계학술발표대회
    • /
    • pp.1250-1253
    • /
    • 2007
  • 데이터베이스를 아웃소싱하는 DAS 모델 환경에서 데이터베이스를 암호화하기 위해 암호화 알고리즘을 적용할 때, 암호화된 데이터의 순서는 평문과 달라, 인덱스를 구축할 수 없기 때문에 암호화된 데이터베이스에 대한 검색 처리상의 효율성 문제가 발생한다. 따라서, 아웃소싱된 데이터베이스 환경에 적합한 효율적인 암호화 메커니즘이 요구된다. 본 논문에서는 평문을 노출시키지 않은 상태에서 범위 검색이 가능한 새로운 고속 메커니즘을 제안하였다. 제안한 메커니즘은 복호화시 평문 데이터당 1 회의 XOR 연산과 버킷당 1 회의 암호화 연산만을 요구하므로 기 제안된 $Hacig{\ddot{u}}m{\ddot{u}}{\c{s}}$의 방식보다 효율적이다.

블록 단위 트랜잭션을 이용한 대용량 데이터의 실시간 저장관리기 (Real time Storage Manager to store very large datausing block transaction)

  • 백성하;이동욱;어상훈;정원일;김경배;오영환;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제10권2호
    • /
    • pp.1-12
    • /
    • 2008
  • 초당 최소 5만 건에서 50만 건이 넘는 삽입트랜잭션이 발생하는 반도체 자동 생산 공정 시스템은 대량의 데이터를 실시간으로 저장하는 저장관리시스템을 필요로 한다. 대용량의 데이터를 빠르고 안정적으로 저장하기 위해서 많은 저장관리시스템이 연구되었다. 기존의 저장관리시스템은 대표적으로 전형적인 디스크 기반 DBMS가 있다. 그러나 디스크 기반 DBMS는 초당 50만 건의 삽입트랜잭션 처리는 매우 어렵다. 그래서 디스크 기반 DBMS의 성능을 향상시키기 위해 데이터를 디스크가 아닌 메인메모리를사용하는 메인메모리 DBMS가 등장하였다. 그러나 메인메모리 DBMS는 메인메모리 용량의 한계로 인해 대용량 데이터를 저장하는 것은 어렵다. 본 논문에서는 초당 5만 건 이상의 삽입트랜잭션을 지원하고 대용량 데이터를 저비용으로 저장하기 위해 블록단위의 삽입 트랜잭션을 사용한 저장관리시스템을 제안한다. 블록단위의 삽입 트랜잭션은 개별 튜플 단위의 로그기록 비용과 인덱스 생성비용을 블록단위로 변경시켜 비용을 크게 감소시킬 수 있다. 또한 제안시스템은 데이터를 압축 저장하여 저장 비용을 감소시킬 수 있다. 그러나 압축기법은 데이터의 필드정보가 유실되어 모든 데이터의 압축을 해제하는 비용이 발생한다. 이 문제를 해결하기 위해 제안시스템은 압축 시 압축되는 블록의 인덱스를 생성하여 데이터 검색 속도를 향상시켰다. 본 제안시스템은 반도체 공정에서 빠르게 발생하는 대용량 데이터를 고속으로 저장할 수 있고, 디스크 저 장비용을 감소시킬 수 있다.

  • PDF

영역 질의의 효과적인 처리를 위한 궤적 인덱싱 (Trajectory Indexing for Efficient Processing of Range Queries)

  • 차창일;김상욱;원정임
    • 정보처리학회논문지D
    • /
    • 제16D권4호
    • /
    • pp.487-496
    • /
    • 2009
  • 본 연구에서는 대용량 궤적 데이터베이스에서 영역 질의를 효과적으로 처리하기 위한 인덱싱 기법에 대하여 논의한다. 먼저, 기존 인덱싱기법의 문제점을 지적하고, 이러한 문제점을 해결하는 새로운 기법을 제안한다. 제안된 기법에서는 우선 시간 차원을 다수의 시간 구간으로 분할하고, 인덱싱의 대상이 되는 전체 라인 세그먼트들을 시간 구간별로 구분한다. 각 시간 구간에 속하는 라인 세그먼트들에 대하여 별도의 인덱스를 구축한다. 또한, 디스크에서 관리되는 과거 시간 구간에 대한 인덱스들과는 달리 최근 시간 구간에 대한 인덱스는 메인 메모리상에 관리함으로써 삽입과 검색의 성능을 크게 개선할 수 있다. 각 시간 구간에 속하는 라인 세그먼트들은 다음과 같은 방식으로 인덱스를 구축한다. 먼저, 2D-트리를 이용하여 전체 공간 차원을 유사한 수의 라인 세그먼트들이 배정되도록 다수의 셀들로 분할한다. 또한, 분할된 각 셀마다 시공간 차원 (x, y, t)에 대한 별도의 3차원 $R^*$-트리를 두어 보다 상세한 인덱싱을 지원한다. 이와 같은 다양한 전략을 이용함으로써 기존 기법의 문제점들을 해결 할 수 있다. 다양한 실험을 통하여 제안된 기법의 우수성을 정량적으로 검증한다. 실험 결과에 의하면, 기존 기법에 비하여 작은 인덱스 구조를 갖으면서도 검색 성능면에서 3$\sim$10배까지의 성능 향상 효과를 갖는 것으로 나타났다.