• 제목/요약/키워드: Compressed database

검색결과 45건 처리시간 0.02초

데이터베이스 압축 성능 향상을 위한 선택적 압축 전략 (A Selective Compression Strategy for Performance Improvement of Database Compression)

  • 이기훈
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권9호
    • /
    • pp.371-376
    • /
    • 2015
  • 사물인터넷 (IoT)은 데이터의 양을 상당히 증가시킨다. 데이터베이스 압축은 저장 시스템 비용과 I/O 대역폭을 절약할 수 있기 때문에 빅데이터에 있어서 중요하다. 그러나 데이터베이스 압축은 압축된 페이지에 대한 업데이트로 인해 OLTP와 같은 쓰기 집중적인 워크로드에 대해 낮은 성능을 보일 수 있다. 본 논문에서는 데이터베이스 압축의 성능 향상을 위한 실용적 가이드라인을 제시한다. 특히, 압축 페이지 크기에 의한 계산으로부터 예상되는 공간 절약과 거의 같은 공간 절약을 보이는 테이블들만을 압축하는 SELECTIVE 전략을 제시한다. TPC-C 벤치마크와 MySQL을 이용한 실험을 통해 SELECTIVE 전략이 압축하지 않는 방법에 비해 1.1배 높은 성능을 보이면서 17.3%의 공간을 절약한다는 것을 보였다.

데이터베이스 축소기법을 사용한 모바일 임베디드 시스템에서의 모션 캡쳐 기반 애니메이션 (Motion-Capture-Based Animation in Mobile Embedded Systems Using Motion Capture Database Reduction Technique)

  • 한영모
    • 정보처리학회논문지B
    • /
    • 제14B권6호
    • /
    • pp.437-444
    • /
    • 2007
  • 본 논문의 목적은 기존의 모션 캡쳐 기반 애니메이션을 모바일 임베디드 시스템의 적은 메모리와 낮은 계산력에 적합하게 개조하는데 있다. 모바일 임베디드 시스템의 메모리를 효율적으로 사용하기 위한 방안으로서, PC 상에서 모션 캡쳐 데이터베이스를 압축하고, 압축된 모션캡쳐 데이터베이스를 모바일 임베디드 시스템에서 조금씩 압축 해제하고 사용 직후 삭제하는 패러다임을 제안한다. 이러한 목적으로 사용될 모션 캡쳐 데이터베이스 압축 기법으로서, 다항식 정합법을 활용하여 캡쳐된 운동 랜더링 파라미터의 데이터베이스를 축소하는 방법을 제안한다. 그리고 성능향상을 위해서 다항식 정합 함수를 최적화하는 방안도 함께 제안한다. 이렇게 설계된 다항식 정합법에 기반한 데이터 압축 방식을 사용하여, 상용화된 모바일 임베디드 시스템에서 효율적인 모션 캡쳐 기반 애니메이션 제작을 시현한다.

축소변환된 의료 이미지의 질감 특징 추출과 인덱싱 (An Extracting and Indexing Schema of Compressed Medical Images)

  • 위희정;엄기현
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2000년도 춘계학술발표논문집
    • /
    • pp.328-331
    • /
    • 2000
  • In this paper , we propose a texture feature extraction method of reduce the massive computational time on extracting texture, features of large sized medical such as MRI, CT-scan , and an index structure, called GLTFT, to speed up the retrieval performance. For these, the original image is transformed into a compressed image by Wavelet transform , and textural features such as contrast, energy, entropy, and homogeneity of the compressed image is extracted by using GLCM(Gray Level Co-occurrence Metrix) . The proposed index structure is organized by using the textural features. The processing in compressed domain can give the solution of storage space and the reduction of computational time of feature extracting . And , by GLTFT index structure, image retrieval performance can be expected to be improved by reducing the retrieval range . Our experiment on 270 MRIs as image database shows that shows that such expectation can be got.

  • PDF

PCA에 기반한 압축영역에서의 MPEG Video 검색기법 (PCA-Based MPEG Video Retrieval in Compressed Domain)

  • 이경화;강대성
    • 대한전자공학회논문지SP
    • /
    • 제40권1호
    • /
    • pp.28-33
    • /
    • 2003
  • 본 논문에서는 동영상 압축 부호화에 대한 표준안인 MPEG 기반의 압축 비디오 스트림으로부터 DCT DC 계수를 추출하구 이들로 구성된 DE 영상으로부터 장면 전환 검출을 수행한 후 대표 프레임을 추출한다. 또한 추출된 대표 프레임을 PCA(Principal Component Analysis) 방법을 이용하여 데이터베이스의 색인 정보로 저장한 후 입력된 질의 영상과 가장 유사한 대표 영상들을 검색하는 방법에 대해 제안한다. 즉, 추출된 대표 프레임에 대해 주성분해석 기법을 적용하여 통계적인 특성을 가진 데이터를 특징으로 추출함으로써 코드워드의 수에 따른 코드북을 생성하고 이를 데이터베이스의 색인 정보로 저장한다. 실험 결과 제안된 방법이 검색에 있어 우수한 성능을 나타내고 또한 통계적인 데이터의 특성을 이용하기 때문에 처리 시간과 상당한 양의 메모리 공간을 줄일 수 있음을 확인하였다.

대용량 압축 데이터베이스를 위한 비대칭 색인 관리 기법 (Asymmetric Index Management Scheme for High-capacity Compressed Databases)

  • 변시우;장석우
    • 한국산학기술학회논문지
    • /
    • 제17권7호
    • /
    • pp.293-300
    • /
    • 2016
  • 전통적인 기존의 데이터베이스는 높은 성능을 얻기 위하여 느린 하드 디스크에서 관련된 레코드가 연속적으로 저장되어 있는 레코드 기반 모델을 활용한다. 그러나 읽기 집중적인 데이터 분석 시스템을 위해서는 컬럼 기반 압축 데이터베이스가 월등한 판독 성능으로 인하여 더 적합한 모델이 되고 있으며, 최근 플래시 메모리 SSD가 고속 분석용 시스템에 적합한 저장 매체로 선호되고 있다. 본 논문에서는 세로로 저장하는 컬럼 기반 스토리지 모델을 소개하고, 대용량 데이터웨어하우스 시스템을 위한 새로운 인덱스와 데이터 관리 기법을 제안한다. 제안된 인덱스 관리 기법은 두 개의 인덱스를 사용하는 비대칭 인덱스 이중화이며, 갱신용 마스터 인덱스와 판독용 컴팩트 인덱스를 활용하여 특히 읽기가 집중된 빅 데이터베이스에서 우수한 검색 성능을 얻는다. 그리고 본 데이터 관리 기법은 관련된 컬럼 압축과 두 개의 플래시 메모리 SSD를 이중화하여 높은 판독 성능과 처리 안정성에 도움을 준다. 고부하 워크로드 조건의 성능 평가 결과를 기반으로, 본 데이터 관리 기법이 기존 기법보다 검색 처리 및 응답 시간 측면에서 더 우수함을 보이고자 한다.

A single-phase algorithm for mining high utility itemsets using compressed tree structures

  • Bhat B, Anup;SV, Harish;M, Geetha
    • ETRI Journal
    • /
    • 제43권6호
    • /
    • pp.1024-1037
    • /
    • 2021
  • Mining high utility itemsets (HUIs) from transaction databases considers such factors as the unit profit and quantity of purchased items. Two-phase tree-based algorithms transform a database into compressed tree structures and generate candidate patterns through a recursive pattern-growth procedure. This procedure requires a lot of memory and time to construct conditional pattern trees. To address this issue, this study employs two compressed tree structures, namely, Utility Count Tree and String Utility Tree, to enumerate valid patterns and thus promote fast utility computation. Furthermore, the study presents an algorithm called single-phase utility computation (SPUC) that leverages these two tree structures to mine HUIs in a single phase by incorporating novel pruning strategies. Experiments conducted on both real and synthetic datasets demonstrate the superior performance of SPUC compared with IHUP, UP-Growth, and UP-Growth+algorithms.

MPEG-2 압축 동영상 정보 관리 시스템의 설계 및 구현 (Design and Implementation of MPEG-2 Compressed Video Information Management System)

  • 허진용;김인홍;배종민;강현석
    • 한국정보처리학회논문지
    • /
    • 제5권6호
    • /
    • pp.1431-1440
    • /
    • 1998
  • 동영상 정보는 자료의 양이 방대하고 다양하여 압축된 형태로 저장하고 검색하는 것이 매우 중요하다. 본 논문에서는 동영상 문서의 구조를 추출하고 동영상 스트림의 인데싱에 대한 의미를 부여할 수 있는 일반적인 데이터 모델을 제시하고, 이 모델을 이용하여 MPEG-2로 압축된 동영상 자료를 데이터베이스에 저장하고 검색하는 MPEG-2 압축 동영상 정보 관리 시스템(CVIMS, Compressed Video Information Management System)을 제안한다. CVIMS는 MPEG-2 파일에서 I-프레임들을 추출하고, 그 중에서 키 프레임(대표 이미지)을 선택한 후, 선택된 키 프레임에 대한 축소그림(thumbnail)과 캡션 및 그림 설명 정보를 데이터베이스에 저장한다. 그리고 데이터베이스에 저장된 MPEG-2 동영상을 질의어나 키 프레임을 통해 검색한다.

  • PDF

공간 선택률 추정을 위한 압축 히스토그램 기법 (A Compressed Histogram Technique for Spatial Selectivity Estimation)

  • 정재두;지정희;류근호
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 한국공간정보시스템학회 2004년도 국내 LBS 기술개발 및 표준화 동향세미나
    • /
    • pp.69-74
    • /
    • 2004
  • Selectivity estimation for spatial query is very important process in finding the most efficient execution plan. Many works have been performed to estimate accurately selectivity. Although they deal with some problems such as false-count, multi-count, they require a large amount of memory to retain accurate selectivity, so they can not get good results in little memory environments such as mobile-based small database. In order to solve this problem, we propose a new technique called MW histogram which is able to compress summary data and get reasonable results. It also has a flexible structure to react dynamic update. The experimental results showed that the MW histogram has lower relative error than MinSkew histogram and gets a good selectivity in little memory.

  • PDF

대용량 컬럼 저장소를 위한 교차 압축 이중화 기법 (Cross Compressed Replication Scheme for Large-Volume Column Storages)

  • 변시우
    • 한국산학기술학회논문지
    • /
    • 제14권5호
    • /
    • pp.2449-2456
    • /
    • 2013
  • 컬럼-기반 데이터베이스 저장소는 우수한 입출력 성능으로 대용량 데이터 분석 시스템을 위한 매우 진보적인 모델이다. 전통적인 데이터 저장소는 빠른 쓰기 연산을 위하여 한 레코드의 속성들을 하드 디스크에 연속적으로 배치되어 있는 가로-지향 저장 모델을 활용하였다. 하지만 검색이 대부분인 데이터웨어하우스 시스템을 위해서는 월등한 판독 성능 때문에 컬럼-지향 저장소가 더 적합한 모델이 되고 있다. 또한 최근에는 MLC 플래시 메모리를 사용한 SSD가 고속 데이터 분석 시스템을 위한 적합한 저장 매체로 인식되고 있다. 본 논문에서는 고속 컬럼-지향 데이터 저장소 모델을 도입하고, 고속 컬럼-지향 데이터웨어하우스 시스템을 위한 교차 압축 이중화를 활용하는 새로운 저장소 관리 기법을 제안한다. 본 저장소 관리 기법은 두 개의 MLC SSD에 기반하며, 압축과 비압축된 세그먼트의 교차 이중화를 통하여 높은 CPU 및 입출력 부하에서도 우수한 저장 성능과 안정성을 얻는다. 성능 평가 결과를 통하여 본 저장소 관리 기법이 기존 기법보다 컬럼 세그먼트 갱신 처리치 및 그 응답시간 측면에서 더 우수함을 확인하였다.