• 제목/요약/키워드: 데이터 압축 플래시메모리

검색결과 17건 처리시간 0.023초

플래시메모리-SSD의 인덱스 연산 성능 향상을 위한 압축된 핫-콜드 클러스터링 기법 (A Compressed Hot-Cold Clustering to Improve Index Operation Performance of Flash Memory-SSD Systems)

  • 변시우
    • 한국산학기술학회논문지
    • /
    • 제11권1호
    • /
    • pp.166-174
    • /
    • 2010
  • SSD는 데스크탑 및 이동형 컴퓨터의 저장 장치를 지원하는 우수한 미디어이다. SSD는 비휘발성, 낮은 전력 소모, 빠른 데이터 접근 속도 등의 특징으로 데스크탑 및 서버용 데이터베이스의 핵심 저장 요소가 되었다. 하지만, 일반 RAM 메모리에 비하여 상대적으로 느린 연산 특성을 고려하여 기존의 전통적인 인덱스 관리 기법을 개선할 필요가 있다. 이를 위하여, 본 논문은 CHC-Tree 라고 하는 압축된 핫-콜드 클러스터링에 기반하는 새로운 인덱스 관리 기법을 제안한다. CHC-Tree는 인덱스 노드를 핫-콜드 세그먼트로 분류하며, 인덱스 노드의 키와 포인터를 압축한다. 콜드 세그먼트의 비활용노드의 오프셋 압축으로 느린 쓰기연산의 부담을 줄인다. 또한, 실험 결과를 통하여 기존의 B-Tree 기반의 인덱스 관리 기법보다 인덱스 검색 연산에서 26%, 인덱스 수정 연산에서 23% 이상 우수함을 확인하였다.

분할된 압축 인덱스를 이용한 컬럼-지향 플래시 스토리지의 검색 성능 개선 (Search Performance Improvement of Column-oriented Flash Storages using Segmented Compression Index)

  • 변시우
    • 한국산학기술학회논문지
    • /
    • 제14권1호
    • /
    • pp.393-401
    • /
    • 2013
  • 대부분의 기존 데이터베이스들은 빠른 저장 성능을 얻기 위하여 한 레코드의 속성들을 하드 디스크에 연속적으로 배치하는 레코드-지향 저장 모델을 사용하였다. 하지만 검색이 대부분인 데이터웨어하우스 시스템에는 월등한 읽기 성능 때문에 컬럼-지향 저장 방식이 적합한 모델이 되고 있다. 또한, 현재 플래시 메모리가 고속 데이터베이스 시스템을 위한 선호 저장 매체로 인정되고 있다. 본 논문에서는 고속 컬럼-지향 데이터베이스 모델을 도입하고, 고속 컬럼-지향 데이터웨어하우스 시스템을 위한 컬럼-인지 인덱스 관리 기법을 제안한다. 본 인덱스 관리 기법은 개선된 B트리에 기반하며, 중간 노드와 리프노드에서 내장 플래시 인덱스와 빈공간 압축을 통하여 높은 검색 성능을 얻는다. 성능 평가 결과를 기반으로 본 인덱스 관리 기법이 기존 기법보다 검색 처리 및 응답 시간 측면에서 더 우수함을 확인하였다.

압축/비압축 파일과 명령 큐 깊이에 따른 SSD 성능 변화 (Performance Changes of Solid State Disk with Compressed.Uncompressed File Format and Command Queue Depth)

  • 이수연;차재혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(B)
    • /
    • pp.462-465
    • /
    • 2011
  • 낸드 플래시 메모리를 이용한 SSD(Solid-State Disk)는 빠른 속도와 저전력, 휴대성, 내구성 등의 특성을 가져 전통적인 저장 장치인 하드 디스크(HDD:Hard Disk Drive)를 대체할 차세대 저장 장치로 주목받고 있다. 그러나 저장 장치 성능 측정 도구는 기존의 하드 디스크의 특성을 기반으로 한 것들이 대부분으로 이를 통해 SSD의 성능을 측정하기엔 적합하지 않다. 특히 SSD는 하드 디스크에 비해 단위 공간 당비용이 수십 배 가량 높아 저장 공간의 효율적인 관리를 위해 컨트롤러(Controller)가 데이터 압축 기법을 사용하기도 하는데 이 압축 기법을 사용하는 컨트롤러에 따라 SSD는 다른 성능을 보인다. 또, 여러 가지 명령들이 한꺼번에 존재할 때 컨트롤러에 따라 이를 적절히 효율적으로 처리해주는 기능을 가지고 있는데 이 역시 SSD의 성능에 차이를 가져온다. 그러나 기존 저장 장치 성능 측정 도구는 압축 기법 유무를 판별할 수 있으면서 여러 명령들이 한꺼번에 존재할 때 SSD 성능의 차이를 파악할 수 있는 통합된 성능 측정 도구는 없다. 본 논문에서는 다양한 패턴에 따라 SSD의 특성을 측정할 수 있는 도구인 uFlip 성능 측정 도구를 기반으로, 압축 기법의 사용 유무를 판별할 수 있는 기능과 명령 큐 깊이(Command Queue Depth)에 따라 성능의 차이를 판별할 수 있는 기능을 추가하였고, uFlip 기반 수정된 성능 측정 도구로 몇 가지 상용 SSD의 성능을 평가하여 비교함으로써 추가된 기능들의 유무에 따라 SSD별로 다른 성능을 보이는 것을 확인할 수 있었다.

대용량 컬럼 저장소를 위한 교차 압축 이중화 기법 (Cross Compressed Replication Scheme for Large-Volume Column Storages)

  • 변시우
    • 한국산학기술학회논문지
    • /
    • 제14권5호
    • /
    • pp.2449-2456
    • /
    • 2013
  • 컬럼-기반 데이터베이스 저장소는 우수한 입출력 성능으로 대용량 데이터 분석 시스템을 위한 매우 진보적인 모델이다. 전통적인 데이터 저장소는 빠른 쓰기 연산을 위하여 한 레코드의 속성들을 하드 디스크에 연속적으로 배치되어 있는 가로-지향 저장 모델을 활용하였다. 하지만 검색이 대부분인 데이터웨어하우스 시스템을 위해서는 월등한 판독 성능 때문에 컬럼-지향 저장소가 더 적합한 모델이 되고 있다. 또한 최근에는 MLC 플래시 메모리를 사용한 SSD가 고속 데이터 분석 시스템을 위한 적합한 저장 매체로 인식되고 있다. 본 논문에서는 고속 컬럼-지향 데이터 저장소 모델을 도입하고, 고속 컬럼-지향 데이터웨어하우스 시스템을 위한 교차 압축 이중화를 활용하는 새로운 저장소 관리 기법을 제안한다. 본 저장소 관리 기법은 두 개의 MLC SSD에 기반하며, 압축과 비압축된 세그먼트의 교차 이중화를 통하여 높은 CPU 및 입출력 부하에서도 우수한 저장 성능과 안정성을 얻는다. 성능 평가 결과를 통하여 본 저장소 관리 기법이 기존 기법보다 컬럼 세그먼트 갱신 처리치 및 그 응답시간 측면에서 더 우수함을 확인하였다.

qtar: 플래시 변환 계층 리매핑 기법을 이용한 최적화된 tar 명령어 구현 (qtar: Design and Implementation of an Optimized tar Command with FTL-level Remapping)

  • 유정석;한상욱;김지홍
    • 정보과학회 논문지
    • /
    • 제45권1호
    • /
    • pp.9-14
    • /
    • 2018
  • tar는 여러 개의 파일들을 묶어 하나의 파일로 만들어주는 리눅스 명령어이다. 크기가 작은 여러 파일들을 하나의 파일로 만들면, 파일 압축 및 전송 시에 좋은 효율을 갖는다. 하지만, tar는 타겟 파일들의 크기가 작을수록 성능이 떨어지는 문제점이 있다. 본 논문에서는 이 성능 하락이 tar가 파일들의 데이터를 읽어오는 데에서 발생함을 보이고, 플래시 변환 계층 리매핑 기법을 통해 이 문제를 해결하여 qtar (quick tar)를 구현하였다. I/O 성능은 I/O 요청의 크기가 1 MB보다 작아질 경우 그 크기에 비례하여 떨어지게 되는데, tar의 경우 파일들의 데이터를 한 파일 단위로 읽어 각 파일의 크기가 작을수록 안 좋은 성능을 갖게 된다. 그러나, qtar의 경우 리매핑 기법을 활용하여 파일들의 데이터를 항상 최대 I/O 크기로 읽어 각 파일의 크기와 관계없이 좋은 성능을 갖는다. 실험 결과, qtar가 tar에 비해 최대 3.4배 빠르게 동작하는 것을 확인하였다.

컬럼-기반 데이터베이스를 위한 그림자 복구 (Shadow Recovery for Column-based Databases)

  • 변시우
    • 한국산학기술학회논문지
    • /
    • 제16권4호
    • /
    • pp.2784-2790
    • /
    • 2015
  • 컬럼-기반 데이터베이스 저장소는 우수한 입출력 성능으로 대용량 데이터 트랜잭션을 위한 매우 진보적인 모델이다. 전통적인 데이터 저장소는 빠른 쓰기 연산을 위하여 한 레코드의 속성들을 하드 디스크에 연속적으로 배치되어 있는 가로-지향 저장 모델을 활용하였다. 하지만 검색이 대부분인 데이터웨어하우스 시스템을 위해서는 월등한 판독 성능 때문에 컬럼-지향 저장소가 더 적합한 모델이 되고 있다. 또한 최근에는 플래시 메모리를 사용한 SSD가 고속 데이터 분석 시스템을 위한 적합한 저장 매체로 인식되고 있다. 본 연구에서는 플래시 미디어 파일 시스템을 기반으로 하는 컬럼-기반 데이터베이스 환경을 위한 새로운 트랜잭션 회복기법(CoSR)을 제안한다. 제안 기법은 기존의 쉐도우 페이징 기법을 개선하여 플래시 파일 시스템에서 새로운 블록에 데이터를 저장할 경우 무효화되어 폐기되는 이전 데이터 블록을 재활용하였다. 이를 위하여 제안된 컬럼-기반 쉐도우 복구 기법에 재활용 쉐도우 리스트 구조를 활용하였다. 제안 기법은 기존 쉐도우 페이징기법의 최대 단점인 쉐도우 페이지 관련 추가 저장공간의 부담을 최소화하고, 기존 복구 기법에서 컬럼 데이터 압축에 기인한 입출력 성능저하를 최소화 할 수 있다. 실험 분석결과를 통하여 CoSR기법이 기존 기법보다 17% 더 우수함을 확인하였다.