• 제목/요약/키워드: disk I/O

검색결과 241건 처리시간 0.037초

고차원 멀티미디어 데이터 검색을 위한 벡터 근사 비트맵 색인 방법 (Vector Approximation Bitmap Indexing Method for High Dimensional Multimedia Database)

  • 박주현;손대온;낭종호;주복규
    • 정보처리학회논문지D
    • /
    • 제13D권4호
    • /
    • pp.455-462
    • /
    • 2006
  • 고차원 데이터 공간에서의 효과적인 검색을 위해 최근 VA-file[1], LPC-file[2] 등과 같이 벡터 근사에 기반을 둔 필터링 색인 방법들이 연구되었다. 필터링 색인 방법은 벡터를 근사한 작은 크기의 색인 정보를 사용하여 근사 거리를 계산하고, 이를 사용하여 질의 벡터와 유사하지 않은 대부분의 벡터들을 빠른 시간 안에 검색 대상에서 제외한다. 즉, 실제 벡터 대신 근사 벡터를 읽어 디스크 I/O 시간을 줄여 전체 검색 속도를 향상시키는 것이다. 하지만 VA-file 이나 LPC-file은 근사 거리를 구하는 방법이 순차 검색과 같거나 복잡하기 때문에 검색 속도 향상 효과가 그리 크지 않다는 문제점을 가지고 있다. 본 논문은 이러한 근사 거리 계산 시간을 줄이기 위하여 새로운 비트맵 색인 구조를 제안한다. 근사 거리 계산속도의 향상을 위하여, 각 객체의 값을 특성 벡터 공간상의 위치를 나타내는 비트 패턴으로 저장하고, 객체 사이의 거리를 구하는 연산은 실제 벡터 값의 연산보다 속도가 훨씬 빠른 XOR 비트 연산으로 대체한다. 실험에 의하면 본 논문이 제안하는 방법은 기존 벡터 근사 접근 방법들과 비교하여 데이터 읽기시간은 더 크지만, 계산 시간을 크게 줄임으로써 전체 검색 속도는 순차 검색의 약 4배, 기존의 방법들보다는 최대 2배의 성능이 향상되었다. 결과적으로, 데이터베이스의 속도가 충분히 빠른 경우 기존의 벡터 근사 접근법의 필터링을 위한 계산 시간을 줄임으로써 더욱 검색 성능을 향상 시킬 수 있음을 확인할 수 있다.

컬럼-기반 데이터베이스를 위한 그림자 복구 (Shadow Recovery for Column-based Databases)

  • 변시우
    • 한국산학기술학회논문지
    • /
    • 제16권4호
    • /
    • pp.2784-2790
    • /
    • 2015
  • 컬럼-기반 데이터베이스 저장소는 우수한 입출력 성능으로 대용량 데이터 트랜잭션을 위한 매우 진보적인 모델이다. 전통적인 데이터 저장소는 빠른 쓰기 연산을 위하여 한 레코드의 속성들을 하드 디스크에 연속적으로 배치되어 있는 가로-지향 저장 모델을 활용하였다. 하지만 검색이 대부분인 데이터웨어하우스 시스템을 위해서는 월등한 판독 성능 때문에 컬럼-지향 저장소가 더 적합한 모델이 되고 있다. 또한 최근에는 플래시 메모리를 사용한 SSD가 고속 데이터 분석 시스템을 위한 적합한 저장 매체로 인식되고 있다. 본 연구에서는 플래시 미디어 파일 시스템을 기반으로 하는 컬럼-기반 데이터베이스 환경을 위한 새로운 트랜잭션 회복기법(CoSR)을 제안한다. 제안 기법은 기존의 쉐도우 페이징 기법을 개선하여 플래시 파일 시스템에서 새로운 블록에 데이터를 저장할 경우 무효화되어 폐기되는 이전 데이터 블록을 재활용하였다. 이를 위하여 제안된 컬럼-기반 쉐도우 복구 기법에 재활용 쉐도우 리스트 구조를 활용하였다. 제안 기법은 기존 쉐도우 페이징기법의 최대 단점인 쉐도우 페이지 관련 추가 저장공간의 부담을 최소화하고, 기존 복구 기법에서 컬럼 데이터 압축에 기인한 입출력 성능저하를 최소화 할 수 있다. 실험 분석결과를 통하여 CoSR기법이 기존 기법보다 17% 더 우수함을 확인하였다.

스타 스키마 조인 처리에 대한 세로-지향 데이터베이스 시스템과 가로-지향 데이터베이스 시스템의 성능 비교 (Performance Comparison of Column-Oriented and Row-Oriented Database Systems for Star Schema Join Processing)

  • 오병중;안수민;김경창
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권8호
    • /
    • pp.29-38
    • /
    • 2011
  • 세로-지향 데이터베이스 시스템은 기존의 가로-지향 데이터베이스 시스템과 달리 데이터를 가로(row) 위주가 아닌 세로(column) 위주로 저장한다. 최근에는 데이터 웨어하우스나 의사 결정 시스템 같은 대용량 데이터를 갖는 읽기 위주의 응용들에서 세로-지향데이터베이스의 우수성이 관찰되었다. 본 논문에서는 세로-지향데이터베이스에서의 조인 전략을 구체적으로 분석하고 데이터 웨어하우스 시스템에서 세로-지향 데이터베이스의 우수성을 검증하고자 한다. 두 시스템간의 객관적인 비교를 위해 데이터 웨어하우스 분석 모델인 스타 스키마 벤치마크를 통해 스타스키마조인 질의에 대한 성능분석을 실시하고자 한다. 또한 세로-지향 데이터베이스의 조인 전략으로 조기 실체화(early materialization)와 지연 실체화(late materialization)를 고려하였다. 성능 분석을 통해 스타 스키마 조인 질의처리에 있어 가로-지향 시스템보다는 세로-지향 시스템에서 디스크 I/O 비용이 더 효율적인 결과를 확인할 수 있었다. 세로-지향 데이터베이스 시스템 측면에서는 조기 실체화보다는 지연 실체화 조인전략이 훨씬 우수한 성능을 보였다.

PMS : 다단계 저장장치를 고려한 효율적인 선반입 정책 (PMS : Prefetching Strategy for Multi-level Storage System)

  • 이규형;이효정;노삼혁
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제36권1호
    • /
    • pp.26-32
    • /
    • 2009
  • 저장장치를 다단계로 구성하여 효율적으로 많은 사용자의 요청을 동시에 처리하는 다단계 저장장치의 활용은 점차 늘어나고 있다. 저장 장치가 다단계로 발전하여, 매우 많은 데이타를 효과적으로 처리할 수 있게 되었으나, 디스크에 접근하기 위한 단계가 늘어남으로써 성능이 저하되는 문제가 발생한다. 현재까지는 메모리와 프로세스에 비해 느린 디스크 접근 속도를 완충하기 위해 선반입 정책이 매우 효과적이었다. 그러나 기존의 선반입 기법은 대부분 다단계로 구성된 저장장치는 고려하지 않기 때문에 다단계 저장장치에서 기존의 선반입 기법을 사용할 경우 큰 성능향상을 기대 할 수 없다. 본 연구에서는 네트워크로 연결된 다단계 저장장치에서 상위 레벨의 선반입 기법에 의존하지 않는, 넓은 용도로 사용할 수 있는, Prefetching Strategy for Multi-level Storage system(PMS)라 칭하는 하위 레벨 선반입 기법을 제안하였다. 이는 시스템의 사용자, 어플리케이션 혹은 상위 시스템과 독립적으로 동작하기 때문에 단지 하위 시스템의 선반입 정책으로 적용함으로써 쉽게 높은 성능을 사용할 수 있다. 또한 PMS 정책의 성능을 측정하기 위해 본 연구에서는 실제 시스템을 정교하게 흉내 내는 시뮬레이터를 개발하여 널리 쓰이는 두가지 트레이스를 이용한 서로 다른 32가지의 실험을 하였고, 기존의 선반입 정책을 하위 레벨에 적용한 시스템에 비해 PMS 정책을 하위 레벨에 적용할 경우, 모든 경우에서 성능향상을 확인 할 수 있었고, 최대 35%, 평균 16.56%의 평균 응답시간이 좋아짐을 보였다.

밀도 기반의 k-최근접 질의 처리 (A Density-based k-Nearest Neighbors Query Method)

  • 장인성;한은영;조대수
    • 한국지리정보학회지
    • /
    • 제6권4호
    • /
    • pp.59-70
    • /
    • 2003
  • 공간 데이터베이스 관리시스템에서 제공하는 공간 질의는 많은 디스크 참조와 CPU 처리시간을 필요로 한다. 이 중에서 k-최근접 질의는 많은 디스크 참조를 요구하는 질의로써 지금까지 많은 연구가 이루어져 왔다. 트리 구조의 색인을 사용하는 k-최근접 질의 처리방법은 조건을 만족하지 않는 노드를 가지치기 기법을 사용하여 노드 방문횟수를 줄인다. 그러나 이 방법은 가지치기 과정에서 불필요한 디스크 참고가 발생하여 성능을 저하시키는 단점을 가지고 있다. 본 논문에서는 가지치기 기법 대신 주어진 k개의 최근접 객체가 존재할 영역을 미리 예측함으로써 디스크 참조횟수를 줄이는 방법을 제시한다. 이 영역을 예측하기 위해서 본 연구에서는 데이터 분포에 대한 밀도를 이용하였다. 실험에 의하면 이러한 방법은 기존의 가지치기 기법을 이용한 방법에 비해서 최고 22%,평균 7% 정도의 디스크 참조횟수의 감소 효과가 있음을 알 수 있다.

  • PDF

스케쥴링 기법을 이용한 분산 이동 객체 데이타베이스의 범위 질의 처리 (Range Query Processing of Distributed Moving Object Databases using Scheduling Technique)

  • 전세길;황재일;나연묵
    • 한국공간정보시스템학회 논문지
    • /
    • 제6권2호
    • /
    • pp.51-62
    • /
    • 2004
  • 최근 들어 이동 통신 서비스에서 이동하는 고객의 위치정보와 관련된 서비스가 중요한 서비스로 부각되고 있다. 이동 객체의 경우 갱신 연산이 많고 부하가 특정 지역에 집중되는 특징이 있다. 이러한 LBS 응용에서 시공간 영역질의는 중요한 서비스이다. 질의 처리 속도의 개선을 위해서 디스크 입출력 시간을 최대한 줄일 필요가 있다. 본 논문에서는 갱신연산을 최소화하기 위해 고안되어진 시공간 시스템 아키텍쳐로 GALIS의 비균등 2단계 격자 인덱스 구조를 적용한다. 질의 처리 처리율을 향상시키기 위해서 공간 관련성과 시간 관련성을 이용한 스케줄링 기법과 Time Zone 개념을 사용하여 시공간 개념이 결합된 질의 처리 기법을 제안한다. 제안된 방법의 성능 측정을 위해서 다른 질의 범위를 가지고 영역 질의의 결과를 보인다.

  • PDF

고속 하이브리드 저장장치의 입출력 성능개선을 위한 헤테로-미러링 기법 (A Hetero-Mirroring Scheme to Improve I/O Performance of High-Speed Hybrid Storage)

  • 변시우
    • 한국산학기술학회논문지
    • /
    • 제11권12호
    • /
    • pp.4997-5006
    • /
    • 2010
  • 플래시 메모리 기반의 SSD는 데스크톱 및 이동형 컴퓨터의 저장 장치를 지원하는 우수한 미디어이다. 플래시 메모리는 비휘발성, 낮은 전력소모, 빠른 데이터 읽기속도 등의 특징으로 데스크톱 및 서버용 데이터베이스의 핵심 저장 요소가 되었다. 하지만, 빠른 읽기 연산에 비하여 상대적으로 느리거나 프리징이 있는 SSD의 쓰기 연산 특성을 고려하여 HDD와 RAID에 기반을 둔 기존의 전통적인 스토리지 관리 기법을 개선할 필요가 있다. 이를 위하여, 본 논문은 전통적인 HDD 미러링에 기반을 둔 헤테로-미러링이라는 새로운 저장 장치 관리 기법을 제안한다. 헤테로-미러링 기반 기법은 SSD에서 발생 가능한 프리징 현상을 피하기 위한 쓰기-부하 밸런싱과 쓰기 지연 연산을 통하여 RAID-1 처리 성능을 개선한다. 테스트 결과 제안한 기법은 쓰기 연산 부하와 프리징 부하를 크게 감소시키고, 기존의 SSD-RAID-1 기법의 성능을 18%, 응답 시간을 38% 개선함을 확인하였다.

브레이크포인트를 이용한 범용 워크로드 프리페칭 프레임워크 (Prefetching Framework for General Workloads Using Breakpoint)

  • 고광진;유준희;강경태;신현식
    • 정보과학회 논문지
    • /
    • 제41권10호
    • /
    • pp.832-837
    • /
    • 2014
  • 프로그램의 로딩 속도는 프로그램이 요청하는 디스크 블록을 미리 읽어 들임으로써(프리페칭) 향상시킬 수 있다. 그러나 기존의 프리페칭 관련 기법들은 특정 프로그램에 최적화된 경우를 제외하면 상당한 오버헤드를 보여주었다. 특히 요청블록을 정확히 추적하는데 어려움이 있었다. 어떤 블록들은 여러 시퀀스(단위시간 내에 추적된 블록들)에 나타날 수 있고 두 접근 시퀀스가 동일 하더라도 버퍼 캐시에 의해서 접근 시간과 수집되는 블록 정보가 다를 수 있기 때문에 분석이 까다롭다. 본 논문에서는 소프트웨어적 접근 방법으로 새로운 범용 워크로드 프리페칭 기법을 제안한다. 제안하는 프리페칭 기법은 브레이크 포인트를 프로그램의 적재 적소에 배치함으로써 요청 블록의 상관관계 정보를 수집하고, 이를 바탕으로 프리페칭을 수행한다. 상용 하드디스크를 이용한 실험 결과, 불필요한 오버헤드가 감소되었으며 기동 시간은 평균 30%, 로딩은 평균 15% 단축되었음을 확인하였다.

적응력있는 블록 교체 기법을 위한 효율적인 버퍼 할당 정책 (Efficient Buffer Allocation Policy for the Adaptive Block Replacement Scheme)

  • 최종무;조성제;노삼혁;민상렬;조유근
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제27권3호
    • /
    • pp.324-336
    • /
    • 2000
  • 본 논문에서는 디스크 입출력 시스템의 성능을 향상시키기 위한 효율적인 버퍼 관리 기법을 제시한다. 본 기법은 사용자 수준의 정보 없이 블록의 속성과 미래 참조 거리간의 관계를 기반으로 각 응용의 블록 참조 패턴을 자동으로 발견하고, 발견된 참조 패턴에 적합한 최적 블록 교체 기법을 적용한다. 또한, 응용이 참조하는 블록이 버퍼 캐쉬에 없어 새로운 버퍼 블록이 요구될 때, 응용별로 블록 참조 패턴에 따라 버퍼 예상 적중률을 분석하여 이를 기반으로 전체 버퍼 캐쉬의 적중률이 극대화되도록 해 주는 버퍼 할당 기법을 제안한다. 이러한 모든 과정은 시스템 수준에서 자동으로 그리고 온라인으로 수행된다. 제시한 기법의 성능을 평가하기 위해 블록 참조 트레이스를 이용해 모의 실험을 수행하였다. 실험 결과 제시한 기법은 적은 오버헤드로 기존의 블록 교체 기법들보다 캐쉬 블록의 적중률을 크게 향상시켜 주었다.

  • PDF

교환 시스템에서의 이중화 저장장치 (Redundant Storage Device in Communication System)

  • 노승환
    • 한국통신학회논문지
    • /
    • 제29권4B호
    • /
    • pp.403-410
    • /
    • 2004
  • 일반적으로 교환 시스템은 프로세서 보드, 입출력처리 보드 및 데이터 저장 장치등 그 기능별로 다수의 서브시스템들로 구성되어 있다. 또한 신뢰성을 확보하기 위하여 모든 서브 보드들은 이중화로 되어 있다. 교환시스템에서 저장 장치에는 시스템에 관련된 정보나 과금 정보등과 같은 작업 관련 데이터를 저장하며 비 휘발성 메모리에 저장해야 한다. 일반적으로 비 휘발성 저장장치를 구현할 때는 플래시메모리(flash memory) 또는 배터리 백업 메모리(battery backup memory)를 사용한다. 그러나 메모리는 단위 용량당 가격이 높고 백업(backup) 하지 않은 데이터를 손실했을 때 복구할 수 없다. 본 논문에서는 마이크로 컨트롤러를 이용하여 단위 용량당 가격이 저렴하고, 대용량의 데이터를 저장함과 동시에 이중화를 만족시키는 on-board 형태의 소형 디스크 모듈을 설계 구현하였다. 본 논문에서 구현된 이중화 저장장치는 사용 중인 엑티브(active) 디스크에 결함이 생겨 사용할 수 없을 경우에 리빌딩(rebuilding)과정을 동해 스탠바이 모듈로부터 데이터를 복구하며, 리빌딩 중에도 호스트 시스템은 스탠바이 디스크모듈을 이용하여 지속적으로 서비스를 제공할 수 있도록 설계되었다. 본 연구에서 개발된 저장장치는 교환시스템에서 플래시 메모리와 같은 값비싼 저장 장치를 대체 할 수 있을 것으로 기대된다.