• 제목/요약/키워드: in-memory file systems

검색결과 121건 처리시간 0.026초

에너지 및 성능 효율적인 이종 모바일 저장 장치용 동적 부하 분산 (Energy and Performance-Efficient Dynamic Load Distribution for Mobile Heterogeneous Storage Devices)

  • 김영진;김지홍
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권4호
    • /
    • pp.9-17
    • /
    • 2009
  • 본 논문에서는 운영체제 수준에서 에너지 절감과 함께 I/O 성능 개선을 목적으로 하여 소형 하드 디스크와 플래시 메모리를 이종의 저장 장치로 가지는 모바일 시스템에 대해 동적 부하 분산 기법을 제안한다. 제안 기법은 부하가 에너지 및 성능 효율적인 방법으로 하드디스크와 플래시 메모리의 이종성의 저장 장치 구성에 대해서 어떻게 효율적으로 분산될 수 있을 것인지를 발견하기 위하여 파일 배치 기법과 버퍼 캐시 관리 기법을 결합하는 접근법을 취한다. 제안한 기법은 폭넓은 시뮬레이션을 통해서 기존의 기법들과 비교하여 이종의 모바일 저장장치들에 대해서 더 개선된 실험 결과를 보이는 것으로 나타났다.

클라우드 데이터 서비스를 위한 대용량 데이터 처리 분산 파일 아키텍처 설계 (Distributed File Systems Architectures of the Large Data for Cloud Data Services)

  • 이병엽;박준호;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제12권2호
    • /
    • pp.30-39
    • /
    • 2012
  • 최근 클라우드 컴퓨팅 시장에 진출했거나 진출을 선언한 글로벌 IT 기업들을 이미 보유하고 있는 하드웨어, 소프트웨어 기반 기술들을 활용하거나 상호 협력을 통해 다양한 클라우드 서비스들을 제공함으로써 불특정 다수를 대상으로 급격하게 성장하고 있는 클라우드 컴퓨팅 시장에서 자신들의 영역을 지속적으로 확장해 나가고 있다. 분산 파일 시스템은 데이터의 저장과 관리뿐만 아니라 상위 계층 서비스가 요구하는 충분한 성능과 안정성을 보장해주기 위한 클라우드 컴퓨팅의 핵심 기술 중의 하나이다. 본 논문 에서는 클라우드 컴퓨팅을 위해 분산 파일 시스템이 갖추어야 할 사항들과 클라우드 컴퓨팅에서 활용 가능한 오픈 소스 기반의 하둡 분산 파일 시스템, 메모리 데이터베이스 기술, 고가용성 데이터베이스 시스템을 소개하고 현재 클라우드 컴퓨팅 시장에서 활용되고 있는 분산 파일 시스템의 동향을 통한 다양한 분산처리 기술을 참고하여 대용량 분산 데이터 처리 아키텍처를 구현하였다.

스토리지 클래스 메모리를 위한 롤백-복구 방식의 데이터 일관성 유지 기법 (Data Consistency-Control Scheme Using a Rollback-Recovery Mechanism for Storage Class Memory)

  • 이현구;김정훈;강동현;엄영익
    • 정보과학회 논문지
    • /
    • 제42권1호
    • /
    • pp.7-14
    • /
    • 2015
  • 스토리지 클래스 메모리(SCM)는 메모리와 스토리지의 장점을 동시에 가지고 있기 때문에 기존의 스토리지를 대체할 차세대 스토리지로 주목 받고 있다. 하지만 현재까지 제안된 SCM 전용 파일시스템은 데이터 일관성을 충분히 보장하지 않거나 혹은 보장될 경우, 과도한 일관성 유지 비용을 발생시키는 문제점을 지니고 있다. 본 논문에서는 보편적으로 사용하는 WAL(Write Ahead Logging) 방식의 일관성 유지 기법 대신 롤백-복구 방식을 이용하여, 블록내의 변경되는 데이터의 비율에 따라 로그 데이터 기록 방식을 변경하는 데이터 일관성 유지 기법을 제안한다. 본 기법은 데이터 일관성 손실 없이 로그 데이터의 크기를 줄여 데이터 쓰기 및 동기화 비용을 최소화시킬 수 있다. 제안한 기법을 평가하기 위해 리눅스 3.10.2 상에 구현하여 성능을 측정한 결과, 다른 일관성 유지기법에 비해 평균적으로 9배 정도의 데이터 쓰기 성능이 향상됨을 볼 수 있었다.

낸드 플래시 파일 시스템을 위한 결함 복구 시간 제한 기법의 설계 및 구현 (Design and Implementation of Crash Recovery Technique with Bounded Execution Time for NAND Flash File System)

  • 강승엽;박현찬;김기만;유혁
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제37권6호
    • /
    • pp.330-338
    • /
    • 2010
  • 현재 낸드 플래시 메모리는 다양한 이동형 기기에 활용되면서 급격하고 지속적인 성장을 하고 있다. 사용자들은 더욱 용량이 크고 빠른 기기들을 요구하지만, 현재의 낸드 플래시 파일 시스템은 결함 상황에서 복구 및 초기화 시간이 미디어의 용량에 비례하여 지연되는 문제가 있으며 이는 기기의 부팅 시간을 지연시켜 사람들의 불편을 초래한다. 우리는 이를 해결하기 위해 파일 시스템 초기화 시간이 미디어의 용량과 무관하도록 '작업 영역 기법'을 제안한다. 작업 영역 기법은 한 시점에서 낸드 플래시 메모리의 일부 영역만을 작업 공간으로 정의하고 유지하며 쓰기 명령을 작업 공간 안에서만 수행시킨다. 따라서 결합 상황에서 복구시 검색해야 할 크기를 최근 작업 영역으로 제한하므로써 결함 복구 수행 시간이 낸드 플래시 메모리 용량과 비례하지 않도록 한다. 우리는 이러한 작업 영역 기법을 YAFFS2를 기반으로 구현하였으며 기존 기법들과 초기화 성능을 비교해 보았다. 그 결과 1기가 낸드 플래시 메모리상에서 결함 복구 수행 시간이 기존의 로그 기반 기법에 비해 25배 가량 단축됨을 확인했다. 이러한 격차는 낸드 플래시 메모리 용량이 늘어날수록 커질 것이다.

대용량 공간 데이터를 위한 병렬 처리 기법 (A Parallel Processing Technique for Large Spatial Data)

  • 박승현;오병우
    • Spatial Information Research
    • /
    • 제23권2호
    • /
    • pp.1-9
    • /
    • 2015
  • 그래픽 처리 장치(GPU)는 내부에 대량의 산술 논리 연산 장치(ALU)를 보유하고 있다. 대량의 ALU는 병렬 처리를 위해 이용될 수 있으므로, GPU는 효율적인 데이터 처리를 제공한다. 공간 데이터를 지도상에 표현하기 위하여 지리학적 좌표가 필요하다. 좌표들은 측지경도와 측지위도의 형태로 저장된다. 데카르트 좌표계로 구성된 지도를 표현하기 위하여 측지경도와 측지위도는 국제 횡단 메르카토르 좌표계(UTM)로 전환돼야 한다. 좌표계 변환 과정과 변환된 좌표를 화면상에 표현하기 위한 렌더링 과정은 복잡한 부동 소수점 계산이 필요하다. 본 논문에서는 성능 향상을 위해 GPU를 활용한 좌표변환 과정과 렌더링 과정을 병렬적으로 처리하는 기법을 제안한다. 대용량 공간 데이터는 파일로 디스크 내에 저장된다. 대용량 공간 데이터를 효율적으로 처리하기 위하여 공간 데이터 파일들을 하나의 대용량 파일로 병합하고 Memory Mapped File 기법을 활용하여 파일에 접근하는 기법을 제안한다. 본 논문에서는 TIGER/Line 데이터를 활용하여 747,302,971개의 점으로 구성된 공간 데이터의 좌표 변환 및 렌더링 처리 과정을 GPU를 활용하여 병렬로 수행하는 연구를 진행한다. CPU를 이용하여 좌표변환 과정 결과와 렌더링 처리 과정 결과를 비교하여 속도 향상 정도에 대한 결과를 제시한다.

비휘발성 메모리 저장장치를 위한 영속적 페이지 테이블 및 파일시스템 저널링 기법 (Persistent Page Table and File System Journaling Scheme for NVM Storage)

  • 안재형;현철승;이동희
    • 전기전자학회논문지
    • /
    • 제23권1호
    • /
    • pp.80-90
    • /
    • 2019
  • 최근에 소개된 비휘발성 메모리(Non-Volatile Memory)를 저장장치로 사용하는 경우에도 데이터를 접근하기 위해서는 페이지 테이블이 구축되어야 한다. 이 점에 착안하여 본 논문에서는 페이지 테이블 자체를 비휘발성 메모리에 유지하는 영속적 페이지 테이블 (Persistent Page Table) 기법을 설계한다. 실제 페이지 테이블의 구조는 프로세서마다 다르다. 또한 비휘발성 메모리의 물리주소와 가상주소는 종종 저장장치가 시스템에 연결되기 전까지 알 수 없기 때문에 연결 시점까지는 실제로 동작하는 페이지 테이블을 만들 수 없다. 따라서 영속적 페이지 테이블은 주소와 시스템으로부터 독립적인 구조를 가져야 하며, 저장장치가 동작하는 시점에 영속적 페이지 테이블을 기반으로 시스템 종속적인 페이지 테이블이 생성되어야 한다. 또한 영속적 페이지 테이블 엔트리는 원자적으로 변경되어야 하며, 본 논문에서는 이러한 영속적 페이지 테이블의 설계에 대해 설명한다. 다음으로 파일시스템이 영속적 페이지 테이블이 제공하는 교환 연산을 활용하여 저널링 오버헤드를 감소시킬 수 있음을 보인다. 교환 연산을 활용하도록 Linux Ext4 파일시스템을 변경하였으며, Filebench 워크로드를 이용한 성능 측정 결과를 보면 영속적 페이지 테이블과 교환 연산은 파일시스템의 성능을 최대 60% 향상시킨다.

플래시 메모리를 위한 효율적인 사상 알고리즘 (An Efficient FTL Algorithm for Flash Memory)

  • 정태선;박형석
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제32권9호
    • /
    • pp.483-490
    • /
    • 2005
  • 플래시 메모리는 비 휘발성(non-volatility), 빠른 접근 속도, 저전력 소비, 그리고 간편한 휴대성 등의 장점을 가지므로 최근에 많은 임베디드 시스템에서 많이 사용되고 있다 그런데 플래시 메모리는 그 하드웨어 특성상 플래시 변환 계층(FTL. flash translation layer)이라는 시스템 소프트웨어를 필요로 한다. 이 FTL의 주요 기능은 파일 시스템으로부터 내려오는 논리 주소를 플래시 메모리의 물리 주소로 변환하는 일이다. 본 논문에서는 STAFF(State Transition Applied Fast Flash Translation Layer)라 불리는 FTL 알고리즘을 제안한다. 기존의 FTL 알고리즘에 비하여 STAFF는 적은 메모리를 필요로 하면서 기존 일반 방법인 블록 사상 방법에 비하여 5배 정도 좋은 성능을 보인다. 본 논문에서는 기존 FTL 알고리즘과 STAFF의 성능 비교를 보였다.

트랜잭션 단위 쓰기를 보장하는 스토리지 클래스 메모리 쓰기 버퍼캐시의 설계 및 구현 (Design and Implementation of Transactional Write Buffer Cache with Storage Class Memory)

  • 김영진;도인환;김은삼;최종무;이동희;노삼혁
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권2호
    • /
    • pp.247-251
    • /
    • 2010
  • 최근 등장한 비휘발성 속성과 램의 속성을 동시에 제공하는 스토리지 클래스 메모리(SCM)는 스토리지 시스템의 입출력 성능과 안정성 향상을 위한 시스템 소프트웨어 연구에 있어 새로운 가능성을 열어준다. 이에 본 연구에서는 트랜잭션 단위 쓰기를 보장하는 SCM 버퍼 캐시를 통하여 스토리지 시스템의 안전성과 성능을 동시에 향상 시키는 한편 시스템 붕괴 시 즉각적인 복구를 가능하게 한다. 본 연구에서 제안하는 트랜잭션 단위 쓰기를 보장하는 SCM 버퍼 캐시 기법은 리눅스 저널링 블록 디바이스(JBD)의 트랜잭션 메커니즘을 기반으로 하므로 JBD 만큼의 안정성을 제공 한다. 동시에 실제 시스템에서의 성능 평과 결과에서 트랜잭션 단위 쓰기를 보장하는 SCM 버퍼 캐시를 적용한 EXT3 파일 시스템은 높은 수준의 안정성을 보장하는 동시에 최소한의 안정성만을 제공하는 파일시스템보다 더 좋은 수행성능을 보여주었으며, 시스템 붕괴 시 시스템을 즉각적(약 0.2초)으로 복구함을 보여주었다.

접근 지역성을 가지는 작업부하에서 플래시 파일시스템의 wear-leveling 향상 기법 (A method for improving wear-leveling of flash file systems in workload of access locality)

  • 장시웅
    • 한국정보통신학회논문지
    • /
    • 제12권1호
    • /
    • pp.108-114
    • /
    • 2008
  • 플래시 메모리는 디스크와는 달리 덮어쓰기가 불가능하므로, 새로운 데이터는 새로운 영역에 갱신이 된다. 데이터가 빈번히 변경되면 새로운 영역을 확보하기 위해 가비지 컬렉션을 통하여 데이터를 지우게 되는데, 이때 지움(erase) 연산을 수행 할 수 있는 회수가 플래시 메모리의 특성에 의해 일정 회수로 제한을 받게 되므로 플래시 메모리의 모든 블록은 고르게 쓰여지고 지워져야 한다. 그러나 지역 접근성을 가지는 데이터를 Cost-benefit 방법으로 처리하면 성능은 좋으나 wear-leveling은 매우 나빠지는 문제점이 있다. 본 논문에서는 wear-leveling을 개선하기 위해 멀티 뱅크에서 하나의 뱅크는 cold 데이터를 다른 뱅크는 hot 데이터를 할당하고, 시간이 흐름에 따라 일정주기로 cold 뱅크와 hot 뱅크를 교환하는 CB-MB(Cost Benefit between Multi Bank) 방법을 제안하고 성능을 평가하였다. CB-MB방법은 hot 데이터와 cold 데이터를 블록단위로 분리하여 관리하는 Cost-benefit방법에 비해 성능에 있어 30% 성능향상을 보이고 wear-leveling측면에서 1/3이하로 표준편차를 줄였다.

시스템 환경이 Filebench 벤치마크에 미치는 영향 분석 (Analyses of the Effect of System Environment on Filebench Benchmark)

  • 송용주;김정훈;강동현;이민호;엄영익
    • 정보과학회 논문지
    • /
    • 제43권4호
    • /
    • pp.411-418
    • /
    • 2016
  • 최근 낸드 플래시 메모리가 널리 보급됨에 따라 기존 파일 시스템의 한계를 보완하고 낸드 플래시 메모리의 장점을 활용하기 위한 파일 시스템 연구가 활발히 진행되고 있다. 이렇게 제안된 파일 시스템들에 대해서는, 일반적으로 벤치마크를 통해 성능 측정이 이루어진다. 서버나 모바일 환경에서 실제 시스템의 성능 측정이 어려울 경우, 벤치마크는 측정하고자 하는 실제 시스템에 대한 직접적인 성능 측정 대신 워크로드를 통해 재현된 환경에서 소프트웨어적 성능 측정을 가능하게 한다. 이 때, 성능 측정 환경이 실제 시스템이 아니기 때문에 측정하는 시스템 환경에 따라서 일정하지 않은 성능 측정 결과를 보인다. 이에 본 논문에서는 파일 시스템의 성능을 측정하는데 흔히 사용되는 벤치마크 중에서 Filebench를 이용하여 여러 가지 시스템 환경에 따른 성능 측정 결과를 살펴보고 측정 결과의 변동이 생기는 원인을 알아본다. 실험 결과, 캐시 내부에 벤치마크 I/O 외의 성능 측정에 불필요한 I/O가 많이 발생할수록 벤치마크의 성능 측정 결과가 떨어지는 것을 확인하였다. 또한 fsync 동작이 포함된 백그라운드 I/O를 동작시키는 경우에는 최대 98.2%의 성능 저하가 발생하는 것을 확인하였다.