• 제목/요약/키워드: in-memory file systems

검색결과 121건 처리시간 0.023초

SSD상에서 해시조인 임시 파일의 효과적인 관리를 위한 블록 할당 방법 (Block Allocation Method for Efficiently Managing Temporary Files of Hash Joins on SSDs)

  • 김준태;이상원
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제11권12호
    • /
    • pp.429-436
    • /
    • 2022
  • 메모리보다 큰 대용량 테이블들에 대해 해시조인(Hash Join) 수행 시 임시 파일들을 생성해서 조인 과정에서 발생하는 임시 데이터 I/O를 수행하고 조인 종료 시에 그 파일들을 삭제한다. 본 논문에서는 해시조인용 임시 파일들을 하드디스크가 아닌 SSD상에서 관리할 때, 파일 생성 시 fallocate 시스템 콜 및 파일 삭제 관련 trim 옵션이 해시조인 성능에 큰 영향을 미치는 점을 밝힌다. 구체적으로 대표적인 오픈소스 데이터베이스인 PostgreSQL을 이용해서 다양한 상용 및 연구용 SSD 상에서 해시조인 수행 시, 임시 파일들에 대한 fallocate 및 trim 옵션 사용 여부에 따라 디폴트 조합에 비해 최대 약 3~5배 조인 성능 향상이 가능함을 보인다. 그리고, 임시 파일들에 대한 두 옵션의 조합여부에 따른 SSD내의 쓰기 증폭(Write Amplification)과 Trim 명령어 오버헤드가 조인 성능에 큰 영향을 미치는 점을 자세히 분석한다.

데이터 무결성을 보장하는 플래시 저장 장치에서 잦은 쓰기 참조 흡수가 플래시 변환 계층에 미치는 영향 (The Effect of Absorbing Hot Write References on FTLs for Flash Storage Supporting High Data Integrity)

  • 심명섭;도인환;문영제;이효정;최종무;이동희;노삼혁
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권3호
    • /
    • pp.336-340
    • /
    • 2010
  • 플래시 저장장치는 컴퓨팅 시스템에서 휴대용 저장매체로 각광 받고 있다. 플래시 저장장치의 착탈성을 고려해 보면, 데이터의 무결성이 중요한 이슈로 부각된다. 본 연구는 데이터 무결성을 보장하려는 파일시스템 동작이 플래시 변환 계층(FTL) 기법들의 성능에 미치는 영향에 주목한다. 본 연구에서는 파일시스템이 데이터 무결성을 보장하기 위해서 발생시킨 잦은 쓰기 참조가 플래시 저장장치에 미치는 영향에 대해서 살펴본다. 또한, 비휘발성 램을 이용한 잦은 쓰기 참조의 흡수가 플래시 저장장치 내의 FTL 성능에 미치는 영향을 살펴본다. 실제 시스템 환경에서 실시된 성능 평가 결과는 잦은 쓰기 참조가 포함된 워크로드들에서 FTL 성능이 기존 연구에서 제시된 결과와 상이할 수 있음을 보여준다. 이와 더불어, 비휘발성 램을 이용하여 잦은 쓰기 참조를 흡수함으로써 FTL 기법들이 플래시 저장장치의 성능에 미치는 영향이 완화됨을 실험 결과를 통해서 알 수 있다.

내장형 32비트 RISC 콘트롤러의 VLSI 구현 (A VLSI implementation of 32-bit RISC embedded controller)

  • 이문기;최병윤;이승호
    • 전자공학회논문지A
    • /
    • 제31A권10호
    • /
    • pp.141-151
    • /
    • 1994
  • this paper describes the design and implementation of a RISC processor for embedded control systems. This RISC processor integrates a register file, a pipelined execution unit, a FPU interface, a memory interface, and an instruction prefetcher. Its characteristics include both single cycle executions of most instructions in a 2 phase 20 MHz frequency and the worst case interrupt latency of 7 cycles with the vectored interrupt handling that makes it possible to be applicable to the real time processing system. For efficient handling of multi-cycle instructions, data stationary hardwired control scheme equippedwith cycle counter was used. This chip integrates about 139K transistors and occupies 9.1mm$\times$9.1mm in a 1.0um DLM CMOS technology. The power dissipation is 0.8 Watts from a 5V supply at 20 MHz operation.

  • PDF

발전소 시뮬레이터의 다이나믹 모델과 디스플레이 모델간 데이터전송 (Data Transporting between Dynamic Model and Display Model of Power Plant Simulator)

  • 김동욱
    • 한국시뮬레이션학회:학술대회논문집
    • /
    • 한국시뮬레이션학회 1998년도 The Korea Society for Simulation 98 춘계학술대회 논문집
    • /
    • pp.86-90
    • /
    • 1998
  • The safety and reliability of nuclear power plant operations relies heavily on the plant operators ability to respond to various emergency situations. It has become standard industry practice to utilize simulators to improve the safety and reliability of nuclear power plants operations. The simulators built for Younggwang#3,4, which is the basic model of the Korean Nuclear Power Plant design, has been developed precisely for this purpose. Dynamic Model and Display Model are developed under US3(UNIX Simulation Software Support System) environment in simulator for Younggwang#3,4. Since these two models are developed under each own operating system, it is necessary to develop a method for transporting data between these two systems. This paper descirves communication environment between Dynamic Model and Display Model, and addresses a file generation method for the Display Model, which will be necessary for designing MMI of MCR(Main Control Room) in the furture.

  • PDF

빈번한 변경을 요구하는 실시간 스트림 데이터의 효율적 관리 및 슬라이딩 윈도우 질의 (An Efficient Management and Sliding Window Query for Real-Time Stream Data to Require frequent Update)

  • 김진덕
    • 한국정보통신학회논문지
    • /
    • 제12권3호
    • /
    • pp.509-516
    • /
    • 2008
  • 최근 다수의 외부 장치를 제어하는 시스템에서는 빈번하게 변하는 신호의 이력을 자동적으로 관리하는 기법이 요구된다. 그 신호들은 스트림 데이터로서 다양한 종류, 짧은 보고 주기, 비동기적인 보고시간을 가진다. 또한 처리시스템은 스트림 데이터에 대해 높은 신뢰성과 실시간 처리를 필요로 한다. 그리고 스트림 데이터에 대한 질의는 최신의 값을 검색하는 현재 질의, 과거 특정시점의 값을 검색하는 스냅샷 질의, 과거부터 현재까지의 값들을 검색하는 슬라이딩 윈도우 질의 등이 있다. 이 논문에서는 소규모 운영체제에서 파일 구조화된 데이터베이스를 이용하여 스트림 데이터들을 효율적으로 저장하고 관리하는 기법을 제안하고자한다. 그리고 스트림 데이터에 대한 슬라이딩 윈도우 질의를 포함한 다양한 질의를 수용하는 질의 모델을 제안한다. 파일 기반 데이터 베이스는 QNX의 적은 저장장치, 낮은 계산 능력을 감안하여 델타버전과 공유메모리 버퍼링 등의 방법을 도입한다.

윈도우즈(Windows) 파일 시스템에서 플래시 메모리의 FTL(Flash Translation Layer) 알고리즘 성능 분석 (Performance Analysis of FTL Algorithms in Flash Memory for Windows File Systems)

  • 박원주;유현석;박성환;김도윤;박상원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (A)
    • /
    • pp.823-825
    • /
    • 2005
  • 이동 기기의 저장장치로 널리 사용되고 있는 플래시 메모리는 하드웨어적 특성으로 인하여 쓰기 전 소거(erase before write) 기법이 사용되고 있다. 이러한 특성으로 인하여 플래시 메모리에서는 성능을 증진시키기 위한 기법이 필요하게 되었으며, 이러한 소프트웨어 모듈을 FTL이라 한다. 플래시 메모리의 용량이 크게 늘어나면서 디스크를 대체할 제품이 등장하고 있으며, 이러한 디스크가 일반 컴퓨터에서의 저장장치로 채택되는 경우가 많아지고 있다. 본 연구에서는 플래시 메모리 기반의 디스크를 이용한 윈도우 파일 시스템에서의 여러 FTL 알고리즘의 성능을 분석, 비교하고, FTL 알고리즘의 올바른 개선 방향을 제시한다.

  • PDF

임베디드 응용을 위한 플래쉬 메모리와 하드디스크 파일 시스템의 성능 평가 (Performance Evaluation of Flash Memory and Hard-Disk File Systems for Embedded Applications)

  • 김아람;이인환
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (B)
    • /
    • pp.280-284
    • /
    • 2007
  • 현재 임베디드 환경이 대두되면서 저장 매체로 플래쉬 메모리가 하드디스크를 대체하여 각광을 받고 있다. 이는 휴대폰과 같은 임베디드 환경의 이동성과 관련하여 플래쉬 메모리의 여러 물리적인 특징이 하드디스크보다 이런 환경에 적합하기 때문이다. 본 논문에서는 이런 부분은 배제하고 성능 측면만을 고려하여 하드디스크와 플래쉬 메모리를 비교해 보았다. 측정을 위해 2개의 보드를 사용하였다. 보드 1에서는 FAT 파일시스템 하드디스크와 FAT 플래쉬 메모리로 저장 매체에 따른 성능 측정을 위해 환경을 구축하였다. 보드 2는 FAT 플래쉬 메모리와 YAFFS 플래쉬 메모리로 플래쉬 메모리가 기존 파일시스템과 전용 파일시스템에 따라 얼마만큼의 성능 차이를 내는지 알아보기 위해 환경을 구축하였다.

  • PDF

Recent Advances in Cryptovirology: State-of-the-Art Crypto Mining and Crypto Ransomware Attacks

  • Zimba, Aaron;Wang, Zhaoshun;Chen, Hongsong;Mulenga, Mwenge
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권6호
    • /
    • pp.3258-3279
    • /
    • 2019
  • Recently, ransomware has earned itself an infamous reputation as a force to reckon with in the cybercrime landscape. However, cybercriminals are adopting other unconventional means to seamlessly attain proceeds of cybercrime with little effort. Cybercriminals are now acquiring cryptocurrencies directly from benign Internet users without the need to extort a ransom from them, as is the case with ransomware. This paper investigates advances in the cryptovirology landscape by examining the state-of-the-art cryptoviral attacks. In our approach, we perform digital autopsy on the malware's source code and execute the different malware variants in a contained sandbox to deduce static and dynamic properties respectively. We examine three cryptoviral attack structures: browser-based crypto mining, memory resident crypto mining and cryptoviral extortion. These attack structures leave a trail of digital forensics evidence when the malware interacts with the file system and generates noise in form of network traffic when communicating with the C2 servers and crypto mining pools. The digital forensics evidence, which essentially are IOCs include network artifacts such as C2 server domains, IPs and cryptographic hash values of the downloaded files apart from the malware hash values. Such evidence can be used as seed into intrusion detection systems for mitigation purposes.

컬럼-기반 데이터베이스를 위한 그림자 복구 (Shadow Recovery for Column-based Databases)

  • 변시우
    • 한국산학기술학회논문지
    • /
    • 제16권4호
    • /
    • pp.2784-2790
    • /
    • 2015
  • 컬럼-기반 데이터베이스 저장소는 우수한 입출력 성능으로 대용량 데이터 트랜잭션을 위한 매우 진보적인 모델이다. 전통적인 데이터 저장소는 빠른 쓰기 연산을 위하여 한 레코드의 속성들을 하드 디스크에 연속적으로 배치되어 있는 가로-지향 저장 모델을 활용하였다. 하지만 검색이 대부분인 데이터웨어하우스 시스템을 위해서는 월등한 판독 성능 때문에 컬럼-지향 저장소가 더 적합한 모델이 되고 있다. 또한 최근에는 플래시 메모리를 사용한 SSD가 고속 데이터 분석 시스템을 위한 적합한 저장 매체로 인식되고 있다. 본 연구에서는 플래시 미디어 파일 시스템을 기반으로 하는 컬럼-기반 데이터베이스 환경을 위한 새로운 트랜잭션 회복기법(CoSR)을 제안한다. 제안 기법은 기존의 쉐도우 페이징 기법을 개선하여 플래시 파일 시스템에서 새로운 블록에 데이터를 저장할 경우 무효화되어 폐기되는 이전 데이터 블록을 재활용하였다. 이를 위하여 제안된 컬럼-기반 쉐도우 복구 기법에 재활용 쉐도우 리스트 구조를 활용하였다. 제안 기법은 기존 쉐도우 페이징기법의 최대 단점인 쉐도우 페이지 관련 추가 저장공간의 부담을 최소화하고, 기존 복구 기법에서 컬럼 데이터 압축에 기인한 입출력 성능저하를 최소화 할 수 있다. 실험 분석결과를 통하여 CoSR기법이 기존 기법보다 17% 더 우수함을 확인하였다.

디지털 포렌식 관점에서 BIOS 펌웨어 이미지 파일 수집 및 분석에 관한 연구 (A Study of Acquisition and Analysis on the Bios Firmware Image File in the Digital Forensics)

  • 정승훈;이윤호;이상진
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제5권12호
    • /
    • pp.491-498
    • /
    • 2016
  • 최근 Windows PE와 같은 포터블 OS를 USB, CD/DVD 등의 이동식 저장매체에 저장하여 부팅하는 기법으로 기밀자료 및 내부정보가 유출되는 사례가 증가하고 있다. 이동식 저장매체를 이용한 이 부팅 기법은 타깃 PC에 설치된 USB 보안, 매체제어솔루션 등의 보안 소프트웨어의 우회가 가능하고, 부팅 후 PC의 저장매체를 마운트하여 정보 추출 및 악성코드 삽입 등의 행위가 가능하며, 이동식 저장매체의 사용흔적과 같은 로그기록이 남지 않는 특징이 있어 자료유출여부 확인과 역추적이 어렵다. 이에 본 논문에서는 플래시 메모리에서 BIOS 설정과 관련된 데이터가 기록되는 BIOS 펌웨어 이미지를 수집 및 분석하여 이상행위로 추정할 수 있는 이동식 저장매체를 이용한 부팅 흔적을 찾아 기업의 감사 또는 디지털 포렌식 수사를 수행하는데 도움이 될 수 있는 방안을 제시한다.