• 제목/요약/키워드: File Mapped Data

검색결과 7건 처리시간 0.02초

메모리 파일시스템에서 메모리 매핑을 이용한 파일 입출력의 오버헤드 분석 (Analyzing the Overhead of the Memory Mapped File I/O for In-Memory File Systems)

  • 최정식;한환수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권10호
    • /
    • pp.497-503
    • /
    • 2016
  • 비휘발성 메모리 같은 차세대 저장장치의 등장으로 저장장치 지연시간은 거의 사라질 것이다. 예전에는 저장장치 지연시간이 가장 큰 문제였기 때문에 소프트웨어의 효율성은 중요한 문제가 아니었다. 하지만 이제는 소프트웨어 오버헤드가 해결해야 할 문제점으로 나타나고 있다. 소프트웨어 오버헤드를 최소화하기 위해 많은 연구자들은 메모리 매핑을 이용한 파일 입출력 기법을 제안하고 있다. 메모리 맵 파일 입출력 기법을 사용하면 기존 운영체제의 복잡한 파일 입출력 스택을 피할 수 있을 뿐 아니라 빈번한 사용자/커널 모드 변환도 최소화할 수 있다. 또한 다수의 메모리 복사 오버헤드도 최소화 할 수 있다. 하지만 메모리 맵 파일 입출력 기법에도 해결해야 할 문제점이 존재한다. 메모리 맵 파일 입출력 메커니즘도 느린 블록 디바이스를 효율적으로 관리하기 위해 설계된 기존 운영체제의 일부이기 때문이다. 본 논문에서는 메모리 맵 파일 입출력의 오버헤드 문제점을 설명하고 실험을 통해 그 문제점을 확인한다.

메모리 파일 시스템 기반 고성능 메모리 맵 파일 입출력을 위한 매핑 캐시 (Mapping Cache for High-Performance Memory Mapped File I/O in Memory File Systems)

  • 김지원;최정식;한환수
    • 정보과학회 논문지
    • /
    • 제43권5호
    • /
    • pp.524-530
    • /
    • 2016
  • 기존보다 데이터를 빠르게 접근하기 위한 노력과 비-휘발성 메모리의 발전은 메모리 파일 시스템 연구에 큰 기여를 해왔다. 메모리 파일 시스템은 파일 입출력의 고성능을 위해서 기존에 사용하는 읽기-쓰기 입출력보다 오버헤드가 적은 메모리 맵 파일 입출력을 사용하도록 제안하고 있다. 하지만 메모리 맵 파일 입출력을 사용하게 되면서 페이지 테이블을 구축할 때 발생하는 오버헤드가 전체 입출력 성능의 큰 부분을 차지하게 되었다. 또한 같은 파일이 반복적으로 접근될 때마다 페이지 테이블을 매번 삭제하기 때문에, 오버헤드가 불필요하게 중복되어서 발생한다는 점을 발견했다. 본 논문이 제안하는 매핑 캐시는 이러한 중복되는 오버헤드를 제거하기 위해서, 매핑이 해제될 때 파일의 페이지 테이블을 제거하지 않고 저장하고 있다가 다시 접근될 때 이를 재활용할 수 있도록 고안한 기법이다. 매핑 캐시는 기존 파일 입출력 성능보다 2.8배, 그리고 웹서버 전체 성능보다 12% 향상을 보였다.

대용량 공간 데이터를 위한 병렬 처리 기법 (A Parallel Processing Technique for Large Spatial Data)

  • 박승현;오병우
    • Spatial Information Research
    • /
    • 제23권2호
    • /
    • pp.1-9
    • /
    • 2015
  • 그래픽 처리 장치(GPU)는 내부에 대량의 산술 논리 연산 장치(ALU)를 보유하고 있다. 대량의 ALU는 병렬 처리를 위해 이용될 수 있으므로, GPU는 효율적인 데이터 처리를 제공한다. 공간 데이터를 지도상에 표현하기 위하여 지리학적 좌표가 필요하다. 좌표들은 측지경도와 측지위도의 형태로 저장된다. 데카르트 좌표계로 구성된 지도를 표현하기 위하여 측지경도와 측지위도는 국제 횡단 메르카토르 좌표계(UTM)로 전환돼야 한다. 좌표계 변환 과정과 변환된 좌표를 화면상에 표현하기 위한 렌더링 과정은 복잡한 부동 소수점 계산이 필요하다. 본 논문에서는 성능 향상을 위해 GPU를 활용한 좌표변환 과정과 렌더링 과정을 병렬적으로 처리하는 기법을 제안한다. 대용량 공간 데이터는 파일로 디스크 내에 저장된다. 대용량 공간 데이터를 효율적으로 처리하기 위하여 공간 데이터 파일들을 하나의 대용량 파일로 병합하고 Memory Mapped File 기법을 활용하여 파일에 접근하는 기법을 제안한다. 본 논문에서는 TIGER/Line 데이터를 활용하여 747,302,971개의 점으로 구성된 공간 데이터의 좌표 변환 및 렌더링 처리 과정을 GPU를 활용하여 병렬로 수행하는 연구를 진행한다. CPU를 이용하여 좌표변환 과정 결과와 렌더링 처리 과정 결과를 비교하여 속도 향상 정도에 대한 결과를 제시한다.

파일 오브젝트 분석 기반 개선된 물리 메모리 실행 파일 추출 방법 (An improved extraction technique of executable file from physical memory by analyzing file object)

  • 강영복;황현욱;김기범;노봉남
    • 정보보호학회논문지
    • /
    • 제24권5호
    • /
    • pp.861-870
    • /
    • 2014
  • 악성코드의 지능화에 따라 물리 메모리에서 실행 파일을 추출하는 것이 중요한 연구 이슈로 부각되고 있다. 물리 메모리에서 파일 데이터를 추출하는 경우 일반적으로 프로그램 실행과정에서 사용 중인 파일 데이터를 추출하기 때문에 원본 파일 데이터가 추출되지 않는 문제점이 있다. 따라서 물리 메모리에 저장되는 파일 정보를 분석하고 이를 기반으로 디스크에 저장된 파일과 동일하게 추출하는 방법이 요구된다. 본 논문에서는 윈도우 파일 오브젝트 커널 정보 분석을 통한 실행 파일 데이터 추출 방법을 제시한다. 실험을 통해 물리 메모리에 저장되어있는 실행 파일 데이터 특징을 분석하고, 기존 방법과 비교하여 원본 파일 데이터를 효과적으로 추출함으로써 제안 방법의 우수함을 증명한다.

등고선 데이터를 이용한 산악지형 유동해석 격자생성 프로그램 개발 및 그 응용 (The development of a mesh generation program using contour line data)

  • 진상문;원찬식;허남건
    • 한국전산유체공학회지
    • /
    • 제9권4호
    • /
    • pp.7-12
    • /
    • 2004
  • In the present study a semi-automatic mesh generation program has been developed by using DXF file containing contour line data. The program consists of DXF file reader and mapping algorithm. Pre-generated 2-D planar mesh points are to be mapped one by one onto triangular surface whose three vertices are three nearest contour points surrounding the mapping point. The present program has been successfully tested for mesh generations for the road tunnel ventilation analysis and analysis of lava movement in mountain area.

여러 가지 컴퓨터 메모리 참조 방법과 자료구조에 대한 단체법 프로그램 수행 속도의 비교 (Experimental Comparisons of Simplex Method Program's Speed with Various Memory Referencing Techniques and Data Structures)

  • 박찬규;임성묵;김우제;박순달
    • 산업공학
    • /
    • 제11권2호
    • /
    • pp.149-157
    • /
    • 1998
  • In this paper, various techniques considering the characteristics of computer memory management are suggested, which can be used in the implementation of simplex method. First, reduction technique of indirect addressing, redundant references of memory, and scatter/gather technique are implemented, and the effectiveness of the techniques is shown. Loop-unrolling technique, which exploits the arithmetic operation mechanism of computer, is also implemented. Second, a subroutine frequently called is written in low-level language, and the effectiveness is proved by experimental results. Third, row-column linked list and Gustavson's data structure are compared as the data structure for the large sparse matrix in LU form. Last, buffering technique and memory-mapped file which can be used in reading large data file are implemented and the effectiveness is shown.

  • PDF

XML과 관계형 데이타베이스 매핑을 통한 자료의 변환 (Data Transformation through Mapping between XML and Relation Database)

  • 김길준
    • 한국컴퓨터정보학회논문지
    • /
    • 제9권4호
    • /
    • pp.5-12
    • /
    • 2004
  • XML과 데이터베이스간의 자료 변환의 원리는 XML과 데이터베이스 간 매칭의 원리로 이루어진다. SQL Server의 데이터에 접근하기 위한 방법은 URL에 SQL 쿼리를 지정하는 방법과 template 파일을 이용하는 방법이 있다. MS-SQL 서버는 OpenXML 기능을 이용하여 기존의 관계형 데이터베이스에 대해 SQL 쿼리를 실행한 결과를 XML 문서로 변환한다. 즉, OpenXML은 노드 트리를 생성한 후에 XML 문서의 로우셋 데이터를 반환하고, XML 데이터를 관계형 형식으로 얻게 한다. XML 데이터를 데이터베이스 데이터로 삽입하기 위해서는 sp_xml_preparedocument 프로시져를 사용하여, XML 문서를 파싱해 데이터를 추출한 후. 그 문서의 노드 구조를 메모리의 트리 구조로 매핑해서 데이터베이스 테이블에 저장하게 된다. 결국 XML과 데이터베이스간의 자료 변환의 원리는 XML과 데이터베이스간 매칭의 원리로 이루어진다. 본 논문에서는 매핑 원리를 제시한 후 SQL Server의 지원하에 두 자료간의 변환을 구현해 보임으로서 자료의 확장성과 효율성 및 다양한 효과를 가져올 수 있음을 제시하고 있다.

  • PDF