• Title/Summary/Keyword: 파일 크기

Search Result 567, Processing Time 0.025 seconds

Genome Analysis Pipeline I/O Workload Analysis (유전체 분석 파이프라인의 I/O 워크로드 분석)

  • Lim, Kyeongyeol;Kim, Dongoh;Kim, Hongyeon;Park, Geehan;Choi, Minseok;Won, Youjip
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.2 no.2
    • /
    • pp.123-130
    • /
    • 2013
  • As size of genomic data is increasing rapidly, the needs for high-performance computing system to process and store genomic data is also increasing. In this paper, we captured I/O trace of a system which analyzed 500 million sequence reads data in Genome analysis pipeline for 86 hours. The workload created 630 file with size of 1031.7 Gbyte and deleted 535 file with size of 91.4 GByte. What is interesting in this workload is that 80% of all accesses are from only two files among 654 files in the system. Size of read and write request in the workload was larger than 512 KByte and 1 Mbyte, respectively. Majority of read write operations show random and sequential patterns, respectively. Throughput and bandwidth observed in each processing phase was different from each other.

In-Memory Allocation of Class Files in SimpleRTJ Java Virtual Machine (SimpleRTJ 자바가상기계에서 클래스 파일의 메모리 상 배치)

  • 양희재
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10d
    • /
    • pp.643-645
    • /
    • 2002
  • 자바가상기계는 클래스 파일에 있는 클래스, 상수, 필드, 메소드 등의 내부 정보를 읽고 자바 응용 프로그램을 실행한다. 보조기억장치가 없는 내장형 시스템의 경우 클래스 파일은 주기억장치, 즉 메모리에 두어야 하지만 클래스 파일 자체는 크기도 클 뿐 아니라 내부 정보에 접근하는 것도 효율적이지 못하다. 따라서 대개의 경우 클래스 파일을 변형한 형태로 메모리에 배치하는데, 본 논문에서는 특히 simpleRTJ 라고 하는 상용 내장형 자바가상기계에서 적용된 방식에 대해 조사해보았다. 이 플렛폼에서의 분석을 통해 클래스 파일의 크기가 얼마까지 줄어들 수 있고, 내부 정보에 대해서는 얼마나 효율적으로 접근할 수 있는지에 대해 고찰하였으며, 그 결과를 바탕으로 향후 더 개선된 형태로 클래스 파일을 메모리에 배치할 수 있는 방안에 대해 연구하고자 한다.

  • PDF

Similarity Evaluation Scheme Using FLC based Representative Hash (대표 해시 기반의 FLC를 이용한 파일 유사도 평가 기법)

  • Yoo, Young-Jun;Ko, Young-Woong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.05a
    • /
    • pp.135-137
    • /
    • 2013
  • 유사도 평가는 유사 파일 탐색이나 파일의 중복제거에서 필수적으로 수행되어야 하는 모듈이다. 이와 같은 유사도 평가는 파일의 크기가 커지거나 비교할 파일의 수가 많을수록 더 많은 시간이 소요되므로 이 때 발생하는 오버헤드는 시스템 전체의 성능에 영향을 미칠 만큼 중요하다. 특히 사용자의 요구사항에 실시간으로 반응해야 하는 시스템에서는 응답시간을 지연시키는 요인이 된다. 본 논문에서는 파일의 해시 연산과정의 시간을 줄이기 위한 방법으로 대표 해시 FLC를 이용한 유사도 평가 시스템을 제안한다. 실험을 통해서 본 연구에서 제안하는 방식이 기존의 방식에 비해서 빠른 시간 내에 유사 파일을 탐지할 수 있음을 보이고 있다. 또한 해시 리스트의 크기가 줄어들어서 메모리 자원을 효율적으로 사용할 수 있다.

Performance Analysis of Cloud-Backed File Systems with Various Object Sizes (클라우드 기반 파일 시스템의 오브젝트 크기별 성능 분석)

  • Kim, Jiwon;Lee, Kyungjun;Ryu, Sungtae;Han, wansoo
    • Journal of KIISE
    • /
    • v.43 no.7
    • /
    • pp.744-750
    • /
    • 2016
  • Recent cloud infrastructures provide competitive performances and operation costs for many internet services through pay-per-use model. Particularly, object storages are highlighted, as they have unlimited file holding capacity and allow users to access the stored files anytime and anywhere. Several lines of research are based on cloud-backed file systems, which support traditional POSIX interface rather than RESTful APIs via HTTP. However, these existing file systems handle all files with uniform size backing objects. Consequently, the accesses to cloud object storages are likely to be inefficient. In our research, files are profiled according to characteristics, and appropriate backing unit sizes are determined. We experimentally verify that different backing unit sizes for the object storage improve the performance of cloud-backed file systems. In our comparative experiments with S3QL, our prototype cloud-backed file system shows faster performance by 18.6% on average.

An Improved Bit Vector Compression Method for a Document Retrieval System (문서 검색 시스템을 위한 도치 색인 파일의 압축 저장 기법 개선)

  • Lee, Jun-Young;Kim, Min-Jung;Kwon, Hyuk-Chul
    • Annual Conference on Human and Language Technology
    • /
    • 1995.10a
    • /
    • pp.18-22
    • /
    • 1995
  • 문서 검색 시스템의 도치 색인 파일은 저장 공간과 검색 시간을 줄이기 위해 색인어 사전과 문서번호를 위한 이진 도치 파일 또는 비트벡터로 구성할 수 있다. 비트벡터는 1의 값을 가지는 비트만 저장함으로써 압축이 가능하나, Bit tree 압축 방법은 block의 크기가 어떻게 결정되느냐에 따라 압축률이 달라진다. 본 논문에서는 비트벡터에 나타나는 1의 값을 가지는 비트의 개수에 의해 bit tree 압축에 대한 최적의 block 크기를 결정하는 방법을 했다. 최적의 block의 크기는 (전체 비트벡터의 크기 / 1의 개수)보다 작거나 같은 최대의 2의 승수이다. 또한 block내의 1의 값을 가지는 비트의 위치에 의해 상대 위치값을 계산해서 block의 오른쪽 반에 나타나는 비트를 더 압축할 수 있는 기법을 구현한다. 본 논문에서 구현한 압축 기법은 Run Length를 이용한 방법에 비해서 13.65%, 기존의 Bit Tree 방법에 비해서 1.88%의 압축률을 개선했다.

  • PDF

Characteristics of Local Scour Around the Double Pile in Waves (파랑에 의한 이중 파일 주변부 국부세굴 특성 분석)

  • Oh, Hyun Sik;Lee, Ho Jin
    • Journal of Korean Society of Coastal and Ocean Engineers
    • /
    • v.34 no.5
    • /
    • pp.169-175
    • /
    • 2022
  • Scour in a flow field affected by waves, such as river estuaries or shallow waters, is more difficult to predict than scour in a currents. The main issue in predicting the scour around circular files, such as undersea bridges, is the maximum scour depth and the point of occurrence. In the case of two or more adjacent circular piles, the location and depth of maximum scour according to the spacing between piles and the arrangement method show a lot of difference compared to the case of a single pile. In this paper, the KC number are calculated as dimensionless variables representing the strength of the flow. And the correlation between pile gap size and relative scour depth was analyzed.

A One-Pass Aggregation Algorithm using the Disjoint-Inclusive Partition Multidimensional Files in Multidimensional OLAP (다차원 온라인 분석처리에서 분리-포함 분할 다차원 파일 구조를 사용한 원-패스 집계 알고리즘)

  • Lee, Yeong-Gu;Mun, Yang-Se;Hwang, Gyu-Yeong
    • Journal of KIISE:Databases
    • /
    • v.28 no.2
    • /
    • pp.153-167
    • /
    • 2001
  • 다차원 온라인 분석처리(Multidimensional On-Line Analytical Processing: MOLAP)에서 집계 연산은 중요한 기본 연산이다. 기존의 MOLAP 집계 연산은 다차원 배열 구조를 기반으로 한 파일 구조에 대해서 연구되어 왔다. 이러한 파일 구조는 편중된 분포를 갖는 데이터에서는 잘 동작하지 못한다는 단점이 있다. 본 논문에서는 편중된 분포에도 잘 동작하는 다차원 파일구조를 사용한 집계 알고리즘을 제안한다. 먼저, 새로운 분리-포함 분할이라는 개념을 사용한 집계 연산 처리 모델을 제안한다. 집계 연산 처리에서 분리-포함 분할 개념을 사용하면 페이지들의 액세스 순서를 미리 알아 낼 수 있다는 특징을 가진다. 그리고, 제안한 모델에 기반하여 원-패스 버퍼 크기(one-pass buffer size)를 사용하여 집계 연산을 처리하는 원-패스 집계 알고리즘을 제안한다. 원-패스 버퍼 크기란 페이지 당 한 번의 디스크 액세스를 보장하기 위해 필요한 최소 버퍼 크기이다. 또한, 제안한 집계 연산 처리 모델 하에서 제안된 알고리즘이 최소의 원-패스 버퍼 크기를 갖는다는 것을 증명한다. 마지막으로, 많은 실험을 통하여 이론적으로 구한 원-패스 버퍼 크기가 실제 환경에서 정확히 동작함을 실험적으로 확인하였다. 리 알고리즘은 미리 알려진 페이지 액세스 순서를 이용하는 버퍼 교체 정책을 사용함으로써 최적의 원-패스 버퍼 크기를 달성한다. 제안하는 알고리즘을 여 러 집계 질의가 동시에 요청되는 다사용자 환경에서 특히 유용하다. 이는 이 알고리즘이 정규화 된 디스크 액세스 횟수를 1.0으로 유지하기 위해 반드시 필요한 크기의 버퍼만을 사용하기 때문이다.

  • PDF

Analysis of Linux System changes by adoption XFS File System (XFS 파일 시스템 채택에 따른 리눅스 시스템 변화 분석)

  • Sung, Kyung
    • Journal of Digital Contents Society
    • /
    • v.19 no.3
    • /
    • pp.497-503
    • /
    • 2018
  • RHEL 7, the leader in the enterprise Linux market, has dramatically increased the maximum support specification, such as file system size, file size, etc., by changing the default file system from EXT to XFS. It's not just an increase in support specifications, it's working on daemons, and it's showing excellent performance on high-performance disks such as high-capacity disks and solid state drives. Changes in the file system mean changes in direct operating techniques, such as changing related commands, changing backup tools, and changing disk quota settings. The changes to the XFS file system are making a lot of changes to the operation of the Linux system, but we believe that the position of the Linux operating system in the server field will become stronger.

Tool of file Production from AVI to MPEG-4 (AVI to MPEG-4 파일 생성 도구)

  • 김선태;마평수
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10c
    • /
    • pp.403-405
    • /
    • 2001
  • MPEG-4 미디어 파일은 저비트율에서 고비트율까지 다양한 응용범위에서 이용 가능하므로, 요즘들어서 MPEG-4의 미디어 파일이 많은 분야에서 사용되고 있다. 하지만 미디어를 다루는 전문가 외에는 MPEG-4 알고리즘을 이용한 미디어 파일을 생성하여 서비스하기에는 많은 어려움이 있다. 따라서, 본 논문에서는 사용자가 사용하기 편리한 인터페이스를 갖춘 MPEG-4파일 생성 도구를 만들었다. 본 파일 생성도구는 일반 PC에 보편화된 미디어 포맷인 AVI과일을 입력으로 오디오와 비디오를 포함한 MPEG-4 파일을 생성하는 도구이다. 이 도구에는 비디오의 화면 크기 변환, 오디오의 채널변환 및 샘플링 주파수 변환 등의 전처기와 비디오/오디오 압축을 위한 각각의 MPEG-4 비디오/오디오 부호기 및 생성된 두개의 미디어 파일을 하나로 묶어 표준에 맞은 파일을 생성하는 포맷터를 포함한다. 본 파일 생성도구는 응용 비트율에 따른 파일 생성뿐 만 아니라 각각의 미디어 파일의 조건을 사용자 인터페이스의 간단한 입력으로 원하는 응용에 맞는 다양한 파일을 생성할 수 있다.

  • PDF

Storage Space Page Grouping in a Distributed Local File System on Desktop Systems to Optimize File Availability (데스크탑 시스템을 이용한 분산 지역 파일 시스템에서의 파일 가용도 최적화를 위한 저장 공간 페이지 배치 기법)

  • 김준우;신현식;장래혁
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10c
    • /
    • pp.856-858
    • /
    • 2001
  • 분산 파일 시스템에서 파일을 복제하는 목적의 하나는 파일의 가용성을 높이는 것이다 서버들로 이루어진 시스템에서 가용도 문제는 주로 오류 상황이 대상이다 반면에 데스크탑으로 구성된 경우 각각이 상대적으로 가용도가 낮고 그 편차도 커서 파일의 가용도를 최적화 하도록 복제본을 저장하는 것이 기본적인 문제가 된다. 파일 단위 복제 기법에서는 파일 수가 참여 시스템 수에 따라 기하급수적으로 증가하고 파일 배치 때마다 가용도 최적화를 수행해야 하는 문제가 있다. 본 논문에서는 저장 공간 단위 복제 기법을 제안한다. 데스크탑 시스템의 저 장롱간을 고정 크기의 페이지들로 나누고 이들을 조합해서 일정한 가용도를 가지는 페이지 그룹을 형성한다. 파일들은 이 페이지 그룹에 저장된다. 페이지의 개수가 파일 수가 아닌 시스템 수에 의존하고, 파일 배치 시점과 무관하게 페이지 그룹을 만들 수 있는 장점이 있다. 최종 가용도를 높이고 연산 시간을 줄이기 위해 ILS(Iterated Local Search )방법을 이용만 탐색을 수행한다.

  • PDF