• Title/Summary/Keyword: 병렬 I/O

Search Result 126, Processing Time 0.029 seconds

Supporitng for CrownFS in MPI-IO (MPI-IO의 CrownFS 지원 방안)

  • 조미옥;강봉직;최경희;정기현
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04a
    • /
    • pp.636-638
    • /
    • 2000
  • 가장 느린 서비스시템인 I/O의 성능이 전체적인 컴퓨터 시스템의 성능을 결정짓게 된다. 따라서 전반적인 시스템의 성능 향상을 위해서는 I/O의 성능이 높아져야 한다. 분산병렬환경에서 I/O의 성능을 높이기 위해서 parallel I/O를 사용한다. 하위레벨에서 최적화된 병렬 파일시스템을 사용하고, 어플리케이션 레벨에서 병렬 에플리케이션의 개발을 쉽게 해줄 수 있는 인터페이스를 사용하면 더 효과적인 parallel I/O를 구현할 수 있다. 본 논문에서는 MPI에서 병렬 파일시스템인 CrownFS를 지원하도록 하기 위해서 MPI-IO에 CrownFS를 추가하여 병렬환경에서 높은 성능을 나타낼수 있는 parallel I/O 환경을 구현한다.

  • PDF

Design of Web Based Parallel I/O Control System Using IEEE 1284 Operating Modes (IEEE 1284 동작 모드를 사용하는 웹 기반 병렬 I/O 제어 장치의 설계)

  • Chang, Ho-Sung
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.11 no.3
    • /
    • pp.991-996
    • /
    • 2010
  • In this paper, we designed a parallel I/O control system using IEEE 1284 operating modes and implemented remote control communication under the internet environment. The IEEE 1284 standard defines an interface compatible with several distinct operation modes and brings higher performance to the PC parallel port. Therefore, parallel port devices become easier to configure and simplify interface because new operating systems bring PnP function to the parallel port with the Device/ID identification sequence. With these enhancements, the parallel port become an even better low-cost, readily available I/O port on the PC.

Two-level Prefetching method for I/O bandwidth enhancement in Parallel File System (병렬파일 시스템에서 I/O 대역폭 개선을 위한 이단 선반입 기법)

  • HwangBo, Jun-Hyung;Cho, Jong-Hyun;Lee, Yoon-Young;Seo, Dae-Wha
    • Annual Conference of KIPS
    • /
    • 2000.10a
    • /
    • pp.657-660
    • /
    • 2000
  • 병렬 파일 시스템은 늦은 디스크 I/O로 인한 성능 저하를 개선하기 위해 병렬 I/O를 제공한다. 이때 계산과 디스크 I/O를 중첩시키는 선반입 기법으로 디스크 I/O로 인한 성능 저하를 더욱 개선할 수 있다. 하지만 I/O 위주의 프로그램에서는 선반입으로 인하여 시스템에서 제공하는 I/O 대역폭을 넘어 최악의 경우 기존의 선반입 기법은 성능개선을 위한 최선이 될 수 없을 뿐 아니라 선반입 기법 자체가 과부하가 될 수 있다. 본 논문에서는 이런 상황을 고려하여 I/O 대역폭 개선을 위한 이단 선반입 기법을 제시하여 성능개선을 제공한다.

  • PDF

Research for Efficient Massive File I/O on Parallel Programs (병렬 프로그램에서의 효율적인 대용량 파일 입출력 방식의 비교 연구)

  • Hwang, Gyuhyeon;Kim, Youngtae
    • Journal of Internet Computing and Services
    • /
    • v.18 no.2
    • /
    • pp.53-60
    • /
    • 2017
  • Since processors are handling inputs and outputs independently on distributed memory computers, different file input/output methods are used. In this paper, we implemented and compared various file I/O methods to show their efficiency on distributed memory parallel computers. The implemented I/O systems are as following: (i) parallel I/O using NFS, (ii) sequential I/O on the host processor and domain decomposition, (iii) MPI-IO. For performance analysis, we used a separated file server and multiple processors on one or two computational servers. The results show the file I/O with NFS for inputs and sequential output with domain composition for outputs are best efficient respectively. The MPI-IO result shows unexpectedly the lowest performance.

Collective I/O with Process grouping (프로세스 그룹화를 이용한 집합 I/O)

  • 차광호;홍정우;이지수
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10a
    • /
    • pp.442-444
    • /
    • 2003
  • 병렬 처리를 요구하는 계산 과학 분야의 문제들 중에는 대용량 데이터 처리를 필요로 하는 경우가 많다. 그러나 기존의 파일 시스템을 그대로 병렬처리 환경에 적용하기에는 많은 문제가 따른다. 이를 위해서 병렬처리를 지원하는 파일 시스템에 대한 연구와 개발이 진행되어 오고 있다. 이와 같은 연구 중 하나인 집합 I/O(Collective I/O)를 본 논문에서 다루고자 한다. 이 집합 I/O는 여러 프로세스의 파일 I/O 요청을 효과적으로 처리하는 방법으로 MPl2의 MPI-10에도 포함되어 있다. 본 논문에서는 어플리케이션 프로그램 측면에서 MPI-10의 집합 I/O를 효과적으로 사용하기 위한 방안을 제시하며, 보편적으로 사용되는 NFS를 이용한 클러스터 시스템에서의 실험 결과를 분석한다.

  • PDF

A Study on Parallel I/O Technology in Filesystem for AI (AI를 위한 파일시스템 병렬 I/O 기술 연구)

  • Yoon, Junweon;Hong, Taeyeong
    • Annual Conference of KIPS
    • /
    • 2022.11a
    • /
    • pp.49-51
    • /
    • 2022
  • 대규모 데이터를 처리하기 위해 머신러닝, 딥러닝과 같은 AI 활용 연구가 일반화되면서 시스템 환경 또한 병렬처리 연산에 강화된 가속기 기반의 이기종 아키텍처로 확산되고 있다. CPU 기반의 계산 환경과 달리 상대적으로 성능이 낮은 수천 개의 산술연산장치(ALU)를 활용해 쓰레드 방식으로 연산을 수행하며, I/O의 특성 또한 대규모의 데이터들이 수많은 연산장치에 전달되기 위한 Small I/O, High-throughput 처리 성능이 애플리케이션에 큰 영향을 끼친다. 본 논문에서는 병렬 컴퓨팅 환경에 AI 애플리케이션이 접목되면서 요구되는 스토리지, 파일시스템의 환경을 분석하고 나아가 성능 검증을 통해 I/O 특성을 파악하고자 한다.

Enhanced Parallel R-tree on a Parallel I/O System Based on Striping (스트라이핑 기반 병렬 입출력 시스템에서의 Enhanced Parallel R-tree)

  • 이춘근;김정원;정기동
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10b
    • /
    • pp.117-119
    • /
    • 1998
  • 대용량의 데이터를 다루는 지리정보 시스템은 I/O가 시스템의 병목현상을 발생시킨다. 따라서, I/O의 병렬화로 GIS의 데이터 요구를 만족시키려는 연구가 이루어져 왔다. PR(Parallel R-tree)[1]도 이러한 연구에 속한다. 한편, 지리 정보 시스템의 질의는 영역질의가 대부분이다. 영역질의는 특성상 인접한 객체들의 동시에 요구한다. 그러므로, 인접한 데이터를 물리적으로 인접하게 배치하면 I/O의 성능이 향상된다. 본 논문에서는 인접한 객체를 물리적으로 인접한 위치에 저장하는 방식인 EPR(Enhanced PR)기법과 단말노드 구조를 제안하고 그 성능을 평가하였다.

A Study on Optimizing LRU lock for Improving Parallel I/O Throughout in Manycore CPU Systems (매니코어 CPU 시스템에서의 병렬 I/O 성능 향상을 위한 LRU 최적화 기법 연구)

  • Byun, Eun-Kyu;Bang, Jiwoo;Gu, Gibeom;Oh, Kwang-Jin
    • Annual Conference of KIPS
    • /
    • 2022.11a
    • /
    • pp.2-4
    • /
    • 2022
  • 매니코어 CPU 시스템에서의 병렬 I/O 는 현재의 리눅스 시스템의 LRU 관리 방법의 한계로 확장성에 문제를 가지고 있다. 본 연구에서는 이 문제를 해결했던 하기 위한 개선된 FinerLRU 를 제안한다. LRU 락을 최대 코어 개수만큼 증가시키고 세분화된 Lock 관리를 통해 버퍼 캐시를 사용하는 파일 시스템의 병렬 I/O 성능을 향상시킨다. 리눅스 5.18.11 에 제안한 방법을 구현하였으며, 64 개의 물리적 코어와 256 개의 논리적 코어를 가지는 Intel Knights Landing 프로세서를 이용한 실험을 통해 두 배 가량의 성능 향상을 얻을 수 있음을 확인하였다.

Implementation of Tiering Storage to Support High-Performance I/O (고성능 I/O 지원을 위한 계층형 스토리지 구현)

  • Junweon Yoon;Taeyeong Hong
    • Annual Conference of KIPS
    • /
    • 2023.11a
    • /
    • pp.50-52
    • /
    • 2023
  • ML/DL과 같은 AI의 연구가 HPC 환경에서 수행되면서 데이터 병렬화, 분산 학습 및 대규모 데이터 세트를 처리를 위한 요구사항이 급격히 증가하였다. 또한, 병렬처리 연산에 특화된 가속기 기반 이기종 아키텍처 환경 변화로 I/O 처리에 고대역폭, 저지연의 스토리지 기술을 필요로 하고 있다. 본 논문에서는 고집적의 병렬 컴퓨팅 환경에 고성능 HPC, AI 애플리케이션을 처리하기 위한 티어링 스토리지 기술을 논한다. 나아가 실제 고성능 NVMe 기반의 플래시 티어링 계층 구성에서 액세스 패턴에 따른 데이터 처리 환경을 구축하고 성능을 검증한다. 이로써 다양한 사용자 어플리케이션의 I/O 패턴을 특성에 맞게 지원할 수 있다.

Design and Implementation of Scalable Parallel I/O VoD Server (확장성 있는 병렬 I/O VoD 서버의 설계 및 구현)

  • 김주훈;최경희;김재훈
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10c
    • /
    • pp.108-110
    • /
    • 1999
  • 컴퓨터 하드웨어의 발달로 고속 네트워킹과 대용량 저장 장치가 가능해지면서 기존의 단순 계산 데이터가 아닌 멀티미디어 데이터를 조작하는 기술이 필요로 하게 되었다. 이 기술을 이용하는 대표적인 것이 VoD 서버 처리 기술이다. 기존 VoD 서버에서는 데이터의 분산 및 버퍼 구조 또는 병렬 I/O를 통하여 해결하려는 노력이 있어 왔다. 본 논문에서는 서버의 성능을 극대화시켰다. 디스크 저장 매체와 서버의 수를 증가시켜 시험하므로써 이 구조가 확장성 있음을 보였다.

  • PDF