• 제목/요약/키워드: 병렬 I/O

검색결과 126건 처리시간 0.035초

MPI-IO의 CrownFS 지원 방안 (Supporitng for CrownFS in MPI-IO)

  • 조미옥;강봉직;최경희;정기현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (A)
    • /
    • pp.636-638
    • /
    • 2000
  • 가장 느린 서비스시템인 I/O의 성능이 전체적인 컴퓨터 시스템의 성능을 결정짓게 된다. 따라서 전반적인 시스템의 성능 향상을 위해서는 I/O의 성능이 높아져야 한다. 분산병렬환경에서 I/O의 성능을 높이기 위해서 parallel I/O를 사용한다. 하위레벨에서 최적화된 병렬 파일시스템을 사용하고, 어플리케이션 레벨에서 병렬 에플리케이션의 개발을 쉽게 해줄 수 있는 인터페이스를 사용하면 더 효과적인 parallel I/O를 구현할 수 있다. 본 논문에서는 MPI에서 병렬 파일시스템인 CrownFS를 지원하도록 하기 위해서 MPI-IO에 CrownFS를 추가하여 병렬환경에서 높은 성능을 나타낼수 있는 parallel I/O 환경을 구현한다.

  • PDF

IEEE 1284 동작 모드를 사용하는 웹 기반 병렬 I/O 제어 장치의 설계 (Design of Web Based Parallel I/O Control System Using IEEE 1284 Operating Modes)

  • 장호성
    • 한국산학기술학회논문지
    • /
    • 제11권3호
    • /
    • pp.991-996
    • /
    • 2010
  • 본 논문에서는 IEEE 1284 동작 모드를 사용하는 병렬 I/O 제어 시스템을 제안하고 인터넷 환경하에서 원격제어 통신을 실현하였다. IEEE 1284 표준은 다수의 특정한 동작 모드와 호환성이 있는 인터페이스를 정의하며 PC의 병렬 포트에 대해 보다 개선된 성능을 제공한다. 병렬 포트 장치는 Device/ID 식별 절차를 갖는 병렬 포트에 대해 PnP 기능을 제공하게 되는 새로운 운영체제 때문에 시스템 구성과 인터페이스 절차가 간단하게 된다. 이러한 성능 증대로 병렬 I/O 포트는 더욱 저가격, 실용이 간편한 I/O 포트로 가능하게 된다.

병렬파일 시스템에서 I/O 대역폭 개선을 위한 이단 선반입 기법 (Two-level Prefetching method for I/O bandwidth enhancement in Parallel File System)

  • 황보준형;조종현;이윤영;서대화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 추계학술발표논문집 (상)
    • /
    • pp.657-660
    • /
    • 2000
  • 병렬 파일 시스템은 늦은 디스크 I/O로 인한 성능 저하를 개선하기 위해 병렬 I/O를 제공한다. 이때 계산과 디스크 I/O를 중첩시키는 선반입 기법으로 디스크 I/O로 인한 성능 저하를 더욱 개선할 수 있다. 하지만 I/O 위주의 프로그램에서는 선반입으로 인하여 시스템에서 제공하는 I/O 대역폭을 넘어 최악의 경우 기존의 선반입 기법은 성능개선을 위한 최선이 될 수 없을 뿐 아니라 선반입 기법 자체가 과부하가 될 수 있다. 본 논문에서는 이런 상황을 고려하여 I/O 대역폭 개선을 위한 이단 선반입 기법을 제시하여 성능개선을 제공한다.

  • PDF

병렬 프로그램에서의 효율적인 대용량 파일 입출력 방식의 비교 연구 (Research for Efficient Massive File I/O on Parallel Programs)

  • 황규현;김영태
    • 인터넷정보학회논문지
    • /
    • 제18권2호
    • /
    • pp.53-60
    • /
    • 2017
  • 분산 메모리형의 병렬 프로그램에서는 프로세서들이 독립적으로 입출력을 처리하기 때문에 여러 유형의 파일 입출력 방식이 사용된다. 본 논문에서는 분산 메모리형 병렬 프로그램에서의 대용량 파일에 대한 효율적인 입출력 방식을 알아보기 위하여 다양한 방식을 구현하고 비교 분석하였다. 구현된 방식으로는 (i) NFS를 활용한 병렬 입출력 방식, (ii) 호스트 프로세서에서의 순차 입출력과 도메인 분산 방식, 그리고 (iii) 메시지 전송 전용 입출력(MPI-IO) 방식 등이 있다. 성능 분석을 위해서 별도의 파일 서버를 사용하였으며 한 대 및 두 대의 계산 클라이언트에서 다중 프로세서를 사용하였다. 비교 분석 결과, 입력의 경우에는 NFS 병렬 입력 방식이, 출력의 경우에는 도메인 전송을 통한 순차 출력 방식이 가장 효율적으로 나타났으며, 예상과는 다르게 메시지 전송 전용 입출력 방식의 성능이 가장 낮게 나왔다.

프로세스 그룹화를 이용한 집합 I/O (Collective I/O with Process grouping)

  • 차광호;홍정우;이지수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
    • /
    • pp.442-444
    • /
    • 2003
  • 병렬 처리를 요구하는 계산 과학 분야의 문제들 중에는 대용량 데이터 처리를 필요로 하는 경우가 많다. 그러나 기존의 파일 시스템을 그대로 병렬처리 환경에 적용하기에는 많은 문제가 따른다. 이를 위해서 병렬처리를 지원하는 파일 시스템에 대한 연구와 개발이 진행되어 오고 있다. 이와 같은 연구 중 하나인 집합 I/O(Collective I/O)를 본 논문에서 다루고자 한다. 이 집합 I/O는 여러 프로세스의 파일 I/O 요청을 효과적으로 처리하는 방법으로 MPl2의 MPI-10에도 포함되어 있다. 본 논문에서는 어플리케이션 프로그램 측면에서 MPI-10의 집합 I/O를 효과적으로 사용하기 위한 방안을 제시하며, 보편적으로 사용되는 NFS를 이용한 클러스터 시스템에서의 실험 결과를 분석한다.

  • PDF

AI를 위한 파일시스템 병렬 I/O 기술 연구 (A Study on Parallel I/O Technology in Filesystem for AI)

  • 윤준원;홍태영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.49-51
    • /
    • 2022
  • 대규모 데이터를 처리하기 위해 머신러닝, 딥러닝과 같은 AI 활용 연구가 일반화되면서 시스템 환경 또한 병렬처리 연산에 강화된 가속기 기반의 이기종 아키텍처로 확산되고 있다. CPU 기반의 계산 환경과 달리 상대적으로 성능이 낮은 수천 개의 산술연산장치(ALU)를 활용해 쓰레드 방식으로 연산을 수행하며, I/O의 특성 또한 대규모의 데이터들이 수많은 연산장치에 전달되기 위한 Small I/O, High-throughput 처리 성능이 애플리케이션에 큰 영향을 끼친다. 본 논문에서는 병렬 컴퓨팅 환경에 AI 애플리케이션이 접목되면서 요구되는 스토리지, 파일시스템의 환경을 분석하고 나아가 성능 검증을 통해 I/O 특성을 파악하고자 한다.

스트라이핑 기반 병렬 입출력 시스템에서의 Enhanced Parallel R-tree (Enhanced Parallel R-tree on a Parallel I/O System Based on Striping)

  • 이춘근;김정원;정기동
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (1)
    • /
    • pp.117-119
    • /
    • 1998
  • 대용량의 데이터를 다루는 지리정보 시스템은 I/O가 시스템의 병목현상을 발생시킨다. 따라서, I/O의 병렬화로 GIS의 데이터 요구를 만족시키려는 연구가 이루어져 왔다. PR(Parallel R-tree)[1]도 이러한 연구에 속한다. 한편, 지리 정보 시스템의 질의는 영역질의가 대부분이다. 영역질의는 특성상 인접한 객체들의 동시에 요구한다. 그러므로, 인접한 데이터를 물리적으로 인접하게 배치하면 I/O의 성능이 향상된다. 본 논문에서는 인접한 객체를 물리적으로 인접한 위치에 저장하는 방식인 EPR(Enhanced PR)기법과 단말노드 구조를 제안하고 그 성능을 평가하였다.

매니코어 CPU 시스템에서의 병렬 I/O 성능 향상을 위한 LRU 최적화 기법 연구 (A Study on Optimizing LRU lock for Improving Parallel I/O Throughout in Manycore CPU Systems)

  • 변은규;방지우;구기범;오광진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.2-4
    • /
    • 2022
  • 매니코어 CPU 시스템에서의 병렬 I/O 는 현재의 리눅스 시스템의 LRU 관리 방법의 한계로 확장성에 문제를 가지고 있다. 본 연구에서는 이 문제를 해결했던 하기 위한 개선된 FinerLRU 를 제안한다. LRU 락을 최대 코어 개수만큼 증가시키고 세분화된 Lock 관리를 통해 버퍼 캐시를 사용하는 파일 시스템의 병렬 I/O 성능을 향상시킨다. 리눅스 5.18.11 에 제안한 방법을 구현하였으며, 64 개의 물리적 코어와 256 개의 논리적 코어를 가지는 Intel Knights Landing 프로세서를 이용한 실험을 통해 두 배 가량의 성능 향상을 얻을 수 있음을 확인하였다.

고성능 I/O 지원을 위한 계층형 스토리지 구현 (Implementation of Tiering Storage to Support High-Performance I/O)

  • 윤준원;홍태영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.50-52
    • /
    • 2023
  • ML/DL과 같은 AI의 연구가 HPC 환경에서 수행되면서 데이터 병렬화, 분산 학습 및 대규모 데이터 세트를 처리를 위한 요구사항이 급격히 증가하였다. 또한, 병렬처리 연산에 특화된 가속기 기반 이기종 아키텍처 환경 변화로 I/O 처리에 고대역폭, 저지연의 스토리지 기술을 필요로 하고 있다. 본 논문에서는 고집적의 병렬 컴퓨팅 환경에 고성능 HPC, AI 애플리케이션을 처리하기 위한 티어링 스토리지 기술을 논한다. 나아가 실제 고성능 NVMe 기반의 플래시 티어링 계층 구성에서 액세스 패턴에 따른 데이터 처리 환경을 구축하고 성능을 검증한다. 이로써 다양한 사용자 어플리케이션의 I/O 패턴을 특성에 맞게 지원할 수 있다.

확장성 있는 병렬 I/O VoD 서버의 설계 및 구현 (Design and Implementation of Scalable Parallel I/O VoD Server)

  • 김주훈;최경희;김재훈
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (3)
    • /
    • pp.108-110
    • /
    • 1999
  • 컴퓨터 하드웨어의 발달로 고속 네트워킹과 대용량 저장 장치가 가능해지면서 기존의 단순 계산 데이터가 아닌 멀티미디어 데이터를 조작하는 기술이 필요로 하게 되었다. 이 기술을 이용하는 대표적인 것이 VoD 서버 처리 기술이다. 기존 VoD 서버에서는 데이터의 분산 및 버퍼 구조 또는 병렬 I/O를 통하여 해결하려는 노력이 있어 왔다. 본 논문에서는 서버의 성능을 극대화시켰다. 디스크 저장 매체와 서버의 수를 증가시켜 시험하므로써 이 구조가 확장성 있음을 보였다.

  • PDF