PCIe Non-Transparent Bridge 인터페이스 기반 링 네트워크 인터커넥트 시스템 구현

Implementation of Ring Topology Interconnection Network with PCIe Non-Transparent Bridge Interface

Abstract

HPC(High Performance Computer)은 다수의 계산노드를 초고성능 상호연결망으로 연결하여 클러스터 시스템으로 구성된 시스템이다. 이러한 HPC 시스템에서 사용하는 계산 노드 간의 연결 네트워크 기술로는 Infiniband, Ethernet 등의 기술이 많이 사용된다. 최근 PCIe 표준의 발전으로 인해서 컴퓨터 호스트는 고속의 주변 장치 디바이스를 주로 PCIe Bridge 인터페이스에 연결하여 사용한다. PCIe 표준 기술 중 컴퓨터 노드 간의 직접 연결하는 방식으로 Non-Transparent Bridge(NTB) 기반의 인터콘넥션 표준이 존재한다. 그러나 NTB의 기본 표준은 두 노드 간에 분리된 메모리를 제공하는 방식이기 때문에 다중 노드를 직접 연결하기 위해서는 추가된 구성 방법이 필요하다. 본 논문에서는 다중 NTB 포트에 직접 연결된 다수의 호스트들 간에 무스위치 네트워크를 구성하여 NTB 통신을 이용한 데이터 공유 방법의 설계와 구현에 대해서 다룬다. 각 호스트에 연결된 두 개의 NTB포트를 이용해서 링 네트워크를 구성하고, 링 네트워크 상에서 NTB 인터컨넥션을 이용한 데이터 공유 방식의 구현을 하였다. 이와 같이 PCIe NTB 기반 무스위치 네트워크를 통해서 기존의 인터커넥트 네트워크에 비해서 Cost-Effective한 HPC 상호연결망을 구성할 수 있다.

HPC(High Performance Computing) is the computing system that connects a number of computing nodes with high performance interconnect network. In the HPC, interconnect network technology is one of the key player to make high performance systems, and mainly, Infiniband or Ethernet are used for interconnect network technology. Nowadays, PCIe interface is main interface within computer system in that host CPU connects high performance peripheral devices through PCIe bridge interface. For connecting between two computing nodes, PCIe Non-Transparent Bridge(NTB) standard can be used, however it basically connects only two hosts with its original standards. To give cost-effective interconnect network interface with PCIe technology, we develop a prototype of interconnect network system with PCIe NTB. In the prototyped system, computing nodes are connected to each other via PCIe NTB interface constructing switchless interconnect network such as ring network. Also, we have implemented prototyped data sharing mechanism on the prototyped interconnect network system. The designed PCIe NTB-based interconnect network system is cost-effective as well as it provides competitive data transferring bandwidth within the interconnect network.

Fig. 1. PCIe NTB(Non-Transparent Bridge)-based Interconnect and Address Translation Process

Fig. 2. PCIe NTB-based Switchless Interconnect Network Topologies

Fig. 3. Initial Ring Setup Procedure for NTB-based Ring Topology

Fig. 4. Data Transfer between hosts with Memory Window, ScratchPad, and Doorbell for PCIe NTB-based Ring Network

Fig. 5. Experimental Results for DMA data transfer between hosts with Single Connection VS. Ring Network

Fig. 6. Experimental Results and Comparison Between Each Individual Data Transfer Between Two Hosts VS. Simultaneous Transfer Among Three Hosts in Ring Network