InfiniBand - InfiniBand

InfiniBand Handelsverband
Logo der InfiniBand Trade Association.jpg
Formation 1999
Typ Industrie Handelsgruppe
Zweck Werbung für InfiniBand
Hauptquartier Beaverton, Oregon , USA
Webseite www .infinibandta .org

InfiniBand ( IB ) ist ein Kommunikationsstandard für Computernetzwerke, der im Hochleistungs-Computing verwendet wird und einen sehr hohen Durchsatz und eine sehr geringe Latenz bietet . Es wird für die Datenverbindung zwischen und innerhalb von Computern verwendet. InfiniBand wird auch entweder als direkte oder geschaltete Verbindung zwischen Servern und Speichersystemen sowie als Verbindung zwischen Speichersystemen verwendet. Es ist skalierbar und verwendet eine Switched-Fabric- Netzwerktopologie . Bis etwa 2016 war es die am häufigsten verwendete Verbindung in der TOP500- Liste der Supercomputer.

Mellanox (übernommen von Nvidia ) stellt InfiniBand- Host-Bus-Adapter und Netzwerk-Switches her , die von großen Computersystem- und Datenbankanbietern in ihren Produktlinien verwendet werden. Als Computer-Cluster-Verbindung konkurriert IB mit Ethernet , Fibre Channel und Intel Omni-Path . Die Technologie wird von der InfiniBand Trade Association gefördert .

Geschichte

InfiniBand entstand 1999 aus der Fusion zweier konkurrierender Designs: Future I/O und Next Generation I/O (NGIO). NGIO wurde von Intel geleitet , mit einer Spezifikation, die 1998 veröffentlicht wurde, und schlossen sich Sun Microsystems und Dell an . Die zukünftige I/O wurde von Compaq , IBM und Hewlett-Packard unterstützt . Dies führte zur Gründung der InfiniBand Trade Association (IBTA), der sowohl Hardware- als auch Softwarehersteller wie Microsoft angehören . Zu dieser Zeit dachte man, dass einige der leistungsstärkeren Computer trotz Upgrades wie PCI-X an den Verbindungsengpass des PCI- Busses herankommen würden . Version 1.0 der InfiniBand Architecture Specification wurde im Jahr 2000 veröffentlicht. Ursprünglich war die IBTA-Vision für IB gleichzeitig ein Ersatz für PCI in I/O, Ethernet im Maschinenraum , Cluster- Interconnect und Fibre Channel . IBTA beabsichtigte auch, Serverhardware auf einer IB- Fabric zu zerlegen .

Mellanox wurde 1999 gegründet, um die NGIO-Technologie zu entwickeln, brachte aber 2001 eine InfiniBand-Produktlinie namens InfiniBridge mit Geschwindigkeiten von 10 Gbit/Sekunde auf den Markt. Nach dem Platzen der Dotcom-Blase zögerte die Branche, in einen so weitreichenden Technologiesprung zu investieren. Im Jahr 2002 kündigte Intel an, dass es sich auf die Entwicklung von PCI Express konzentrieren würde, anstatt integrierte IB-Schaltungen ("Chips") zu liefern , und Microsoft stellte die IB-Entwicklung zugunsten der Erweiterung von Ethernet ein. Sun und Hitachi unterstützten IB weiterhin.

Im Jahr 2003 verwendete der am Virginia Tech gebaute Supercomputer System X InfiniBand in dem zu dieser Zeit geschätzten drittgrößten Computer der Welt. Die OpenIB Alliance (später umbenannt in OpenFabrics Alliance) wurde 2004 gegründet, um eine offene Software für den Linux- Kernel zu entwickeln. Im Februar 2005 wurde die Unterstützung in den Linux-Kernel 2.6.11 aufgenommen. Im November 2005 wurden schließlich Speichergeräte mit InfiniBand von Anbietern wie Engenio veröffentlicht.

Von den 500 besten Supercomputern im Jahr 2009 war Gigabit Ethernet bei 259 Installationen die interne Verbindungstechnologie, verglichen mit 181 mit InfiniBand. Im Jahr 2010 fusionierten die Marktführer Mellanox und Voltaire, sodass nur noch ein weiterer IB-Anbieter, QLogic , in erster Linie ein Fibre Channel- Anbieter blieb. Auf der International Supercomputing Conference 2011 wurden Verbindungen mit einer Geschwindigkeit von etwa 56 Gigabit pro Sekunde (bekannt als FDR, siehe unten) angekündigt und durch verbundene Stände auf der Messe demonstriert. Im Jahr 2012 erwarb Intel die InfiniBand-Technologie von QLogic, sodass nur noch ein unabhängiger Lieferant übrig blieb.

Bis 2014 war InfiniBand die beliebteste interne Verbindungstechnologie für Supercomputer, obwohl innerhalb von zwei Jahren 10 Gigabit Ethernet begann, es zu verdrängen. Im Jahr 2016 wurde berichtet, dass die Oracle Corporation (ein Investor von Mellanox) möglicherweise ihre eigene InfiniBand-Hardware entwickeln könnte. 2019 erwarb Nvidia Mellanox, den letzten unabhängigen Anbieter von InfiniBand-Produkten.

Spezifikation

Spezifikationen werden von der Handelsvereinigung InfiniBand veröffentlicht.

Leistung

Ursprüngliche Namen für Geschwindigkeiten waren Single-Data-Rate (SDR), Double-Data-Rate (DDR) und Quad-Data-Rate (QDR), wie unten angegeben. Anschließend wurden weitere dreibuchstabige Akronyme für noch höhere Datenraten hinzugefügt.

Eigenschaften
  SDR DDR QDR FDR10 FDR EDR HDR NDR XDR
Signalisierungsrate (Gbit/s) 0002.5 0005 0010 0010.3125 0014.0625 0025.78125 0050 0100 0250
Theoretischer
effektiver
Durchsatz
( Gb/s ) 		für 01 LinkS 0002 0004 0008 0010 0013.64 0025 0050 0100 0250
für 04 Links 0008 0016 0032 0040 0054,54 0100 0200 0400 1000
für 08 Links 0016 0032 0064 0080 0109.08 0200 0400 0800 2000
für 12 Links 0024 0048 0096 0120 0163,64 0300 0600 1200 3000
Kodierung ( Bits ) 8b/10b 64b/66b PAM4 noch
Adapterlatenz ( µs ) 0005 0002.5 0001.3 0000,7 0000,7 0000,5 weniger? noch noch
Jahr 2001, 2003 2005 2007 2011 2011 2014 2018 2021 nach 2023?

Links können aggregiert werden: Die meisten Systeme verwenden ein 4× Aggregat. 8 × und 12 × Verbindungen verwendet werden typischerweise für Computer - Cluster und Supercomputer - Verbindungen und für inter- Schalteranschlüsse.

InfiniBand bietet Remote Direct Memory Access (RDMA)-Funktionen für geringen CPU-Overhead.

Topologie

InfiniBand verwendet eine Switched-Fabric- Topologie im Gegensatz zum frühen Shared-Medium- Ethernet . Alle Übertragungen beginnen oder enden an einem Kanaladapter. Jeder Prozessor enthält einen Host-Channel-Adapter (HCA) und jedes Peripheriegerät hat einen Target-Channel-Adapter (TCA). Diese Adapter können auch Informationen für Sicherheit oder Dienstgüte (QoS) austauschen .

Mitteilungen

InfiniBand überträgt Daten in Paketen von bis zu 4 KB, die zu einer Nachricht zusammengefasst werden. Eine Nachricht kann sein:

  • ein entfernter direkter Speicherzugriff lesen oder schreiben
  • ein Kanal senden oder empfangen
  • eine transaktionsbasierte Operation (die rückgängig gemacht werden kann)
  • eine Multicast- Übertragung
  • eine atomare Operation

Physische Verbindung

InfiniBand-Switch mit CX4/SFF-8470-Anschlüssen

Neben einer Board-Formfaktor-Verbindung kann es sowohl aktives als auch passives Kupferkabel (bis zu 10 Meter) und Glasfaserkabel (bis zu 10 km) verwenden. Es werden QSFP- Anschlüsse verwendet.

Die InfiniBand Association spezifizierte außerdem das CXP- Steckverbindersystem für Geschwindigkeiten von bis zu 120 Gbit/s über Kupfer, aktive optische Kabel und optische Transceiver unter Verwendung von parallelen Multimode-Glasfaserkabeln mit 24-Faser-MPO-Steckverbindern.

Softwareschnittstellen

Mellanox-Betriebssystemunterstützung ist für Solaris , FreeBSD , Red Hat Enterprise Linux , SUSE Linux Enterprise Server (SLES), Windows , HP-UX , VMware ESX und AIX verfügbar .

InfiniBand hat keine spezifische Standard- API ( Application Programming Interface ). Der Standard listet nur eine Reihe von Verben wie ibv_open_deviceoder auf ibv_post_send, die abstrakte Darstellungen von Funktionen oder Methoden sind, die existieren müssen. Die Syntax dieser Funktionen wird den Herstellern überlassen. Manchmal wird dies zu Referenzzwecken als Verbs- API bezeichnet. Die De-facto-Standardsoftware wird von der OpenFabrics Alliance entwickelt und heißt Open Fabrics Enterprise Distribution (OFED). Es wird unter zwei Lizenzen GPL2 oder BSD-Lizenz für Linux und FreeBSD und als Mellanox OFED für Windows (Produktbezeichnungen: WinOF / WinOF-2; bezeichnet als Host-Controller-Treiber für die Anpassung bestimmter ConnectX 3- bis 5-Geräte) unter einer Auswahl von BSD . veröffentlicht Lizenz für Windows. Es wurde von den meisten InfiniBand-Anbietern für Linux , FreeBSD und Microsoft Windows übernommen . IBM bezieht sich auf eine Softwarebibliothek namens libversb, für sein AIX- Betriebssystem sowie auf "AIX InfiniBand verbs". Die Linux-Kernel-Unterstützung wurde 2005 in die Kernel-Version 2.6.11 integriert.

Ethernet über InfiniBand

Ethernet over InfiniBand, abgekürzt EoIB, ist eine Ethernet-Implementierung über das InfiniBand-Protokoll und die Anschlusstechnologie. EoIB ermöglicht mehrere Ethernet-Bandbreiten, die je nach InfiniBand (IB)-Version variieren. Die Ethernet-Implementierung der Internet Protocol Suite , meist als TCP/IP bezeichnet, unterscheidet sich in einigen Details vom direkten InfiniBand-Protokoll in IP over IB (IPoIB).

Ethernet über InfiniBand-Leistung
Typ Fahrspuren Bandbreite (Gbit/s) Kompatible(r) Ethernet-Typ(en) Kompatible Ethernet-Menge
SDR 001 0002.5 GbE bis 2,5 GbE 02 × GbE bis 1 × 02,5 GbE
004 0010 GbE bis 10 GbE 10 × GbE bis 1 × 10 GbE
008 0020 GbE bis 10 GbE 20 × GbE bis 2 × 10 GbE
012 0030 GbE bis 25 GbE 30 × GbE bis 1 × 25 GbE + 1 × 05 GbE
DDR 001 0005 GbE bis 5 GbE 05 × GbE bis 1 × 05 GbE
004 0020 GbE bis 10 GbE 20 × GbE bis 2 × 10 GbE
008 0040 GbE bis 40 GbE 40 × GbE bis 1 × 40 GbE
012 0060 GbE bis 50 GbE 60 × GbE bis 1 × 50 GbE + 1 × 10 GbE
QDR 001 0010 GbE bis 10 GbE 10 × GbE bis 1 × 10 GbE
004 0040 GbE bis 40 GbE 40 × GbE bis 1 × 40 GbE

Siehe auch

Verweise

Externe Links