Hochdurchsatz-Computing - High-throughput computing
High-Throughput-Computing ( HTC ) ist ein Begriff aus der Informatik , der die Verwendung vieler Rechenressourcen über lange Zeiträume zur Erledigung einer Rechenaufgabe beschreibt.
Herausforderungen
Die HTC-Community beschäftigt sich auch mit der Robustheit und Zuverlässigkeit von Arbeitsplätzen über einen langen Zeitraum. Das heißt, in der Lage zu sein, aus unzuverlässigen Komponenten ein zuverlässiges System zu erstellen. Diese Forschung ähnelt der Transaktionsverarbeitung , jedoch in einem viel größeren und verteilten Maßstab.
Einige HTC-Systeme wie HTCondor und PBS können Aufgaben auf opportunistischen Ressourcen ausführen. Es ist jedoch ein schwieriges Problem, in dieser Umgebung zu arbeiten. Einerseits muss das System eine zuverlässige Betriebsumgebung für die Jobs des Benutzers bereitstellen, aber gleichzeitig darf das System die Integrität des Ausführungsknotens nicht beeinträchtigen und dem Besitzer immer die volle Kontrolle über seine Ressourcen ermöglichen.
Hoher Durchsatz vs. hohe Leistung vs. viele Aufgaben
Es gibt viele Unterschiede zwischen High-Throughput-Computing , High-Performance-Computing (HPC) und Many-Task-Computing (MTC).
HPC-Aufgaben sind dadurch gekennzeichnet, dass sie für kurze Zeiträume viel Rechenleistung benötigen, während HTC-Aufgaben ebenfalls viel Rechenleistung erfordern, jedoch für viel längere Zeiträume (Monate und Jahre statt Stunden und Tage). HPC-Umgebungen werden oft in Form von FLOPS gemessen .
Der HTC-Community geht es jedoch nicht um Operationen pro Sekunde, sondern um Operationen pro Monat oder pro Jahr. Daher interessiert die HTC-Branche eher, wie viele Jobs über einen langen Zeitraum erledigt werden können, als wie schnell.
Als alternative Definition definiert die European Grid Infrastructure HTC als „ein Rechenparadigma, das sich auf die effiziente Ausführung einer großen Anzahl von lose gekoppelten Aufgaben konzentriert“ , während HPC-Systeme dazu neigen, sich auf eng gekoppelte parallele Jobs zu konzentrieren, und als solche müssen sie innerhalb eines bestimmten Standorts mit Verbindungen mit geringer Latenz ausführen. Umgekehrt sind HTC-Systeme unabhängige, sequentielle Jobs, die individuell auf vielen verschiedenen Computerressourcen über mehrere administrative Grenzen hinweg geplant werden können. HTC-Systeme erreichen dies unter Verwendung verschiedener Grid-Computing- Technologien und -Techniken.
MTC zielt darauf ab, die Lücke zwischen HTC und HPC zu schließen. MTC erinnert an HTC, unterscheidet sich jedoch darin, dass viele Rechenressourcen über kurze Zeiträume verwendet werden, um viele Rechenaufgaben (dh sowohl abhängige als auch unabhängige Aufgaben) zu erledigen, wobei die primären Metriken in Sekunden gemessen werden (z. B. FLOPS, Aufgaben /s, MB/s I/O-Raten), im Gegensatz zu Operationen (zB Jobs) pro Monat. MTC bezeichnet Hochleistungsberechnungen, die mehrere verschiedene Aktivitäten umfassen, die über Dateisystemoperationen gekoppelt sind.