Allgemein
Der Cluster erstreckt sich über 9 wassergekühlte Doppelracks (Schränke) im New Data Center am Campus Hölderlinstraße.
Nachfolgend sind einige Details zur Clusterhardware aufgelistet.
Knoten
Der Cluster ist in Knoten aufgeteilt. Jeder Knoten hat mehrere Kerne (CPUs) und einen lokalen Arbeitsspeicher. Der Zugang erfolgt über vier Login-Knoten (hpc-login01 bis hpc-login04). Der Festplattenspeicher ist zentral, die einzelnen Knoten haben keine Festplatten.
Compute-Knoten
Der Cluster verfügt über 439 reguläre Rechenknoten. Jeder dieser Knoten hat 64 Kerne und 256 Gigabyte Arbeitsspeicher. Die Namen der Knoten sind hpc-node001–hpc-node439. Zusätzliche acht Rechnknoten mit den Namen fat-node001–fat-node008 sind mit jeweils 512 Gigabyte RAM ausgestattet. Alle Rechenknoten besitzen dieselbe Hardware-Architektur. Jeder Knoten besteht aus zwei CPU-Prozessoren vom Typ AMD EPYC 7452, mit jeweils 32 Kernen pro EPYC-CPU. Die Taktfrequenz beträgt 2.35-3.35 GHz. Jeder Kern verfügt über einen separaten L1 (32 kB) und L2 (512 kB) Cache. Der L3 Cache wird jeweils von 4 Kernen geteilt (16 MB) und beträgt pro Knoten 256 MB. Der Arbeitsspeicher eines Knotens ist logisch in 8 NUMA-Domains zu je 32 MB aufgeteilt. Simultanes Multithreading (das AMD-Äquivalent zu Intels “Hyperthreading”) ist deaktiviert. Die Rechenknoten sind auf mehrere Partitionen/Queues aufgeteilt, um Jobs mit verschiedenen Anforderungen (Anzahl Knoten, Laufzeit) zu bedienen. Im Abschnitt über den das Einstellen von Jobs finden sie ausführliche Informationen zu den Queues und der Nutzung der Architektur.
GPU-Knoten
Zusätzlich zu den regulären Rechenknoten verfügt der Cluster noch über 10 Knoten, die mit je 1, 2 oder 4 GPUs vom Typ NVIDIA Tesla V100 ausgestattet sind.
Die Tesla V100 ermöglicht die Vektorisierung von Double-Precision-Gleitkommazahlen. Der sonstige Aufbau der GPU-Knoten (CPUs, RAM etc.) ist identisch zu dem der Compute-Knoten. Weitere Informationen zur Nutzung der GPUs stehen im Untermenü GPU-Nutzung.
SMP-Knoten
Der OMNI-Cluster verfügt über 2 Knoten für Shared Multiprocessing (SMP), auch als Fat Nodes bezeichnet. Jeder dieser beiden Knoten hat 4 Intel-CPUs vom Typ Xeon Gold 5218 und 1536 GB Arbeitsspeicher. Die Knoten heißen smp-node001 und smp-node002 und sind über die smp-Queue erreichbar.
Beachten Sie, dass diese Knoten aufgrund ihrer Intel-Prozessoren eine andere Architektur haben als alle anderen Knoten des Clusters. Bitte kontaktieren Sie uns bei Fragen und Problemen mit der Kompatibilität.
Speicher
Der Cluster verfügt über eine Reihe von zentralen Filesystemen (zentral in dem Sinne, dass sie von jedem Knoten erreichbar sind). Das erste, mit insgesamt 10 TB Speicherplatz, enthält unter anderem die Home-Verzeichnisse der Nutzer, die auf 100 GB pro Nutzer beschränkt sind. Die Workspaces befinden sich auf einem separaten aber ebenfalls zentralen Filesystem mit insgesamt ca. 1 PB. Einzelne Workspaces sind von der Größe her unbeschränkt, haben aber eine Maximaldauer von 30 Tagen (dreimal um je 30 Tage verlängerbar). Weiterhin verfügt der Cluster über einen sogenannten Burst Buffer, dabei handelt es sich um ein Filesystem für Rechnungen, die große Datenmengen in besonders kurzer Zeit lesen oder schreiben müssen. Der Burst Buffer besteht physikalisch aus Solid State Disks (SSDs) und hat eine Gesamtgröße von 32 TB. Seine Benutzung beschreiben wir hier.
Netzwerk
Die Knoten sind untereinander über einen schnellen Infiniband-Interconnect verbunden und sind von außen per Netzwerk erreichbar.
Technische Daten im Überblick:
- Knoten:
- Rechenknoten: 439
- CPUs (2 pro Knoten): AMD EPYC 7452, 32 Kerne, 2.35-3.35 GHz, 128 MB Cache
- RAM: 256 GB DDR4, 3200 MHz
- GPU-Knoten: 10
- CPUs (2 pro Knoten): AMD EPYC 7452, 32 Kerne, 2.35-3.35 GHz, 128 MB Cache
- RAM: 256 GB DDR4, 3200 MHz
- GPUs (1/2/4 pro Knoten): NVIDIA Tesla V100, 5120 CUDA Cores, 16 GB HBM2-Memory 3200 MHz
- SMP-Knoten (Fat Nodes): 2
- CPUs (4 pro Knoten): Intel Xeon 5218, 16 Kerne, 2.3-3.9 GHz, 22 MB Cache
- RAM: 1536 GB DDR4, 2666/2933 MHz
- Fat-Knoten: 8
- CPUs (2 pro Knoten): AMD EPYC 7452, 32 Kerne, 2.35-3.35 GHz, 128 MB Cache
- RAM: 512 GB DDR4, 3200 MHz
- Login-Knoten: 4
- CPUs (2 pro Knoten): AMD EPYC 7452, 32 Kerne, 2.35-3.35 GHz, 128 MB Cache
- RAM: 512 GB DDR4, 3200 MHz
- Rechenknoten: 439
- Gesamtrechenleistung: ca. 1044 TFlop/s (Peak)
- Festplatten:
- Home-Verzeichnisse: 8.5 TB
- Work-Verzeichnisse: 1 PB IBM Spectrum Scale
- Burst Buffer: 32 TB SSD-Storage
- Netzwerk:
- Infiniband HDR100
- Ethernet
- Stromverbrauch: ca. 240 Kilowatt
Betriebssystem
Das Betriebssystem des Clusters ist Rocky Linux, Release 8.6 (Stand August 2022).
Der Cluster wird mit dem Bright-Cluster-Manager (Version 9.1, Stand August 2022) betrieben.
