In Kürze
Schwierigkeit
Einfach
Kosten
Kostenfrei
Voraussetzungen
Mitarbeiter:innen oder Student:innen der Universität Siegen.
Erste SChritte
Die folgende Anleitung ist für neue Nutzerinnen und Nutzer unseres Clusters gedacht. Sie erklärt einige Grundbegriffe und enthält Links zu weiterführenden Informationen.
Was ist ein Cluster?
Ein Cluster ist in erster Linie ein großer Computer, der aus vielen kleineren Computern zusammengeschaltet wurde. Ein Cluster teilt sich auf in sogenannte Knoten (Nodes), von denen jeder seinen eigenen Arbeitsspeicher und eine bestimmte Anzahl Prozessoren, auch Kerne genannt, hat. Der OMNI-Cluster hat beispielsweise etwa 450 Compute-Knoten, auf denen Rechnungen laufen, 4 Login-Knoten, die für Nutzer direkt erreichbar sind, und eine Reihe von spezialisierten Knoten. Die normalen Compute-Knoten haben 64 CPU-Kerne und 256 GB Arbeitsspeicher, eine detailliertere Auflistung finden Sie hier. Die einzelnen Knoten haben beim OMNI-Cluster keine eigenen Festplatten, sondern teilen sich ein zentrales Dateisystem.
Linux
Unser Cluster wird, wie praktisch alle Cluster, mit Linux betrieben. Sollten Sie Linux noch nicht so gut beherrschen, bieten wir für kleine Gruppen Schulungstermine an, sowie eine regelmäßige Sprechstunde. Aktuelle Informationen hierzu gibt es auf unserer Kontakt-Seite.
Alternativ hat das ZIMT in Zusammenarbeit mit anderen Unis in NRW das HPC-Wiki erstellt. Auf dem HPC-Wiki finden Sie ein Video-Tutorial zu Linux, das vom Inhalt her ähnlich unserem Linux-Einführungskurs ist.
Schließlich beschreiben wir auf dieser Seite einige Grundbegriffe von Linux.
Unterschiede zwischen Cluster und normalem Rechner
Viele Sachen an einem Cluster sind identisch mit jedem anderen (Linux-)Rechner. Es gibt allerdings auch Unterschiede. Der wichtigste Unterschied ist der, dass Sie nicht vor dem Cluster selbst sitzen, sondern sich von einem anderen Computer zu ihm verbinden. Dies ist in der folgenden Abbildung dargestellt:
Wie Sie sehen, verbinden Sie sich immer mit einem der Login-Knoten. Mit den Compute-Knoten interagieren Sie üblicherweise nur indirekt über den Scheduler SLURM, der noch beschrieben wird. Außerdem teilen sich alle Knoten das Dateisystem, das heißt die Festplatten des Clusters.
Hier sind weitere wesentliche Unterschiede:
Workspaces
Sie haben auf dem Cluster ein Home-Verzeichnis, wie bei allen Linux-Systemen. Wenn Sie allerdings Rechnungen durchführen, sollten Sie einen sogenannten Workspace erstellen. Workspaces liegen auf einem anderen Teil des Dateisystems, der eine schnellere Verbindung zu den Compute-Knoten hat. Zusätzlich sind sie im Gegensatz zum Home-Verzeichnis von der Größe her unbegrenzt. Allerdings laufen sie nach einer Weile ab und werden dann gelöscht. Details zu Workspaces finden Sie hier.
Der OMNI-Cluster hat einen sogenannten Burst Buffer. Dabei handelt es sich um eine Partition von SSDs (Solid-State-Drives), die für Jobs gedacht sind, die besonders viele Dateien schreiben oder lesen. Wir beschreiben die Nutzung des Burst Buffers hier.
Module
Betriebssysteme verwenden sogenannte Umgebungen (Environments), um zu entscheiden, welches Programm mit einem bestimmten Befehl ausgeführt wird. In Umgebungsvariablen sind zum Beispiel die Dateipfade zu den ausführbaren Dateien und verschiedene weitere Einstellungen hinterlegt. Da viele Nutzer mit verschiedenen Anforderungen auf einem Cluster arbeiten, müssen oft verschiedene Versionen derselben Software zur Verfügung stehen und die Befehle wären mehrdeutig, wenn alle dieselbe Umgebung benutzen würden. Deshalb ist auf dem Cluster die Umgebung modular gestaltet und kann leicht ausgetauscht werden.
Für viele auf dem Cluster installierte Programme sind Umgebungen in sogenannten Modulen vordefiniert. Sie können die benötigten Module einfach laden. Wie Sie das tun, ist hier beschrieben.
Wie komme ich auf den Cluster?
Der Cluster steht allen Beschäftigten der Uni Siegen kostenlos zur Verfügung und diese können auch Studierende eintragen, die dann ebenfalls den Cluster benutzen können. Sie müssen nur Ihr Nutzerkonto für den Cluster freischalten lassen und dann eine Verbindung von Ihrem Computer zum Cluster einrichten.
Die Account-Freischaltung für Uni-Angehörige und Studierende ist hier beschrieben.
Die Verbindung wird mittels Secure-Shell-Protokoll (SSH) aufgebaut und ist prinzipiell von Windows, Linux und Mac OS möglich. Die Einrichtung einer SSH-Verbindung ist hier beschrieben.
Die Adresse der Cluster wird Ihnen bei der Account-Freischaltung per E-Mail mitgeteilt. Die Cluster sind aus dem Uninetz (inklusive Uni-VPN) und mit Einschränkungen auch aus dem Internet erreichbar.
Wie rechne ich auf dem Cluster?
Rechnungen auf dem Cluster werden in sogenannten Jobs durchgeführt. Sie definieren für einen Job, wie viele Ressourcen (CPUs, Arbeitsspeicher etc.) Sie benötigen und für wie lange. Außerdem beschreiben Sie, üblicherweise in einem sogenannten Jobskript, welche Programme während des Jobs ausgeführt werden sollen. Den Job stellen Sie dann in eine Warteschlange ein und der Scheduler SLURM entscheidet nach Jobgröße und anderen Faktoren, wann er läuft. Wie Sie Jobskripte erstellen und Jobs einstellen, erfahren Sie hier, mehr Informationen zu SLURM gibt es hier.
Hilfe bei Fragen
Die Cluster-Website behandelt die wichtigsten Themen und verweist für installierte Programme auf die entsprechende Dokumentation. Wenn Sie Hilfe zu einem bestimmten Linux-Befehl suchen, helfen Ihnen auch oft die eingebauten Hilfefunktionen. Unter Linux ist das insbesondere die Manual-Funktion, dazu geben Sie man <Befehlsname> ein. Wenn der Entwickler eine Man-Page eingerichtet hat, wird diese dadurch angezeigt.
Wenn die Informationen auf dieser Website Ihnen nicht weiterhelfen, können Sie eine E-Mail an hpc-support@uni-siegen.de schicken oder in unsere Sprechstunde kommen. Dies sind auch bei Problemen mit dem Cluster oder bei Installationswünschen Ihre besten Anlaufpunkte.
Das ZIMT bietet auch ein Schulungsprogramm rund um das Thema High Performance Computing und Cluster-Nutzung an. Kommende Schulungen finden Sie hier.
Außerdem bietet das ZIMT Unterstützung bei der Entwicklung und Optimierung Ihrer Software. Hierzu stehen Experten des ZIMT zur Verfügung, um mit Ihnen Ihre Software durchzugehen oder Sie anderweitig persönlich zu beraten. Wenn Sie Beratung wünschen, können Sie ebenfalls eine E-Mail an hpc-support@uni-siegen.de schicken.
