1. Sehr hohe Cluster-Auslastung: Die HPC-Cluster CARL und EDDY sind sehr stark ausgelastet, wie viele von Ihnen wahrscheinlich bemerkt haben. Im Durchschnitt waren in den ersten vier Monaten des Jahres 2020 nur 8% der verfügbaren Ressourcen ungenutzt (und im April nur 5% ungenutzte Ressourcen). Einige Benutzer haben über sehr lange Warteschlangenzeiten berichtet, insbesondere bei parallelen Jobs, die mehrere Cores auf einem einzigen Knoten anfordern. Im Prinzip sollte der Job-Scheduler für die faire Aufteilung der HPC-Ressourcen sorgen, aber letztendlich gibt es nur begrenzt viele Knoten. Die folgenden Empfehlungen könnten dazu beitragen, die Situation für alle Beteiligten zu verbessern:

• Begrenzen Sie nach Möglichkeit die Anzahl der Jobs, die Sie ausführen, wenn Ihre Jobs mehr als den Standardspeicher benötigen und viele Tage laufen. Verwenden Sie für Job-Arrays das maximale Task-Limit.
• MPI Parallele Jobs sollten am besten mit den Optionen --nodes und --ntasks-per-node eingereicht werden, um die Anzahl der verwendeten Knoten zu minimieren.
• Viele Einzelkern-Jobs können so organisiert werden, dass sie mit dem Parallel-Befehl auf einer begrenzten Anzahl von Knoten ausgeführt werden, wie in diesem HowTo (Abschnitt 4) erläutert.

Wenn Sie hierzu Fragen haben, wenden Sie sich bitte an hpcsupport@uol.de.

2. Änderungen am Job Scheduler: Vor etwa zwei Wochen haben wir einige der Einstellungen des Job-Schedulers geändert, welche die Job-Prioritäten bestimmen. Hauptsächlich haben wir die Zeitspanne für die Berücksichtigung der vergangenen Nutzung erhöht, so dass weniger aktive Benutzer höhere Prioritäten für ihre Jobs erhalten. Darüber hinaus haben wir insgesamt 28 Rechenknoten in der Partition carl.p. reserviert. Dies sollte die Wartezeiten für (parallele) Jobs, die ein Zeitlimit von 23:55h oder weniger anfordern, verringern.

Übersetzt mit www.DeepL.com/Translator (kostenlose Version)

3. HPC Software Environments: Software auf dem Cluster ist in Modulen organisiert, um jedoch sicherzustellen, dass verschiedene Module miteinander kompatibel sind, verwenden wir auch so genannte HPC-Software-Environments. Diese Umgebungen können durch Laden eines der hpc-env-Module aktiviert werden. Die meiste Software wird in zwei Umgebungen installiert: hpc-uniol-env und hpc-env/6.4, und wir haben inzwischen damit begonnen, Software in hpc-env/8.3 zu installieren (siehe Software-News weiter unten). Die neue Umgebung umfasst neuere Compiler und Toolchains. Wenn Sie auf der Suche nach einem bestimmten Softwarepaket sind, können Sie mit module spider herausfinden, welche Umgebung Sie laden müssen. Wenn Sie in einer der Umgebungen Software vermissen, wenden Sie sich bitte an hpcsupport@uol.de.  

4. Termine: Bitte beachten Sie folgende bevorstehende Veranstaltungen

• Workshop Supercomputing@UOL: verschoben, noch kein neuer Termin festgelegt
• Treffen der HPC-Nutzervertreter: verschoben, noch kein neuer Termin festgelegt

5. Software News: Die folgenden Module sins ab fortan verfügbar auf hpc-env/8.4:

• TensorFlow/2.1.0-foss-2019b-Python-3.7.4
• picard/2.22.3-Java-11
• GATK/4.1.4.1-GCCcore-8.3.0-Java-11
• BCFtools/1.9-foss-2019b.eb
• ConnectomeWorkbench/1.3.2-GCCcore-8.3.0.eb
• Bowtie2/2.4.1-GCC-8.3.0
• HDF5/1.10.5-gompic-2019b
• HDF5/1.10.5-gompi-2019b
• GATK/4.1.4.1-GCCcore-8.3.0-Java-11
• picard/2.22.3-Java-11
• MIRTK/2020.04.foss/2019b

Die obige Liste ist möglicherweise nicht vollständig, Sie können jederzeit mit dem Befehl "module spider <softwarename>" nach Software suchen.