Aus Drei mach Eins: Teamwork der Supercomputer

Zu verstehen, was bei einer Plasmafusion abläuft, ist eines der großen Forschungsziele in Bezug auf die Energiewende. Die Plasmafusion könnte eine nahezu unerschöpfliche Energiequelle sein, frei von den Gefahren, die von einer Kernspaltung ausgehen. Bei einer Plasmafusion verschmelzen Atomkerne bei Temperaturen von etwa 100 Millionen Grad. Doch bis Fusionskraftwerke Realität werden können, müssen noch viele offene Probleme gelöst werden. Allerdings kostet der Aufbau, selbst von Versuchsanlagen wie der Tokamak ITER in Frankreich, mehrere Milliarden Euro. Deshalb greift man zur Erforschung der Kernfusion auf Simulationen zurück, die diese Versuche mit realistischen Modellen durchführen können.  

Um so komplexe Simulationen voranzubringen, benötigt es ein interdisziplinäres Team, das Höchstleistungsrechen, neue Algorithmen und mathematische Verfahren sowie physikalische Expertise zusammenbringt und weiterentwickelt. Unter der Leitung von Dirk Pflüger, Professor für Scientific Computing an der Universität Stuttgart, startete das große, von der DFG-geförderte Projekt bereits 2013, zusammen mit Kollegen der Universität Bonn, der TU München und dem Max-Planck Institut für Plasmaphysik in Garching.

Mit dem Simulationscode GENE vom Max-Planck-Institut für Plasmaphysik gab es auch bereits eine Software für die Anwendung im Team. Mit ihr können Turbulenzen in magnetisierten Plasmen simuliert werden. Doch bislang ist es erst möglich, einen winzigen Teil einer vollständigen Simulation durchzuführen, da selbst Supercomputer nicht in der Lage sind, solche enormen Datenmengen zu verarbeiten. Das würde ihre Rechen- und Speicherkapazität sprengen. Mathematische Methoden können jedoch helfen, das Problem zu vereinfachen und damit die Datenmenge zu reduzieren, ohne dass die Genauigkeit der Simulation darunter leidet.

Deshalb wendeten sie eine neue Methode zur Diskretisierung an, die Sparse Grid Technologie, ein Modellreduktionsverfahren für höherdimensionale Probleme. Mit diesem Ansatz aus der Numerik hat sich Dirk Pflüger bereits in seiner eigenen Dissertation beschäftigt und wichtige Vorarbeiten geleistet. Mit mehreren Generationen von Doktorandinnen und Doktoranden hat er die Methode weiterentwickelt, die es ermöglicht, den Fluch der Dimensionalität abzumildern.

Zusätzlich war es die ambitionierte Idee der Wissenschaftlerinnen und Wissenschaftler, die allererste Simulation zu rechnen, die nicht nur auf einem, sondern auf mehreren Supercomputern gleichzeitig läuft. Dafür brauchen sie einen Code, eine Software, die neben der Simulation auch noch die Zusammenarbeit der Maschinen koordiniert. „Das ist dann ein Problem für das High-Performance-Computing. Man muss sich überlegen: ‚Wie schiebe ich welche Daten hin und her? Wie balanciere ich die Last‘?“, so Dirk Pflüger. 

Die Wissenschaftlerinnen und Wissenschaftler im Team von Dirk Pflüger haben zunächst einen Open Source Code aufgesetzt, der es ermöglichen soll, die Simulation auf die verschiedenen Rechensysteme zu verteilen und auszuführen. Den Durchbruch schaffte dann Theresa Pollinger. Sie baute im Rahmen ihrer Promotion bei Dirk Pflüger auf diese Vorarbeit auf und entwickelte daraus die Software DisCoTec. DisCoTec wendet die Sparse Grid Technologie an und verteilt die Simulation auf die verschiedenen Supercomputer.

„Ich habe mir überlegt, wie man die Arbeit auf die Maschinen aufteilen kann, so dass sie nur wenige Daten austauschen müssen. Denn das, was ausgetauscht werden muss, ist nur ein ganz winziger Bestandteil der vielen, vielen Daten.“ Ihre Arbeit bestand nicht nur darin, Code zu schreiben und Code zu testen. „Wir haben geschaut: Passt das mit dem zusammen, was wir von der Performance erwarten? Stimmen die Ergebnisse eigentlich noch? Wie können wir es schneller machen? Und dann ging es wieder von vorne los“, so Theresa Pollinger. Sie verbesserte zudem das zugrundeliegende numerische Verfahren und entwickelte neue, geeignete Algorithmen für die Parallelisierung, sowohl innerhalb der Supercomputer als auch darüber hinaus. Die Nachwuchsforscherin fasst es zusammen: „Erst wenn man die ganze Maschine ausnutzen kann, lohnt es sich, die Simulation noch weiter zu verteilen.“

Ein Experiment sollte beweisen, dass Simulationen, die über mehrere Höchstleistungsrechner verteilt sind, tatsächlich möglich sind. Dafür konnte sie die Rechenzentren mit den Supercomputern „Hawk“ am Höchstleistungsrechenzentrum in Stuttgart, „SuperMUC-NG“ am Leibniz-Rechenzentrum in Garching bei München und „JUWELS“ am Forschungszentrum Jülich gewinnen. Dabei stieß Theresa Pollinger noch auf ganz profane Probleme. Die Sicherheitsvorkehrungen der Rechenzentren erlauben es nämlich zum Beispiel nicht, dass Daten zwischen den Rechenknoten direkt über das Internet ausgetauscht werden. Zudem ist das Umherschieben der Daten, also die interne Kommunikation der Computer, mittlerweile teurer als das Rechnen selbst.

„Ich habe die Teams der jeweiligen IT-Supports der großen Rechenzentren ganz schön strapaziert. Öfter kam ich mit Spezialanfragen wie: ‚Können wir euer Dateitransfersystem für einen Teil von unserer Simulation missbrauchen?‘ Oder: ‚Könnt ihr mir in ein paar Monaten eure ganze Maschine für genau diese drei Stunden zur Verfügung stellen?‘ Ich glaube, ich habe ein bisschen genervt, so dass sie gedacht haben: ‚Oh, schon wieder eine E-Mail von der‘,“ erzählt Theresa Pollinger lachend. Trotzdem unterstützten die Support-Mitarbeiterinnen und -Mitarbeiter sie sehr, um ihre Forschung zu ermöglichen, wofür sie ihnen sehr dankbar sei.

Sie fand schließlich eine sechsdimensionale geometrische Aufteilung des Workflows, die an einen Stern erinnert. Diese erlaubt es, dass die Computer untereinander nicht so viel kommunizieren müssen. Durch interne Optimierungen bezüglich der Lastverteilung, der Speicheroptimierung und des parallelen Dateischreibens konnte sie eine deutlich bessere Ausnutzung der Ressourcen erzielen.

„Da, wo die Kreise in unterschiedlichen Farben aufeinandertreffen, sind die Stellen, wo Daten ausgetauscht werden müssen. Also da, wo beispielsweise Blau und Rosa oder Rosa und Grün aufeinandertreffen, muss kommuniziert werden. Man sieht, dass das allermeiste nicht kommuniziert werden muss, weil es zusammenhängende Gebiete sind, die auf der gleichen Maschine liegen, und man muss sie eben nicht erst durchs Internet schicken“, erklärt Theresa Pollinger.

Den Wissenschaftlerinnen und Wissenschaftlern ist damit der große Durchbruch gelungen: Sie konnten für ihre Anwendung den Fluch der Dimensionalität bezwingen. Das Konzept, die Kombination aus den Methoden zur Reduzierung des Problems und der Verteilung auf mehrere Supercomputer, ermöglicht Simulationen auf Skalen, die sonst unmöglich wären. „Das ist meines Wissens das erste Mal, dass jemand es geschafft hat, so eine High-Level-Simulation auf mehreren Supercomputern gleichzeitig laufen zu lassen“, erklärt Dirk Pflüger.

Auch wenn es immer noch keine volle Plasma-Simulation war, sondern eine ein bisschen abgespeckte Variante, so war sie durchaus in der Größenordnung, um einen Tokamak zu simulieren. Die Arbeit der Wissenschaftlerinnen und Wissenschaftler zeigt, dass es grundsätzlich möglich ist, mehrere Supercomputer wie ein zusammenhängendes System zu nutzen, um komplexe Vorgänge zu simulieren. Die Ergebnisse sind deshalb nicht nur für die Plasmaphysik relevant, sondern können ebenso in der Finanzbranche, der Erdbebensimulation, der Astrophysik, der Quantenchemie, in der Klimaforschung und weiteren wissenschaftlichen Bereichen angewandt werden.

Pollinger et al., (2025). DisCoTec: Distributed higher-dimensional HPC simulations with the sparse grid combination technique. Journal of Open Source Software, 10(106), 7018, https://doi.org/10.21105/joss.07018

Pollinger, A. V. Craen, P. Offenhaeuser and D. Pflueger, “Realizing Joint Extreme-Scale Simulations on Multiple Supercomputers-Two Superfacility Case Studies”, SC24: International Conference for High Performance Computing, Networking, Storage and Analysis, Atlanta, GA, USA, 2024, pp. 1–17, doi: 10.1109/SC41406.2024.00104.

Theresa Pollinger, Alexander Van Craen, Christoph Niethammer, Marcel Breyer, and Dirk Pflueger. 2023. Leveraging the Compute Power of Two HPC Systems for Higher-Dimensional Grid-Based Simulations with the Widely-Distributed Sparse Grid Combination Technique. In Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis (SC ’23). Association for Computing Machinery, New York, NY, USA, Article 84, 1–14. https://doi.org/10.1145/3581784.3607036

Das Ziel des Programms war es, numerische Verfahren zu entwickeln, um große Simulationen wie die Plasmafusion auf Supercomputern überhaupt erst zu ermöglichen. Mit diesem Projekt startete Dirk Pflüger dann im Jahr 2012 als erster SimTech Junior-Professor für Scientific Computing an der Universität Stuttgart. Den Junior-Titel hat er längst abgelegt. Seine Forschungsschwerpunkte sind Scientific Computing, High-Performance Computing, High-Dimensional Approximation und Numerical Machine Learning.

In ihrer Forschung beschäftigt sie sich mit dem Spannungsfeld zwischen Simulationen, Hochleistungsrechnerhardware, Kommunikationsnetzen, Algorithmen, numerischen Modellen, Vorhersagen, Software und den Konzepten, auf denen sie beruhen.