CELERITY: Innovative Modellierng für Skalierbare Verteilte Laufzeitsysteme

High-Performance Computing (HPC) spielt eine fundamentale Rolle für den wissenschaftlichen Fortschritt, da eine Vielzahl an Wissenschaftszweigen auf Verbesserungen in Computermodellen und der dafür benötigten Rechenleistung aufbauen. Der nächste große Meilenstein im H PC-Bereich ist der Übergang von Peta- auf Exascale, der schwierige Forschungsprobleme in der Entwicklerproduktivität, dem skalierbarem Softwaredesign und der Energieeffizienz aufwirft. Wir schlagen das CELERITY System vor, mit dem Ziel die effektive Entwicklung energie- und performanceeffizienter, planbar skalierbarer und leicht wartbarer paralleler Anwendungen für homogene und heterogene HPC Cluster zu unterstützen. Mit Hilfe ihres abstrakten Programmiermodells sichert die OELERITV-Umgebung hohe Produktivität, da sie Entwicklern aufwändige hardwarespezifische Aufgaben wie die Partitionierung und Verteilung von Programmfragmenten abnimmt -- also Aufgaben, die auf heterogenen Systemen besonders schwer manuell zu bewältigen sind. Um eine hohe Ausführungsgeschwindigkeit zu gewährleisten, wird CELERITY innovative statische Kernelanalyse mit Informationen kombinieren, die vom Laufzeitsystem bereitgestellt werden. Dies ermöglicht die Modellierung und Vorhersage der parallelen Skalierbarkeit eines Programms, sowie von dessen Energiebedarf. Für diese Modellierung werden fortschrittliche Methoden aus dem Maschinellen Lernen angewandt werden, wie zum Beispiel strukturiertes Lernen, welche die interne Repräsentation der Daten ausnutzen um genauere Vorhersagen zu treffen Wir planen unser System erst auf einem kleinen heterogenen Cluster zu testen, welches mit sehr genauen Energiemessern ausgestattet wurde. Im späteren Verlauf werden wir auf mehreren großen Clustern eine breite Palette an Anwendungsbenchmarks ausführen, wobei die jeweiligen Messinstrumente der Rechenzentren genutzt werden.

Das Celerity-Projekt zielt darauf ab, eine effiziente Plattform für die Entwicklung und Ausführung von HPC-Anwendungen (High-Performance Computing) auf Parallelrechnern mit Beschleunigerhardware bereitzustellen. Bestehende Programmieransätze beschränken sich auf einzelne Beschleuniger, herstellerkontrollierte APIs oder Abstraktionen, die mehrere bestehende APIs auf niederer Abstraktionsebene kombinieren. Mit diesem Ansatz lässt sich zwar eine gute Leistung erzielen, doch erfordert er von den EntwicklerInnen Fachkenntnisse sowohl in der parallelen Programmierung mit verteiltem Speicher als auch in der Handhabung von Beschleunigerhardware. Dieser Ansatz erhöht daher den Entwicklungs- und Wartungsaufwand beträchtlich und reduziert häufig Portabilität von Performance. Celerity schlägt einen minimalen Satz von Erweiterungen für SYCL vor, die es Programmen ermöglichen, Cluster von Beschleunigern mit nur sehr geringen Änderungen an einem SYCL-Programm für einen einzelnen Beschleunigungsknoten, zu programmieren. Celerity verwendet SYCL, ein modernes Single-Source-C++, um heterogene parallele Architekturen anzusprechen. Wir haben gezeigt, dass die Celerity-API im Vergleich zu konventionellen Ansätzen, die auf gekoppelten APIs beruhen, die Entwicklung eines Codes für Parallelrechner mit Beschleunigerhardware um mehr als 50 % reduziert. Während die SYCL-basierte Celerity-API zu deutlich weniger komplexem Code führt als ein traditioneller Ansatz, der mehrere APIs koppelt, erfordert sie dennoch, dass Entwickler mit den allgemeinen Konzepten der Beschleunigerhardware und der damit verbundenen Programmierkomplexität vertraut sind. Als Alternative auf einer noch höheren Abstraktionsebene haben wir eine High-Level-API entwickelt, die transparent von einer funktionalen Stream-Processing-Spezifikation auf die Celerity-API abgebildet wird. Das Celerity-Laufzeitsystem verkürzt die Laufzeit von Celerity-Programmen, indem es Datenstrukturen nutzt, die es der Laufzeit ermöglichen, Entscheidungen über die Arbeitsteilung und -verteilung zu treffen und dabei den Überblick über den Speicherort der Daten und die Abhängigkeiten zu behalten. Im Rahmen von Celerity arbeiten wir mit einer Partnergruppe der Universität Salerno zusammen, die maschinelles Lernen einsetzt, um die Leistung verschiedener Arbeitsverteilungsstrategien vorherzusagen und so die Laufzeit von Celerity-Programmen zu optimieren. Insgesamt hat Celerity den Stand von Programmier- und Laufzeitsystemtechniken für leistungsorientierte Programme verbessert, die von Parallelrechnern mit einer großen Anzahl von Beschleunigerhardware profitieren können. Bestehende Ansätze können zwar eine sehr gute Leistung erzielen, allerdings um den Preis eines im Vergleich zu Celerity höheren Entwicklungsaufwands.