Dynamisches Laufzeitsystem für zukünftige Parallelrechner

Die Entwicklung von Mikroprozessoren war im letzten Jahrzehnt von einschneidenden Veränderungen geprägt. Der Übergang zu Multicore-Prozessoren hat zur Folge, dass nur mehr Programme, die entsprechend parallelisiert wurden, die Leistung aktueller und zukünftiger Prozessorgenerationen ausnützen können. Der Bedarf an immer energieeffizienteren Systemen, führt jetzt zu einer weiteren radikalen Veränderung hin zu heterogenen Multicore-Systemen, die verschiedene Arten von Ausführungseinheiten mit unterschiedlichen, oft dynamisch variierenden Leistungsmerkmalen kombinieren. Die Komplexität der Softwareentwicklung wird dadurch wesentlich erhöht und nur mehr wenige hochspezialisierte Experten sind in der Lage, effiziente parallele Programme für solche Systeme zu entwickeln. In Anbetracht der kurzen Innovationszyklen sowie der Komplexität und Vielfalt von heterogenen parallelen Systemen, ist die derzeitige Praxis der manuellen Anpassung und Optimierung von Anwendungen für jede neue Architektur mit sehr hohen Kosten verbunden und daher nicht länger aufrecht zu erhalten. Es wird daher ein neuer Ansatz zur Entwicklung von parallelen Anwendungen benötigt, bei dem der Entwickler nur noch festlegt welche Teile eines Programms parallel ausgeführt werden können, nicht aber wie die parallele Ausführung auf einem bestimmten System implementiert wird. Die Realisierung eines solchen Ansatzes erfordert ein dynamisches Laufzeit-System, welches Programme während der Ausführung an die konkrete Parallelrechnerarchitektur anpasst. Ziel dieses Projekts ist es, grundlegende Methoden für dynamische Laufzeitsysteme zu entwickeln, um die Entwicklung effizienter und portabler Anwendungen für aktuelle und zukünftige heterogene Parallelrechner zu erleichtern. Unsere Forschungsarbeit wird auf der Open Community Runtime basieren, einer offenen Spezifikation eines dynamischen Laufzeitsystems, welche von führenden amerikanischen Forschungsinstitutionen entwickelt wurde. Im Mittelpunkt steht die Entwicklung von Laufzeitmethoden, die eine dynamische Aufteilung und Zuordnung von Berechnungen und Daten sowie die Anpassung der parallelen Ausführung bei Leistungsschwankungen der Hardware ermöglichen. Ein besonderer Schwerpunkt wird dabei auf Techniken zur Verbesserung der Datenlokalität gelegt, da die Leistung von Applikationen hauptsächlich durch die Kosten für Datentransfers beschränkt wird. Unsere Forschung im Bereich dynamischer Laufzeitsysteme und heterogener paralleler Systeme ist für das gesamte Spektrum von Computersystemen von mobilen und eingebetteten Systemen bis hin zu Hochleistungsrechnern und Supercomputern relevant. Unsere Forschungsarbeiten werden auch dazubeitragen, die Entwicklung dringend benötigter neuer paralleler Programmiermodelle und domänenspezifischer Sprachen voranzutreiben, um das immense Leistungspotenzial zukünftiger paralleler Systeme für neue Anwendungsbereiche zu erschließen.

Die Entwicklung von Mikroprozessoren im letzten Jahrzehnt hin zu immer höherer Parallelität, Spezialisierung und Heterogenität hat dazu geführt, dass die Komplexität von modernen Rechnerarchitekturen nur mehr von wenigen hochspezialisierten Programmierexpert*innen bewältigt werden kann. Betrachtet man zusätzlich die sehr kurzen Innovationszyklen und die Vielzahl unterschiedlicher Architekturen, so ist klar, dass der noch immer vorherrschende Ansatz, Programme manuell für jede unterschiedliche Architektur zu adaptieren und zu optimieren, auf Grund der damit verbundenen hohen Kosten nicht länger haltbar ist. Ziel dieses Projektes war es daher grundlegende Programmiermethoden und Werkzeuge zu entwickeln, um die Programmierung effizienter und portabler Anwendungen für aktuelle und zukünftige Parallelrechner zu vereinfachen. Unser Ansatz basiert auf einer klaren Trennung der Spezifikation paralleler Programmaufgaben (tasks) von deren Implementierung auf einer bestimmten Zielarchitektur. Eine zentrale Rolle spielt dabei ein task-basiertes dynamisches Laufzeitsystem, welches das auszuführende Programm während der Ausführung automatisch für die jeweilige Zielarchitektur anpasst und optimiert. Die wichtigsten Forschungsaktivitäten des Projektes umfassten die Laufzeitunterstützung für heterogene Architekturen, neue lokalitätsgetriebene Schedulingstrategien für Architekturen mit komplexen Speicherhierarchien, die Entwicklung neuer Konzepte zur Modellierung von Rechnerplattformen und ihrer Programmierparadigmen, Methoden zur Adaptierung des Parallelitätsgrades, sowie die Programmierunterstützung auf einer hohen Abstraktionsebene. In Anbetracht der großen Bedeutung von Applikationen zur Datenanalyse und deren Kopplung mit Hochleistungssimulationen wurden auch neue Laufzeitmethoden zur dynamischen Optimierung gleichzeitig laufender Anwendungen entwickelt. Es zeigte sich, dass task-basierte Laufzeitsysteme die notwendige Flexibilität bieten, um zukünftige Applikationsszenarien wie zum Bespiel in-situ Datenanalyse oder die Kopplung von Simulationen mit Maschinellem Lernen zu unterstützen. Unsere Forschungsarbeiten haben dazu beigetragen die Entwicklung dringend benötigter neuer Programmiermethoden und Werkzeuge voranzutreiben, um das immense Leistungspotenzial zukünftiger paralleler Systeme für neue Anwendungsbereiche zu erschließen. Obwohl unsere Arbeiten hauptsächlich im Kontext der Open Community Runtime und unserer Implementierung OCR-Vx durchgeführt wurden, sind unsere Forschungsresultate für ähnliche Systeme in Europa und den USA anwendbar. Durch die absehbare Entwicklung von noch komplexeren Prozessorarchitekturen, dem stetigen Bedarf an immer größerer Rechenleistung und die Konvergenz vonklassischem Hochleistungsrechnen mit Maschinellem Lernen, werdenflexible Programmiermethoden immer wichtiger. Unsere Forschungsergebnisse stützen die Hypothese, dass task-basierte Laufzeitsysteme ein vielversprechender Weg für die Entwicklung neuer Programmiermodelle und Anwendungssoftware sind, um das Potential zukünftiger Prozessorarchitekturen ausschöpfen zu können.