Workflows auf Manycore Prozessoren
Workflows on Manycore Processors
Wissenschaftsdisziplinen
Informatik (90%); Wirtschaftswissenschaften (10%)
Keywords
-
Manycore,
Multi-criteria optimisation,
Scientific workflows,
Resource Management,
Business Process Execution Language (BPEL),
Non-functional parameter analysis
Dieser Projektantrag behandelt die "systems on chip" Thematik aus dem Themengebiet der Informations- und Kommunikationstechnologien. Heutzutage ist es eine allgemein akzeptierte Tatsache, dass das Design von Consumer-Prozessoren geändert werden muss, um weiterhin eine Verdoppelung der Software-Performance alle 18 Monate erreichen zu können. Das wird dadurch erreicht, indem mehrere Prozessor-Kerne, welche mit einer niedrigen Taktfrequenz laufen, auf einem einzelnen Prozessor-Chip untergebracht werden. Die Konsequenz aus dieser radikalen Designänderung ist dramatisch: Die Leistung eines Prozessors kann nicht mehr durch eine einfache Erhöhung des Prozessor-Taktes gesteigert werden, stattdessen müssen wir die Paradigmen der parallelen Programmierung nutzen. Diese Entwicklung hat tiefgreifende Auswirkungen auf die kommerzielle Software- Entwicklung, insbesondere auf Programmiersprachen und -tools, Compiler und Betriebssysteme. Früher wurde die parallele Programmierung hauptsächlich genutzt, um wissenschaftliche Anwendungen auf großen Clustern und Supercomputern auszuführen. Heutzutage sind Manycore-Prozessoren in allen Bereichen des PC-Marktes zu finden, auch bei Desktop-Computern und Servern. Manycore-Prozessoren haben weitreichende Auswirkungen auf die Software-Entwicklung in der Industrie, der Wirtschaft und auch der Wissenschaft, da bestehende Anwendungen nicht für Manycore-Prozessoren ausgelegt sind und einem Großteil der Software-Entwickler das Know-how für die Entwicklung von parallelen Anwendungen fehlt. Derzeit hat nur ein kleiner Prozentsatz von hoch qualifizierten Software-Entwicklern das Wissen, um performante parallele Anwendungen zu entwickeln. Aus diesem Grund braucht es neuartige Programmiermodelle und -tools, um Software-Entwickler bei der Programmierung von parallelen Anwendungen bestmöglich zu unterstützen. Eine wichtige Klasse von Anwendungen, welche bis jetzt in der Diskussion um die effizienteste Methode der Entwicklung von parallelen Anwendungen kaum erwähnt wurden, sind Workflow Anwendungen. Workflow Anwendungen haben einen großen Einfluss auf die Software-Entwicklung in der Industrie, der Wirtschaft und der Wissenschaft auf Desktop-Computern, Servern und parallelen Rechnern. Sie ermöglichen eine Beschleunigung und Vereinfachung des Software-Entwicklungsprozesses, indem sie es den Software-Entwicklern ermöglichen, schon existierende Software zu neuen, größeren und mächtigeren Anwendungen zu kombinieren. Workflow Anwendungen haben sich mittlerweile zu einem einfachen Weg entwickelt, um Anwendungen für die Datenanalyse zu formalisieren und zu strukturieren, die dafür notwendigen Berechnungen auf verteilten Rechnerressourcen auszuführen, dabei entstehende Ergebnisse einzusammeln und zu analysieren, und um die Datenanalyse jederzeit und nachvollziehbar wiederholen zu können. Das Ziel dieses Projektes ist es, Workflow Anwendungen als einen erfolgversprechenden Kandidaten für ein neues Paradigma der Entwicklung von parallelen Anwendungen auf Manycore-Prozessoren vorzuschlagen und auf die Eignung dafür zu untersuchen. Des weiteren soll eine neuartige Umgebung für die Entwicklung, Parallelisierung und Optimierung von Software geschaffen werden. Die angestrebten Ziele werden durch folgende Forschungsbeiträge erreicht: 1. BPEL Multi-Processing (BPEL-MP) wird als eine neue Sprache für die Software-Entwicklung für Manycore-Prozessoren definiert. BPEL-MP wird die wichtigsten Features für die Spezifikation von Daten- und Task-Parallelismus auf einem hohen Abstraktionslevel beinhalten und ist dabei eine Erweiterung von BPEL, der am meisten benutzten standardisierten Sprache für Workflow Anwendungen. 2. Multi-objective Scheduling- und Laufzeitoptimierungstechniken werden erforscht, um sowohl Energieverbrauch, als auch Ausführungszeit und Berechnungskosten von Workflow Anwendungen auf Manycore-Prozessoren zu minimieren. 3. Es werden innovative Lösungen für das Ressourcenmanagement auf Manycore-Computern entwickelt. Dabei werden ökonomisch realisierbare Kosten- und Energiemodelle verwendet. 4. Existierende BPEL Workflow Anwendungen werden für bestehende und zukünftige Manycore-Computer verfügbar gemacht, wobei die Performance gesteigert, Kosten sowie Energieverbrauch jedoch reduziert werden. 5. Eine Umgebung für die Parallelisierung von Workflow Anwendungen wird zur Verfügung gestellt werden. Diese Umgebung wird eine bedeutend kürzere Time-To-Market für neue Anwendungen ermöglichen.
Über viele Jahre versprach das Mooresches Gesetz Herstellern und Benutzern immer billigere und immer leistungsfähigere Computer. Heutzutage stößt dieses Gesetz jedoch an seine physikalischen Grenzen und es ist aufgrund des unverhältnismäßig ansteigenden Energieverbrauches nicht mehr möglich durch einfaches Erhöhen der Taktfrequenz des Prozessors die Leistung zu steigern. Um dennoch die Leistungsfähigkeit eines Computers alle 18 Monate gemäß dem Mooreschen Gesetz verdoppeln zu können, wird daher anstatt der Taktfrequenz die Anzahl der Prozessorkerne erhöht. Dies erfordert jedoch ein Umdenken in der Softwareentwicklung und die Verwendung von neuen parallelen Programmiermethoden, um mehr als einen Prozessorkern effizient verwenden zu können. Diese Entwicklung hat einen tiefgreifenden Effekt auf die kommerzielle Softwareentwicklung, insbesondere auf Programmiersprachen, Compilern, Betriebssysteme und Entwicklungswerkzeuge. Workflow-Anwendungen sind eine äußerst erfolgreiche Klasse von kommerziellen und wissenschaftlichen Anwendungen, welche aus mehreren eigenständigen Programmen zusammengesetzt werden. Workflow-Anwendungen wurden jedoch bis jetzt für die effiziente parallele Programmierung von Manycore-Prozessoren nicht in Betracht gezogen.Dieses Projekt beschäftigt sich mit der Erforschung von neuartigen Methoden für die Entwicklung und Ausführung von Workflow-Anwendungen auf parallelen Manycore-Prozessoren mit folgenden Zielen:Eine gemeinsame Workflow-Spezifikationssprache, die den Austausch von Workflow-Anwendungen zwischen verschiedenen Workflow-Systemen ermöglicht und von den wichtigsten Workflow-Systemen unterstützt wird;Ein umfassendes Entwicklungs- und Laufzeitsystem für Workflows, welches kompatible Workflow-Anwendungen in ein eigenständiges C++ Programm für die Ausführung auf Manycore-Prozessoren übersetzt, mit speziellen Fokus auf größtmögliche Performanz und einen im Vergleich zu existierenden Workflow-Systemen sehr niedrigen Overhead;Energieeffiziente Ressourcenverwaltungstechniken, welche eine genaue und effiziente Simulation und Bereitstellung von Ressourcen bei gleichzeitiger Reduktion des Energiebedarfs ermöglichen;Multikriterielle Schedulingverfahren für die optimierte Ausführung von Workflow-Applikationen auf heterogenen Infrastrukturen unter Berücksichtigung von miteinander in Konflikt stehenden Parametern wie Ausführungszeit, Energieverbrauch, Kosten und Zuverlässigkeit;Validierung der Forschungsergebnisse durch praxisnahe und interdisziplinäre Kooperationen mit verschiedenen industriellen und wissenschaftlichen Partnern aus den Bereichen der Metrologie, theoretischen Chemie, Astronomie, Finanzen und Mathematik, welche die entwickelten Methoden auf ihre Manycore-Infrastrukturen angewendet haben und dadurch eine Verbesserung der Auslastung sowie eine Reduktion der Ausführungszeit ihrer Anwendungen erreichen konnten.
- Universität Innsbruck - 100%
Research Output
- 987 Zitationen
- 38 Publikationen
-
2016
Titel Low-time complexity budget–deadline constrained workflow scheduling on heterogeneous resources DOI 10.1016/j.future.2015.07.021 Typ Journal Article Autor Arabnejad H Journal Future Generation Computer Systems Seiten 29-40 -
2013
Titel Bringing Scientific Workflows to Amazon SWF DOI 10.1109/seaa.2013.13 Typ Conference Proceeding Abstract Autor Janetschek M Seiten 389-396 Link Publikation -
2013
Titel A Framework for Region-based Instrumentation of Energy Consumption of Program Executions DOI 10.1109/iecon.2013.6699897 Typ Conference Proceeding Abstract Autor Ostermann S Seiten 4715-4720 Link Publikation -
2014
Titel Multi-objective energy-efficient workflow scheduling using list-based heuristics DOI 10.1016/j.future.2013.07.005 Typ Journal Article Autor Durillo J Journal Future Generation Computer Systems Seiten 221-236 Link Publikation -
2013
Titel Multi-Objective Workflow Scheduling: An analysis of the Energy Efficiency and Makespan Tradeoff. Typ Conference Proceeding Abstract Autor Durillo Jj Konferenz 2013 13th IEEE/ACM International Symposium on Cluster, Cloud, and Grid Computing, Delft, Netherlands, 2013. -
2016
Titel Modelling energy consumption of network transfers and virtual machine migration DOI 10.1016/j.future.2015.07.007 Typ Journal Article Autor De Maio V Journal Future Generation Computer Systems Seiten 388-406 Link Publikation -
2015
Titel A Workflow Runtime Environment for Manycore Parallel Architectures. Typ Conference Proceeding Abstract Autor Benedict S Et Al Konferenz Proceedings of the 10th Workshop on Workflows in Support of Large-Scale Science, Austin, TX, USA, 2015 -
2015
Titel A workflow runtime environment for manycore parallel architectures DOI 10.1145/2822332.2822333 Typ Conference Proceeding Abstract Autor Janetschek M Seiten 1-12 Link Publikation -
2017
Titel Analysing the Performance Instability Correlation with Various Workflow and Cloud Parameters DOI 10.1109/pdp.2017.80 Typ Conference Proceeding Abstract Autor Ristov S Seiten 446-453 Link Publikation -
2017
Titel A workflow runtime environment for manycore parallel architectures DOI 10.1016/j.future.2017.02.029 Typ Journal Article Autor Janetschek M Journal Future Generation Computer Systems Seiten 330-347 Link Publikation -
2015
Titel PIASA: A power and interference aware resource management strategy for heterogeneous workloads in cloud data centers DOI 10.1016/j.simpat.2015.07.002 Typ Journal Article Autor Sampaio A Journal Simulation Modelling Practice and Theory Seiten 142-160 Link Publikation -
2014
Titel Workflow Scheduling on Federated Clouds DOI 10.1007/978-3-319-09873-9_27 Typ Book Chapter Autor Durillo J Verlag Springer Nature Seiten 318-329 Link Publikation -
2014
Titel Fostering energy-awareness in scientific cloud users DOI 10.1109/cloudnet.2014.6968984 Typ Conference Proceeding Abstract Autor Ostermann S Seiten 149-154 Link Publikation -
2014
Titel IaaS Cloud Benchmarking: Approaches, Challenges, and Experience DOI 10.1007/978-1-4939-1905-5_4 Typ Book Chapter Autor Iosup A Verlag Springer Nature Seiten 83-104 -
2014
Titel Using Java for Programming Manycore Parallel Architectures. Typ Conference Proceeding Abstract Autor Aleem M Konferenz 3rd International Conference Theory and Practice in Modern Computing, Lissabon, Portugal, 2014. -
2014
Titel Multi-objective list scheduling of workflow applications in distributed computing infrastructures DOI 10.1016/j.jpdc.2013.12.004 Typ Journal Article Autor Fard H Journal Journal of Parallel and Distributed Computing Seiten 2152-2165 Link Publikation -
2014
Titel Evaluating Energy Efficiency of Gigabit Ethernet and Infiniband Software Stacks in Data Centres DOI 10.1109/ucc.2014.10 Typ Conference Proceeding Abstract Autor De Maio V Seiten 21-28 Link Publikation -
2014
Titel Meteorological Applications Utilizing Grid and Cloud Computing DOI 10.1109/cloudnet.2014.6968965 Typ Conference Proceeding Abstract Autor Ostermann S Seiten 33-39 Link Publikation -
2014
Titel Fostering Energy-Awareness in Simulations Behind Scientific Workflow Management Systems DOI 10.1109/ucc.2014.11 Typ Conference Proceeding Abstract Autor Kecskemeti G Seiten 29-38 Link Publikation -
2014
Titel Cooperative Scheduling of Bag-of-Tasks Workflows on Hybrid Clouds DOI 10.1109/cloudcom.2014.58 Typ Conference Proceeding Abstract Autor Duan R Seiten 439-446 Link Publikation -
2014
Titel A sequential cooperative game theoretic approach to scheduling multiple large-scale applications in grids DOI 10.1016/j.future.2013.09.001 Typ Journal Article Autor Duan R Journal Future Generation Computer Systems Seiten 27-43 Link Publikation -
2014
Titel An architecture to stimulate behavioral development of academic cloud users DOI 10.1016/j.suscom.2014.04.002 Typ Journal Article Autor Kecskemeti G Journal Sustainable Computing: Informatics and Systems Seiten 136-150 Link Publikation -
2014
Titel Multi-Objective Game Theoretic Schedulingof Bag-of-Tasks Workflows on Hybrid Clouds DOI 10.1109/tcc.2014.2303077 Typ Journal Article Autor Duan R Journal IEEE Transactions on Cloud Computing Seiten 29-42 Link Publikation -
2017
Titel A compiler transformation-based approach to scientific workflow enactment DOI 10.1145/3150994.3150999 Typ Conference Proceeding Abstract Autor Janetschek M Seiten 1-11 -
2015
Titel Pareto tradeoff scheduling of workflows on federated commercial Clouds DOI 10.1016/j.simpat.2015.07.001 Typ Journal Article Autor Durillo J Journal Simulation Modelling Practice and Theory Seiten 95-111 Link Publikation -
2015
Titel Multi-layered simulations at the heart of workflow enactment on clouds DOI 10.1002/cpe.3733 Typ Journal Article Autor Ostermann S Journal Concurrency and Computation: Practice and Experience Seiten 3180-3201 Link Publikation -
2015
Titel Experiences with distributed computing for meteorological applications: grid computing and cloud computing DOI 10.5194/gmd-8-2067-2015 Typ Journal Article Autor Oesterle F Journal Geoscientific Model Development Seiten 2067-2078 Link Publikation -
2015
Titel DISSECT-CF: A simulator to foster energy-aware scheduling in infrastructure clouds DOI 10.1016/j.simpat.2015.05.009 Typ Journal Article Autor Kecskemeti G Journal Simulation Modelling Practice and Theory Seiten 188-218 Link Publikation -
2015
Titel Energy Prediction of OpenMP Applications Using Random Forest Modeling Approach DOI 10.1109/ipdpsw.2015.12 Typ Conference Proceeding Abstract Autor Benedict S Seiten 1251-1260 -
2015
Titel A Workload-Aware Energy Model for Virtual Machine Migration DOI 10.1109/cluster.2015.47 Typ Conference Proceeding Abstract Autor De Maio V Seiten 274-283 Link Publikation -
2012
Titel A Sequential Cooperative Game Theoretic Approach to Storage-aware Scheduling of Multiple Large-scale Workflow Applications in Grids DOI 10.1109/grid.2012.14 Typ Conference Proceeding Abstract Autor Duan R Seiten 31-39 -
2013
Titel Fine-Grain Interoperability of Scientific Workflows in Distributed Computing Infrastructures DOI 10.1007/s10723-013-9261-8 Typ Journal Article Autor Plankensteiner K Journal Journal of Grid Computing Seiten 429-455 -
2013
Titel Multi-objective workflow scheduling in Amazon EC2 DOI 10.1007/s10586-013-0325-0 Typ Journal Article Autor Durillo J Journal Cluster Computing Seiten 169-189 -
2013
Titel Budget-Constrained Resource Provisioning for Scientific Applications in Clouds DOI 10.1109/cloudcom.2013.48 Typ Conference Proceeding Abstract Autor Fard H Seiten 315-322 -
2013
Titel Multi-objective Workflow Scheduling: An Analysis of the Energy Efficiency and Makespan Tradeoff DOI 10.1109/ccgrid.2013.62 Typ Conference Proceeding Abstract Autor Durillo J Seiten 203-210 Link Publikation -
2013
Titel INSPIRE The Insieme Parallel Intermediate Representation DOI 10.1109/pact.2013.6618799 Typ Conference Proceeding Abstract Autor Jordan H Seiten 7-17 -
2016
Titel Handling the uncertainty in resource performance for executing workflow applications in clouds DOI 10.1145/2996890.2996902 Typ Conference Proceeding Abstract Autor Fard H Seiten 89-98 -
2016
Titel An Improved Model for Live Migration in Data Centre Simulators DOI 10.1109/ccgrid.2016.41 Typ Conference Proceeding Abstract Autor De Maio V Seiten 527-530 Link Publikation