DEEP-Projekte
Offizielle Webseite, auf Englisch: https://www.deep-projects.eu/
Die DEEP-Projekte sind eine Reihe von Forschungsprojekten, in denen neben vielen Einzelbeiträgen auch die Modular Supercomputing Architecture (MSA) entwickelt wurde.
Um 2010 begannen wir gemeisam mit unseren Partner zu überlegen, wie wir die Lücke zwischen Allzweck-Clustern und hochskalierbaren Systemen schließen können. Die ersten heterogenen Knotendesigns waren ansprechend, bestehend aus CPUs und Beschleunigern, aber was die Grafikkarten (GPUs) betraf, so konnten diese nur als Koprozessoren verwendet werden, da CPUs und GPUs statisch einander zugeordnet sind. Wir erkannten, dass es viel vorteilhafter wäre, die Beschleuniger als autonome Einheit vom Knoten zu trennen und sie flexibel den CPUs zuzuordnen. Diese Ideen bildeten die Grundlage für den Vorschlag für das erste DEEP-Projekt, das Ende 2011 genehmigt und gestartet wurde.
Im Rahmen von DEEP wurde unser erster Cluster-Booster-Prototyp mit einem Intel Xeon-basierten Allzweck-Cluster auf einem Mellanox-Netzwerk gebaut, das über eine spezielle Netzwerkschnittstelle mit dem EXTOLL-Netzwerk eines 384-Knoten-Systems mit Intel Xeon Phi-Prozessoren (KNC) verbunden war; letzteres nannten wir den "Booster". Parallel dazu wurde der gesamte Software-Stack rund um die ParaStation-Cluster-Middleware entwickelt, die schließlich zum heutigen ParaStation-Modulo-System führte, und es wurden einige erste Anwendungsfälle angepasst und getestet. Im Folgeprojekt DEEP-ER setzten wir die Arbeit an der DEEP-Pilotarchitektur und ihrer Umgebung fort und konzentrierten uns insbesondere auf die Verbesserung der Input-Output- und Resilienz-Funktionen.
Aufbauend auf diesen erfolgreichen Ergebnissen wurde im Rahmen des DEEP-EST-Projekts, das von 2017 bis 2021 lief, das Cluster-Booster-Konzept verallgemeinert, um die Anforderungen einer breiteren Palette von Anwendungen zu erfüllen. Die daraus resultierende Modular Supercomputing Architecture (MSA), die im Rahmen von DEEP-EST entwickelt wurde, ist so konzipiert, dass sie sowohl die Anforderungen großer Simulationen, die traditionell auf HPC-Systemen ausgeführt werden, als auch datenintensive Arbeitslasten aus dem Bereich der künstlichen Intelligenz wie Deep Learning erfüllt.
Die Arbeit an der MSA wird im Rahmen der SEA-Projekte fortgesetzt, die von 2021 bis 2024 laufen:
JSC-Beitrag
Das JSC ist Leiter und Koordinator aller vier DEEP-Projekte und leitet die Design and Development Group (DDG), in der die wichtigsten technischen Entscheidungen getroffen werden. Darüber hinaus leistet das JSC u. a. in folgenden Bereichen Beiträge: Vorbereitung der Infrastruktur, Hosting und Betrieb von Prototypen, Benchmarking, Monitoring, Leistungsanalyse, Anwendungsunterstützung, Anwendungsportierung, Codesign
Kontaktperson am JSC
Prof. Dr. Estela Suarez
Joint Lead of JSC-Division "Novel System Architecture Design"
- Institute for Advanced Simulation (IAS)
- Jülich Supercomputing Centre (JSC)
Raum 222
Danksagung
Die DEEP-Projekte wurden durch die Programme FP7, H2020 und EuroHPC JU der Europäischen Kommission im Rahmen der Finanzhilfevereinbarungen Nr. 287530 (DEEP), 610476 (DEEP-ER), 754304 (DEEP-EST) und 955606 (DEEP-SEA) gefördert. Das EuroHPC Joint Undertaking wird durch das Forschungs- und Innovationsprogramm Horizont 2020 der Europäischen Union sowie durch Deutschland, Frankreich, Spanien, Griechenland, Belgien, Schweden, das Vereinigte Königreich und die Schweiz unterstützt.
