HPC in Germany: Infrastructure, Operations and Politics

Abstract The overall scientific challenge for most areas of science is to master the presence of massive parallelism and, with its help, to allow high-end applications to benefit from the high-performance computing (HPC) technology available today. Many key issues need to be addressed, ranging from parallel programming paradigms, via dynamic load distribution, to energy-awareness, and scalability of algorithms and applications, to name just a few. This paper gives an overview of the HPC landscape in Germany. With the Gauss Centre for Supercomputing (GCS) and the Gauss Alliance (GA), the structure of the German HPC centres offers users from all scientific areas access to HPC resources at all potentially required levels of performance. However, the significant contribution of these centres — beyond providing the hardware infrastructure — is to push software technology on all required key issues mentioned above, to make the access to HPC hardware resources efficient. In spite of the reasonable hardware funding of the GCS and GA HPC centres, the critical issue of finding the right “brains” to program the “racks” still continues to remain open. Zusammenfassung Die wichtigste Herausforderung des Hoch- und Höchstleistungsrechnens ist der effektive Umgang mit massiver Parallelität in heutigen und zukünftigen HPC-Systemen. Auf Basis dieser Kernkompetenz können Anwendungswissenschaften von den enormen Möglichkeiten profitieren, die aktuelle HPC-Systeme für die Bewältigung wichtiger Forschungsaufgaben bieten. Viele Kernthemen müssen dafür adressiert werden — von parallelen Programmierparadigmen über dynamische Lastbalancierung und Energieeffizienz bis hin zu skalierbaren Algorithmen und Anwendungen, um nur einige zu nennen. Dieser Beitrag gibt einen Überblick über die HPC-Landschaft in Deutschland. Mit dem Gauss Centre for Supercomputing (GCS) e. V. und der Gauß-Allianz (GA) e. V. wird die deutsche HPC-Landschaft in einer Weise strukturiert, die Nutzern aus allen Wissenschaftsbereichen Zugang zu HPC-Ressourcen aller potentiell benötigten Leistungsklassen ermöglicht. Allerdings ist der wichtigste Beitrag dieser Zentren — über die Bereitstellung der Hardware hinaus — die Weiterentwicklung der Software in allen oben genannten Kernthemen, um den Zugriff auf das HPC effizient zu machen. Trotz der substantiellen Finanzierung für Hardware in den HPC-Zentren wurde die wichtige Frage zur Bereitstellung der qualifizierten Köpfe — die für den Umgang mit Ressourcen der höchsten Leistungsklasse zwingend erforderlich sind — bislang nicht in ausreichendem Maße adressiert.