Hochkomplexe Systeme verstehen KIT erhält neuen Supercomputer

60.000 Intel Xeon-Scalable-Prozessorkerne der nächsten Generation sowie 740 A100-Tensor-Core- GPUs von Nvidia werden im HoreKa bei voller Ausbaustufe arbeiten. Es stehen mehr als 220 Terabyte Hauptspeicher zur Verfügung. Er wird ab 2021 vielen Forschungsgebieten als Werkzeug dienen, um hochkomplexe Systeme zu verstehen.
60.000 Intel Xeon-Scalable-Prozessorkerne der nächsten Generation sowie 740 A100-Tensor-Core-GPUs von Nvidia werden im HoreKa bei voller Ausbaustufe arbeiten. Es stehen mehr als 220 Terabyte Hauptspeicher zur Verfügung. Er wird ab 2021 vielen Forschungsgebieten als Werkzeug dienen, um hochkomplexe Systeme zu verstehen.

Ab Herbst 2020 stellt das KIT die erste Aufbaustufe eines neuen Supercomputers für viele Fachgebiete bereit.

Das Gesamtsystem wird im Sommer 2021 der Wissenschaft übergeben. Der nun unterzeichnete Liefervertrag hat eine Größenordnung von 15 Millionen Euro.

Der neue »Hochleistungsrechner Karlsruhe« (kurz HoreKa) wird 2021 voraussichtlich zu den zehn leistungsfähigsten Rechnern Europas gehören und eine Rechenleistung von rund 17 PetaFLOPS erbringen – also etwa 17 Billiarden Rechenoperationen in der Sekunde, was der Leistung von mehr als 150.000 Laptops entspricht.

Das System wird Wissenschaftlerinnen und Wissenschaftlern aus ganz Deutschland zur Verfügung stehen. Vor allem in den Materialwissenschaften, den Erdsystemwissenschaften, der Energie- und Mobilitätsforschung im Ingenieurwesen, den Lebenswissenschaften, sowie der Teilchen- und Astroteilchenphysik werden Forschende dank des neuen Supercomputers ein detaillierteres Verständnis hochkomplexer natürlicher und technischer Vorgänge erlangen können. Selbstverständlich kann HoreKa bei Bedarf auch von Wissenschaftlern genutzt werden, die zum Verständnis des Virus SARS-CoV-2 forschen und damit zur Bekämpfung der Krankheit COVID-19 beitragen.

Mit HoreKa können Forschende mehr Details in größeren Systemen betrachten, normale Simulationen also zu sogenannten Multiskalen-Simulationen ausweiten. »Klimasimulationen und Erdsystemmodelle etwa werden immer feinere Auflösungen und damit einen höheren Detailgrad erreichen, erklärt Professor Martin Frank, Direktor des Steinbuch Centre for Computing (SCC) des KIT. »Doch neben der reinen Rechenleistung steigen auch die Anforderungen an die Dateisysteme immer weiter, sowohl was Kapazität als auch Latenz angeht. Mit einem datenhungrigen System wie HoreKa setzen wir konsequent die strategische Ausrichtung des SCC auf datenintensives Rechnen fort.«

HoreKa ist ein Hybrid-System mit fast 60.000 Intel Xeon Scalable Prozessorkernen der nächsten Generation und mehr als 220 Terabyte Hauptspeicher sowie 740 NVDIA A100 Tensor Core GPUs der nächsten Generation. Als Kommunikationsnetzwerk kommt ein non-blocking NVIDIA Mellanox InfiniBand-HDR-Netzwerk mit 200 GBit/s pro Port zum Einsatz, als Datenablage dienen zwei parallele Spectrum-Scale-Dateisysteme mit einer Gesamtkapazität von mehr als 15 Petabyte. Die Rechnersysteme stammen von Lenovo, das Unternehmen pro-com Datensysteme aus Eislingen bei Stuttgart übernimmt als Generalunternehmer die Projektkoordination, Systemintegration, Lieferung und Kundenbetreuung. »Es gibt derzeit sehr diverse technische Entwicklungen auf dem Hardware-Markt«, so Dr. Jennifer Schröter, die Leiterin des Bereichs High Performance Computing am SCC. »Unsere technischen Anforderungen waren anspruchsvoll, aber das Ausschreibungsverfahren war bewusst technologieoffen gehalten, um das Know-how der Bieter einzufordern und das leistungsfähigste Gesamtsystem zu erhalten.«

Ein zentraler Gesichtspunkt bei der Auslegung des Systems waren auch die enormen Datenmengen, die bei wissenschaftlichen Forschungsprojekten anfallen. Je nach Anwendung können von einer einzigen Simulation mehrere Hundert Terabyte an Daten erzeugt werden. Um mit den wachsenden Datenmengen Schritt zu halten, liefern die Rechenknoten, das InfiniBand-Netzwerk und die parallelen Dateisysteme von HoreKa im Vergleich zum Vorgängersystem ForHLR jeweils einen bis zu vier Mal höheren Speicherdurchsatz.

Eine mehrstufige Datenhaltung soll zusätzlich die Weiterverarbeitung auf externen Speichersystemen mit hohem Durchsatz garantieren. HoreKa ist auch mit bis zu 45 GByte/s Datenrate an die »Large Scale Data Facility« (LSDF) des SCC angebunden, die seit 2010 eine moderne Infrastruktur für die Speicherung, Verwaltung, Archivierung und Analyse von Forschungsdaten bietet.

HoreKa wird vollständig im 2015 für den Vorgänger ForHLR neu errichteten Rechnergebäude auf dem Campus Nord des KIT untergebracht. Das preisgekrönte, energieeffiziente Heißwasser-Kühlkonzept basierend auf der Lenovo Neptune Direct Water Cooling (DWC) Technologie wird mit dem neuen System fortgeführt.

Den Name HoreKa wählten die Mitarbeiterinnen und Mitarbeiter des SCC in Anlehnung an »GridKa«, dem »Grid Computing Centre Karlsruhe«. Dieses befindet sich ebenfalls am SCC und stellt seit mehr als 15 Jahren erfolgreich Datenspeicher und Analysekapazitäten für Großexperimente auf der ganzen Welt bereit, darunter auch den Large Hadron Collider (LHC) am CERN in der Schweiz. Zu den größten Erfolgen von GridKa gehört die Beteiligung bei der Entdeckung des Higgs-Teilchens im Juli 2012. GridKa ist das größte und leistungsfähigste Zentrum seiner Art.