HotChips 2019 Startup präsentiert den größten Prozessor aller Zeiten

Größer als ein 200-mm-Wafer ist ein Chip des Startups Cerebras, den die Firma auf der Hotchips-Konferenz in Stanford vorstellte und der das Training für Deep Neuronal Networks dank 400.000 spezieller KI-Cores auf eine neue Ebene heben soll.

Die Anzahl von CPU-Transistoren auf einem Chip ist heutzutage enorm. So kündigte AMD Anfang des Monats an, dass eine vollständige Implementierung seiner 7nm Epyc "Rome" Server-CPU bei 32 Milliarden Transistoren liegt. Im Vergleich zu dem Chip von Cerebras mit er damit wie ein Zwerg an: Das auf KI fokussierte Unternehmen hat eine so genannte Wafer Scale Engine entwickelt. Die WSE ist ein Quadrat, misst 46,225 mm2 und enthält etwa 1,2 Trillionen Transistoren.

Die Idee der Wafer-Prozessierung hat in letzter Zeit einige Aufmerksamkeit erregt, als mögliche Lösung für Schwierigkeiten bei der Leistungsskalierung. In einer Studie, die Anfang des Jahres veröffentlicht wurde, haben Forscher die Idee diskutiert, eine riesige GPU über den größten Teil oder einen gesamten 100-mm-Wafer zu bauen. Sie fanden heraus, dass die Technik tragfähige, leistungsstarke Prozessoren hervorbringen könnte und dass sie auch effektiv auf größere Knotengrößen skalieren könnte. Die Cerebras WSE ist ein Riese - ihre Gesamtoberfläche ist viel größer als die hypothetischen Entwürfe, die Anfang dieses Jahres in Betracht gezogen wurden. Die WSE ist kein vollwertiger 300-mm-Wafer, aber sie hat eine größere Oberfläche als ein 200-mm-Wafer.

Der größte GPU, nur zum Vergleich, misst 815 mm2 und beinhaltet 21.1 Milliarden Transistoren. Einige Unternehmen versenden Bilder ihrer Chips, die neben einem winzigen gemeinsamen Objekt liegen. Cerebras schickte ein Foto ihres Chips neben einer Tastatur.

Die Cerebras WSE enthält 400.000 Algebra-Kerne, 18 GB Gesamt-On-Die-Speicher, 9PB/sec Speicherbandbreite über den Chip und eine separate Bandbreite der Schaltmatrizen von bis zu 100Pbit/sec. Der gesamte Chip basiert auf dem 16nm FinFET-Prozess von TSMC. Um eine vernünftige Ausbeute zu erreichen, wurden Methoden implementiert, um fehlerhafte Cores über die Schaltmatrix zu umgehen und die Arrays trotzdem verbunden zu halten, auch wenn es fehlerhafte Cores in einem Abschnitt des Wafers gibt.

Die WSE - "CPU" wird mit einer massiven Kühlplatte gekühlt, die über dem Silizium sitzt, mit vertikal montierten Wasserrohren zur direkten Kühlung. Da es kein traditionelles Gehäuse gibt, das groß genug ist, um den Chip aufzunehmen, hat Cerebras ein eigenes Design entwickelt. Es ist eine Art Kombination einer Leiterplatte, des Wafers, eines kundenspezifischen Steckverbinders, der die beiden verbindet, und der Kühlplatte.

Ein voll funktionsfähiger Prozessor in dieser Größe, der kommerzialisiert wird, wäre ein spannender Beweis dafür, ob dieser technologische Ansatz für den breiteren Markt relevant ist. Obwohl wir nie erleben werden, dass Konsumer-Komponenten auf diese Weise verkauft werden, besteht Interesse daran, durch die Verarbeitung im Wafermaßstab die Leistung und den Energieverbrauch in einer Reihe von Märkten zu verbessern. Wenn Verbraucher weiterhin Workloads in die Cloud verschieben, insbesondere Hochleistungs-Workloads, ist es nicht verrückt zu glauben, dass wir eines Tages sehen könnten, wie GPU-Hersteller diese Idee nutzen - und eine Reihe von Teilen bauen, die sich kein Einzelner jemals leisten könnte, um z.B. in der Zukunft damit Cloud-Gaming-Systeme zu betreiben.

Die Hotchips-Präsentation finden Sie im Anhang zum herunterladen.