Wenn KI-Modelle und Hardware zusammenwachsen

Bosch und Texas Instruments setzen auf eine neue Wahrnehmungstechnologie für Fahrerassistenzsysteme. Im Gespräch mit Markt&Technik erläutern Benjamin Scheibitz (Bosch) und Amir Haghighat Mehr (TI) die technischen Hintergründe und Ziele der Entwicklung.

Markt & Technik: Bosch setzt seine eigene KI-Optimierungs-Toolchain ein. Was kann die Toolchain und woran erkennen Sie, dass ein Modell nicht nur lauffähig ist, sondern tatsächlich für die Zielplattform optimiert wurde?

Benjamin Scheibitz, Program Director IP and HW-Development, Bosch Division Cross-Domain Computing Solutions: Wir nutzen unsere hauseigene KI-Optimierungs-Toolchain, um Modelle von neuronalen Netzen auf die Zielhardware vorzubereiten und zu optimieren. Dabei geht es nicht nur darum, ein Modell einfach nur zum Laufen zu bringen. Dieser Prozess umfasst auch hardwareorientierte Transformationen, die Auswahl von Implementierungsvarianten, die sich am besten auf den verfügbaren Beschleunigern abbilden lassen, sowie die Festlegung der Genauigkeit und Quantisierung. Das übergeordnete Ziel dabei ist es, ein Maximum an Performance zu erreichen und gleichzeitig die für Automotive-Anwendungen erforderliche Output-Qualität sicherzustellen.

Und woran erkennen Sie, dass ein Modell die verfügbare Hardware auch tatsächlich optimal nutzt?

Benjamin Scheibitz: Um festzustellen, ob die Toolchain nicht nur eine Portierung, sondern tatsächlich eine Optimierung erreicht hat, evaluieren wir das Modell anhand einer klar definierten Referenzversion, wofür wir auf eine konsistente Benchmark-Methodik zurückgreifen. Zu den wichtigsten Kriterien zählen typischerweise Inferenzlatenz, die dauerhaft erreichbare Verarbeitungsrate – also zum Beispiel die Zahl der Frames pro Sekunde für die komplette Pipeline -, der Speicherbedarf sowie die Leistungsaufnahme unter repräsentativen Lastbedingungen.

Gleichzeitig überprüfen wir nach jedem Optimierungsschritt erneut die funktionale Qualität des Modells. Dazu nutzen wir anwendungsbezogene Genauigkeitsmetriken, beispielsweise Wahrnehmungs-KPIs. So stellen wir sicher, dass Leistungsgewinne nicht zulasten der Ergebnisqualität gehen.

Darüber hinaus betrachten wir – wo sinnvoll – auch Kriterien wie Determinismus, Echtzeitverhalten und Systemstabilität. Diese Eigenschaften sind entscheidend dafür, ob sich eine Lösung später für den Serieneinsatz eignet.

Bosch hat sowohl ein eigenes Transformermodell als auch das Open-Source-Modell BEVFormer auf die Plattform portiert. Welche Rolle spielen proprietäre Modelle im ADAS-Portfolio von Bosch, und wie unterscheiden sie sich von Open-Source-Ansätzen wie BEVFormer?

Benjamin Scheibitz: Bosch entwickelt eine Vielzahl von KI-Modellen für unterschiedliche ADAS-Anwendungen. Als Tier-1-Zulieferer arbeiten wir mit verschiedenen OEMs zusammen, die jeweils eigene Anforderungen an Funktionen, Leistungsfähigkeit und Sensorkonfigurationen stellen. Entsprechend breit ist unser Portfolio, das unterschiedliche Hardwareplattformen und Performance-Klassen abdeckt.

Ein direkter Vergleich zwischen dem Open-Source-Modell und dem Bosch-eigenen Transformermodell ist nur bedingt möglich. Beide Modelle nutzen geringfügig unterschiedliche Sensorkonfigurationen, um den BEV-Raum zu generieren, weshalb sich die Trainingsdaten und Inferenzresultate unterscheiden. Aber eines ist ganz klar: das Bosch-eigene Modell ist selbstverständlich besser für die jeweiligen Hardwarearchitekturen optimiert, was Vorteile für die Leistungsfähigkeit bringt.

Transformerbasierte Modelle können mithilfe von Self-Attention Zusammenhänge in Daten erkennen, gelten aber als sehr rechenintensiv. Im gemeinsam mit TI gezeigten BEV-Beispiel werden Daten von bis zu sieben Kameras verarbeitet. Welche weiteren Kriterien waren für Bosch – neben der erforderlichen Rechenleistung – bei der Auswahl der TDA5 SoCs von TI entscheidend?

Benjamin Scheibitz: Um die Entwicklung im Bereich der Optimierung neuronaler Netze auf SoCs voranzutreiben, ist es mehr als folgerichtig, auf das modernste Produktportfolio von TI zu setzen, das mit den neuesten Produktfeatures aufwartet.

Neben der reinen KI-Rechenleistung war für uns ebenso wichtig, moderne Forschungsmodelle in produktionstaugliche, hardwareeffiziente Implementierungen zu überführen. Unsere hauseigene Toolchain spielt hier eine wichtige Rolle: Sie schafft einen kontrollierten und reproduzierbaren Weg von Trainings-Artefakten hin zu einsatzfähigen Inferenzgraphen und ermöglicht die Ausführung von modernen Computer-Vision-Netzwerkarchitekturen nach dem neuesten Stand der Technik.

Die Toolchain unterstützt eine hardwareorientierte Modellvorbereitung und -optimierung für die jeweilige Zielumgebung. Ergänzend dazu setzen wir ein systematisches Profiling und Benchmarking ein, um Kennzahlen wie End-to-End-Latenz, Durchsatz sowie Speicher- und Bandbreitenbedarf zu bewerten.

Ein weiterer wichtiger Aspekt ist die funktionale Validierung. Nach jedem Optimierungsschritt überprüfen wir anwendungsrelevante Wahrnehmungs-KPIs. So stellen wir sicher, dass Effizienzsteigerungen nicht zulasten der Output-Qualität gehen.

Diese Arbeiten erfolgten in enger Zusammenarbeit mit TI, um eine reibungslose Integration über den gesamten Software- und Deployment-Stack hinweg sicherzustellen und die zuverlässige Verarbeitung der transformerbasierten Wahrnehmungs-Pipeline auf dem TDA5 SoC von TI nachzuweisen.

Bosch bietet bereits 360°-Surround-View-Systeme an. Welche Vorteile bringt der neue BEV-Ansatz gegenüber bisherigen Lösungen?

Benjamin Scheibitz: Klassische Surround-View-Systeme basieren meist auf vier Fischaugenkameras und werden vor allem für Nahbereichs- und Parkfunktionen eingesetzt. Neuere Systeme nutzen sieben bis elf Kameras, um den Erfassungsbereich deutlich zu vergrößern und auch mittlere sowie größere Distanzen abzudecken.

Bei früheren Architekturen wurden die Kamerabilder zunächst getrennt verarbeitet. Die Zusammenführung der räumlichen Informationen erfolgte erst später auf Objektebene, typischerweise indem die einzeln erkannten Objekte in ein gemeinsames Bird’s-Eye-View-Koordinatensystem projiziert wurden.

Moderne BEV-Transformer setzen deutlich früher an und führen die Daten auf Feature-Ebene zusammen. Sie transformieren die extrahierten Bildmerkmale aller Kameras in einen gemeinsamen, einheitlichen BEV-Merkmalsraum, noch bevor die eigentliche Objekterkennung stattfindet. Dadurch wird die Erkennung wesentlich robuster, insbesondere bei großen, ausgedehnten Objekten, die von mehreren Kameras gleichzeitig erfasst werden.

Ein weiterer Vorteil besteht darin, dass sich Daten aus anderen Sensorklassen direkt und bereits in einer frühen Verarbeitungsphase integrieren lassen.

Nun zu TI: Welche Eigenschaften unterscheiden Ihrer Meinung nach die TDA5-Familie von anderen ADAS-SoCs?

Amir Haghighat Mehr, Director, Jacinto Processors, Texas Instruments: Die SoC-Familie TDA5 basiert auf vier Prinzipien: Skalierbarkeit, Energieeffizienz, heterogenes Computing und einer Safety-First-Architektur. Lassen Sie mich alle vier Punkte erläutern:

Skalierbarkeit: Dank eines chiplet-tauglichen Designs mit UCIe-Schnittstelle decken die SoCs der TDA5-Familie ein Leistungsspektrum von 10 bis 1.200 TOPS ab. Dadurch können Automobilhersteller eine einheitliche Software-Architektur vom Einstiegsmodell bis zu Fahrzeugen mit Autonomiestufe 3+ nutzen.

Energieeffizienz: Die TDA5 SoCs erreichen bei der KI-Verarbeitung eine Energieeffizienz von über 24 TOPS/W. Dadurch entfällt teurer Kühlaufwand, das Systemdesign wird vereinfacht und der Materialbedarf insgesamt verringert, während gleichzeitig genügend  Rechenleistung für fortschrittliche KI-Modelle mit Milliarden von Parametern zur Verfügung steht. Gerade für Elektrofahrzeuge ist dies ein besonders wichtiger Aspekt, denn hier führt eine Minimierung des Stromverbrauchs direkt zu mehr Reichweite.

Die heterogene Architektur: Sie kombiniert unterschiedliche Recheneinheiten und Beschleuniger aus einem SoC. Dazu zählt die C7-NPU von TI, spezielle Vision- und Imaging-Beschleuniger, Applikations- und Echtzeit-Mikrocontrollerkerne der Armv9-Architektur sowie Hardwarebeschleuniger für Security-, Display-Rendering- und Vernetzung. Eine Besonderheit ist unser eigener Netzwerk-Beschleuniger, der bis zu 15 Millionen Datenpakete pro Sekunde verarbeiten kann, um mehrere Applikationsprozessor-Kerne zu entlasten und die Gateway-Architektur zu vereinfachen. Durch das Auslagern spezifischer Workloads auf optimierte IP-Blöcke mit jeweils eigenem Speicher erreichen die TDA5 SoCs die für sicherheitskritische Automobilanwendungen erforderliche deterministische Latenz. Gleichzeitig steht den Automobilherstellern mehr Rechenkapazität für die Unterstützung rechenintensiver ADAS- und Infotainment-Features zur Verfügung.

Funktionale Sicherheit: das Safety-Design mit Lockstep-Funktionen für Armv9-Applikations- und Mikrocontroller-Kerne zielt auf eine ASIL-D-Zertifizierung ohne zusätzliche externe Komponenten ab. Ergänzt wird dies durch ein ISO-21434-konformes Hardware-Security-Modul sowie die Unterstützung von Post-Quanten-Kryptografie. Damit können Automobilhersteller Anforderungen an funktionale Sicherheit und Cybersicherheit mit einer einzigen Plattform erfüllen.

Die C7-NPU basiert auf TIs langjähriger Erfahrung im Bereich der digitalen Signalverarbeitung. Welche Eigenschaften dieser DSP-Herkunft prägen die Architektur der NPU, und welche Vorteile ergeben sich daraus für moderne KI-Anwendungen im Fahrzeug?

Amir Haghighat Mehr: Die C7-NPU von TI beruht auf unserer Erfahrung in der digitalen Signalverarbeitung und auf mehr als 20 Jahren Entwicklung von Prozessoren für den Automotive-Markt. Die daraus resultierenden Stärken liegen in einer deterministischen, latenzarmen und energieeffizienten Datenverarbeitung. Genau diese Eigenschaften sind entscheidend, um KI-Inferenzfunktionen in sicherheitskritischen Automotive-Anwendungen zuverlässig direkt im Fahrzeug auszuführen.

Die C7 NPU wurde speziell für moderne neuronale Netze ausgelegt und unterstützt Modelle mit Milliarden von Parametern, darunter Large-Language-Modelle, Vision-Language-Modelle und Transformer-Netze. Die C7-NPU kann beispielsweise Temporal-Self-Attention-Mechanismen ausführen, wodurch sie besonders gut für eine aufwändige Parallelverarbeitung geeignet ist, die in transformerbasierten Wahrnehmungsanwendungen eine zentrale Rolle spielt. Die C7-NPU ermöglicht eine durchgängige KI-Verarbeitung von Sensorrohdaten bis zur Fahrzeugsteuerung in Echtzeit – eine zentrale Voraussetzung für Level-3-Fahrfunktionen.

Dank der integrierten C7 NPU erweitern sich die Möglichkeiten der TDA5 SoCs deutlich. Während die NPU die Transformer-Inferenzen übernimmt, verarbeitet das dedizierte Vision-Subsystem parallel dazu mehrere Kamerastreams. Dadurch wird ein kontinuierlicher Datenfluss durch die gesamte Pipeline sichergestellt. Zusammen liefern diese Komponenten eine bis zu 12-mal höhere KI-Rechenleistung als frühere TI-Generationen und das bei vergleichbarem Energieverbrauch.

In welchen Anwendungsbereichen sehen Sie weiteres Potenzial für die C7 NPU?

Amir Haghighat Mehr: Die TDA5-SoC-Familie ist darauf ausgelegt, sowohl klassische Computer-Vision- als auch moderne Deep-Learning-Anwendungen mit hoher Rechenleistung und hoher Energieeffizienz zu unterstützen. Darüber hinaus können die Bausteine ADAS-, Infotainment- und Gateway-Funktionen auf einer gemeinsamen Plattform zusammenführen. Dadurch lässt sich die bislang auf mehrere Domänencontroller verteilte Rechenleistung in einem zentralen System bündeln.

Die C7-NPU ist ein wesentlicher Bestandteil dieser Architektur. Darüber hinaus sehen wir Potenzial für ihren Einsatz in mehreren weiteren Bereichen: Zum einen kann die C7 NPU komplexe neurale Netze verarbeiten und ermöglicht dadurch den Einsatz von Vision-Language-Modellen sowie eine natürlichsprachliche Interaktion zwischen Fahrer und Fahrzeug. Zum anderen eignet sich die Architektur aber auch für Anwendungen außerhalb des Automotive-Bereichs, etwa im industriellen Transportwesen oder in humanoiden und industriellen Robotern. Denn auch in diesen Anwendungsbereichen spielen Echtzeitwahrnehmung, deterministische Reaktionszeiten und funktionale Sicherheit eine ähnlich wichtige Rolle wie im Fahrzeug.

Welche Rolle spielt die C7-NPU für Ihre künftigen SoC-Generationen?

Amir Haghighat Mehr: Dedizierte KI-Beschleuniger sind ein wichtiger Bestandteil. Sie sind darauf ausgelegt neuronale Netze auszuführen und damit den Hauptprozessor zu entlasten, so dass die Inferenzgeschwindigkeit steigt und die Leistungsaufnahme sinkt. Und unsere C7-NPU kombiniert die proprietäre digitale Signalverarbeitungsarchitektur C7 von TI mit einer Hardwarebeschleunigung für Matrixmultiplikationen. Die C7-NPU wird in die Hochleistungs-SoCs von TI integriert, darunter der TDA54-Q1, und stellt dort bis zu 1.200 TOPS dedizierte KI-Rechenleistung bereit.

Mit dem Virtualizer Development Kit (VDK) bietet TI einen digitalen Zwilling der TDA5-SoCs an. Welchen Nutzen bringt dieser Ansatz?

Amir Haghighat Mehr: TI und Synopsys haben das VDK für die TDA5 SoC-Familie entwickelt, um den Umgang mit komplexer Fahrzeugsoftware zu vereinfachen. Das VDK stellt einen digitalen Zwilling des TDA5 SoC zur Verfügung auf dessen Basis OEMs Software bereits entwickeln, testen und evaluieren können, bevor die reale Hardware verfügbar ist. Die virtuelle Plattform kann aber auch später während des gesamten Produktlebenszyklus genutzt werden.

Damit lässt sich die Markteinführungszeit um bis zu 12 Monate verkürzen. Gleichzeitig können Performance-Probleme früher erkannt und behoben werden, und nicht zuletzt werden damit die Kosten und die Komplexität des Entwicklungsprozesses reduziert.

Ein weiterer Vorteil besteht darin, dass dieselbe Entwicklungsumgebung sowohl für das virtuelle als auch das physische SoC verwendet wird. Dadurch werden Software-in-the-Loop-Tests vereinfacht und die entwickelte Software kann ohne Änderungen der Entwicklungsumgebung direkt auf die reale Hardware übertragen werden.

Entwickler können zudem auf das umfangreiche Synopsys-Ökosystem zurückgreifen, um Prototyping-Lösungen entsprechend ihren jeweiligen Entwicklungsanforderungen aufzubauen.

Wie eng haben TI und Bosch bei der Optimierung der Modelle zusammengearbeitet? Wurde die Hardware an die Modelle angepasst oder die Modelle an die Hardware?

Amir Haghighat Mehr: TI und Bosch Mobility arbeiteten bei der Optimierung der Modelle eng zusammen. Bosch nutzte dabei die Virtualizer Development Kit Toolchain von TI sowie die eigene Automotive AI Accelerator Toolchain, um Modelle wie BEVFormer-Tiny und ein proprietäres Bosch-Transformermodell gezielt für die C7-NPU zu optimieren.

Diese hardwarebewusste Optimierung umfasst die gesamte Entwicklungskette - von der Auswahl und Anpassung der Netzwerkarchitektur über die Quantisierung bis hin zur Implementierung auf der Zielhardware. Ziel war es, die Modelle möglichst effizient auf der Architektur der C7-NPU auszuführen.

Und dank der engen Zusammenarbeit konnten wir dieses Ziel bereits vor dem Start der Serienproduktion erreichen.

Matchmaker+ Anbieter zum Thema

zu Matchmaker+

Lesen Sie mehr zum Thema