STMicroelectronics will die Entwicklung und Verbreitung von »Physical AI«-Systemen beschleunigen und arbeitet dafür eng mit Nvidia zusammen. Ziel ist es, Hard- und Software besser miteinander zu verzahnen.
Dementsprechend macht STMicroelectronics seine Robotik-Komponenten wie Sensoren und MCUs direkt kompatibel mit der Nvidia-Plattform »Holoscan Sensor Bridge« (HSB), sodass sie nahtlos eingesetzt werden können. Gleichzeitig werden Isaac Sim-Modelle von ST-Komponenten in die Robotik-Ökosysteme beider Unternehmen integriert, um eine schnellere und genauere Sim-to-Real-Forschung und -Entwicklung zu unterstützen. Die ersten heute für Entwickler verfügbaren Ergebnisse umfassen die Integration der von ST unterstützten Leopard-Tiefenkamera mit der Nvidia-HSB sowie das hochpräzise Modell einer ST IMU im Nvidia Isaac Sim Ökosystem.
»Die Beschleunigung der Entwicklung autonomer Systeme der nächsten Generation erfordert hochpräzise Simulationen und nahtlose Hardware-Integration, um die Lücke zwischen virtuellem Training und realer Anwendung zu schließen«, sagte Deepu Talla, Vice President of Robotics and Edge AI bei NVIDIA. »Die Integration der Sensor- und Aktuatortechnologien von STMicroelectronics mit Nvidia Isaac Sim, Holoscan Sensor Bridge und Jetson-Plattformen bietet Entwicklern eine einheitliche Grundlage, um Physical AI in großem Maßstab zu bauen, zu simulieren und bereitzustellen.«
Mit der Nvidia HSB können Entwickler Daten von mehreren ST-Sensoren und Aktuatoren vereinheitlichen, standardisieren, synchronisieren und die Datenerfassung sowie Protokollierung optimieren – eine entscheidende Grundlage für den Aufbau hochpräziser Nvidia Isaac-Modelle, die das Lernen beschleunigen und die Sim-to-Real-Lücke minimieren.
Das Ziel ist es, den Prozess der Verbindung von ST-Sensoren und Aktuatoren mit NVIDIA Jetson-Plattformen durch vorintegrierte Lösungen für die Kombination aus STM32-Mikrocontrollern, fortschrittlichen Sensoren (einschließlich IMUs, Bildsensoren und ToF-Geräten) und Motorsteuerungslösungen zu vereinfachen, insbesondere für humanoide Robotikdesigns. Die Stereo-Tiefenkamera von Leopard Imaging für Roboter ist ein perfektes Beispiel. Durch die Nutzung von ST-Bildverarbeitungs-, Tiefen- und Bewegungssensortechnologien wird erwartet, dass sie eine breite Welle von Designs bei Physical AI-OEMs, akademischen Forschungsgruppen und der industriellen Robotik-Community unterstützt.
Entwickler fortschrittlicher Robotik sehen sich hohen Entwicklungskosten und Modellierungsherausforderungen gegenüber. Hochpräzise Simulationen mit umfangreicher Randomisierung erfordern erhebliche GPU- und CPU-Ressourcen sowie große Datensätze. Die Auswahl der zu randomisierenden Parameter und deren Wertebereiche erfordert tiefgehende Fachkenntnisse. Schlechte Entscheidungen können zu unrealistischen Szenarien oder ineffizientem Training führen. Übermäßige Variabilität kann Modelle verwirren, die Konvergenz verlangsamen und die reale Leistung verschlechtern, wenn die Randomisierung keine plausiblen Bedingungen mehr widerspiegelt.
Das Ziel von ST und Nvidia ist es, genaue, hardwarekalibrierte Modelle für das umfassende Portfolio von ST-Komponenten bereitzustellen, die den Anforderungen der fortschrittlichen Robotik entsprechen. Nach der Verfügbarkeit des ersten IMU-Modells arbeitet ST daran, Entwicklern Modelle von ToF-Sensoren, Aktuatoren und anderen ICs bereitzustellen, die auf Benchmark-Daten basieren, die mit realer ST-Hardware erfasst wurden. Dabei werden ST-Tools verwendet, um genaue Parameter und realistisches Verhalten zu erfassen, was zu Modellen führt, die für das NVIDIA Isaac Sim Ökosystem optimiert sind. Die NVIDIA HSB wird kollaborativ in die ST-Toolchain integriert.