Startseite > Halbleiter > Prozessoren > Unerreichte Performance und einfachste Umsetzung

SiMa.ai demokratisiert ML in der Edge

Unerreichte Performance und einfachste Umsetzung

21. September 2023, 7:40 Uhr | Heinz Arnold

Krishna Rangasayee, Gründer und CEO von SiMa.ai: »Mit der neuen „Palette Edgematic“ in Kombination mit unserem derzeit weltweit besten Verhältnis von Performance zu Leistungsaufnahme gemessen in Frames/s pro Watt können die Anwender ihre KI so einfach wie noch nie in Edge-Anwendungen bringen. Wir setzen einen neuen Standard in der Industrie.«

SiMa.ai hat nicht nur Nvidia im »MLPerf«-Benchmark weit hinter sich gelassen, sondern jetzt eine No-Code-Entwicklungsumgebung vorgestellt, mit der sich KI und ML in Edge-Geräten denkbar einfach, ohne Spezialwissen umsetzen lassen.

▶ Diesen Artikel anhören

Im jetzt durchgeführten zweiten »MLPerf Closed Edge ResNet50 Benchmark« erreichte SiMa.ai in der Edge Kategorie gegenüber dem ersten Benchmark im April eine 20-prozentige Verbesserung seiner Ergebnisse für Single Stream ResNet50 bei Leistung und Energieaufnahme und bietet gleichzeitig eine bis zu 85 Prozent höhere ResNet50 MultiStream Effizienz im Vergleich zu Nvidia.

»Resnet50« ist das verbreitetste und anerkannteste Benchmark, um die Leistungsfähigkeit von KI-Prozessoren im Machine Learning für Computer-Vision-Systeme zu ermitteln.

Damit hat das Start-up SiMa.ai den »Jetson NX« von Nvidia um nicht weniger als 85 Prozent übertroffen. Dass einem Start-up so etwas gegenüber einem seit langem etablierten Wettbewerber im KI-Prozessor-Markt gelingen konnte, liegt an der besonderen Herangehensweise. »SiMa hat die Hardware, also den MLSoC, aus der Perspektive der Software entwickelt und speziell auf den Einsatz in Edge-Geräten optimiert. Deshalb konnten wir über Verbesserungen unserer Software innerhalb des kurzen Zeitraumes von April bis heute den Performance-Sprung realisieren«, sagt Stephan Reichenauer, Director EMEA Sales, im Gespräch mit Markt&Technik.

Denn diesen Sprung hat die 2018 gegründete SiMa.ai ausschließlich über die Software-Optimierung erzielt, insbesondere des »ML Accelerator«. Er trägt wesentlich dazu bei, dass der KI-Chip von SiMa.ai so viele Frames pro Sekunde und Watt erreicht wie kein anderer KI-Chip. Um die Werte so realitätsnah wie möglich zu ermitteln, hat SiMai.ai »ResNet50« nicht nur auf eine einzige Kamera angewandt (SingleStream), sondern auch auf weitere KI-Lasten wie mehrere Kameras (Batch 8 or Multistream) und Datencenter-Workloads (Batch24 or Offline).

Um zu verstehen, warum dieser Sprung des für Edge-KI-Geräte so ausschlaggebenden Wertes »Performance pro Watt« gemessen in »Frames/Sekunde pro Watt« so interessant ist, ein Blick darauf, wie bisher KI-Chips entwickelt worden sind: Vor allem in Hinblick auf den Einsatz in Datenzentren. Der Einsatz in Edge-Geräten stellt aber ganz andere Anforderungen. Die Leistungsaufnahme muss deutlich niedriger liegen und das gesamte System muss eine möglichst geringe Latenz bieten. Die ursprünglich dafür nicht vorgesehenen Chips nun in die Edge »zwängen« zu wollen, kann nicht zu den gewünschten Ergebnissen führen.

»Den Marktführer im Sektor der KI-Chips bereits zum zweiten Mal übertroffen zu haben, zeigt die Leistungsfähigkeit unserer Technologie. Wir wollen unsere führende Stellung in Bezug auf Leistung pro Watt – dem entscheidenden Kriterium für Edge-KI – kontinuierlich ausbauen«, sagt Krishna Rangasayee, CEO und Gründer von SiMa.ai.

Die Steigerung der Leistungsfähigkeit sei im Wesentlichen der Compiler-Technik und dem Memory-Management-System zu verdanken. Die fundamentalen Verbesserungen, die SiMa.ai hier erzielte, erhöhen die Leistungsfähigkeit des Chips für jedes Machine-Learning-Network, nicht nur für »ResNet50«. »Wir optimieren nicht Benchmark-spezifisch, wie andere das gerne tun, sondern in Hinblick auf eine Vielzahl von realen Anwendungen«, erklärt Rangasayee.

Doch SiMai.ai hatte sich zum Start nicht nur das Ziel gesetzt, jede Computer-Vision-Aufgabe mit einer um mindestens den Faktor zehn besseren Leistung pro Watt lösen zu können, sondern es den Anwendern denkbar einfach zu machen, ihre jeweiligen KI-Systeme zu erstellen – ohne tief in KI-Programmierung eintauchen zu müssen, sondern auf Knopfdruck funktionierende Programme zu erhalten.

Dazu hat SiMa.ai die »Palette«-Software entwickelt, die es den Anwendern erlaubt, ihre KI-Systeme auf ein breites Spektrum an hochspezialisierten Anwendungen in Edge-Geräten einfach anzupassen, zu testen und zu optimieren.

»Palette Edgematic«: Ganz einfach per »drag and drop«

Mit der jetzt neu vorgestellten Erweiterung »Palette Edgematic« ist das Unternehmen noch einen Schritt weiter gegangen: Über die Browser-basierte, visuelle Entwicklungsumgebung eröffnet SiMa.ai einen No-Code-Zugang zu Edge-KI und -ML, insbesondere für den Bereich Computer-Vision, ganz einfach über »drag and drop«. Jetzt lassen sich von überall auf der Welt über einen sicheren Browser ML-Anwendungen entwickeln, evaluieren und optimieren. Die Anwender können in Echtzeit das optimale Verhältnis zwischen Leistungsfähigkeit und Leistungsaufnahme ermitteln. Modelle und ganze Computer-Vision-Systeme lassen sich so in Minuten statt wie bisher in Monaten erstellen. Dann können die Anwender sie auf den Entwicklungs- und Production-Boards von SiMa.ai installieren und ausführen.

Mit »Palette Edgematic« kann nun jeder sein Konzept für ein Computer-Vision System direkt am entsprechenden Edge-Gerät evaluieren, ohne dazu einen Zwischenschritt in der Cloud einschieben zu müssen. Das bedeutet:

Prototypen können in kürzester Zeit erstellt und evaluiert werden
Wichtige Kennzahlen sind über Real-Time Datenströme messbar und für die Optimierung des Designs nutzbar. Damit entfällt die bisher erforderliche Embedded Code Translation für Edge-ML-Implementationen
Die automatisierten Funktionen in »Palette Edgematic« unterstützen die Umsetzung der visuellen Computer Vision Pipeline auf Knopfdruck in einen ausführbaren Code
Um ML-Pipelines in ausführbare Proof of Concepts umzuwandeln, sind lediglich Minuten erforderlich. Time to Market, die Innovationsgeschwindigkeit und die Adaption von Kundenwünschen werden somit signifikant beschleunigt

»SiMa.ai bietet eine bisher noch nicht dagewesene Innovation für Embedded Edge Geräte. Mit der neuen „Palette Edgematic“ in Kombination mit unserem derzeit weltweit besten Verhältnis von Performance zu Leistungsaufnahme gemessen in Frames/s pro Watt, können die Anwender ihre KI so einfach wie noch nie in Edge-Anwendungen bringen. SiMa.ai setzt einen neuen Standard in der Industrie«, sagt Krishna Rangasayee. SiMa.ai wolle sämtliche Hürden aus dem Weg räumen, die sich bisher der einfachen Verwendung von KI in Edge-Anwendungen in den Weg stellen. Niemand müsse mehr zur Embedded-Programmierung von Hand zurückkehren: »Wir machen es den Anwendern so einfach wie möglich, KI und ML in der Edge anzuwenden. Die jetzt über MLPerf Benchmark ermittelte Steigerung der Leistungsfähigkeit unserer Chips werden wir den Kunden schnell für ihre realen Anwendungsfälle zugänglich machen.«