Startseite > Halbleiter > Prozessoren > »Geringe Latenzen, Flexibilität und Energieeffizienz«

KI-Prozessoren für das Edge

»Geringe Latenzen, Flexibilität und Energieeffizienz«

12. September 2022, 14:00 Uhr | Iris Stroh

▶ Diesen Artikel anhören

Fortsetzung des Artikels von Teil 1

Marktpositionierung von Kinara

Gibt es irgendwelche Einschränkungen in Hinblick auf die unterstützten Datenformate?

Nein. Unsere Architektur unterstützt auf der Hardware-Ebene int8 und int16. Unser Quantisierer setzt das Datenformat des KI-Modells mithilfe eines patentierten Algorithmus auf unser Format um. Wobei wir auch 16-bit-Integer-Zahlen in unserem Prozessor nutzen können, wenn es hilft, die Genauigkeit zu verbessern. Dieser Ansatz wird aber typischerweise nicht für jede Ebene oder jeden Operator durchgeführt, sondern nur da, wo er wirkliche Vorteile bringt.

Es gibt viele Unternehmen, auch wirklich große, die mit ihren Komponenten ebenfalls KI-Anwendungen im Edge adressieren. Wie positionieren Sie Kinara?

Stimmt, aber in den meisten Fällen handelt es sich um Plattformen, die auf älteren GPU- oder CPU-Architekturen basieren und beispielsweise mit einer zusätzlichen Faltungs-Engine oder weiteren Beschleunigern ausgestattet sind. Diese Ansätze sind nicht sonderlich effizient. Denn all diese Plattformen verzichten beispielsweise auf eine Datenwiederverwendung, und sie schaffen es typischerweise auch nicht, alle Ressourcen auszunutzen. Dazu kommt typischerweise auch noch, dass diese Architekturen nicht auf eine Minimierung der Datenbewegungen hin optimiert wurden. Das ist bei unserem Prozessor anders, er wurde von Grund auf neu für diese Anwendungen entwickelt, und davon sind die Entwickler begeistert.

Es gab schon viele Unternehmen, die mit KI-Hardware auf dem Markt aktiv waren und mit enormen TFLOPs-Zahlen hausieren gingen. Die meisten davon gibt es heute nicht mehr, weil diese Ansätze keine Programmierbarkeit boten. Und nachdem diese Prozessoren nur ein oder zwei Modelle unterstützen konnten, waren sie auch weg vom Fenster, als neue und bessere Modelle aufkamen.

Welche Unterstützung bieten Sie an, um es den Entwicklern leicht zu machen, Ihre Prozessoren für KI-Anwendungen zu nutzen?

Wir unterstützen alle gängigen Frameworks wie TensorFlow, PyTorch, MxNet, QNNX oder Caffe. Der Entwickler kann also mit einem trainierten Modell aus einem beliebigen Framework beginnen und unseren Compiler nutzen, um ein Programm zu erhalten, das problemlos auf unserem Prozessor ausgeführt werden kann.

Bietet Kinara auch Unterstützung auf der Applikationsseite an?

Wir arbeiten gerade daran, einen Modell-Zoo herauszubringen. Und dieser Modell-Zoo wird eine sehr große Bandbreite von Modellen enthalten, aber auch Anwendungs-Frameworks. Das heißt, dass ein Entwickler, der beispielsweise als Anwendung eine Gesichtserkennung oder eine Personenidentifizierung durchführen will, dieses Modell einfach per Knopfdruck einfügen kann. Damit ist klar, dass auch diejenigen, die nicht über den entsprechenden Hintergrund verfügen, das Modell mit der Anwendungsschicht erstellen und auf dem Prozessor ausführen können.

Sie sagten bereits, dass die Ara-1-KI-Prozessoren verschiedene KI-Anwendungen ausführen können. Ist die Architektur dennoch für eine besondere Aufgabe optimiert?

Wie ich bereits sagte, gibt es keine Einschränkungen in Bezug auf den Modelltyp. Wir können also Text verarbeiten, wir können Sprache verarbeiten usw. Aber der KI-Prozessor Ara-1, der bereits auf dem Markt ist, wurde für Faltungsnetze optimiert. Das bedeutet aber nicht, dass er für ein bestimmtes Modell optimiert wurde. Das möchte ich noch einmal betonen. Dies steht in deutlichem Gegensatz zu vielen anderen Unternehmen, die ihre Beschleuniger zum Beispiel für Resnet optimieren. Wir machen keine Benchmark-Optimierung. Unser anfänglicher Schwerpunkt lag jedoch auf Faltungsnetzen, aber die Programmierbarkeit der Architektur ermöglicht es uns, auch nicht faltungsbasierte Arbeitslasten sehr effizient auszuführen. In unserer Architektur der zweiten Generation haben wir unsere Unterstützung für Arbeitslasten wie LSTMs und Transformatoren weiter verbessert.

Wann sollen diese Prozessoren auf den Markt kommen?

Ich möchte kein genaues Datum nennen, aber ich hoffe, dass wir ihn noch dieses Jahr auf den Markt bringen können.

Die nächste Generation der Ara-Prozessoren, basiert sie lediglich auf einem Prozess-Shrink oder wurden zusätzlich noch Änderungen an der Architektur durchgeführt?

Ara-1 basiert auf einem 28-nm-Prozess von TSMC, Ara-2 wird mithilfe eines 16-nm-Prozesses gefertigt. Darüber hinaus kommen bei den neuen Prozessoren auch neue Funktionen hinzu. Als wir mit Ara-1 anfingen, war der Zeitdruck extrem hoch. Deshalb konnten einige gute Funktionen, die der Leistungssteigerung dienen, nicht implementiert werden. Das holen wir jetzt nach, denn in Ara-2 werden genau diese Funktionen jetzt eingesetzt.

Kinara hieß bis vor Kurzem noch »Deep Vision«. Warum wurde das Unternehmen umbenannt?

Mit dem Namen gab es etwas Ärger, also haben wir uns entschieden, das Unternehmen umzubenennen. Wir fanden heraus, dass »Kinara« das Hindi-Wort für »Edge« ist, und da unser Gründungsteam einen Hindi-Hintergrund hat, wurde das Unternehmen in Kinara« umbenannt.

Kinara konnte viele interessante Investoren gewinnen. Können Sie auch Kundennamen preisgeben?

Tut mir leid, aber Kundendaten sind immer vertraulich. Aber ich kann Ihnen versichern, dass einige größere Kunden dabei sind. Und klar, wir versuchen die Erlaubnis zu bekommen, noch im Laufe dieses Jahres einige wirklich überzeugende Kundengeschichten zu veröffentlichen.