Startseite > Halbleiter > KI-Prozessor für Deep Learning im Edge

Hailo-8

KI-Prozessor für Deep Learning im Edge

27. Juli 2022, 14:08 Uhr | Iris Stroh

▶ Diesen Artikel anhören

Fortsetzung des Artikels von Teil 1

Toolchain

Der Dataflow-Compiler übernimmt das Kompilieren und Optimieren der Modelle für die Hailo-Prozessoren. Dazu kommt die Runtime Software »HailoRT«, die auf dem Host-Prozessor läuft, um Inferenzierungen in Echtzeit durchzuführen. Damit können Entwickler einerseits einfach schnelle Pipelines für ihre KI-Anwendungen realisieren und andererseits auch eine Evaluierung und ein Prototyping durchführen. HailoRT zeichnet sich durch folgende Eigenschaften aus:

die Unterstützung einer Multi-Host-Architektur, wobei sowohl x86 als auch Arm-Architekturen unterstützt werden
flexible Schnittstellen für die KI-Anwendungen
einfache Integration (beispielsweise gibt es ein Plug-in für GStreamer)
Unterstützung von mehreren Datenströmen – mehrere Video-Streams gleichzeitig verarbeitbar
Inferenzierung mit höchstem Durchsatz möglich dank der Kombinationsmöglichkeit von bis zu 16 Hailo-8-Prozessoren
problemlose Steuerung der Hailo-Prozessoren dank Schnittstellen für eine Zwei-Wege-Steuerung und Datenkommunikation mit den Hailo-8-Prozessoren

Mit dem sogenannten »Model Zoo« wiederum haben die Entwickler Zugriff auf vortrainierte neuronale Netze in TensorFlow und ONNX für Anwendungen wie Klassifizierung, Objekterkennung, Gesichtserkennung und semantische Segmentierung. Dazu erhalten die Entwickler auch detaillierte Angaben zu den Modellen, einschließlich einer Abwägung zwischen einem genauen und einem quantisierten Modell auf einem Hailo-8-Prozessor. Dazu kommt noch ein Open Source Repository von Model Zoo auf Github, mit dem Entwickler die publizierten Leistungswerte der Hailo-8-Prozessoren mit Modellen aus dem Model Zoo schnell und einfach reproduzieren können.

TAPPAS ist eine weitere Unterstützung auf der Software-Seite, mit der Entwickler Applikationsbeispiele nutzen können. TAPPAS steht für »Template APPlications And Solutions« und hilft, Edge-Anwendungen einfach und schnell zu entwickeln. Es umfasst eine Reihe von DNN-Anwendungen (tiefe neuronale Netze) wie Klassifizierung, Fahrspurerkennung und Tiefenschätzung. Für Entwickler, die ihre eigenen Netzwerke schnell auf dem Hailo-8 einsetzen wollen, bietet TAPPAS eine einfach zu bedienende, Python-basierte Vorlage (oder C++ und Gstreamer) für die Anwendungsentwicklung. Blacquière: »Mit TAPPAS sinkt die Entwicklungszeit und die Time to Market wird verkürzt.«

Hailo bietet außerdem das Hailo-8 Century Evaluation Board an, das für das Protoyping von KI-Videoanalysesysteme im Edge ausgelegt ist. Das Board ist mit vier Hailo-8-Prozessoren ausgestattet und kommt bei einer typischen Leistungsaufnahme von 25 W auf eine Rechenleistung von bis zu 104 TOPS. Für Entwicklung, Prototypenerstellung und zur einfachen Evaluierung wird die PCIe-Karte im Standardformfaktor von der Hailo Software Toolchain, einer Reihe spezieller KI-Entwickler-Tools sowie einigen Out-of-the-Box-Beispielanwendungen unterstützt. Verschiedene Versionen dieser Art von PCI-Karten mit einer unterschiedlichen Anzahl von Hailo-8-Chips (bis zu sechs) sind bereits in Produktion und bei den Partnern von Hailo erhältlich.