AiOT-Beschleunigerkarte Inferenz an der Edge

Mustang-V100-MX4 nutzt eine aktive Kühlung für einen Betriebstemperaturtbereich von 5 °C bis 55 °C.

Mit der Mustang-V100-Serie bietet ICP Deutschland eine skalierbare Lösung zur Realisierung von Deep-Learning-Inferenz (DL) an der Edge, die stromsparend ist und eine geringe Latenzzeit aufweist.

An der Edge werden vorwiegend Systeme eingesetzt, die schnelle Entscheidungen ohne Upload in die Cloud treffen sollen. Mit der Mustang-V100-MX4 erweitert ICP Deutschland das Portfolio der KI-Beschleunigerkarte um eine Variante, die mit vier Intel Movidius Myriad X MA2485 Vision Processing Units (VPUs) ausgestattet ist. Die auf dem PCI-Express-Bus basierende Karte lässt sich in eine Vielzahl von Embedded-Systemen integrieren.

Native FP16-Unterstützung, schnelle Portierung und Bereitstellung neuraler Netzwerke im Caffe- oder Tensorflow-Format und ein geringer Stromverbrauch sind Hauptmerkmale der Myriad-X-VPU. Durch die Multi-Channel-Fähigkeit lässt sich jede einzelne VPU eine andere DL-Topologie zuweisen, um simultane Berechnungen auszuführen. AlexNet, GoogleNet, Yolo Tiny, SSD300, ResNet, SqueezeNet oder MobileNet sind nur ein kleiner Teil der unterstützten Topologien. Die Kompatibilität mit dem Open Visual Inference Neural Network Optimization (OpenVINO) Toolkit von Intel sorgt für eine Performance-Optimierung des eingespielten Trainingsmodelle und nimmt eine passende Skalierung auf das Zielsystem an der Edge vor. Daraus ergibt sich eine Integration ohne langwieriges Trial and Error.

Die Mustang-V100-Serie ist mit einer Vielzahl von gängigen Betriebssystemen wie Ubuntu 16.04, CentosOS 7.4 und Windows 10 IoT kompatibel. Durch den geringen Stromverbrauch von 2,5 W pro VPU beziehungsweise 15 W Gesamtverbrauch der Mustang-V100-MX4 eignet sie sich damit besonders für Low-Power-KI-Anwendungen. Neben der Mustang-V100-MX4 mit vier VPUs bietet ICP Deutschland auch eine PCIe-Variante mit acht VPUs sowie Varianten, die auf dem Mini-PCIe- und M.2-Bus basieren.