Hardware, Software, Dienstleistung
Von der Cloud zum Edge mit Edge-KI-Server
Trends wie etwa die Zunahme des KI-IoT-Datenvolumens und der Hardwareleistung haben die Systemarchitektur von Edge-KI-Anwendungen verändert. Weil immer mehr Unternehmen das Training von KI-Modellen von der Cloud auf die Edge verlagern, ist die Nachfrage nach Edge-KI-Servern erheblich gestiegen.
Historisch gesehen trainierten Unternehmen KI-Modelle in der Cloud und setzten die trainierten Modelle dann für Inferenzaufgaben an der Edge ein. Dabei wurden regelmäßig Daten und Vorhersageergebnisse von den Endgeräten zurück in die Cloud übertragen.
Fortschritte in der Hardwaretechnologie und die gesteigerte Rechenleistung von Edge-Geräten ermöglichen es jedoch inzwischen, die Anforderungen des KI-Modelltrainings direkt an der Edge zu erfüllen. Gleichzeitig haben die steigenden Kosten für die Übertragung großer KI-IoT-Datenmengen von der Edge in die Cloud Unternehmen dazu veranlasst, das Training von KI-Modellen direkt an der Edge zu erforschen. In Reaktion darauf hat Advantech Edge-KI-Server entwickelt, die Software, Hardware und Dienstleistungen integrieren und Unternehmen helfen, KI zu einem angemessenen Preis zu nutzen.
Sollten KI-Modelle in der Cloud oder am Edge trainiert werden?
Tony Kuo, Produktmanager der Embedded-IoT-Geschäftseinheit von Advantech, schlägt vor, dass Unternehmen auf Grundlage verschiedener Faktoren entscheiden sollten, ob KI-Modelle in der Cloud oder an der Edge trainiert werden. Diese Faktoren umfassen den Anwendungsbereich der KI, die Größe der Modellparameter, das Datenvolumen und das Maß an Datenvertraulichkeit.
Für KI-Modelle mit großen Parametern oder unzureichender Rechenleistung an der Edge ist die Cloud aufgrund der verkürzten Trainingszeit vorzuziehen. Zudem ist das Hochladen hochsensibler Unternehmensdaten in die Cloud meist nicht ratsam. Wenn die für das Finetuning eines Modells erforderlichen Datenmengen zu groß für ein Cloud-Upload sind, können Edge-Geräte diese Aufgaben übernehmen und so hohe Übertragungskosten vermeiden.
Bei generativen KI-Anwendungen entwickeln Unternehmen nicht nur Chatbots für den Kundenservice, sondern integrieren auch Wissensmanagementsysteme, Wartungsanleitungen und andere Datenquellen, um die Arbeitseffizienz zu optimieren. Diese Integration beschleunigt die Datenabfrage und hilft neuen Mitarbeitern, sich schneller einzuarbeiten. Weil interne Daten meist vertraulich sind und sich nicht für Cloud-Uploads eignen, können Unternehmen Edge-KI-Server einsetzen, um Large Language-Models (LLMs) vor Ort effektiv nachzutrainieren.
Das Finetuning von LLMs für generative KI erfordert jedoch viel Speicher (VRAM). Ist der VRAM-Speicher unzureichend, wird das Finetuning unmöglich, was Unternehmen zwingt, teure GPU-Karten für zusätzliche VRAM-Kapazitäten anzuschaffen. Um die Kosten für VRAM-Erweiterungen zu senken und zugleich Datensicherheit und Vertraulichkeit zu gewährleisten, müssen Lösungen gefunden werden, die die wachsenden Parameter generativer KI-Modelle bewältigen.
Jobangebote+ passend zum Thema
Drei Schlüsselaspekte einer umfassenden Anwendung
Um den wachsenden Bedarf von Unternehmen an KI-Modelltraining und Inferenz an der Edge zu decken, hat Advantech die »AIR-500«-Serie von Edge-KI-Servern entwickelt. Diese Server bieten hochfrequente und leistungsstarke Hardware und werden durch integrierte Software und Dienstleistungen ergänzt. Durch die Kombination dieser drei Schlüsselkomponenten hat Advantech ein umfassendes System für Edge-KI-Anwendungen geschaffen, das auf verschiedene Unternehmensbedürfnisse zugeschnitten ist.
Die AIR-500-Serie wurde entwickelt, um den Anforderungen leistungsstarker KI-Inferenz an der Edge sowie dem Training von KI-Modellen mit spezifischen Parametergrößen gerecht zu werden. Sie erfüllt die Anforderungen an EMV-Tests und Sicherheitszertifizierungen des Marktes für industrielle Steuerungen und wird mit einer langfristigen Versorgungsgarantie von zehn Jahren geliefert. Für das Wärmemanagement bei Hochgeschwindigkeits-KI-Berechnungen hat Advantech die Wärmeableitung verbessert, um einen stabilen Betrieb bei Umgebungstemperaturen von bis zu 40 °C zu gewährleisten. Effiziente Lüftermodule sorgen für zusätzliche Luftzirkulation und verhindern Überhitzung und Leistungsreduzierung.
Die AIR-500-Serie umfasst drei Modelle: AIR-520, AIR-530 und AIR-510. Der AIR-520 ist Advantechs erster Versuch, eine Server-Chipplattform in Edge-Systeme zu integrieren. Dieses Modell unterstützt KI-Modelltraining vor Ort und eignet sich besonders für LLMs wie Llama-2-70B. Zusammen mit Phisons aiDAPTIV+ ermöglicht der AIR-520 fortgeschrittene KI-Trainingsmodelle mit fast unbegrenzter Rechenleistung.
Phisons patentierte KI-Computing-Technologie aiDAPTIV+ nutzt eine integrierte SSD-KI-Computing-Architektur. Diese Technologie teilt große KI-Modelle in kleinere Teile auf und synchronisiert Modellparameter im Laufe der Zeit mit SSD-Operationen. Dadurch wird die Leistung von KI-Modellen auch bei begrenzten GPU- und DRAM-Ressourcen maximiert, was die Hardwarekosten für die Bereitstellung von KI-Diensten erheblich senkt.
Der AIR-530 ist für die Verarbeitung großer Datenmengen mit hoher Geschwindigkeit konzipiert und nutzt den Nvidia-SmartNIC-Chip, um die Netzwerkbandbreite auf 200 Gbit/s zu erhöhen. Dies macht ihn ideal für Anwendungen im Bereich des High-Speed-Streaming wie etwa medizinische Endoskopiesysteme oder Systeme mit mehreren Überwachungskameras. Der AIR-510 bietet eine Vielzahl von I/O-Schnittstellen und eignet sich hervorragend für KI-Anwendungen, die die Integration mehrerer Geräte erfordern. Dazu gehören beispielsweise optische Inspektionssysteme in der Halbleiterindustrie oder Paketsortiersysteme in der Logistik.
Der Autor: Antonios Tsetsos ist Product Sales Manager bei Advantech Europe.
Advantech auf der Messe embedded world 2025: Halle 3, Stand 339
Lesen Sie mehr zum Thema
