Advantech hat eine Edge-KI-Serverlösung für generative KI angekündigt, die mit der patentierten aiDAPTIV+ Technologie von Phison ausgestattet ist. Der AIR-520 Edge AI Server, der von einem Prozessor der AMD EPYC 7003 Serie angetrieben wird, integriert SQ ai100 AI SSDs, NVIDIA RTX GPU Karten, ein Edge AI SDK und NVIDIA AI Enterprise, um eine sofort einsatzbereite Lösung zu bieten. Generative KI-Tools wie Large Language Models (LLMs) verändern das Wissensmanagement in Unternehmen, indem sie die Organisation, den Abruf und die Analyse von Daten automatisieren und so die Produktivität steigern und die Entscheidungsfindung verbessern.

Maßgeschneiderte LLMs verbessern die Genauigkeit, während Edge-Training den Datenschutz erhöht, auch wenn es kostspieliger sein kann. Diese Lösung unterstützt die Feinabstimmung von LLMs mit 1-4 GPU-Karten und SQ ai100 AI SSDs und ermöglicht es Unternehmen, LLMs kostengünstig zu trainieren und gleichzeitig sensible Daten am Rande zu schützen. Advantech bietet vier Optionen an: AIR-520-L13B/L33B/L70B und L70B-Plus, zugeschnitten auf unterschiedliche Größenordnungen und Anwendungen.

Der L13B ist ideal für Echtzeitanwendungen wie Chatbots und Sprachübersetzung. Der L33B ist für komplexere Aufgaben geeignet und steigert die Produktivität und Innovation bei der Erstellung von Inhalten. Die L70B eignet sich hervorragend für anspruchsvolle Datenanalysen und Entscheidungsfindung in speziellen Bereichen.

Darüber hinaus bietet der L70B-Plus, der mit NVIDIA AI Enterprise ausgestattet ist, durchgängige, zuverlässige und optimierte KI-SDKs mit langfristigem Support und fachkundigen Beratungsleistungen. Alle AIR-520 Lösungen beinhalten SQ ai100 AI SSDs, die die aiDAPTIV+ Technologie von Phison nutzen. Diese SSDs fungieren als Erweiterung des GPU vRAM und ermöglichen es dem System, LLMs mit minimalen GPU-Karten fein abzustimmen.

Dieser Ansatz verringert nicht nur die Budgetgrenze, sondern macht den Edge AI Server auch kompakter im Vergleich zu herkömmlichen großen Rackmount-Servern. Seine Größe ist mit der eines Desktop-PCs vergleichbar, und er kann mit dem entsprechenden Zubehör in ein Rack eingebaut werden, so dass Sie sich keine Sorgen mehr um Platz und Wartung machen müssen. Zusätzlich zu den LLM-Feinabstimmungsfunktionen bietet Advantech ein Edge AI SDK mit dem GenAI Training Studio, das mit Llama-2-Modellen für Anwendungen wie Chatbots und Datenanalyse vorgeladen ist.

Dies vereinfacht und beschleunigt das kundenspezifische LLM-Modelltraining und die Inferenzauswertung auf dem AIR-520. Darüber hinaus bietet DeviceOn von Advantech OTA-Software-/Container-Updates und Fernverwaltung, was eine effiziente KI-Orchestrierung und langfristige Wartung ermöglicht.