Red Hat, Inc. kündigte Fortschritte bei Red Hat OpenShift AI an, einer offenen hybriden Plattform für künstliche Intelligenz (KI) und maschinelles Lernen (ML), die auf Red Hat OpenShift aufbaut und es Unternehmen ermöglicht, KI-fähige Anwendungen in großem Umfang in hybriden Clouds zu erstellen und bereitzustellen. Diese Updates unterstreichen Red Hats Vision für KI und bringen Red Hats Engagement für die Wahlfreiheit der Kunden in die Welt der intelligenten Workloads, von der zugrundeliegenden Hardware bis hin zu den Diensten und Tools wie Jupyter und PyTorch, die für die Entwicklung auf der Plattform verwendet werden. Dies ermöglicht schnellere Innovationen, eine höhere Produktivität und die Fähigkeit, KI in den täglichen Geschäftsbetrieb einzubinden, durch eine flexiblere, skalierbare und anpassungsfähige Open-Source-Plattform, die sowohl prädiktive als auch generative Modelle ermöglicht, mit oder ohne die Nutzung von Cloud-Umgebungen.

Kunden sehen sich mit vielen Herausforderungen konfrontiert, wenn sie KI-Modelle vom Experimentieren in die Produktion überführen. Dazu gehören erhöhte Hardwarekosten, Bedenken hinsichtlich des Datenschutzes und mangelndes Vertrauen in die gemeinsame Nutzung ihrer Daten mit SaaS-basierten Modellen. Generative KI (GenAI) verändert sich rasant, und viele Unternehmen haben Schwierigkeiten, eine zuverlässige KI-Kernplattform zu etablieren, die vor Ort oder in der Cloud betrieben werden kann. Laut IDC müssen Unternehmen, um KI erfolgreich nutzen zu können, viele bestehende Anwendungen und Datenumgebungen modernisieren, Barrieren zwischen bestehenden Systemen und Speicherplattformen abbauen, die Nachhaltigkeit der Infrastruktur verbessern und sorgfältig auswählen, wo die verschiedenen Workloads in der Cloud, im Rechenzentrum und am Rande des Rechenzentrums bereitgestellt werden sollen.

Für Red Hat zeigt dies, dass KI-Plattformen Flexibilität bieten müssen, um Unternehmen bei der Einführung von KI zu unterstützen, während sich ihre Bedürfnisse und Ressourcen anpassen. Die KI-Strategie von Red Hat ermöglicht Flexibilität in der hybriden Cloud, bietet die Möglichkeit, vortrainierte oder kuratierte Basismodelle mit ihren Kundendaten zu erweitern und die Freiheit, eine Vielzahl von Hardware- und Softwarebeschleunigern zu aktivieren. Die neuen und erweiterten Funktionen von Red Hat OpenShift AI erfüllen diese Anforderungen durch den Zugang zu den neuesten KI/ML-Innovationen und die Unterstützung durch ein umfassendes KI-zentriertes Partner-Ökosystem.

Die neueste Version der Plattform, Red Hat OpenShift AI 2.9, liefert: Model Serving at the Edge erweitert die Bereitstellung von KI-Modellen auf entfernte Standorte unter Verwendung von OpenShift mit einem einzigen Knoten. Es bietet Inferencing-Funktionen in ressourcenbeschränkten Umgebungen mit unterbrochenem oder lückenhaftem Netzwerkzugang. Diese Technologievorschau bietet Unternehmen eine skalierbare, konsistente Betriebserfahrung vom Kern über die Cloud bis hin zum Edge und beinhaltet eine sofortige Beobachtungsmöglichkeit.

Verbessertes Model Serving mit der Möglichkeit, mehrere Modellserver zu verwenden, um sowohl Predictive als auch GenAI zu unterstützen, einschließlich Unterstützung für KServe, eine benutzerdefinierte Kubernetes-Ressourcendefinition, die das Serving für alle Arten von Modellen orchestriert, vLLM und Text Generation Inference Server (TGIS), Serving-Engines für LLMs und Caikit-nlp-tgis Runtime, die Modelle und Aufgaben der natürlichen Sprachverarbeitung (NLP) verarbeitet. Dank des verbesserten Model Serving können Benutzer Predictive und GenAI auf einer einzigen Plattform für mehrere Anwendungsfälle ausführen, was die Kosten senkt und den Betrieb vereinfacht. Dies ermöglicht ein sofort einsatzbereites Model Serving für LLMs und vereinfacht den Arbeitsablauf der Benutzer.

Verteilte Arbeitslasten mit Ray, unter Verwendung von CodeFlare und KubeRay, das mehrere Clusterknoten für eine schnellere und effizientere Datenverarbeitung und Modellschulung nutzt. Ray ist ein Framework zur Beschleunigung von KI-Workloads, und KubeRay hilft bei der Verwaltung dieser Workloads auf Kubernetes. CodeFlare ist ein zentraler Bestandteil der verteilten Arbeitslasten von Red Hat OpenShift AI und bietet ein benutzerfreundliches Framework, das die Orchestrierung und Überwachung von Aufgaben vereinfacht.

Die zentralen Warteschlangen- und Verwaltungsfunktionen ermöglichen eine optimale Auslastung der Knoten und die Zuweisung von Ressourcen, wie z.B. GPUs, an die richtigen Benutzer und Workloads. Verbesserte Modellentwicklung durch Projekt-Workspaces und zusätzliche Workbench-Images, die Datenwissenschaftlern die Flexibilität bieten, IDEs und Toolkits wie VS Code und RStudio, die derzeit als Technologievorschau verfügbar sind, und erweitertes CUDA für eine Vielzahl von Anwendungsfällen und Modelltypen zu verwenden. Visualisierungen zur Modellüberwachung für Leistungs- und Betriebsmetriken, um die Leistung von KI-Modellen besser beobachten zu können.

Neue Beschleunigerprofile ermöglichen es Administratoren, verschiedene Arten von Hardware-Beschleunigern zu konfigurieren, die für die Modellentwicklung und modellunterstützende Workflows verfügbar sind. Dies ermöglicht einen einfachen Selbstbedienungszugriff auf den geeigneten Beschleunigertyp für eine bestimmte Arbeitslast. Zusätzlich zu Red Hat OpenShift AI, das IBMs watsonx.ai unterstützt, rüsten sich Unternehmen aus verschiedenen Branchen mit Red Hat OpenShift AI aus, um mehr KI-Innovation und Wachstum zu fördern, darunter AGESIC und Ortec Finance.