New Relic kündigte die Integration seiner Plattform mit NVIDIA NIM Inferenz-Microservices an, um die Komplexität und die Kosten für die Entwicklung, Bereitstellung und Überwachung von generativen KI-Anwendungen (GenAI) zu reduzieren. Kunden können jetzt mit New Relic AI Monitoring einen umfassenden Überblick über den KI-Stack für Anwendungen erhalten, die mit NVIDIA NIM entwickelt wurden, und zwar mit einer vereinfachten Einrichtung und verbesserter Datensicherheit. Dies ergänzt die robusten Sicherheitsfunktionen und die Benutzerfreundlichkeit der selbstgehosteten Modelle von NVIDIA NIM, die die Bereitstellung generativer KI-Anwendungen beschleunigen.

Zusammen können New Relic und NVIDIA NIM Kunden helfen, KI schneller einzuführen und einen schnelleren ROI zu erzielen. Unternehmen setzen generative KI schnell ein, um digitale Erlebnisse zu verbessern, die Produktivität zu steigern und den Umsatz zu erhöhen. Gartner sagt voraus, dass über 80% der Unternehmen bis 2026 GenAI nutzen oder GenAI-Apps einsetzen werden.

Eine schnelle Bereitstellung und ein schnellerer ROI sind für Unternehmen entscheidend, um einen Marktvorteil zu erlangen, und Beobachtbarkeit ist der Schlüssel dazu. New Relic bietet eine umfassende Echtzeitansicht des KI-Anwendungsstapels - über Dienste, Infrastruktur und die KI-Schicht hinweg - um einen effizienten, zuverlässigen und kostengünstigen Betrieb zu gewährleisten. New Relic ermöglicht einen schnelleren ROI für KI-Anwendungen, die mit NVIDIA NIM entwickelt wurden.

KI-Anwendungen können Tech-Stacks vereinfachen, Sicherheitsbedenken verstärken und kostspielig sein. Die KI-Überwachung von New Relic bietet einen umfassenden Überblick über den KI-Stack sowie wichtige Kennzahlen zu Durchsatz, Latenz und Kosten und gewährleistet gleichzeitig den Datenschutz. Es verfolgt auch die Anfrageströme zwischen den Diensten und Modellen, um die innere Funktionsweise von KI-Anwendungen zu verstehen.

New Relic weitet seine detaillierte Überwachung auf NVIDIA NIM aus und unterstützt eine breite Palette von KI-Modellen wie Databricks DBRX, Googles Gemma, Metas Llama 3, Microsofts Phi-3, Mistral Large und Mixtral 8x22B sowie Snowflakes Arctic. Dies hilft Unternehmen, KI-Anwendungen, die mit NVIDIA NIM entwickelt wurden, sicher einzusetzen, die Markteinführung zu beschleunigen und den ROI zu verbessern. Zu den wichtigsten Funktionen und Anwendungsfällen für die KI-Überwachung gehören: Vollständige KI-Stack-Transparenz: Erkennen Sie Probleme schneller mit einem Überblick über Anwendungen, NVIDIA GPU-basierte Infrastruktur, KI-Schicht, Antwortqualität, Token-Anzahl und APM Golden Signals.

Tiefe Einblicke in Traces für jede Antwort: Beheben Sie Leistungs- und Qualitätsprobleme wie Verzerrungen, Toxizität und Halluzinationen, indem Sie den Lebenszyklus von KI-Antworten nachvollziehen. Modell-Inventarisierung: Isolieren Sie ganz einfach modellbezogene Leistungs-, Fehler- und Kostenprobleme, indem Sie die wichtigsten Metriken für alle NVIDIA NIM Inferenz-Microservices an einem Ort verfolgen. Modellvergleich: Vergleichen Sie die Leistung von NVIDIA NIM Inferenz-Microservices, die in der Produktion laufen, in einer einzigen Ansicht, um die Modellauswahl auf der Grundlage von Infrastruktur und Benutzeranforderungen zu optimieren.

Tiefe Einblicke in GPUs: Analysieren Sie wichtige Metriken für beschleunigtes Computing wie GPU-Auslastung, Temperatur und Leistungsstatus; verstehen Sie Zusammenhänge und lösen Sie Probleme schneller. Verbesserte Datensicherheit: Zusätzlich zu den Sicherheitsvorteilen des selbst gehosteten NVIDIA-Modells ermöglicht New Relic die Überwachung sensibler Daten (PII) in KI-Anfragen und -Antworten auszuschließen. New Relic vertieft mit NVIDIA sein 60+ KI-Integrations-Ökosystem Diese Integration folgt auf die kürzliche Aufnahme von New Relic in das AIOps-Partner-Ökosystem von NVIDIA.

Durch die Nutzung der beschleunigten Rechenleistung von NVIDIA AI kombiniert New Relic Beobachtbarkeit und KI, um den IT-Betrieb zu rationalisieren und Innovationen durch seinen maschinellen Lern- und generativen KI-Assistenten New Relic AI zu beschleunigen. New Relic bietet die umfangreichste Observability-Lösung mit mehr als 60 KI-Integrationen, einschließlich NVIDIA GPUs und NVIDIA Tritonference Server Software. Die KI-Überwachung von New Relic ist als Teil der All-in-One Observability-Plattform verfügbar und wird über ein nutzungsbasiertes Preismodell angeboten.