New Relic hat New Relic AI Monitoring (AIM) eingeführt, die branchenweit erste APM-Lösung für KI-gestützte Anwendungen. New Relic leistet mit AIM Pionierarbeit bei der Beobachtung von KI, um Ingenieuren eine beispiellose Transparenz und Einblicke in den gesamten KI-Anwendungsstapel zu bieten. Dies erleichtert die Fehlersuche und die Optimierung ihrer KI-Anwendungen im Hinblick auf Leistung, Qualität, Kosten und den verantwortungsvollen Einsatz von KI. Mit mehr als 50 Integrationen und Funktionen wie LLM-Antwortverfolgung und Modellvergleich unterstützt AIM Teams bei der Erstellung und Ausführung von LLM-basierten Anwendungen mit Vertrauen.

KI-gestützte Anwendungen bringen neue Komplexität in Unternehmen. KI-Komponenten wie große Sprachmodelle (LLMs) und Vektordatenbanken sind für Ingenieure oft eine Blackbox. Sie können ungenaue und verzerrte Ergebnisse liefern, Sicherheitsprobleme verursachen und große Mengen an Telemetriedaten erzeugen, die nachverfolgt und analysiert werden müssen. AIM löst dieses Problem, indem es für alle KI-gesteuerten Anwendungen eine durchgängige Beobachtungsmöglichkeit bietet.

Ingenieure können auf eine einzige Ansicht zugreifen, um verschiedene LLM-Aufforderungen und -Antworten im Hinblick auf Leistung, Kosten, Sicherheit und Qualität (einschließlich Halluzinationen, Verzerrungen, Toxizität und Fairness) zu prüfen, zu vergleichen und zu optimieren. Der Kompromiss besteht darin, dass KI die Komplexität ihres technischen Stapels erhöht und verantwortungsvoll eingesetzt werden muss, wobei Sicherheit, Qualität, Compliance und Kosten an erster Stelle stehen. Die Anwendung von Beobachtbarkeit auf KI-Anwendungen ist ein intelligenter und effizienter Weg, diese Komplexität zu bewältigen, damit Unternehmen skalieren und Innovationen vorantreiben können.

Jedes Unternehmen, das diese Lösungen anbietet, ermöglicht es Unternehmen letztlich, bessere Produkte und Kundenerfahrungen zu liefern. Zu den wichtigsten Funktionen und Anwendungsfällen gehören: Automatische Instrumentierung: New Relic Agents sind mit allen AIM-Funktionen ausgestattet, einschließlich vollständiger KI-Stack-Transparenz, Response Tracing, Modellvergleich und mehr für eine schnelle und einfache Einrichtung. Vollständige KI-Stack-Transparenz: Ganzheitlicher Überblick über die Anwendung, die Infrastruktur und die KI-Schicht, einschließlich KI-Metriken wie Antwortqualität und Token neben APM Golden Signals.

Überwachen Sie Ihr KI-Ökosystem sofort: Die umfassendste Lösung für die Überwachung des gesamten Stacks eines beliebigen KI-Ökosystems mit über 50 Integrationen und Schnellstarts: Orchestrierungs-Framework: LangChain, LLM: OpenAI, PaLM2, HuggingFace, Bibliotheken für maschinelles Lernen: Pytorch, TensorFlow, Modellierung: Amazon SageMaker, AzureML, Vektordatenbanken: Pinecone, Weaviate, Milvus, FAISS, KI-Infrastruktur: Azure, AWS, GCP. AIM ist ab sofort für New Relic-Benutzer auf der ganzen Welt im Early Access verfügbar. Benutzer können sich hier anmelden, um einen frühen Zugang zu beantragen, der Teil der vereinfachten, verbrauchsbasierten Preisgestaltung von New Relic ist.