Fastly, Inc. kündigte die Einführung von Fastly AI Accelerator an, der ersten KI-Lösung des Unternehmens, die Entwicklern ein besseres Erlebnis bieten soll, indem sie hilft, die Leistung zu verbessern und die Kosten bei der Verwendung ähnlicher Aufforderungen für Anwendungen mit großen Sprachmodellen (LLM) zu senken. Fastly AI Accelerator wurde entwickelt, um API-Aufrufe und Kosten durch intelligentes, semantisches Caching zu reduzieren. Der AI Accelerator basiert auf der Edge Cloud Platform von Fastly und nutzt die branchenführende Caching-Technologie. Er verwendet ein spezielles API-Gateway, um die Leistung von Anwendungen, die gängige LLMs verwenden, drastisch zu verbessern, beginnend mit ChatGPT und erweitert die Unterstützung auf weitere Modelle.

Beliebte KI-Anwendungen können täglich Hunderttausende von API-Aufrufen oder Fragen verarbeiten. Viele der Fragen, die Benutzer stellen, sind wahrscheinlich sehr ähnlich und wurden vielleicht schon einmal gestellt. Ohne semantische Zwischenspeicherung müssen die Informationen bei jedem Aufruf des LLMs erneut beim Anbieter abgefragt werden, was die Kosten und die Latenzzeit erhöhen kann.

Das semantische Caching von Fastly AI Accelerator liefert jedoch eine zwischengespeicherte Antwort für wiederholte Abfragen direkt von der leistungsstarken Edge-Plattform von Fastly, anstatt zurück zum KI-Anbieter zu gehen, und trägt so zu einem besseren Erlebnis bei, indem es die Leistung verbessert und gleichzeitig die Kosten reduziert. Bei der Verwendung von Fastly AI Accelerator müssen Entwickler nur ihre App aktualisieren, um einen neuen API-Endpunkt zu verwenden, was in der Regel nur die Änderung einer einzigen Codezeile erfordert. Fastly AI Accelerator implementiert dann auf transparente Weise semantisches Caching für OpenAI-kompatible APIs.

Dieser Ansatz geht über das traditionelle Caching hinaus, da Fastly AI Accelerator in der Lage ist, den Kontext der Anfragen und Abfragen zu verstehen und eine ähnliche Antwort zu senden, wenn zwei oder mehr Anfragen gleich sind. Um Entwicklern dabei zu helfen, schnellere, sicherere und ansprechendere Erlebnisse zu schaffen, macht Fastly es Entwicklern jetzt noch einfacher, Fastly auszuprobieren, und zwar mit einem erweiterten kostenlosen Account-Tier, mit dem Programmierer in wenigen Minuten eine neue Website einrichten, eine neue App erstellen oder einen neuen Service starten können. Die kostenlosen Konten beinhalten auch den Zugang zum Content Delivery Network (CDN) von Fastly, großzügige Speicherplatz- und Speicherkontingente, uneingeschränkte Weiterleitungen, Seitenregeln und reguläre Ausdrücke.

Darüber hinaus umfasst das kostenlose Fastly-Tier Sicherheitsfunktionen wie TLS und permanente DDoS-Abwehr, Beobachtungstools und vieles mehr.