NVIDIA CORPORATION 
Die beiden neuen Benchmarks von MLCommons messen die Geschwindigkeit, mit der die KI-Chips und -Systeme Antworten aus den leistungsstarken KI-Modellen generieren können, die mit Daten gefüllt sind. Die Ergebnisse zeigen in etwa, wie schnell eine KI-Anwendung wie ChatGPT eine Antwort auf eine Benutzeranfrage liefern kann.
Einer der neuen Benchmarks hat die Fähigkeit hinzugefügt, die Geschwindigkeit eines Frage-und-Antwort-Szenarios für große Sprachmodelle zu messen. Er heißt Llama 2, umfasst 70 Milliarden Parameter und wurde von Meta Platforms entwickelt.
Die Verantwortlichen von MLCommons haben außerdem einen zweiten Text-zu-Bild-Generator in die Suite der Benchmarking-Tools aufgenommen, der MLPerf heißt und auf dem Modell Stable Diffusion XL von Stability AI basiert.
Server mit Nvidias H100-Chips, die von Unternehmen wie Google, Supermicro und Nvidia selbst gebaut wurden, haben die beiden neuen Benchmarks in Bezug auf die Rohleistung mit Leichtigkeit gewonnen. Mehrere Serverhersteller reichten Designs ein, die auf dem weniger leistungsstarken L40S-Chip des Unternehmens basieren.
Der Serverhersteller Krai reichte für den Benchmark zur Bilderzeugung ein Design mit einem KI-Chip von Qualcomm ein, der deutlich weniger Strom verbraucht als die innovativen Prozessoren von Nvidia.
Auch Intel reichte ein Design ein, das auf seinen Gaudi2-Beschleunigerchips basiert. Das Unternehmen bezeichnete die Ergebnisse als "solide".
Die rohe Leistung ist nicht die einzige Größe, die für den Einsatz von KI-Anwendungen entscheidend ist. Fortschrittliche KI-Chips verbrauchen enorme Mengen an Energie und eine der größten Herausforderungen für KI-Unternehmen ist die Entwicklung von Chips, die ein optimales Maß an Leistung bei minimalem Energieverbrauch bieten.
MLCommons hat eine eigene Benchmark-Kategorie zur Messung des Stromverbrauchs. (Berichte von Max A. Cherney in San Francisco; Bearbeitung durch Jamie Freed)
