Beim neuesten Training v1.1 des Open-Engineering-Konsortiums MLCommons hat Inspur Information NF5488A5- und NF5688M6-Server-Ergebnisse für alle acht Single-Node Closed Division-Aufgaben eingereicht und sieben davon gewonnen.

MLPerf wurde von MLCommons gegründet und ist ein KI-Leistungsbenchmark, der zu einer wichtigen Referenz für KI-Lösungen geworden ist. Am Training v1.1 nahmen 14 Organisationen teil. Ergebnisse für 180 Aufgaben der geschlossenen und sechs Aufgaben der offenen Abteilung wurden eingereicht.

Die Closed Division ist stark wettbewerbsorientiert: Sie erfordert die Verwendung von Referenzmodellen, um einen objektiven Vergleich der konkurrierenden Einreichungen zu ermöglichen. Die Benchmarks umfassten acht repräsentative Aufgaben des maschinellen Lernens, darunter Bildklassifizierung (ResNet50), Segmentierung medizinischer Bilder (U-Net 3D) und Verarbeitung natürlicher Sprache (BERT).

Der NF5688M6 von Inspur war der Spitzenreiter bei vier Aufgaben: Natürliche Sprachverarbeitung (BERT), Objekterkennung Heavy-Weight (Mask R-CNN), Empfehlung (DLRM) und Segmentierung medizinischer Bilder (U-Net 3D). NF5488A5 war Top-Performer bei drei Aufgaben: Bildklassifizierung (ResNet50), Objekterkennung Light-Weight (SSD) und Spracherkennung (RNNT).

Inspur Single Node Title List

MLPerf v1.1 AI Training Results

 

AI Server

Tasks

Model

Result

(minute)

Inspur Information

NF5688M6

Natural Language Processing

BERT

19.389

Object Detection Heavy-Weight

Mask R-CNN

45.667

Recommendation

DLRM

1.698

Medical Image Segmentation

U-Net 3D

23.464

NF5488A5

Image classification

ResNet50

27.568

Object Detection Light-Weight

SSD

7.979

Speech Recognition

RNNT

33.377

Full-Stack-KI-Lösung führt zu höherer KI-Trainingsgeschwindigkeit

Die KI-Server von Inspur waren wegen der speziellen Software- und Hardware-Optimierungen führend bei der Single-Node-Leistung im MLPerf v1.1. Im Vergleich zu Training v1.0 stieg die KI-Trainingsgeschwindigkeit von Inspur in folgenden Bereichen: Medizinische Bildsegmentierung (18%), Spracherkennung (14%), Empfehlung (11%) und Verarbeitung natürlicher Sprache (8%).

Dank der höheren Geschwindigkeit können die Inspur AI-Server 12.600 Bilder in SSD, 8.000 Sprachstücke in RNNT oder 27.400 Bilder in ResNet50-Aufgaben pro Sekunde verarbeiten.

In ResNet50 hat Inspur die Vorverarbeitung von Bildern optimiert, ein DALI-Framework verwendet und die Dekodierung auf der GPU ausgeführt, um CPU-Engpässe zu vermeiden. Diese kontinuierlichen Optimierungen haben dafür gesorgt, dass Inspur bei den letzten drei Benchmarks die ResNet50-Rangliste anführte.

Die führende Leistung von Inspur in den MLPerf-Benchmarks basiert auf fortschrittlichen Systemdesign und Full-Stack-Optimierungen im Bereich KI. Auf der Hardware-Ebene ermöglicht das PCIe Retimer Free Design von Inspur eine Hochgeschwindigkeitsverbindung zwischen CPU und GPU und ermöglicht so eine engpassfreie IO-Übertragung beim KI-Training für eine verbesserte Effizienz. Für die kooperative Planung von Multi-GPU-Aufgaben mit hoher Auslastung wird die Datenübertragung zwischen NUMA-Knoten und GPUs optimiert und kalibriert – so wird sichergestellt, dass die Daten-IO in Trainingsaufgaben nicht blockiert werden. Inspur verwendet A100-SXM-80GB (500W) GPUs, die leistungsstärksten GPUs in der Branche. Dadurch wurde ein innovatives Cold-Plate-Flüssigkeitskühlsystems entwickelt, damit diese leistungsstarken GPUs stabil mit voller Leistung arbeiten können, was wiederum die volle Systemleistung garantiert.

MLPerf 2021 schließt offiziell mit 44 Titeln für Inpur Information ab

Die Ergebnisse des MLPerf Training v1.1 markieren den Abschluss des MLPerf 2021. Mit 44 Titeln im Jahr 2021 hat Inspur seine führende KI-Trainings- und Inferenzleistung unter Beweis gestellt.

The 2021 Inspur MLPerf Performance Title list

Scenario

Number of Titles

AI Inference

Data Center

17(out of 32)

Edge

16(out of 31)

AI Training

Single node

11(out of 16)

Total

44

Die KI-Server NF5488A5, NF5688M6 und der Edge-Server NE5260M5 von Inspur gewannen 18, 15 bzw. 11 Titel.

Der NF5488A5 ist einer der ersten A100-Server auf dem Markt. Er ist mit 8x 3rd Gen NVlink A100 GPUs und 2 AMD Milan CPUs in einem 4U-Gehäuse ausgestattet, das sowohl Flüssigkeits- als auch Luftkühlungstechnologie unterstützt.

Der NF5688M6 ist ein KI-Server, der für große Rechenzentren mit extremer Skalierbarkeit optimiert ist. Er unterstützt acht A100-GPUs, zwei Intel Ice Lake CPUs und bis zu 13 PCIe Gen4 IO-Erweiterungskarten.

Der NE5260M5 kann mit verschiedenen Hochleistungs-CPUs und KI-Beschleunigungskarten ausgestattet werden. Die Gehäusetiefe von 430 mm ist halb so groß wie die eines normalen Servers. In Kombination mit Optimierungen zur Vibrations- und Geräuschreduzierung und strengen Zuverlässigkeitstests ist er das ideale Gerät für Edge Computing.

Über Inspur Information

Inspur Electronic Information Industry Co., LTD ist ein führender Anbieter von Lösungen für Rechenzentrumsinfrastruktur, Cloud Computing und KI und gehört zu den Top 2 der weltweit führenden Serverherstellern. Durch Entwicklung und Innovation liefert Inspur hochmoderne Computerhardware und ein umfangreiches Produktangebot für wichtige Technologiebereiche wie Open Computing, Cloud-Rechenzentren, KI und Deep Learning. Leistungsoptimiert und zweckgerichtet ermöglichen unsere erstklassigen Lösungen den Kunden, spezifische Workloads und Herausforderungen der realen Welt zu bewältigen. Um mehr zu erfahren, besuchen Sie https://www.inspur.com/