„Generative KI und Multi-Cloud sind die perfekte Kombination“, sagt Raghu Raghuram, CEO von VMware. „Kundendaten sind überall – in Rechenzentren, am Edge und in Clouds. Gemeinsam mit NVIDIA werden wir Unternehmen in die Lage versetzen, ihre generativen KI-Workloads vertrauensvoll neben ihren Daten auszuführen. Dabei werden gleichzeitig die Bedenken der Kunden hinsichtlich Datenschutzes, Sicherheit und Kontrolle berücksichtigt.“

„Unternehmen auf der ganzen Welt sind dabei, generative KI zu implementieren“, sagt Jensen Huang, Gründer und CEO von NVIDIA. „Unsere intensivierte Zusammenarbeit mit VMware wird einer Vielzahl von Kunden aus den Bereichen Finanzdienstleistung, Gesundheitswesen, Fertigung und mehr die umfassende Software und das Computing, das sie benötigen, um das Potenzial der generativen KI mit maßgeschneiderten Anwendungen, die mit ihren eigenen Daten erstellt werden, zu erschließen.“

Full-Stack Computing für eine bessere generative KI
Um schneller Geschäftsvorteile zu erzielen, versuchen Unternehmen, die Entwicklung, das Testen und den Einsatz von generativen KI-Anwendungen zu rationalisieren. McKinsey schätzt, dass generative KI den Umsatz der Weltwirtschaft jährlich um bis zu 4,4 Billionen Dollar steigern könnte.(1)

VMware Private AI Foundation mit NVIDIA wird es Unternehmen ermöglichen, große Sprachmodelle anzupassen, sicherere und private Modelle für den internen Gebrauch zu erstellen, generative KI als Service für ihre Anwender anzubieten und Inferenz-Workloads in größerem Umfang sicher auszuführen.

Die Plattform wird voraussichtlich integrierte KI-Tools enthalten, mit denen Unternehmen bewährte Modelle, die auf ihren privaten Daten trainiert wurden, kosteneffizient ausführen können. Die Plattform basiert auf der VMware Cloud Foundation und der NVIDIA AI Enterprise Software und bietet folgende Vorteile:

• Datenschutz – Kunden können KI-Dienste problemlos überall dort ausführen, wo sie Daten haben, und zwar mit einer Architektur, die den Datenschutz wahrt und einen sicheren Zugriff ermöglicht.
• Wahlfreiheit – Unternehmen haben eine große Auswahl bei der Erstellung und Ausführung ihrer Modelle – von NVIDIA NeMo™ bis Llama 2 und darüber hinaus – einschließlich führender OEM-Hardware-Konfigurationen und in Zukunft auch bei Public Cloud- und Service-Provider-Angeboten.
• Leistung – Die Ausführung auf einer schnellen NVIDIA-Infrastruktur liefert in einigen Anwendungsfällen eine Leistung, die der von Bare Metal gleichkommt oder diese sogar übertrifft, wie aktuelle Branchen-Benchmarks zeigen.
• Skalierung im Rechenzentrum – Optimierungen der GPU-Skalierung in virtualisierten Umgebungen ermöglichen die Skalierung von KI-Workloads auf bis zu 16 vGPUs/GPUs in einer einzigen virtuellen Maschine und über mehrere Knoten hinweg, um die Feinabstimmung und Bereitstellung generativer KI-Modelle zu beschleunigen.
• Geringere Kosten – Maximale Nutzung aller Rechenressourcen (GPUs, DPUs und CPUs), um die Gesamtkosten zu senken und eine gepoolte Ressourcenumgebung zu schaffen, die effizient von verschiedenen Teams genutzt werden kann.
• Beschleunigter Storage – Die VMware vSAN Express-Storage-Architektur bietet Performance-optimierten NVMe-Speicher und unterstützt GPUDirect®-Speicher über RDMA, was eine direkte E/A-Übertragung vom Speicher zu den GPUs ohne CPU-Beteiligung ermöglicht.
• Beschleunigtes Networking – Die tiefe Integration zwischen vSphere und der NVIDIA NVSwitch™-Technologie ermöglicht die Ausführung von Multi-GPU-Modellen ohne Engpässe zwischen den GPUs.
• Schnelle Bereitstellung und Time-to-Value – vSphere Deep Learning-VM-Images und Image-Repository ermöglichen schnelles Prototyping, indem sie ein stabiles, schlüsselfertiges Solution Image bieten, bei dem Frameworks und leistungsoptimierte Bibliotheken vorinstalliert sind.

Die Plattform wird NVIDIA NeMo enthalten, ein durchgängiges, cloud-natives Framework, das Teil der NVIDIA AI Enterprise – dem Betriebssystem der NVIDIA AI-Plattform – ist. Es ermöglicht Unternehmen, generative KI-Modelle praktisch überall zu erstellen, anzupassen und einzusetzen. NeMo kombiniert Anpassungs-Frameworks, Guardrail-Toolkits, Datenkuratierungs-Tools und vortrainierte Modelle, um Unternehmen einen einfachen, kostengünstigen und schnellen Weg zur Einführung generativer KI zu bieten.

Für den Einsatz von generativer KI in der Produktion verwendet NeMo TensorRT for Large Language Models (TRT-LLM), das die Inferenzleistung der neuesten LLMs auf NVIDIA-GPUs beschleunigt und optimiert. Mit NeMo ermöglicht die VMware Private AI Foundation NVIDIA Unternehmen, ihre eigenen Daten einzubringen, um benutzerdefinierte generative KI-Modelle in der Hybrid-Cloud-Infrastruktur von VMware zu erstellen und auszuführen.

Weitreichender Ökosystem-Support für VMware Private AI Foundation mit NVIDIA
VMware Private AI Foundation mit NVIDIA wird von Dell Technologies, Hewlett Packard Enterprise und Lenovo unterstützt. Diese Unternehmen gehören zu den ersten, die Systeme anbieten, die mit NVIDIA L40S GPUs, NVIDIA BlueField®-3 DPUs und NVIDIA ConnectX®-7 SmartNICs die LLM-Anpassung und Inferenz-Workloads in Unternehmen optimieren.

Die NVIDIA L40S GPU ermöglicht eine bis zu 1,2-fach höhere generative KI-Inferenzleistung und eine bis zu 1,7-fach höhere Trainingsleistung im Vergleich zur NVIDIA A100 Tensor Core GPU.

NVIDIA BlueField-3 DPUs beschleunigen, entlasten und isolieren die enorme Rechenlast von Virtualisierung, Netzwerk, Speicher, Sicherheit und anderen Cloud-nativen KI-Diensten von der GPU oder CPU.

NVIDIA ConnectX-7 SmartNICs liefern intelligente, beschleunigte Netzwerke für die Rechenzentrumsinfrastruktur, um einige der anspruchsvollsten KI-Workloads der Welt zu unterstützen.

Die VMware Private AI Foundation mit NVIDIA baut auf der jahrzehntelangen Partnerschaft der beiden Unternehmen auf. Ihre gemeinsame Entwicklungsarbeit hat die Cloud-Infrastruktur von VMware so optimiert, dass NVIDIA AI Enterprise mit einer mit Bare Metal vergleichbaren Leistung ausgeführt werden kann. Gemeinsame Kunden profitieren darüber hinaus vom Ressourcen- und Infrastrukturmanagement und der Flexibilität der VMware Cloud Foundation.
Verfügbarkeit
VMware plant die Veröffentlichung von VMware Private AI Foundation mit NVIDIA für Anfang 2024.

(1) The economic potential of generative AI: The next productivity frontier, McKinsey, 2023

Über NVIDIA
Seit seiner Gründung im Jahr 1993 ist NVIDIA (NASDAQ: NVDA) ein Pionier im Bereich des beschleunigten Computings. Die Erfindung des Grafikprozessors (GPU) im Jahr 1999 hat das Wachstum des PC-Spielemarktes ausgelöst, die Computergrafik neu definiert, die Ära der modernen KI eingeleitet und die industrielle Digitalisierung in allen Märkten vorangetrieben. NVIDIA ist heute ein

Computing-Unternehmen mit Angeboten im Rechenzentrumsmaßstab, die die Industrie umgestalten. Weitere Informationen unter https://nvidianews.nvidia.com/….