Das neue und vereinfachte Treibererlebnis für KI-Beschleuniger auf Red Hat Enterprise Linux

Viele bestehende und gängige Workloads werden zunehmend mit KI kombiniert und verbessert. Es ist davon auszugehen, dass diese Entwicklung in Zukunft zu einer neuen Welle von KI-Anwendungen führen wird. Dadurch gewinnen KI-Beschleuniger wie GPUs (Graphics Processing Units) und speziell entwickelte Trainings- und Inferenz-Engines zunehmend an Bedeutung. Angesichts der Entwicklung von diskreten GPUs hin zu KI-Beschleunigung, die in die herkömmliche CPU integriert ist, wird deutlich, dass spezialisierte, beschleunigte Hardware erforderlich ist, um die für die Entwicklung und Bereitstellung der zukünftigen Workloads benötigte Performance zu erzielen.

Aus diesem Grund führen wir ein neues, vereinfachtes Treibererlebnis für KI-Beschleuniger auf Red Hat Enterprise Linux (RHEL) ein. Unabhängig davon, ob Sie eine bahnbrechende KI-Anwendung entwickeln oder als IT-Systemadministrator Server für die Bereitstellung von KI-Workloads provisionieren – mit RHEL können Sie beschleunigte Systeme nahtlos einrichten und ausführen. Sie können jetzt Treiber für KI-Beschleuniger von NVIDIA und AMD über Red Hat Repositories erwerben, die von Red Hat unter Verwendung sicherer Software-Lieferkettenpraktiken und Secure Boot-Technologien entwickelt und signiert wurden. Mit nur einem Befehl können Sie die neuesten verfügbaren Treiber für Beschleuniger installieren.

Die Schwierigkeiten beim Management von GPU-Treibern und unsere Lösung

In der Vergangenheit gab es bei der Installation und Wartung von Treibern für GPU-Beschleuniger bei Linux-Distributionen für Unternehmen zahlreiche Herausforderungen. Nutzende sahen sich oft mit folgenden Schwierigkeiten konfrontiert:

• Treiberkompatibilität: Sicherstellung der richtigen Treiberversion für bestimmte Kernel und Hardware
• Sicherheit und Vertrauen: Überprüfung der Authentizität und Integrität von Drittanbietertreibern durch Unterstützung von Secure Boot
• Wartungsaufwand: Manuelle Aktualisierung von Treibern und Verwaltung potenzieller Konflikte bei Systemaktualisierungen

Dieses neue Angebot von Red Hat geht diese Herausforderungen direkt an. Durch die Bereitstellung von AMD-, Intel- und NVIDIA-Treibern über Red Hat Repositories können wir das Deployment und das Management von KI-Workloads auf RHEL vereinfachen, wodurch Sie mehr Zuverlässigkeit und Kontrolle erhalten.

Unsere neuen IT-Erlebnisse umfassen:

• Kernel- und Benutzermodus-Treiber für KI-Beschleuniger von NVIDIA und AMD, entwickelt und signiert von Red Hat (sofern zutreffend) und in Red Hat Repositories paketiert
• Ein Skript zur nahtlosen Installation der neuesten Treiber für KI-Beschleuniger von NVIDIA und AMD für Rechenzentren
• Kernelmodus-Treiber von AMD und Intel, integriert in den Upstream-Linux-Kernel

Warum dies für Ihre KI-Initiativen wichtig ist

Diese neue Funktion bietet RHEL-Nutzenden, die KI-Beschleuniger einsetzen, mehrere wichtige Vorteile:

• Schnellere Wertschöpfung: Durch die reibungslosere Installation und Verwaltung von Treibern können Ihre Teams mehr Zeit für das Entwickeln und Bereitstellen geschäftskritischer KI-Workloads verwenden, die für Ihr Unternehmen wichtig sind, und weniger Zeit, um Aufgaben zu erledigen.
• Mehr Sicherheit und Vertrauen: Sämtliche Treiber werden von Red Hat entwickelt und signiert, was zu mehr Sicherheit in der Lieferkette und der Integration mit vertraulicher Datenverarbeitung führt. Das Deployment kann mit mehr Zuversicht erfolgen, da Sie wissen, dass die Treiber authentisch sind und nicht manipuliert wurden.
• Optimierter Zugriff: Über das IT-Ökosystem von Red Hat (Extensions und Supplementary Repositories) erhalten Sie sämtliche Treiber, die für den Betrieb Ihrer KI-Beschleuniger-Hardware erforderlich sind. Diese lassen sich mit dnf-Befehlen nahtlos in Ihre bestehenden RHEL-Update-Workflows integrieren.
• Vertrauen in Kompatibilität durch Partnervalidierung: Die Treiber werden von unseren Partnern getestet und validiert, was für Stabilität und Kompatibilität mit RHEL-Kernels sorgt. So wird das Risiko einer Systeminstabilität verringert und die allgemeine Zuverlässigkeit Ihrer KI-Infrastruktur verbessert.

Einfache Installation mit „rhel-drivers“

Der neue Befehl rhel-drivers erkennt automatisch die in Ihrem System vorhandene KI-Beschleuniger-Hardware der Rechenzentrumsklasse und installiert dann automatisch den neuesten verfügbaren Kernelmodus-Treiber basierend auf Ihrer Linux-Kernel-Version. Dieses leistungsstarke Tool macht das Durchsuchen der Dokumentation oder von Seiten zur Produktkompatibilität überflüssig. Es bietet die neuesten Beschleuniger-Innovationen, die zur Nutzung der KI-Tools erforderlich sind, die Sie verwenden möchten.

Partnervalidierung: Vertrauen in die Ausführung von KI-Beschleunigern auf RHEL

Red Hat blickt auf eine lange Zusammenarbeit mit AMD, Intel und NVIDIA zurück, um unseren gemeinsamen Kunden Unternehmenslösungen bereitzustellen. Unsere Partner haben ausgiebige Tests auf RHEL durchgeführt, um Kompatibilität, Performance und Stabilität sicherzustellen.

RHEL Extensions Repository und Supplementary Repository

Das moderne Software-Ökosystem setzt auf eine breite Mischung aus Entwicklungsmodellen und Lizenzierung. Wir wissen, dass moderne IT-Umgebungen auf einer diversen Kombination von Software und Tools beruhen, um den erforderlichen Geschäftswert zu schaffen. Aus diesem Grund bieten wir unseren Kunden Zugriff auf mehrere Repositories, um diesem vielfältigen IT-Ökosystem gerecht zu werden.

In ähnlicher Weise basiert das KI-Beschleuniger-Ökosystem auf einer Mischung aus Open Source- und proprietären Inhalten. Mit den RHEL Extensions und Supplementary Repositories erhalten Sie das, was Sie zum Ausführen Ihrer KI-Beschleuniger benötigen, aus dem IT-Ökosystem von Red Hat.

RHEL Extensions Repository

Das RHEL Extensions Repository wurde erstellt, um von Red Hat entwickelte und signierte Open Source-Inhalte von Drittanbietern zu verteilen und so das Vertrauen in eine sichere Lieferkette zu schaffen.

Red Hat Supplementary Repository

Das Red Hat Supplementary Repository ist der Speicherort für proprietäre Inhalte von Drittanbietern, die von Red Hat entwickelt und signiert wurden.

Confidential Computing

Von Red Hat entwickelte und signierte Treiber ermöglichen Confidential Computing, was für sichere, mandantenfähige Cloud-Bereitstellungen von entscheidender Bedeutung ist.

Erste Schritte

Im Folgenden finden Sie eine Schritt-für-Schritt-Anleitung, die Ihnen den Einstieg in diese neuen Treiber auf RHEL erleichtert.

Voraussetzungen

• Red Hat Enterprise Linux 10.1: Stellen Sie sicher, dass auf Ihrem System RHEL 10.1 oder höher ausgeführt wird.
• Aktive Red Hat Subskription: Sie benötigen eine aktive Subskription, die Zugriff auf die Red Hat Extensions und Supplementary Repositories bietet.
• Kompatibler KI-Beschleuniger von NVIDIA oder AMD: Stellen Sie sicher, dass in Ihrem System eine kompatible GPU installiert ist. Lesen Sie für AMD die Systemanforderungen (Linux) – ROCm-Installation (Linux) und befolgen Sie für Instinct-GPUs diese Hinweise zur Systemoptimierung für BIOS-Einstellungen und Kernel-Argumente.

Einzelbefehlsinstallation mit „rhel-drivers“

rhel-drivers ist ein neues Befehlszeilentool, das ein optimiertes und reibungsloses Installationserlebnis für Treiber für KI-Beschleuniger von NVIDIA und AMD bietet. Das Paket ist im AppStreams-Repository (Application Streams) unter RHEL 10.1 verfügbar. AppStreams ist standardmäßig aktiviert. Sie müssen lediglich das Paket „rhel-drivers“ installieren und können starten. 

rhel-drivers automatisiert mehrere Schritte, die andernfalls manuell durchgeführt werden müssen:

1. Automatische Erkennung des auf dem lokalen System vorhandenen KI-Beschleunigers
2. Aktivierung der RHEL Extensions und Supplementary Repositories
3. Installation der neuesten verfügbaren Treiber aus den Red Hat Repositories
   • Für KI-Beschleuniger für Rechenzentren von NVIDIA werden die neuesten OpenRM- und Cuda-Toolkit-Treiber installiert.
   • Für KI-Beschleuniger für Rechenzentren von AMD wird der neueste AMDGPU-Treiber aus dem RHEL Extensions Repository installiert. Nutzende müssen das ROCm-Paket von AMD aus dem Extensions Repository separat installieren.

Installation von Kernel- und Benutzermodus-Treibern von NVIDIA mit „rhel-drivers“

# Install the rhel-drivers package (not installed by default)
sudo dnf install rhel-drivers
# Install the NVIDIA kernel and user mode drivers
sudo rhel-drivers install nvidia
sudo reboot

Führen Sie den folgenden Befehl aus, um zu testen, ob die Installation ordnungsgemäß durchgeführt wurde:

nvidia-smi

Installation von Kernel- und Benutzermodus-Treibern von AMD mit „rhel-drivers“

# Install the rhel-drivers package (not installed by default)
sudo dnf install rhel-drivers
# Install the AMD kernel mode drivers
sudo rhel-drivers install amdgpu
# Install the AMD ROCm (user mode drivers) from the Extensions Repository
sudo dnf install rocm rocm-devel
sudo reboot

Testen Sie, ob die Installation wie erwartet durchgeführt wurde:

$ rocm-smi --showid --showtemp --showpower --showmeminfo vram

Manuelle Treiberinstallation

Wir wissen, dass IT-Umgebungen sich oft voneinander unterscheiden und unterschiedliche Treiberversionen erfordern, die nicht immer auf dem aktuellsten Stand sind. Für Umgebungen, die andere vorhandene Versionen der Treiber für KI-Beschleuniger erfordern, können Kunden die Installation direkt über RHEL Extensions und Supplementary Repositories durchführen.

1. Aktivieren der Extensions und Supplementary Repositories

Aktivieren Sie zunächst das entsprechende Repository für Ihre RHEL-Version. Für RHEL 10:

sudo subscription-manager repos 
--enable=rhel-10-for-x86_64-supplementary-rpms
sudo subscription-manager repos 
--enable=rhel-10-for-x86_64-extensions-rpms

Stellen Sie sicher, dass Ihr RHEL-System mit den aktuellsten Paketen auf dem neuesten Stand ist:

sudo dnf update
sudo reboot

Parallele Nutzung von Extensions Repository und EPEL-Repository

Obwohl dies nicht empfohlen wird, sollten Sie für den Fall, dass Sie das Extensions Repository und das EPEL-Repository (Extra Packages for Enterprise Linux) parallel aktivieren möchten, die Repository-Priorität anpassen, um sicherzustellen, dass Pakete, die in beiden Repositories verfügbar sind, standardmäßig über Extensions installiert werden.

sudo subscription-manager repo-override 
--repo=rhel-10-for-x86_64-extensions-rpms --add=priority:98

Eine Definition der Repository-Priorität finden Sie in der DNF Configuration Reference.

2. Identifizieren und installieren der Treiberpakete

Die spezifischen Paketnamen unterscheiden sich leicht zwischen NVIDIA und AMD.

NVIDIA-Treiber

$ sudo dnf install nvidia-driver cuda-toolkit

Eine Liste der verfügbaren Metapakete finden Sie in der Liste der Metapakete von NVIDIA.

Treiber für KI-Beschleuniger von NVIDIA

In der Regel installieren Sie das Paket kmod-nvidia zusammen mit den Userspace-Komponenten nvidia-driver.

$ sudo dnf install kmod-nvidia nvidia-driver

Dieser Befehl ruft automatisch das richtige Kernel-Modul und die richtigen Userspace-Treiber für Ihr System ab.

Treiber für KI-Beschleuniger von AMD (ROCm)

Installieren Sie für AMD den neuesten amdgpu-Kernel-Treiber und den ROCm-Userspace-Stack.

$ sudo dnf install kmod-amdgpu rocm rocm-devel

3. Neustarten des Systems

Nach der Installation ist es wichtig, Ihr System neu zu starten, um sicherzustellen, dass die neuen Kernel-Module richtig geladen werden.

$ sudo reboot

4. Überprüfen der Installation

Nach dem Neustart Ihres Systems können Sie mit einem anbieterspezifischen Befehl überprüfen, ob der Treiber geladen wurde. So überprüfen Sie beispielsweise, ob der NVIDIA-Treiber geladen und die GPU erkannt wird:

$ nvidia-smi

Es wird eine ähnliche Ausgabe wie diese angezeigt, mit Details zu Ihrer NVIDIA-GPU- und -Treiberversion:

Intel NPU-Kernelmodus-Treiber: Validierung in BaseOS

Der Intel-Treiber ist im BaseOS-Repository enthalten, da er im Linux-Kernel enthalten ist. Die NPU-kompatiblen Intel-CPUs werden auf Core Ultra Meteor Lake-,Arrow Lake- und Luna Lake-SoCs validiert. So überprüfen Sie die Kernel-Treiberunterstützung:

sudo modprobe -v intel_vpu
lsmod | grep intel_vpu

RHEL: Die Basis für die KI-Anwendungen der Zukunft

Red Hat arbeitet daran, RHEL zur Enterprise Linux-Plattform zu machen, die die Entwicklung und Bereitstellung moderner KI-Anwendungen und -Workloads ermöglicht. Wir würden uns freuen, von Ihnen zu hören, wie wir das Treibererlebnis für Beschleuniger auf RHEL weiter verbessern können. Testen Sie diese Treiber und das neue Installationserlebnis auf RHEL noch heute.