Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Öffentliche NVIDIA-Treiber installieren Wenn die unter beschriebenen AWS Marketplace AMIs [Verwenden Sie AMIs, die NVIDIA-Treiber enthalten](preinstalled-nvidia-driver.md) nicht zu Ihrem Anwendungsfall passen, können Sie die öffentlichen Treiber installieren und Ihre eigene Lizenz mitbringen. Es gibt die folgenden Installationsoptionen: + [Option 1: installieren Driver-only](#public-nvidia-driver-only-install) + [Option 2: Installation mit dem CUDA-Toolkit](#public-nvidia-driver-cuda-install) (empfohlen für Linux-Distributionen)   **P6-B200 und Überlegungen P6-B300 zum Instanztyp** Die P6-B300 Plattformen P6-B200 und sind insofern einzigartig, als sie der Instanz Mellanox ConnectX-Netzwerkschnittstellenkarten (NICs) als PCIe-Geräte zur Verfügung stellen. Diese NICs fungieren nicht als typische Netzwerkschnittstellen, sondern als NVSwitch-Bridges, die einen Steuerpfad für die Initialisierung und Konfiguration von NVFabric, der NVLink-Topologie der GPU-Verbindung, bereitstellen. Um das System vollständig zu initialisieren, muss der NVIDIA Fabric Manager `NVFabric` konfigurieren und die NVSwitch-Topologie einrichten. Dadurch können InfiniBand Kernelmodule mit den Mellanox ConnectX-NICs kommunizieren. NVIDIA Fabric Manager ist im CUDA-Toolkit enthalten. Wir empfehlen [Option 2: Installation mit dem CUDA-Toolkit](#public-nvidia-driver-cuda-install) für diesen Instance-Typ. ## Option 1: installieren Driver-only Um einen bestimmten Treiber zu installieren, melden Sie sich bei Ihrer Instance an und laden Sie den öffentlichen 64-Bit-NVIDIA-Treiber für den Instance-Typ von herunter [http://www.nvidia.com/Download/Find.aspx](http://www.nvidia.com/Download/Find.aspx). Verwenden Sie für **Produkttyp** **Produktserie** und **Produkt** die Optionen in der folgenden Tabelle. Folgen Sie anschließend den Anweisungen zur **Installation des lokalen Repositorys** im [NVIDIA-Treiberinstallationshandbuch](https://docs.nvidia.com/datacenter/tesla/driver-installation-guide/index.html). **Anmerkung** P6-B200 und P6-B300 Instanztypen erfordern die Installation und Konfiguration zusätzlicher Pakete, die im NVIDIA CUDA Toolkit enthalten sind. Weitere Informationen finden Sie in den Anweisungen für Ihre Linux-Distribution in [Option 2: Installation mit dem CUDA-Toolkit](#public-nvidia-driver-cuda-install). | Instance | Produkttyp | Produktserie | Produkt | Minimale Treiberversion | | --- | --- | --- | --- | --- | | G3 | Tesla | M-Class | M60 | -- | | G4dn | Tesla | T-Series | T4 | -- | | G5 | Tesla | A-Series | A10 | 470.00 oder höher | | G5g1 | Tesla | T-Series | T4G | 470.82.01 oder höher | | G6 | Tesla | L-Series | L4 | 525.0 oder höher | | G6e | Tesla | L-Series | L40S | 535.0 oder höher | | Gr6 | Tesla | L-Series | L4 | 525.0 oder höher | | G7e | Tesla | RTX-Serie | RTX PRO 6000 Blackwell | 575.0 oder später | | P3 | Tesla | V-Series | V100 | -- | | P4d | Tesla | A-Series | A100 | -- | | P4de | Tesla | A-Series | A100 | -- | | P5 | Tesla | H-Series | H100 | 530 oder höher | | P5e | Tesla | H-Series | H200 | 550 oder höher | | P5en | Tesla | H-Series | H200 | 550 oder höher | | P6-B2002 | Tesla | HGX-Series | B200 | 570 oder später | | P6e-GB200 | Tesla | HGX-Series | B200 | 570 oder später | | P6-B3002 | Tesla | HGX-Series | B300 | 580 oder später | 1 Das Betriebssystem für G5g-Instances ist Linux aarch64. 2 Für P6-B200 P6-B300 Instance-Typen gibt es zusätzliche Installationsanforderungen für die Konfiguration von NVIDIA Fabric Manager. ## Option 2: Installation mit dem CUDA-Toolkit Die Installationsanweisungen variieren je nach Betriebssystem geringfügig. Folgen Sie den Anweisungen für das Betriebssystem Ihrer Instance, um öffentliche Treiber mit dem NVIDIA-CUDA-Toolkit auf Ihrer Instance zu installieren. Folgen Sie für Instance-Betriebssysteme, die hier nicht aufgeführt sind, den Anweisungen für Ihr Betriebssystem und Ihre Instance-Typ-Architektur auf der NVIDIA-Developer-Website. Weitere Informationen finden Sie unter [CUDA-Toolkit-Downloads](https://developer.nvidia.com/cuda-downloads). Informationen zur Instance-Typ-Architektur oder anderen Spezifikationen finden Sie in den Spezifikationen für [beschleunigte Datenverarbeitung](https://docs.aws.amazon.com/ec2/latest/instancetypes/ac.html) in der *Amazon-EC2-Referenz zu Instance-Typen*. ### Amazon Linux 2023 Dieser Abschnitt behandelt die Installation eines NVIDIA-CUDA-Toolkits auf einer Amazon-Linux-2023-Instance. Die Befehlsbeispiele in diesem Abschnitt basieren auf einer `x86_64`-Architektur. `arm64-sbsa`-Befehle finden Sie unter [CUDA-Toolkit-Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=arm64-sbsa). Wählen Sie die Optionen aus, die für Ihre Distribution gelten. Anweisungen werden angezeigt, nachdem Sie Ihre endgültige Auswahl getroffen haben. **Voraussetzung** Führen Sie vor der Installation des Toolkits und der Treiber den folgenden Befehl aus, um sicherzustellen, dass Sie über die richtige Version der Kernel-Header und Entwicklungspakete verfügen. ``` [ec2-user ~]$ sudo dnf install kernel-devel-$(uname -r) kernel-headers-$(uname -r) -y ``` **Toolkit und Treiber herunterladen** Wählen Sie den Installationstyp aus, den Sie für Ihre Instance verwenden möchten, und folgen Sie den entsprechenden Schritten. ------ #### [ AL2023 NVIDIA repository ] Amazon Linux 2023 stellt NVIDIA-GPU-Treiber und CUDA-Toolkit-Pakete über ein spezielles Repository bereit, das AWS verwaltet. AWS qualifiziert dieses Repository für AL203-Release-Kandidaten und bietet Sicherheitsempfehlungen über das Amazon Linux Security Center. Wir empfehlen diese Option für AL203-Instanzen, da sie die Installation vereinfacht und die Treiber über den `dnf update` Standard-Workflow auf dem neuesten Stand hält. Anweisungen finden Sie unter [NVIDIA-Treiber](https://docs.aws.amazon.com/linux/al2023/ug/nvidia-drivers.html) im *Amazon Linux 2023-Benutzerhandbuch*. ------ #### [ RPM local installation ] Sie können diesen Anweisungen folgen, um das Repository-Paket für drn CUDA Toolkit Installer auf Ihre Instance herunterzuladen und anschließend das angegebene Paket zu extrahieren und zu registrieren. Anweisungen finden Sie auf der NVIDIA-Entwickler-Website unter [CUDA-Toolkit-Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Amazon-Linux&target_version=2023&target_type=rpm_local). ``` [ec2-user ~]$ wget https://developer.download.nvidia.com/compute/cuda/{{13.0.0}}/local_installers/{{cuda-repo-amzn2023-13-0-local-13.0.0_580.65.06-1.x86_64.rpm}} [ec2-user ~]$ sudo rpm -i {{cuda-repo-amzn2023-13-0-local-13.0.0_580.65.06-1.x86_64.rpm}} ``` ------ #### [ RPM network installation ] Sie können diesen Anweisungen folgen, um das CUDA-Repository beim Paketmanager auf Ihrer Instance zu registrieren. Wenn Sie die Installationsschritte ausführen, lädt der Paketmanager nur die benötigten Pakete herunter. Anweisungen finden Sie auf der NVIDIA-Entwickler-Website unter [CUDA-Toolkit-Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Amazon-Linux&target_version=2023&target_type=rpm_network). ``` [ec2-user ~]$ sudo dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/amzn2023/x86_64/cuda-amzn2023.repo ``` ------ Die verbleibenden Schritte sind für die lokale RPM-Installation und die RPM-Netzwerkinstallation identisch. 1. Die Installation des CUDA-Toolkits abschließen ``` [ec2-user ~]$ sudo dnf clean all [ec2-user ~]$ sudo dnf install cuda-toolkit -y ``` 1. Die offene Kernel-Modulvariante des Treibers installieren ``` [ec2-user ~]$ sudo dnf module install nvidia-driver:open-dkms -y ``` 1. GPUDirect Storage und Fabric Manager installieren ``` [ec2-user ~]$ sudo dnf install nvidia-gds -y [ec2-user ~]$ sudo dnf install nvidia-fabric-manager -y ``` 1. Fabric Manager und Treiberpersistenz aktivieren ``` [ec2-user ~]$ sudo systemctl enable nvidia-fabricmanager [ec2-user ~]$ sudo systemctl enable nvidia-persistenced ``` 1. (*P6-B200 und P6-B300 nur*) Diese Instance-Typen erfordern die Installation und Konfiguration zusätzlicher Pakete, die im NVIDIA CUDA Toolkit enthalten sind. 1. Installieren Sie den NVIDIA Link Subnet Manager und `ibstat`. ``` [ec2-user ~]$ sudo dnf install nvlink5 ``` 1. Aktivieren Sie das automatische Laden des Infiniband-Moduls beim Start. ``` [ec2-user ~]$ echo "ib_umad" | sudo tee -a /etc/modules-load.d/modules.conf ``` 1. Starten Sie die Instance neu. ``` [ec2-user ~]$ sudo reboot ``` ### Ubuntu 24.04 Dieser Abschnitt behandelt die Installation eines NVIDIA-CUDA-Toolkits auf einer Ubuntu-24.04-Instance. Die Befehlsbeispiele in diesem Abschnitt basieren auf einer `x86_64`-Architektur. `arm64-sbsa`-Befehle finden Sie unter [CUDA-Toolkit-Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=arm64-sbsa). Wählen Sie die Optionen aus, die für Ihre Distribution gelten. Anweisungen werden angezeigt, nachdem Sie Ihre endgültige Auswahl getroffen haben. **Voraussetzung** Führen Sie vor der Installation des Toolkits und der Treiber den folgenden Befehl aus, um sicherzustellen, dass Sie über die richtige Version der Kernel-Header und Entwicklungspakete verfügen. ``` $ apt install linux-headers-$(uname -r) ``` **Toolkit und Treiber herunterladen** Wählen Sie den Installationstyp aus, den Sie für Ihre Instance verwenden möchten, und folgen Sie den entsprechenden Schritten. ------ #### [ Deb local installation ] Sie können diesen Anweisungen folgen, um das Repository-Paket für drn CUDA Toolkit Installer auf Ihre Instance herunterzuladen und anschließend das angegebene Paket zu extrahieren und zu registrieren. Anweisungen finden Sie auf der NVIDIA-Entwickler-Website unter [CUDA-Toolkit-Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=24.04&target_type=deb_local). ``` $ wget https://developer.download.nvidia.com/compute/cuda/repos/{{ubuntu2404}}/x86_64/{{cuda-ubuntu2404.pin}} $ sudo mv {{cuda-ubuntu2404.pin}} /etc/apt/preferences.d/cuda-repository-pin-600 $ wget https://developer.download.nvidia.com/compute/cuda/{{13.0.0}}/local_installers/{{cuda-repo-ubuntu2404-13-0-local_13.0.0-580.65.06-1_amd64.deb}} $ sudo dpkg -i {{cuda-repo-ubuntu2404-13-0-local_13.0.0-580.65.06-1_amd64.deb}} $ sudo cp /var/{{cuda-repo-ubuntu2404-13-0-local}}/cuda-*-keyring.gpg /usr/share/keyrings/ ``` ------ #### [ Deb network installation ] Sie können diesen Anweisungen folgen, um das CUDA-Repository beim Paketmanager auf Ihrer Instance zu registrieren. Wenn Sie die Installationsschritte ausführen, lädt der Paketmanager nur die benötigten Pakete herunter. Anweisungen finden Sie auf der NVIDIA-Entwickler-Website unter [CUDA-Toolkit-Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=24.04&target_type=deb_network). ``` $ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb $ sudo dpkg -i cuda-keyring_1.1-1_all.deb ``` ------ Die verbleibenden Schritte sind für die lokale Installation und die Netzwerkinstallation identisch. 1. Die Installation des CUDA-Toolkits abschließen ``` $ sudo apt update $ sudo apt install cuda-toolkit -y ``` 1. Die offene Kernel-Modulvariante des Treibers installieren ``` $ sudo apt install nvidia-open -y ``` 1. GPUDirect Storage und Fabric Manager installieren ``` $ sudo apt install nvidia-gds -y $ sudo apt install nvidia-fabricmanager -y ``` 1. Fabric Manager und Treiberpersistenz aktivieren ``` $ sudo systemctl enable nvidia-fabricmanager $ sudo systemctl enable nvidia-persistenced ``` 1. (*P6-B200 und P6-B300 nur*) Diese Instanztypen erfordern die Installation und Konfiguration zusätzlicher Pakete, die im NVIDIA CUDA Toolkit enthalten sind. 1. Installieren Sie den neuesten InfiniBand-specific Gerätetreiber und die neuesten Diagnoseprogramme. ``` $ sudo apt install linux-modules-extra-$(uname -r) -y $ sudo apt install infiniband-diags -y ``` 1. Installieren Sie den NVIDIA Link Subnet Manager. ``` $ sudo apt install nvlsm -y ``` 1. Starten Sie die Instance neu. ``` sudo reboot ``` 1. Aktualisieren Sie Ihren Pfad und fügen Sie die folgende Umgebungsvariable hinzu. ``` $ export PATH=${PATH}:/usr/local/{{cuda-13.0}}/bin $ export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/usr/local/{{cuda-13.0}}/lib64 ``` ### Windows-Betriebssysteme Zur Installation des NVIDIA-Treibers unter Windows führen Sie die folgenden Schritte aus: 1. Öffnen Sie das Verzeichnis, in das Sie den Treiber heruntergeladen haben, und starten Sie die Installationsdatei. Befolgen Sie die Anweisungen, um den Treiber zu installieren, und starten Sie die Instance neu, wenn Sie dazu aufgefordert werden. 1. Deaktivieren Sie im Geräte-Manager den Displayadapter mit dem Namen **Microsoft Basic Display Adapter**, der mit einem Warnsymbol gekennzeichnet ist. Installieren Sie die folgenden Windows-Features: **Media Foundation** und **Quality Windows Audio Video Experience**. **Wichtig** Deaktivieren Sie nicht den Displayadapter mit dem Namen **Microsoft Remote Display Adapter**. Wenn der **Microsoft Remote Display Adapter** deaktiviert ist, wird Ihre Verbindung möglicherweise unterbrochen und Versuche, nach dem Neustart eine Verbindung zur Instance herzustellen, schlagen möglicherweise fehl. 1. Prüfen Sie im Geräte-Manager, ob die GPU korrekt funktioniert. 1. Führen Sie die Optimierungsschritte unter [Optimieren der GPU-Einstellungen in Amazon-EC2-Instances](optimize_gpu.md) aus, um die beste Leistung für Ihre GPU zu erzielen.