# SUS05-BP04 Optimieren der Nutzung von hardwarebasierten Computing-Beschleunigern
<a name="sus_sus_hardware_a5"></a>

Sie können die Nutzung von beschleunigten Computing-Instances optimieren, um die Anforderungen Ihres Workloads an die physische Infrastruktur zu reduzieren.

 **Typische Anti-Muster:** 
+  Sie überwachen die GPU-Nutzung nicht. 
+  Sie verwenden eine allgemeine Instance für den Workload, während eine speziell angefertigte Instance eine höhere Leistung, geringere Kosten und eine bessere Leistung pro Watt bieten kann. 
+  Sie verwenden hardwarebasierte Computing-beschleuniger für Aufgaben, bei denen CPU-basierte Alternativen effizienter sind. 

 **Vorteile der Nutzung dieser bewährten Methode:** Durch den optimalen Einsatz hardwarebasierter Beschleuniger können Sie die Anforderungen an die physische Infrastruktur Ihres Workloads reduzieren. 

 **Risikostufe bei fehlender Befolgung dieser Best Practice:** Mittel 

## Implementierungsleitfaden
<a name="implementation-guidance"></a>

 Wenn Sie eine hohe Verarbeitungsleistung benötigen, können Sie beschleunigte Computing-Instances verwenden. Diese bieten Zugriff auf hardwarebasierte Computing-Beschleuniger wie Grafikprozessoren (Graphics Processing Units, GPUs) und Field Programmable Gate Arrays (FPGAs). Diese Hardwarebeschleuniger führen bestimmte Funktionen wie die Grafikverarbeitung oder Datenmusterzuordnung effizienter aus als CPU-basierte Alternativen. Viele beschleunigte Workloads, wie Rendering, Transcodierung und Machine Learning, sind sehr variabel im Bezug auf die Ressourcennutzung. Betreiben Sie diese Hardware nur so lange wie nötig und nehmen Sie sie automatisch außer Betrieb, wenn sie nicht mehr benötigt wird, um den Ressourcenverbrauch zu minimieren. 

## Implementierungsschritte
<a name="implementation-steps"></a>
+  Identifizieren Sie, welche [beschleunigten Computing-Instances](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/accelerated-computing-instances.html) Ihren Anforderungen entsprechen. 
+  Nutzen Sie für Machine-Learning-Workloads spezielle Hardware, die auf Ihren Workload abgestimmt ist, z. B. [AWS Trainium](https://aws.amazon.com/machine-learning/trainium/), [AWS Inferentia](https://aws.amazon.com/machine-learning/inferentia/)und [Amazon EC2 DL1](https://aws.amazon.com/ec2/instance-types/dl1/). AWS Inferentia-Instances wie Inf2-Instances bieten bis zu [50 % bessere Leistung pro Watt im Vergleich zu vergleichbaren Amazon EC2-Instances](https://aws.amazon.com/machine-learning/inferentia/). 
+  Erfassen Sie Nutzungsmetriken für Ihre beschleunigten Computing-Instances. Sie können beispielsweise den CloudWatch-Agenten verwenden, um Metriken wie `utilization_gpu` und `utilization_memory` für Ihre GPUs zu erfassen, siehe auch [Erfassen von NVIDIA-GPU-Metriken mit Amazon CloudWatch](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch-Agent-NVIDIA-GPU.html). 
+  Optimieren Sie Code, Netzwerkbetrieb und die Einstellungen von Hardwarebeschleunigern, um sicherzustellen, dass die zugrunde liegende Hardware optimal genutzt wird. 
  +  [Optimieren der GPU-Einstellungen](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/optimize_gpu.html) 
  +  [GPU-Überwachung und -Optimierung im Deep-Learning-AMI](https://docs.aws.amazon.com/dlami/latest/devguide/tutorial-gpu.html) 
  +  [Optimizing I/O for GPU performance tuning of deep learning training in Amazon SageMaker AI (Optimieren von E/A für die GPU-Leistungsoptimierung von Deep Learning-Training in Amazon SageMaker)](https://aws.amazon.com/blogs/machine-learning/optimizing-i-o-for-gpu-performance-tuning-of-deep-learning-training-in-amazon-sagemaker/) 
+  Verwenden Sie die aktuellen leistungsstarken Bibliotheken und GPU-Treiber. 
+  Automatisieren Sie die Freigabe nicht genutzter GPU-Instances. 

## Ressourcen
<a name="resources"></a>

 **Zugehörige Dokumente:** 
+  [Accelerated Computing](https://aws.amazon.com/ec2/instance-types/#Accelerated_Computing) 
+ [ Let’s Architect\$1 Architecting with custom chips and accelerators (Erstellen von Architekturen mit benutzerdefinierten Chips und Beschleunigern) ](https://aws.amazon.com/blogs/architecture/lets-architect-custom-chips-and-accelerators/)
+ [ How do I choose the appropriate Amazon EC2 instance type for my workload? (Wie wähle ich einen geeigneten EC2-Instance-Typ für meinen Workload aus?) ](https://aws.amazon.com/premiumsupport/knowledge-center/ec2-instance-choose-type-for-workload/)
+  [Amazon EC2-VT1-Instances](https://aws.amazon.com/ec2/instance-types/vt1/) 
+ [ Choose the best AI accelerator and model compilation for computer vision inference with Amazon SageMaker AI (Auswählen des besten KI-Beschleunigers und der besten Modellkompilierung für Computer Vision Inference mit Amazon SageMaker) ](https://aws.amazon.com/blogs/machine-learning/choose-the-best-ai-accelerator-and-model-compilation-for-computer-vision-inference-with-amazon-sagemaker/)

 **Zugehörige Videos:** 
+ [ How to select Amazon EC2 GPU instances for deep learning (Auswählen von EC2-GPU-Instances für Deep Learning) ](https://www.youtube.com/watch?v=4bVrIbgGWEA)
+  [Deploying Cost-Effective Deep Learning Inference (Bereitstellen von kosteneffizienten Deep Learning Inference)](https://www.youtube.com/watch?v=WiCougIDRsw)