Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Datenaufbereitung mit Amazon EMR
**Wichtig**
Amazon SageMaker Studio und Amazon SageMaker Studio Classic sind zwei der Machine-Learning-Umgebungen, mit denen Sie mit SageMaker KI interagieren können.
Wenn Ihre Domain nach dem 30. November 2023 erstellt wurde, ist Studio Ihre Standardkonfiguration.
Wenn Ihre Domain vor dem 30. November 2023 erstellt wurde, ist Amazon SageMaker Studio Classic Ihr Standarderlebnis. Informationen zur Verwendung von Studio, wenn Amazon SageMaker Studio Classic Ihr Standarderlebnis ist, finden Sie unter[Migration von Amazon SageMaker Studio Classic](studio-updated-migrate.md).
Wenn Sie von Amazon SageMaker Studio Classic zu Amazon SageMaker Studio migrieren, geht die Verfügbarkeit von Funktionen nicht verloren. Studio Classic ist auch als Anwendung in Amazon SageMaker Studio verfügbar, um Sie bei der Ausführung Ihrer älteren Machine-Learning-Workflows zu unterstützen.
Amazon SageMaker Studio und Studio Classic verfügen über eine integrierte Integration mit [Amazon EMR.](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-what-is-emr.html) [In JupyterLab und Studio Classic-Notebooks können Datenwissenschaftler und Dateningenieure bestehende Amazon EMR-Cluster erkennen und eine Verbindung zu ihnen herstellen und anschließend mithilfe von [Apache Spark, Apache](https://aws.amazon.com/emr/features/spark)[Hive](https://aws.amazon.com/emr/features/hive) oder Presto umfangreiche Daten interaktiv untersuchen, visualisieren und für maschinelles Lernen vorbereiten.](https://aws.amazon.com/emr/features/presto) Mit einem einzigen Klick können sie auf die Spark-Benutzeroberfläche zugreifen, um den Status und die Metriken ihrer Spark-Jobs zu überwachen, ohne ihr Notebook verlassen zu müssen.
Administratoren können [CloudFormation Vorlagen](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/Welcome.html) erstellen, die Amazon EMR-Cluster definieren. Sie können diese Cluster-Vorlagen dann [AWS Service Catalog](https://docs.aws.amazon.com/servicecatalog/latest/userguide/end-user-console.html)für Studio- und Studio Classic-Benutzer zum Start verfügbar machen. Datenwissenschaftler können dann eine vordefinierte Vorlage auswählen, um direkt aus ihrer Studio-Umgebung heraus selbst einen Amazon-EMR-Cluster bereitzustellen. Administratoren können die Vorlagen weiter parametrisieren, sodass der Benutzer anhand vordefinierter Werte Aspekte des Clusters auswählen kann. Beispielsweise möchten Benutzer möglicherweise die Anzahl der Kernknoten festlegen oder den Instance-Typ eines Knotens aus einem Dropdown-Menü auswählen.
Mithilfe dieser CloudFormation Funktion können Administratoren die Organisations-, Sicherheits- und Netzwerkkonfiguration von Amazon EMR-Clustern steuern. Datenwissenschaftler und Dateningenieure können diese Vorlagen dann an ihre Workloads anpassen, um Amazon EMR-Cluster bei Bedarf direkt aus Studio und Studio Classic zu erstellen, ohne komplexe Konfigurationen einrichten zu müssen. Benutzer können Amazon-EMR-Cluster nach Gebrauch beenden.
+ **Wenn Sie Administrator sind**:
Stellen Sie sicher, dass Sie die Kommunikation zwischen Studio oder Studio Classic und Amazon EMR-Clustern aktiviert haben. Anweisungen dazu finden Sie im Abschnitt [Konfigurieren Sie den Netzwerkzugriff für Ihren Amazon-EMR-Cluster](studio-notebooks-emr-networking.md). Sobald diese Kommunikation aktiviert ist, können Sie:
+ [Amazon CloudFormation EMR-Vorlagen im Service Catalog konfigurieren](studio-notebooks-set-up-emr-templates.md)
+ [Amazon-EMR-Cluster konfigurieren](studio-notebooks-configure-discoverability-emr-cluster.md)
+ **Wenn Sie ein Datenwissenschaftler oder Dateningenieur sind**, können Sie:
+ [Starten eines Amazon-EMR-Clusters von Studio oder Studio Classic aus](studio-notebooks-launch-emr-cluster-from-template.md)
+ [Amazon EMR-Cluster aus Studio oder Studio Classic auflisten](discover-emr-clusters.md)
+ [Stellen Sie von SageMaker Studio oder Studio Classic aus eine Connect zu einem Amazon EMR-Cluster her](connect-emr-clusters.md)
+ [Beenden eines Amazon-EMR-Clusters von Studio oder Studio Classic aus](terminate-emr-clusters.md)
+ [Zugriff auf die Spark-Benutzeroberfläche über Studio oder Studio Classic](studio-notebooks-access-spark-ui.md)
**Topics**
+ [Schnellstart: Erstellen Sie eine SageMaker KI-Sandbox-Domain, um Amazon EMR-Cluster in Studio zu starten](studio-notebooks-emr-cluster-quickstart.md)
+ [Admin-Leitfaden](studio-emr-admin-guide.md)
+ [Benutzerhandbuch](studio-emr-user-guide.md)
+ [Blogs und Whitepaper](studio-notebooks-emr-resources.md)
+ [Fehlerbehebung](studio-notebooks-emr-troubleshooting.md)
# Schnellstart: Erstellen Sie eine SageMaker KI-Sandbox-Domain, um Amazon EMR-Cluster in Studio zu starten
Dieser Abschnitt führt Sie durch die schnelle Einrichtung einer vollständigen Testumgebung in Amazon SageMaker Studio. Sie werden eine neue Studio-Domain erstellen, mit der Benutzer neue Amazon EMR-Cluster direkt von Studio aus starten können. Die Schritte stellen ein Beispiel-Notebook dar, das Sie mit einem Amazon EMR-Cluster verbinden können, um mit der Ausführung von Spark Workloads zu beginnen. Mit diesem Notizbuch erstellen Sie ein Retrieval Augmented Generation System (RAG) mithilfe der verteilten Verarbeitungs- und OpenSearch Vektordatenbank Amazon EMR Spark.
**Anmerkung**
Melden Sie sich zunächst mit einem AWS Identity and Access Management (IAM-) Benutzerkonto mit Administratorberechtigungen bei der AWS Management Console an. Informationen darüber, wie Sie sich für ein AWS -Konto registrieren und einen Benutzer mit Administratorzugriff erstellen, finden Sie unter [Vollständige Amazon SageMaker AI-Voraussetzungen](gs-set-up.md).
**So richten Sie Ihre Studio-Testumgebung ein und starten die Ausführung von Spark Jobs:**
+ [Schritt 1: Erstellen Sie eine SageMaker KI-Domain für den Start von Amazon EMR-Clustern in Studio](#studio-notebooks-emr-cluster-quickstart-setup)
+ [Schritt 2: Starten Sie einen neuen Amazon EMR-Cluster über die Studio-Benutzeroberfläche](#studio-notebooks-emr-cluster-quickstart-launch)
+ [Schritt 3: Connect ein JupyterLab Notebook mit dem Amazon EMR-Cluster](#studio-notebooks-emr-cluster-quickstart-connect)
+ [Schritt 4: Bereinigen Sie Ihren Stack CloudFormation](#studio-notebooks-emr-cluster-quickstart-clean-stack)
## Schritt 1: Erstellen Sie eine SageMaker KI-Domain für den Start von Amazon EMR-Clustern in Studio
In den folgenden Schritten wenden Sie einen CloudFormation Stack an, um automatisch eine neue SageMaker KI-Domain zu erstellen. Der Stack erstellt auch ein Benutzerprofil und konfiguriert die erforderliche Umgebung und die erforderlichen Berechtigungen. Die SageMaker AI-Domain ist so konfiguriert, dass Sie Amazon EMR-Cluster direkt von Studio aus starten können. In diesem Beispiel werden die Amazon EMR-Cluster im selben AWS Konto wie SageMaker AI ohne Authentifizierung erstellt. [Zusätzliche CloudFormation Stacks, die verschiedene Authentifizierungsmethoden wie Kerberos unterstützen, finden Sie im Repository getting\$1started.](https://github.com/aws-samples/sagemaker-studio-emr/tree/main/cloudformation/getting_started) GitHub
**Anmerkung**
SageMaker AI erlaubt standardmäßig 5 Studio-Domains pro Konto. AWS AWS-Region Stellen Sie sicher, dass Ihr Konto nicht mehr als 4 Domains in Ihrer Region hat, bevor Sie Ihren Stack erstellen.
**Gehen Sie wie folgt vor, um eine SageMaker KI-Domain für den Start von Amazon EMR-Clustern von Studio aus einzurichten.**
1. Laden Sie die Rohdatei dieser [CloudFormation Vorlage](https://github.com/aws-samples/sagemaker-studio-foundation-models/blob/main/workshop-artifacts/cfn/workshop-cfn.yaml) aus dem `sagemaker-studio-emr` GitHub Repository herunter.
1. Gehe zur CloudFormation Konsole: [https://console.aws.amazon.com/cloudformation](https://console.aws.amazon.com/cloudformation/)
1. Wählen Sie **Stack erstellen** und dann **Mit neuen Ressourcen** aus dem Dropdown-Menü aus.
1. In **Schritt 1**:
1. Wählen **Sie im Abschnitt Vorlage vorbereiten** die **Option Bestehende Vorlage auswählen** aus.
1. Wählen Sie im Abschnitt **Specify template (Vorlage angeben)** die Option **Upload a template file (Vorlagendatei hochladen)** aus.
1. **Laden Sie die heruntergeladene CloudFormation Vorlage hoch und wählen Sie Weiter.**
1. Geben Sie in **Schritt 2** einen **Stack-Namen** ein und wählen Sie **SageMakerDomainName**dann **Weiter**.
1. **Behalten **Sie in Schritt 3** alle Standardwerte bei und wählen Sie Weiter.**
1. Markieren Sie in **Schritt 4** das Kästchen zur Bestätigung der Ressourcenerstellung und wählen Sie **Stapel erstellen** aus. Dadurch wird eine Studio-Domain in Ihrem Konto und Ihrer Region erstellt.
## Schritt 2: Starten Sie einen neuen Amazon EMR-Cluster über die Studio-Benutzeroberfläche
In den folgenden Schritten erstellen Sie einen neuen Amazon EMR-Cluster über die Studio-Benutzeroberfläche.
1. Gehen Sie zur SageMaker AI-Konsole unter [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)und wählen Sie im linken Menü **Domains** aus.
1. Klicken Sie auf Ihren Domainnamen **Generative AIDomain**, um die Seite mit den **Domain-Details** zu öffnen.
1. Starten Sie Studio vom Benutzerprofil aus`genai-user`.
1. Gehen Sie im linken Navigationsbereich zu **Daten** und dann zu **Amazon EMR Clusters**.
1. Wählen Sie auf der Seite mit den Amazon-EMR-Clustern **Erstellen** aus. **Wählen Sie die Vorlage **SageMaker Studio Domain No Auth EMR** aus, die vom CloudFormation Stack erstellt wurde, und wählen Sie dann Weiter.**
1. Geben Sie einen Namen für den neuen Amazon EMR-Cluster ein. Aktualisieren Sie optional andere Parameter wie den Instance-Typ der Core- und Master-Knoten, das Leerlauf-Timeout oder die Anzahl der Kernknoten.
1. Wählen Sie **Create resource** aus, um den neuen Amazon EMR-Cluster zu starten.
Nachdem Sie den Amazon EMR-Cluster erstellt haben, folgen Sie dem Status auf der Seite **EMR-Cluster**. Wenn sich der Status auf ändert`Running/Waiting`, ist Ihr Amazon EMR-Cluster bereit, in Studio verwendet zu werden.
## Schritt 3: Connect ein JupyterLab Notebook mit dem Amazon EMR-Cluster
In den folgenden Schritten verbinden Sie ein Notebook mit Ihrem laufenden Amazon EMR-Cluster. JupyterLab In diesem Beispiel importieren Sie ein Notizbuch, mit dem Sie mithilfe der verteilten Verarbeitungs- und OpenSearch Vektordatenbank Amazon EMR Spark ein RAG-System (Retrieval Augmented Generation) erstellen können.
1.
**Starten JupyterLab**
Starten Sie die JupyterLab Anwendung in Studio.
1.
**Erstellen eines privaten Bereichs**
Wenn Sie noch keinen Bereich für Ihre JupyterLab Anwendung erstellt haben, wählen Sie ** JupyterLab Bereich erstellen**. **Geben Sie einen Namen für den Bereich ein und behalten Sie den Wert Privat für den Bereich bei.** Belassen Sie alle anderen Einstellungen auf ihren Standardwerten und wählen Sie dann **Bereich erstellen** aus.
Andernfalls führen Sie Ihren JupyterLab Bereich aus, um eine JupyterLab Anwendung zu starten.
1.
**Stellen Sie Ihr LLM und Ihre Einbettungsmodelle für Inferenz bereit**
+ Wählen Sie im oberen Menü **Datei**, **Neu** und dann **Terminal** aus.
+ Führen Sie im Terminal den folgenden Befehl aus.
```
wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb
mkdir AWSGuides
cd AWSGuides
wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/AmazonSageMakerDeveloperGuide.pdf
wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/EC2DeveloperGuide.pdf
wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/S3DeveloperGuide.pdf
```
Dadurch wird das `Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb`-Notebook in Ihr lokales Verzeichnis abgerufen und drei PDF-Dateien werden in einen lokalen `AWSGuides`-Ordner heruntergeladen.
+ Öffnen Sie`lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb`, behalten Sie den `Python 3 (ipykernel)` Kernel und führen Sie jede Zelle aus.
**Warnung**
Stellen Sie im Abschnitt **Llama 2-Lizenzvereinbarung** sicher, dass Sie die Llama2-EULA akzeptieren, bevor Sie fortfahren.
Das Notebook setzt zwei Modelle ein, `Llama 2` und `all-MiniLM-L6-v2 Models`, auf `ml.g5.2xlarge` für die Inferenz.
Die Bereitstellung der Modelle und die Erstellung der Endpunkte können einige Zeit in Anspruch nehmen.
1.
**Öffnen Sie Ihr Haupt-Notebook**
Öffnen Sie in JupyterLab Ihr Terminal und führen Sie den folgenden Befehl aus.
```
cd ..
wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb
```
Sie sollten das zusätzliche `Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb` Notizbuch im linken Bereich von sehen JupyterLab.
1.
**Auswählen eines `PySpark`-Kernel**
Öffnen Sie Ihr `Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb`-Notebook und stellen Sie sicher, dass Sie den `SparkMagic PySpark`-Kernel verwenden. Sie können den Kernel oben rechts in Ihrem Notebook wechseln. Wählen Sie den aktuellen Kernelnamen, um ein Kernelauswahl-Modal zu öffnen, und wählen Sie dann`SparkMagic PySpark`.
1.
**Verbinden Ihres Notebooks mit dem Cluster**
1. Wählen Sie oben rechts in Ihrem Notebook die Option **Cluster** aus. Diese Aktion öffnet ein modales Fenster, in dem alle laufenden Cluster aufgeführt werden, auf die Sie zugreifen dürfen
1. Wählen Sie Ihren Cluster und dann **Connect** aus. Ein neues modales Fenster zur Auswahl des Anmeldeinformationstyps wird geöffnet.
1. Wählen Sie **Keine Anmeldeinformationen** und anschließend **Verbinden** aus.
![\[Modal, das eine Auswahl von Amazon EMR-Anmeldeinformationen für JupyterLab Notebooks zeigt.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/studio/emr/studio-notebooks-emr-credential-selection.png)
1. Eine Notebook-Zelle wird automatisch ausgefüllt und ausgeführt. Die Notebook-Zelle lädt die `sagemaker_studio_analytics_extension.magics` Erweiterung, die Funktionen für die Verbindung mit dem Amazon EMR-Cluster bereitstellt. Anschließend verwendet es den `%sm_analytics` magischen Befehl, um die Verbindung zu Ihrem Amazon EMR-Cluster und der Spark-Anwendung herzustellen.
**Anmerkung**
Stellen Sie sicher, dass für die Verbindungszeichenfolge zu Ihrem Amazon EMR-Cluster der Authentifizierungstyp auf `None` eingestellt ist. Dies wird durch den Wert `--auth-type None` im folgenden Beispiel veranschaulicht. Sie können das Feld bei Bedarf ändern.
```
%load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --verify-certificate False --cluster-id your-cluster-id --auth-type None --language python
```
1. Sobald Sie die Verbindung erfolgreich hergestellt haben, sollte Ihre Ausgabenachricht in der Verbindungszelle Ihre `SparkSession` Details wie Ihre Cluster-ID, `YARN` Anwendungs-ID und einen Link zur Spark Benutzeroberfläche zur Überwachung Ihrer Spark Jobs enthalten.
Sie sind bereit, das `Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb` Notebook zu verwenden. Dieses Beispiel-Notebook führt verteilte PySpark Workloads für den Aufbau eines RAG-Systems mit LangChain und aus. OpenSearch
## Schritt 4: Bereinigen Sie Ihren Stack CloudFormation
Wenn Sie fertig sind, stellen Sie sicher, dass Sie Ihre beiden Endgeräte beenden und Ihren CloudFormation Stack löschen, um weitere Gebühren zu vermeiden. Durch das Löschen des Stacks werden alle Ressourcen bereinigt, die vom Stack bereitgestellt wurden.
**Um deinen CloudFormation Stapel zu löschen, wenn du damit fertig bist**
1. Gehe zur CloudFormation Konsole: [https://console.aws.amazon.com/cloudformation](https://console.aws.amazon.com/cloudformation/)
1. Wählen Sie den Stack aus, den Sie löschen möchten. Sie können nach Namen oder in der Liste der Stacks suchen.
1. Klicken Sie auf die Schaltfläche **Löschen**, um das Löschen des Stacks abzuschließen, und klicken **Sie dann erneut auf Löschen**, um zu bestätigen, dass dadurch alle vom Stapel erstellten Ressourcen gelöscht werden.
Warten Sie, bis der Stack gelöscht wurde. Dies kann einige Minuten dauern. CloudFormation bereinigt automatisch alle in der Stack-Vorlage definierten Ressourcen.
1. Stellen Sie sicher, dass alle vom Stack erstellten Ressourcen gelöscht wurden. Suchen Sie beispielsweise nach übrig gebliebenen Amazon EMR-Clustern.
**Um die API-Endpunkte für ein Modell zu entfernen**
1. Gehe zur SageMaker AI-Konsole:. [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)
1. Wählen Sie im linken Navigationsbereich **Inferenz** und dann **Endpunkte** aus.
1. Wählen Sie den Endpunkt aus `hf-allminil6v2-embedding-ep` und wählen Sie dann in der Dropdownliste **Aktionen** die Option **Löschen** aus. Wiederholen Sie den Schritt für den Endpunkt`meta-llama2-7b-chat-tg-ep`.
# Admin-Leitfaden
Dieser Abschnitt enthält Voraussetzungen und Netzwerkanweisungen für die Kommunikation zwischen Studio- oder Studio Classic- und Amazon EMR-Clustern. Es deckt verschiedene Bereitstellungsszenarien ab — wenn Studio und Amazon EMR innerhalb eines privaten Amazon VPCs ohne öffentlichen Internetzugang bereitgestellt werden, sowie wenn sie über das Internet kommunizieren müssen.
Es wird beschrieben, wie Administratoren die verwenden können, AWS Service Catalog um CloudFormation Vorlagen für Studio verfügbar zu machen, sodass Datenwissenschaftler Amazon EMR-Cluster direkt in Studio entdecken und selbst bereitstellen können. Dazu gehört die Erstellung eines Service Catalog-Portfolios, die Erteilung der erforderlichen Berechtigungen, das Verweisen auf die Amazon EMR-Vorlagen und deren Parametrisierung, um Anpassungen bei der Clustererstellung zu ermöglichen.
Schließlich enthält es Anleitungen zur Konfiguration der Auffindbarkeit vorhandener laufender Amazon EMR-Cluster von Studio und Studio Classic aus und deckt Zugriffsszenarien mit einem Konto und mehreren Konten sowie die erforderlichen IAM-Berechtigungen ab.
**Topics**
+ [Amazon CloudFormation EMR-Vorlagen im Service Catalog konfigurieren](studio-notebooks-set-up-emr-templates.md)
+ [Amazon-EMR-Cluster konfigurieren](studio-notebooks-configure-discoverability-emr-cluster.md)
+ [Konfigurieren Sie IAM-Laufzeitrollen für den Amazon EMR-Clusterzugriff in Studio](studio-notebooks-emr-cluster-rbac.md)
+ [Referenzrichtlinien](studio-set-up-emr-permissions-reference.md)
# Amazon CloudFormation EMR-Vorlagen im Service Catalog konfigurieren
Bei diesem Thema wird davon ausgegangen [CloudFormation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/Welcome.html), dass Administratoren mit den [Portfolios und Produkten](https://docs.aws.amazon.com/servicecatalog/latest/adminguide/getstarted-portfolio.html) von [Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-gs.html) vertraut sind. AWS Service Catalog
Um die Erstellung von Amazon EMR-Clustern in Studio zu vereinfachen, können Administratoren eine [Amazon CloudFormation EMR-Vorlage](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-elasticmapreduce-cluster.html) als Produkt in einem [AWS Service Catalog](https://docs.aws.amazon.com/servicecatalog/latest/adminguide/introduction.html)Portfolio registrieren. Um die Vorlage Datenwissenschaftlern zur Verfügung zu stellen, müssen sie das Portfolio der in Studio oder Studio Classic verwendeten SageMaker KI-Ausführungsrolle zuordnen. Damit Benutzer von Studio oder Studio Classic aus Vorlagen auffinden, Cluster bereitstellen und von Studio Classic aus eine Verbindung zu Amazon EMR-Clustern herstellen können.
Mit den Amazon CloudFormation EMR-Vorlagen können Endbenutzer verschiedene Cluster-Aspekte anpassen. Beispielsweise können Administratoren eine Liste genehmigter Instance-Typen definieren, aus der Benutzer bei der Erstellung eines Clusters auswählen können.
In den folgenden Anweisungen werden end-to-end [CloudFormation Stacks](https://github.com/aws-samples/sagemaker-studio-emr/tree/main/cloudformation/getting_started) verwendet, um eine Studio- oder Studio Classic-Domain, ein Benutzerprofil und ein Service Catalog-Portfolio einzurichten und eine Amazon EMR-Startvorlage auszufüllen. In den folgenden Schritten werden die spezifischen Einstellungen hervorgehoben, die Administratoren in ihrem end-to-end Stack vornehmen müssen, damit Studio oder Studio Classic auf Service Catalog-Produkte zugreifen und Amazon EMR-Cluster bereitstellen können.
**Anmerkung**
Das GitHub Repository [aws-samples/ sagemaker-studio-emr](https://github.com/aws-samples/sagemaker-studio-emr/tree/main/cloudformation/getting_started) enthält end-to-end CloudFormation Beispiel-Stacks, die die erforderlichen IAM-Rollen, Netzwerke, SageMaker Domänen, Benutzerprofile und Service Catalog-Portfolios bereitstellen und eine Amazon EMR-Startvorlage hinzufügen. CloudFormation Die Vorlagen bieten unterschiedliche Authentifizierungsoptionen zwischen Studio oder Studio Classic und dem Amazon EMR-Cluster. In diesen Beispielvorlagen übergibt der übergeordnete CloudFormation Stack SageMaker AI-VPC-, Sicherheitsgruppen- und Subnetzparameter an die Amazon EMR-Cluster-Vorlage.
Das Repository [sagemaker-studio-emr/cloudformation/emr\$1servicecatalog\$1templates enthält verschiedene Amazon CloudFormation EMR-Startvorlagen](https://github.com/aws-samples/sagemaker-studio-emr/tree/main/cloudformation/emr_servicecatalog_templates), darunter Optionen für Einzelkonto- und kontoübergreifende Bereitstellungen.
Weitere Informationen zu [Stellen Sie von SageMaker Studio oder Studio Classic aus eine Connect zu einem Amazon EMR-Cluster her](connect-emr-clusters.md) den Authentifizierungsmethoden, die Sie verwenden können, um eine Verbindung zu einem Amazon EMR-Cluster herzustellen.
Gehen Sie wie folgt vor, damit Datenwissenschaftler Amazon CloudFormation EMR-Vorlagen entdecken und Cluster aus Studio oder Studio Classic bereitstellen können.
## Schritt 0: Überprüfen Sie Ihr Netzwerk und bereiten Sie Ihren CloudFormation Stack vor
Bevor Sie beginnen:
+ Stellen Sie sicher, dass Sie die Netzwerk- und Sicherheitsanforderungen in [Konfigurieren Sie den Netzwerkzugriff für Ihren Amazon-EMR-Cluster](studio-notebooks-emr-networking.md) gelesen haben.
+ Sie müssen über einen vorhandenen end-to-end CloudFormation Stack verfügen, der die Authentifizierungsmethode Ihrer Wahl unterstützt. Beispiele für solche CloudFormation Vorlagen finden Sie im [sagemaker-studio-emr GitHub aws-samples/](https://github.com/aws-samples/sagemaker-studio-emr/tree/main/cloudformation/getting_started) Repository. In den folgenden Schritten werden die spezifischen Konfigurationen in Ihrem end-to-end Stack hervorgehoben, um die Verwendung von Amazon EMR-Vorlagen in Studio oder Studio Classic zu ermöglichen.
## Schritt 1: Verknüpfen Sie Ihr Service Catalog-Portfolio mit SageMaker KI
Verknüpfen **Sie in Ihrem Service Catalog-Portfolio** Ihre Portfolio-ID mit der SageMaker KI-Ausführungsrolle, die auf Ihren Cluster zugreift.
Fügen Sie dazu den folgenden Abschnitt (hier im YAML-Format) zu Ihrem Stack hinzu. Dadurch erhält die SageMaker KI-Ausführungsrolle Zugriff auf das angegebene Service Catalog-Portfolio, das Produkte wie Amazon EMR-Vorlagen enthält. Es ermöglicht Rollen, die von SageMaker KI übernommen wurden, um diese Produkte auf den Markt zu bringen.
Ersetze *SageMakerExecutionRole.Arn* und *SageMakerStudioEMRProductPortfolio.ID* durch ihre tatsächlichen Werte.
```
SageMakerStudioEMRProductPortfolioPrincipalAssociation:
Type: AWS::ServiceCatalog::PortfolioPrincipalAssociation
Properties:
PrincipalARN: SageMakerExecutionRole.Arn
PortfolioId: SageMakerStudioEMRProductPortfolio.ID
PrincipalType: IAM
```
[Einzelheiten zu den erforderlichen IAM-Berechtigungen finden Sie im Abschnitt Berechtigungen.](#studio-emr-permissions)
## Schritt 2: Verweisen Sie auf eine Amazon EMR-Vorlage in einem Service Catalog-Produkt
Verweisen Sie **in einem Service Catalog-Produkt Ihres Portfolios** auf eine Amazon EMR-Vorlagenressource und stellen Sie sicher, dass sie in Studio oder Studio Classic sichtbar ist.
Beziehen Sie dazu die Amazon-EMR-Vorlagenressource in der Produktdefinition von Service Catalog und fügen Sie dann den folgenden Tag-Schlüsselsatz `"sagemaker:studio-visibility:emr"` zum Wert hinzu (siehe Beispiel im YAML-Format).
In der Service Catalog-Produktdefinition wird die CloudFormation Vorlage des Clusters über eine URL referenziert. Das zusätzliche Tag, das auf true gesetzt ist, gewährleistet die Sichtbarkeit der Amazon EMR-Vorlagen in Studio oder Studio Classic.
**Anmerkung**
Die Amazon EMR-Vorlage, auf die im Beispiel durch die angegebene URL verwiesen wird, erzwingt beim Start keine Authentifizierungsanforderungen. Diese Option dient Demonstrations- und Lernzwecken. Dies wird in einer Produktionsumgebung nicht empfohlen.
```
SMStudioEMRNoAuthProduct:
Type: AWS::ServiceCatalog::CloudFormationProduct
Properties:
Owner: AWS
Name: SageMaker Studio Domain No Auth EMR
ProvisioningArtifactParameters:
- Name: SageMaker Studio Domain No Auth EMR
Description: Provisions a SageMaker domain and No Auth EMR Cluster
Info:
LoadTemplateFromURL: Link to your CloudFormation template. For example, https://aws-blogs-artifacts-public.s3.amazonaws.com/artifacts/astra-m4-sagemaker/end-to-end/CFN-EMR-NoStudioNoAuthTemplate-v3.yaml
Tags:
- Key: "sagemaker:studio-visibility:emr"
Value: "true"
```
## Schritt 3: Parametrisieren Sie die Amazon EMR-Vorlage CloudFormation
**Die CloudFormation Vorlage, die zur Definition des Amazon EMR-Clusters innerhalb des Service Catalog-Produkts** verwendet wird, ermöglicht es Administratoren, konfigurierbare Parameter anzugeben. Administratoren können `Default`-Werte und `AllowedValues`-Bereiche für diese Parameter im `Parameters`-Abschnitt der Vorlage definieren. Während des Cluster-Startvorgangs können Datenwissenschaftler benutzerdefinierte Eingaben bereitstellen oder aus diesen vordefinierten Optionen eine Auswahl treffen, um bestimmte Aspekte ihres Amazon EMR-Clusters anzupassen.
Das folgende Beispiel zeigt zusätzliche Eingabeparameter, die der Administrator bei der Erstellung einer Amazon EMR-Vorlage festlegen kann.
```
"Parameters": {
"EmrClusterName": {
"Type": "String",
"Description": "EMR cluster Name."
},
"MasterInstanceType": {
"Type": "String",
"Description": "Instance type of the EMR master node.",
"Default": "m5.xlarge",
"AllowedValues": [
"m5.xlarge",
"m5.2xlarge",
"m5.4xlarge"
]
},
"CoreInstanceType": {
"Type": "String",
"Description": "Instance type of the EMR core nodes.",
"Default": "m5.xlarge",
"AllowedValues": [
"m5.xlarge",
"m5.2xlarge",
"m5.4xlarge",
"m3.medium",
"m3.large",
"m3.xlarge",
"m3.2xlarge"
]
},
"CoreInstanceCount": {
"Type": "String",
"Description": "Number of core instances in the EMR cluster.",
"Default": "2",
"AllowedValues": [
"2",
"5",
"10"
]
},
"EmrReleaseVersion": {
"Type": "String",
"Description": "The release version of EMR to launch.",
"Default": "emr-5.33.1",
"AllowedValues": [
"emr-5.33.1",
"emr-6.4.0"
]
}
}
```
Nachdem Administratoren die Amazon CloudFormation EMR-Vorlagen in Studio verfügbar gemacht haben, können Datenwissenschaftler sie verwenden, um Amazon EMR-Cluster selbst bereitzustellen. Der in der Vorlage definierte `Parameters` Abschnitt wird in Eingabefelder im Formular zur Clustererstellung in Studio oder Studio Classic übersetzt. Für jeden Parameter können Datenwissenschaftler entweder einen benutzerdefinierten Wert in das Eingabefeld eingeben oder aus den in einem Dropdownmenü aufgeführten vordefinierten Optionen auswählen, die den in der Vorlage `AllowedValues` angegebenen Optionen entsprechen.
Die folgende Abbildung zeigt das dynamische Formular, das aus einer CloudFormation Amazon EMR-Vorlage zusammengestellt wurde, um einen Amazon EMR-Cluster in Studio oder Studio Classic zu erstellen.
![\[Abbildung eines dynamischen Formulars, das aus einer CloudFormation Amazon EMR-Vorlage zusammengestellt wurde, um einen Amazon EMR-Cluster aus Studio oder Studio Classic zu erstellen.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/studio/emr/studio-notebooks-emr-cluster-creation.png)
Besuchen Sie [Starten eines Amazon-EMR-Clusters von Studio oder Studio Classic aus](studio-notebooks-launch-emr-cluster-from-template.md), um zu erfahren, wie Sie mithilfe dieser Amazon-EMR-Vorlagen von Studio oder Studio Classic aus einen Cluster starten können.
## Schritt 4: Richten Sie die Berechtigungen ein, um das Auflisten und Starten von Amazon EMR-Clustern von Studio aus zu ermöglichen
Fügen Sie abschließend die erforderlichen IAM-Berechtigungen hinzu, um die Auflistung vorhandener laufender Amazon EMR-Cluster und die Selbstbereitstellung neuer Cluster aus Studio oder Studio Classic zu ermöglichen.
Die Rolle(n), zu denen Sie diese Berechtigungen hinzufügen müssen, hängt davon ab, ob Studio oder Studio Classic und Amazon EMR im selben Konto (wählen Sie *Einzelnes Konto*) oder in verschiedenen Konten (wählen Sie *Kontoübergreifend*) bereitgestellt werden.
**Wichtig**
Sie können nur Amazon EMR-Cluster für und Studio Classic-Anwendungen erkennen JupyterLab und eine Verbindung zu diesen herstellen, die von privaten Bereichen aus gestartet werden. Stellen Sie sicher, dass sich die Amazon EMR-Cluster in derselben AWS Region wie Ihre Studio-Umgebung befinden.
### Einzelkonto
Wenn Ihre Amazon EMR-Cluster und Studio oder Studio Classic im selben AWS Konto bereitgestellt werden, fügen Sie der SageMaker KI-Ausführungsrolle, die auf Ihren Cluster zugreift, die folgenden Berechtigungen hinzu.
1. **Schritt 1**: Rufen Sie den ARN der SageMaker KI-Ausführungsrolle ab, die von Ihrem privaten Bereich verwendet wird.
Informationen zu Bereichen und Ausführungsrollen in SageMaker KI finden Sie unter[Grundlegendes zu Domainbereichsberechtigungen und Ausführungsrollen](execution-roles-and-spaces.md).
Weitere Informationen zum Abrufen des ARN der Ausführungsrolle von SageMaker AI finden Sie unter[Abrufen Ihrer Ausführungsrolle](sagemaker-roles.md#sagemaker-roles-get-execution-role).
1. **Schritt 2: Ordnen** Sie der SageMaker AI-Ausführungsrolle, die auf Ihre Amazon EMR-Cluster zugreift, die folgenden Berechtigungen zu.
1. Navigieren Sie zur [IAM-Konsole](https://console.aws.amazon.com/iam).
1. **Wählen Sie **Rollen** und suchen Sie dann anhand des Namens im Suchfeld nach Ihrer Ausführungsrolle.** Der Rollenname ist der letzte Teil des ARN nach dem letzten Schrägstrich (/).
1. Folgen Sie dem Link zu Ihrer Rolle.
1. Wählen Sie **Berechtigungen hinzufügen** und dann **Inline-Richtlinie erstellen** aus.
1. Fügen Sie auf der Registerkarte **JSON** die Amazon EMR-Berechtigungen hinzu, die Amazon EMR-Zugriff und -Operationen ermöglichen. Einzelheiten zum Richtliniendokument finden Sie unter *Amazon-EMR-Richtlinien auflisten* unter [Referenzrichtlinien](studio-set-up-emr-permissions-reference.md). Ersetzen Sie die und `accountID` durch ihre tatsächlichen Werte`region`, bevor Sie die Liste der Anweisungen in die Inline-Richtlinie Ihrer Rolle kopieren.
1. Wählen Sie **Weiter** und geben Sie dann einen **Richtliniennamen** ein.
1. Wählen Sie **Richtlinie erstellen** aus.
1. Wiederholen Sie den Schritt **Inline-Richtlinie erstellen**, um eine weitere Richtlinie hinzuzufügen, die der Ausführungsrolle die Berechtigungen zur Bereitstellung neuer Amazon EMR-Cluster mithilfe von CloudFormation Vorlagen erteilt. Einzelheiten zum Richtliniendokument finden Sie unter * EMRclusters Amazon-Richtlinien erstellen* unter[Referenzrichtlinien](studio-set-up-emr-permissions-reference.md). Ersetzen Sie die `region` und `accountID` durch ihre tatsächlichen Werte, bevor Sie die Liste der Anweisungen in die Inline-Richtlinie Ihrer Rolle kopieren.
**Anmerkung**
Benutzer der rollenbasierten Zugriffskontrolle (RBAC) für die Konnektivität zu Amazon-EMR-Clustern sollten sich ebenfalls auf [Konfigurieren Sie die Laufzeit-Rollenauthentifizierung, wenn sich Ihr Amazon EMR-Cluster und Studio im selben Konto befinden](studio-notebooks-emr-cluster-rbac.md#studio-notebooks-emr-cluster-iam-same) beziehen.
### Kontoübergreifend
Bevor Sie beginnen, rufen Sie den ARN der SageMaker KI-Ausführungsrolle ab, die von Ihrem privaten Bereich verwendet wird.
Informationen zu Bereichen und Ausführungsrollen in SageMaker KI finden Sie unter[Grundlegendes zu Domainbereichsberechtigungen und Ausführungsrollen](execution-roles-and-spaces.md).
Weitere Informationen zum Abrufen des ARN der Ausführungsrolle von SageMaker AI finden Sie unter[Abrufen Ihrer Ausführungsrolle](sagemaker-roles.md#sagemaker-roles-get-execution-role).
Wenn Ihre Amazon EMR-Cluster und Studio oder Studio Classic in separaten AWS Konten bereitgestellt werden, konfigurieren Sie die Berechtigungen für beide Konten.
**Anmerkung**
Benutzer der rollenbasierten Zugriffskontrolle (RBAC) für die Konnektivität zu Amazon-EMR-Clustern sollten sich ebenfalls auf [Konfigurieren Sie die Laufzeit-Rollenauthentifizierung, wenn sich Ihr Cluster und Studio in verschiedenen Konten befinden](studio-notebooks-emr-cluster-rbac.md#studio-notebooks-emr-cluster-iam-diff) beziehen.
#### Auf dem Amazon EMR-Clusterkonto
Gehen Sie wie folgt vor, um die erforderlichen Rollen und Richtlinien für das Konto zu erstellen, auf dem Amazon EMR bereitgestellt wird, das auch als *vertrauenswürdiges* Konto bezeichnet wird:
1. **Schritt 1**: Rufen Sie den ARN der [Servicerolle Ihres Amazon-EMR-Clusters ab](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-role.html).
Informationen darüber, wie Sie den ARN der Servicerolle eines Clusters ermitteln, finden [Sie unter Konfigurieren von IAM-Servicerollen für Amazon EMR-Berechtigungen für AWS Dienste und Ressourcen](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-roles.html#emr-iam-role-landing).
1. **Schritt 2**: Erstellen Sie eine benutzerdefinierte IAM-Rolle `AssumableRole` mit dem Namen der folgenden Konfiguration:
+ Berechtigungen: Erteilen Sie die erforderlichen Berechtigungen, `AssumableRole` um den Zugriff auf Amazon EMR-Ressourcen zu ermöglichen. Diese Rolle wird in Szenarien mit kontenübergreifendem *Zugriff auch als Access-Rolle* bezeichnet.
+ Vertrauensverhältnis: Konfigurieren Sie die Vertrauensrichtlinie so`AssumableRole`, dass die Ausführungsrolle (die `SageMakerExecutionRole` im kontoübergreifenden Diagramm) von dem Studio-Konto aus übernommen werden kann, für das Zugriff erforderlich ist.
Durch die Übernahme der Rolle erhalten Studio oder Studio Classic temporären Zugriff auf die erforderlichen Berechtigungen in Amazon EMR.
Gehen Sie wie folgt vor, um eine detaillierte Anleitung zum Erstellen eines neuen `AssumableRole` in Ihrem Amazon AWS EMR-Konto zu erhalten:
1. Navigieren Sie zur [IAM-Konsole](https://console.aws.amazon.com/iam).
1. Wählen Sie im linken Navigationsbereich **Richtlinien** und anschließend **Richtlinie erstellen** aus.
1. Fügen Sie auf der Registerkarte **JSON** die Amazon EMR-Berechtigungen hinzu, die Amazon EMR-Zugriff und -Operationen ermöglichen. Einzelheiten zum Richtliniendokument finden Sie unter *Amazon-EMR-Richtlinien auflisten* unter [Referenzrichtlinien](studio-set-up-emr-permissions-reference.md). Ersetzen Sie die und `accountID` durch ihre tatsächlichen Werte`region`, bevor Sie die Liste der Anweisungen in die Inline-Richtlinie Ihrer Rolle kopieren.
1. Wählen Sie **Weiter** und geben Sie dann einen **Richtliniennamen** ein.
1. Wählen Sie **Richtlinie erstellen** aus.
1. Wählen Sie im linken Navigationsbereich **Rollen** und dann **Rolle erstellen** aus.
1. Wählen Sie auf der Seite **Rolle erstellen** die Option **Benutzerdefinierte Vertrauensrichtlinie** als vertrauenswürdige Entität aus.
1. Fügen Sie das folgende JSON-Dokument in den Abschnitt **Benutzerdefinierte Vertrauensrichtlinie** ein und wählen Sie dann **Weiter** aus.
------
#### [ For users of Studio and JupyterLab ]
`studio-account`Ersetzen Sie es durch die Studio-Konto-ID und `AmazonSageMaker-ExecutionRole` durch die Ausführungsrolle, die von Ihrem JupyterLab Bereich verwendet wird.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::111122223333:role/service-role/AmazonSageMaker-ExecutionRole"
},
"Action": "sts:AssumeRole"
}
]
}
```
------
------
#### [ For users of Studio Classic ]
Ersetzen Sie es `studio-account` durch die Studio Classic-Konto-ID.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::111122223333:root"
},
"Action": "sts:AssumeRole"
}
]
}
```
------
------
1. **Fügen Sie auf der Seite „Berechtigungen** hinzufügen“ die soeben erstellte Berechtigung hinzu und wählen Sie dann **Weiter** aus.
1. Geben Sie auf der Seite **Überprüfen** einen Rollennamen, z. B. `AssumableRole`, und optional eine Beschreibung ein.
1. Prüfen Sie die Rollendetails und wählen Sie **Create Role** (Rolle erstellen).
Weitere Informationen dazu, wie Sie eine Rolle für ein AWS -Konto erstellen können, finden Sie unter [Erstellen einer IAM-Rolle (Konsole)](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-user.html).
#### Auf dem Studio-Konto
Aktualisieren Sie auf dem Konto, auf dem Studio bereitgestellt wird, das auch als *vertrauenswürdiges Konto* bezeichnet wird, die SageMaker KI-Ausführungsrolle, die auf Ihre Cluster zugreift, mit den erforderlichen Berechtigungen für den Zugriff auf Ressourcen im vertrauenswürdigen Konto.
1. **Schritt 1**: Rufen Sie den ARN der SageMaker KI-Ausführungsrolle ab, die von Ihrem privaten Bereich verwendet wird.
Informationen zu Bereichen und Ausführungsrollen in SageMaker KI finden Sie unter[Grundlegendes zu Domainbereichsberechtigungen und Ausführungsrollen](execution-roles-and-spaces.md).
Weitere Informationen zum Abrufen des ARN der Ausführungsrolle von SageMaker AI finden Sie unter[Abrufen Ihrer Ausführungsrolle](sagemaker-roles.md#sagemaker-roles-get-execution-role).
1. **Schritt 2: Ordnen** Sie der SageMaker AI-Ausführungsrolle, die auf Ihre Amazon EMR-Cluster zugreift, die folgenden Berechtigungen zu.
1. Navigieren Sie zur [IAM-Konsole](https://console.aws.amazon.com/iam).
1. **Wählen Sie **Rollen** und suchen Sie dann anhand des Namens im Suchfeld nach Ihrer Ausführungsrolle.** Der Rollenname ist der letzte Teil des ARN nach dem letzten Schrägstrich (/).
1. Folgen Sie dem Link zu Ihrer Rolle.
1. Wählen Sie **Berechtigungen hinzufügen** und dann **Inline-Richtlinie erstellen** aus.
1. Fügen Sie auf der Registerkarte **JSON** die Inline-Richtlinie hinzu, die der Rolle Berechtigungen zum Aktualisieren der Domains, Benutzerprofile und Bereiche gewährt. Weitere Informationen zum Richtliniendokument finden Sie unter *Richtlinie für Domain-, Benutzerprofil- und Bereichsaktualisierungen* in [Referenzrichtlinien](studio-set-up-emr-permissions-reference.md). Ersetzen Sie die `region` und `accountID` durch ihre tatsächlichen Werte, bevor Sie die Liste der Anweisungen in die Inline-Richtlinie Ihrer Rolle kopieren.
1. Wählen Sie **Weiter** und geben Sie dann einen **Richtliniennamen** ein.
1. Wählen Sie **Richtlinie erstellen** aus.
1. Wiederholen Sie den Schritt **Inline-Richtlinie erstellen**, um eine weitere Richtlinie hinzuzufügen, die der Ausführungsrolle die Rechte erteilt, die Aktionen anzunehmen `AssumableRole` und dann auszuführen, die gemäß der Zugriffsrichtlinie der Rolle zulässig sind. `emr-account`Ersetzen Sie es durch die Amazon EMR-Konto-ID und `AssumableRole` durch den Namen der angenommenen Rolle, die im Amazon EMR-Konto erstellt wurde.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowRoleAssumptionForCrossAccountDiscovery",
"Effect": "Allow",
"Action": "sts:AssumeRole",
"Resource": [
"arn:aws:iam::111122223333:role/AssumableRole"
]
}
]
}
```
------
1. Wiederholen Sie den Schritt **Inline-Richtlinie erstellen**, um eine weitere Richtlinie hinzuzufügen, die der Ausführungsrolle die Berechtigungen zur Bereitstellung neuer Amazon EMR-Cluster mithilfe von CloudFormation Vorlagen erteilt. Einzelheiten zum Richtliniendokument finden Sie unter * EMRclustersAmazon-Richtlinien erstellen* unter[Referenzrichtlinien](studio-set-up-emr-permissions-reference.md). Ersetzen Sie die `region` und `accountID` durch ihre tatsächlichen Werte, bevor Sie die Liste der Anweisungen in die Inline-Richtlinie Ihrer Rolle kopieren.
1. (Optional) Um die Auflistung von Amazon EMR-Clustern zu ermöglichen, die im selben Konto wie Studio bereitgestellt sind, fügen Sie Ihrer Studio-Ausführungsrolle eine zusätzliche Inline-Richtlinie hinzu, wie unter *Auflisten der Amazon-EMR-Richtlinien* in [Referenzrichtlinien](studio-set-up-emr-permissions-reference.md) beschrieben.
1. **Schritt 3**: Ordnen Sie Ihre angenommene (n) Rolle (n) (Zugriffsrolle) Ihrer Domain oder Ihrem Benutzerprofil zu. JupyterLab Benutzer in Studio können die SageMaker AI-Konsole oder das bereitgestellte Skript verwenden.
Wählen Sie den Tab aus, der Ihrem Anwendungsfall entspricht.
------
#### [ Associate your assumable roles in JupyterLab using the SageMaker AI console ]
So verknüpfen Sie mithilfe der SageMaker AI-Konsole Ihre angenommenen Rollen mit Ihrem Benutzerprofil oder Ihrer Domain:
1. Navigieren Sie zur SageMaker AI-Konsole unter [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Wählen Sie im linken Navigationsbereich die **Domäne** aus und wählen Sie dann die Domäne mit der SageMaker AI-Ausführungsrolle aus, deren Berechtigungen Sie aktualisiert haben.
1.
+ So fügen Sie Ihrer Domain Ihre angenommene (n) Rolle (n) (Zugriffsrolle) hinzu: Navigieren Sie auf der Registerkarte „**App-Konfigurationen**“ der Seite mit den **Domain-Details** zu dem **JupyterLab**Abschnitt.
+ So fügen Sie Ihrem Benutzerprofil Ihre angenommene (n) Rolle (n) (Zugriffsrolle) hinzu: Wählen Sie auf der Seite mit den **Domänendetails** den Tab **Benutzerprofile** aus und wählen Sie das Benutzerprofil mit der SageMaker KI-Ausführungsrolle aus, deren Berechtigungen Sie aktualisiert haben. Navigieren Sie auf der Registerkarte **App-Konfigurationen** zum **JupyterLab**Abschnitt.
1. Wählen Sie **Bearbeiten** und fügen Sie die ARNs Ihrer angenommenen Rolle (Zugriffsrolle) hinzu.
1. Wählen Sie **Absenden** aus.
------
#### [ Associate your assumable roles in JupyterLab using a Python script ]
Führen Sie in einer JupyterLab Anwendung, die von einem Space aus gestartet wurde und die SageMaker AI-Ausführungsrolle verwendet, deren Berechtigungen Sie aktualisiert haben, den folgenden Befehl in einem Terminal aus. Ersetzen Sie`domainID`, `user-profile-name``emr-accountID`, und `AssumableRole` (`EMRServiceRole`für [RBAC-Laufzeitrollen]()) durch ihre richtigen Werte. Dieser Codeausschnitt aktualisiert die Benutzerprofileinstellungen für ein bestimmtes Benutzerprofil (Verwendung`client.update_userprofile`) oder Domäneneinstellungen (Verwendung`client.update_domain`) innerhalb einer SageMaker AI-Domäne. Insbesondere ermöglicht es der JupyterLab Anwendung, eine bestimmte IAM-Rolle (`AssumableRole`) für die Ausführung von Amazon EMR-Clustern innerhalb des Amazon EMR-Kontos anzunehmen.
```
import botocore.session
import json
sess = botocore.session.get_session()
client = sess.create_client('sagemaker')
client.update_userprofile(
DomainId="domainID",
UserProfileName="user-profile-name",
DefaultUserSettings={
'JupyterLabAppSettings': {
'EmrSettings': {
'AssumableRoleArns': ["arn:aws:iam::emr-accountID:role/AssumableRole"],
'ExecutionRoleArns': ["arn:aws:iam::emr-accountID:role/EMRServiceRole",
"arn:aws:iam::emr-accountID:role/AnotherServiceRole"]
}
}
})
resp = client.describe_user_profile(DomainId="domainID", UserProfileName=user-profile-name")
resp['CreationTime'] = str(resp['CreationTime'])
resp['LastModifiedTime'] = str(resp['LastModifiedTime'])
print(json.dumps(resp, indent=2))
```
------
#### [ For users of Studio Classic ]
Geben Sie den ARN der `AssumableRole` für Ihre Studio-Classic-Ausführungsrolle an. Der ARN wird beim Start des Jupyter-Servers geladen. Die Ausführungsrolle von Studio übernimmt diese kontoübergreifende Rolle, um Amazon-EMR-Cluster im *vertrauenden Konto* aufzufinden und eine Verbindung zu ihnen herzustellen.
Sie können diese Informationen mithilfe von Lifecycle Configuration (LCC) -Skripten angeben. Sie können das LCC an Ihre Domain oder ein bestimmtes Benutzerprofil anfügen. Das von Ihnen verwendete LCC-Skript muss eine Konfiguration sein. JupyterServer Weitere Informationen dazu, wie ein LCC-Skript erstellt wird, finden Sie unter [Verwenden der Lebenszykluskonfigurationen mit Studio Classic](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc.html).
Nachfolgend sehen Sie ein LCC-Beispielskript. Um das Skript zu ändern, ersetzen Sie `AssumableRole` es `emr-account` durch die entsprechenden Werte. Die Anzahl der Konten für die kontoübergreifende Nutzung ist auf fünf begrenzt.
```
# This script creates the file that informs Studio Classic that the role "arn:aws:iam::emr-account:role/AssumableRole" in remote account "emr-account" must be assumed to list and describe Amazon EMR clusters in the remote account.
#!/bin/bash
set -eux
FILE_DIRECTORY="/home/sagemaker-user/.cross-account-configuration-DO_NOT_DELETE"
FILE_NAME="emr-discovery-iam-role-arns-DO_NOT_DELETE.json"
FILE="$FILE_DIRECTORY/$FILE_NAME"
mkdir -p $FILE_DIRECTORY
cat > "$FILE" <<- "EOF"
{
emr-cross-account1: "arn:aws:iam::emr-cross-account1:role/AssumableRole",
emr-cross-account2: "arn:aws:iam::emr-cross-account2:role/AssumableRole"
}
EOF
```
Sobald der LCC läuft und die Dateien geschrieben werden, liest der Server die Datei `/home/sagemaker-user/.cross-account-configuration-DO_NOT_DELETE/emr-discovery-iam-role-arns-DO_NOT_DELETE.json` und speichert die kontoübergreifende ARN.
------
# Amazon-EMR-Cluster konfigurieren
Administratoren können Berechtigungen für die SageMaker Studio-Ausführungsrolle konfigurieren, um Benutzern die Möglichkeit zu geben, die Liste der Amazon EMR-Cluster einzusehen, auf die sie Zugriff haben, sodass sie sich mit diesen Clustern verbinden können. Die Cluster, auf die Sie zugreifen möchten, können in demselben AWS Konto wie Studio (wählen Sie *Einzelkonto*) oder in separaten Konten (wählen Sie *Kontoübergreifend*) bereitgestellt werden. Auf der folgenden Seite wird beschrieben, wie Sie die Berechtigungen für die Anzeige von Amazon EMR-Clustern von Studio oder Studio Classic aus gewähren.
**Wichtig**
Sie können nur Amazon EMR-Cluster für und Studio Classic-Anwendungen erkennen JupyterLab und eine Verbindung zu diesen herstellen, die von privaten Bereichen aus gestartet werden. Stellen Sie sicher, dass sich die Amazon EMR-Cluster in derselben AWS Region wie Ihre Studio-Umgebung befinden.
Gehen Sie wie folgt vor, damit Datenwissenschaftler Amazon EMRclusters von Studio oder Studio Classic aus entdecken und dann eine Verbindung zu Amazon herstellen können.
## Einzelkonto
Wenn Ihre Amazon EMR-Cluster und Studio oder Studio Classic im selben AWS Konto bereitgestellt werden, fügen Sie der SageMaker KI-Ausführungsrolle, die auf Ihren Cluster zugreift, die folgenden Berechtigungen hinzu.
1. **Schritt 1**: Rufen Sie den ARN der SageMaker KI-Ausführungsrolle ab, die von Ihrem privaten Bereich verwendet wird.
Informationen zu Bereichen und Ausführungsrollen in SageMaker KI finden Sie unter[Grundlegendes zu Domainbereichsberechtigungen und Ausführungsrollen](execution-roles-and-spaces.md).
Weitere Informationen zum Abrufen des ARN der Ausführungsrolle von SageMaker AI finden Sie unter[Abrufen Ihrer Ausführungsrolle](sagemaker-roles.md#sagemaker-roles-get-execution-role).
1. **Schritt 2: Ordnen** Sie der SageMaker AI-Ausführungsrolle, die auf Ihre Amazon EMR-Cluster zugreift, die folgenden Berechtigungen zu.
1. Navigieren Sie zur [IAM-Konsole](https://console.aws.amazon.com/iam).
1. **Wählen Sie **Rollen** und suchen Sie dann anhand des Namens im Suchfeld nach Ihrer Ausführungsrolle.** Der Rollenname ist der letzte Teil des ARN nach dem letzten Schrägstrich (/).
1. Folgen Sie dem Link zu Ihrer Rolle.
1. Wählen Sie **Berechtigungen hinzufügen** und dann **Inline-Richtlinie erstellen** aus.
1. Fügen Sie auf der Registerkarte **JSON** die Amazon EMR-Berechtigungen hinzu, die Amazon EMR-Zugriff und -Operationen ermöglichen. Einzelheiten zum Richtliniendokument finden Sie unter *Amazon-EMR-Richtlinien auflisten* unter [Referenzrichtlinien](studio-set-up-emr-permissions-reference.md). Ersetzen Sie die und `accountID` durch ihre tatsächlichen Werte`region`, bevor Sie die Liste der Anweisungen in die Inline-Richtlinie Ihrer Rolle kopieren.
1. Wählen Sie **Weiter** und geben Sie dann einen **Richtliniennamen** ein.
1. Wählen Sie **Richtlinie erstellen** aus.
**Anmerkung**
Benutzer der rollenbasierten Zugriffskontrolle (RBAC) für die Konnektivität zu Amazon-EMR-Clustern sollten sich ebenfalls auf [Konfigurieren Sie die Laufzeit-Rollenauthentifizierung, wenn sich Ihr Amazon EMR-Cluster und Studio im selben Konto befinden](studio-notebooks-emr-cluster-rbac.md#studio-notebooks-emr-cluster-iam-same) beziehen.
## Kontoübergreifend
Bevor Sie beginnen, rufen Sie den ARN der SageMaker KI-Ausführungsrolle ab, die von Ihrem privaten Bereich verwendet wird.
Informationen zu Bereichen und Ausführungsrollen in SageMaker KI finden Sie unter[Grundlegendes zu Domainbereichsberechtigungen und Ausführungsrollen](execution-roles-and-spaces.md).
Weitere Informationen zum Abrufen des ARN der Ausführungsrolle von SageMaker AI finden Sie unter[Abrufen Ihrer Ausführungsrolle](sagemaker-roles.md#sagemaker-roles-get-execution-role).
Wenn Ihre Amazon-EMR-Cluster und Studio oder Studio Classic in separaten AWS -Konten bereitgestellt werden, konfigurieren Sie die Berechtigungen in beiden Konten.
**Anmerkung**
Benutzer der rollenbasierten Zugriffskontrolle (RBAC) für die Konnektivität zu Amazon-EMR-Clustern sollten sich ebenfalls auf [Konfigurieren Sie die Laufzeit-Rollenauthentifizierung, wenn sich Ihr Cluster und Studio in verschiedenen Konten befinden](studio-notebooks-emr-cluster-rbac.md#studio-notebooks-emr-cluster-iam-diff) beziehen.
**Auf dem Amazon EMR-Clusterkonto**
Gehen Sie wie folgt vor, um die erforderlichen Rollen und Richtlinien für das Konto zu erstellen, auf dem Amazon EMR bereitgestellt wird, das auch als *vertrauenswürdiges* Konto bezeichnet wird:
1. **Schritt 1**: Rufen Sie den ARN der [Servicerolle Ihres Amazon-EMR-Clusters ab](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-role.html).
Informationen darüber, wie Sie den ARN der Servicerolle eines Clusters ermitteln, finden [Sie unter Konfigurieren von IAM-Servicerollen für Amazon EMR-Berechtigungen für AWS Dienste und Ressourcen](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-roles.html#emr-iam-role-landing).
1. **Schritt 2**: Erstellen Sie eine benutzerdefinierte IAM-Rolle `AssumableRole` mit dem Namen der folgenden Konfiguration:
+ Berechtigungen: Erteilen Sie die erforderlichen Berechtigungen, `AssumableRole` um den Zugriff auf Amazon EMR-Ressourcen zu ermöglichen. Diese Rolle wird in Szenarien mit kontenübergreifendem *Zugriff auch als Access-Rolle* bezeichnet.
+ Vertrauensverhältnis: Konfigurieren Sie die Vertrauensrichtlinie so`AssumableRole`, dass die Ausführungsrolle (die `SageMakerExecutionRole` im kontoübergreifenden Diagramm) von dem Studio-Konto aus übernommen werden kann, für das Zugriff erforderlich ist.
Durch die Übernahme der Rolle erhalten Studio oder Studio Classic temporären Zugriff auf die erforderlichen Berechtigungen in Amazon EMR.
Gehen Sie wie folgt vor, um eine detaillierte Anleitung zum Erstellen eines neuen `AssumableRole` in Ihrem Amazon AWS EMR-Konto zu erhalten:
1. Navigieren Sie zur [IAM-Konsole](https://console.aws.amazon.com/iam).
1. Wählen Sie im linken Navigationsbereich **Richtlinien** und anschließend **Richtlinie erstellen** aus.
1. Fügen Sie auf der Registerkarte **JSON** die Amazon EMR-Berechtigungen hinzu, die Amazon EMR-Zugriff und -Operationen ermöglichen. Einzelheiten zum Richtliniendokument finden Sie unter *Amazon-EMR-Richtlinien auflisten* unter [Referenzrichtlinien](studio-set-up-emr-permissions-reference.md). Ersetzen Sie die und `accountID` durch ihre tatsächlichen Werte`region`, bevor Sie die Liste der Anweisungen in die Inline-Richtlinie Ihrer Rolle kopieren.
1. Wählen Sie **Weiter** und geben Sie dann einen **Richtliniennamen** ein.
1. Wählen Sie **Richtlinie erstellen** aus.
1. Wählen Sie im linken Navigationsbereich **Rollen** und dann **Rolle erstellen** aus.
1. Wählen Sie auf der Seite **Rolle erstellen** die Option **Benutzerdefinierte Vertrauensrichtlinie** als vertrauenswürdige Entität aus.
1. Fügen Sie das folgende JSON-Dokument in den Abschnitt **Benutzerdefinierte Vertrauensrichtlinie** ein und wählen Sie dann **Weiter** aus.
------
#### [ For users of Studio and JupyterLab ]
`studio-account`Ersetzen Sie es durch die Studio-Konto-ID und `AmazonSageMaker-ExecutionRole` durch die Ausführungsrolle, die von Ihrem JupyterLab Bereich verwendet wird.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::111122223333:role/service-role/AmazonSageMaker-ExecutionRole"
},
"Action": "sts:AssumeRole"
}
]
}
```
------
------
#### [ For users of Studio Classic ]
Ersetzen Sie es `studio-account` durch die Studio Classic-Konto-ID.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::111122223333:root"
},
"Action": "sts:AssumeRole"
}
]
}
```
------
------
1. **Fügen Sie auf der Seite „Berechtigungen** hinzufügen“ die soeben erstellte Berechtigung hinzu und wählen Sie dann **Weiter** aus.
1. Geben Sie auf der Seite **Überprüfen** einen Rollennamen, z. B. `AssumableRole`, und optional eine Beschreibung ein.
1. Prüfen Sie die Rollendetails und wählen Sie **Create Role** (Rolle erstellen).
Weitere Informationen zum Erstellen einer Rolle für ein AWS Konto finden Sie unter [Erstellen einer IAM-Rolle (Konsole)](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-user.html).
**Auf dem Studio-Konto**
Aktualisieren Sie auf dem Konto, auf dem Studio bereitgestellt wird, das auch als *vertrauenswürdiges Konto* bezeichnet wird, die SageMaker AI-Ausführungsrolle, die auf Ihre Cluster zugreift, mit den erforderlichen Berechtigungen für den Zugriff auf Ressourcen im vertrauenswürdigen Konto.
1. **Schritt 1**: Rufen Sie den ARN der SageMaker KI-Ausführungsrolle ab, die von Ihrem privaten Bereich verwendet wird.
Informationen zu Bereichen und Ausführungsrollen in SageMaker KI finden Sie unter[Grundlegendes zu Domainbereichsberechtigungen und Ausführungsrollen](execution-roles-and-spaces.md).
Weitere Informationen zum Abrufen des ARN der Ausführungsrolle von SageMaker AI finden Sie unter[Abrufen Ihrer Ausführungsrolle](sagemaker-roles.md#sagemaker-roles-get-execution-role).
1. **Schritt 2: Ordnen** Sie der SageMaker AI-Ausführungsrolle, die auf Ihre Amazon EMR-Cluster zugreift, die folgenden Berechtigungen zu.
1. Navigieren Sie zur [IAM-Konsole](https://console.aws.amazon.com/iam).
1. **Wählen Sie **Rollen** und suchen Sie dann anhand des Namens im Suchfeld nach Ihrer Ausführungsrolle.** Der Rollenname ist der letzte Teil des ARN nach dem letzten Schrägstrich (/).
1. Folgen Sie dem Link zu Ihrer Rolle.
1. Wählen Sie **Berechtigungen hinzufügen** und dann **Inline-Richtlinie erstellen** aus.
1. Fügen Sie auf der Registerkarte **JSON** die Inline-Richtlinie hinzu, die der Rolle Berechtigungen zum Aktualisieren der Domains, Benutzerprofile und Bereiche gewährt. Weitere Informationen zum Richtliniendokument finden Sie unter *Richtlinie für Domain-, Benutzerprofil- und Bereichsaktualisierungen* in [Referenzrichtlinien](studio-set-up-emr-permissions-reference.md). Ersetzen Sie die `region` und `accountID` durch ihre tatsächlichen Werte, bevor Sie die Liste der Anweisungen in die Inline-Richtlinie Ihrer Rolle kopieren.
1. Wählen Sie **Weiter** und geben Sie dann einen **Richtliniennamen** ein.
1. Wählen Sie **Richtlinie erstellen** aus.
1. Wiederholen Sie den Schritt **Inline-Richtlinie erstellen**, um eine weitere Richtlinie hinzuzufügen, die der Ausführungsrolle die Rechte erteilt, die Aktionen anzunehmen `AssumableRole` und dann auszuführen, die gemäß der Zugriffsrichtlinie der Rolle zulässig sind. `emr-account`Ersetzen Sie es durch die Amazon EMR-Konto-ID und `AssumableRole` durch den Namen der angenommenen Rolle, die im Amazon EMR-Konto erstellt wurde.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowRoleAssumptionForCrossAccountDiscovery",
"Effect": "Allow",
"Action": "sts:AssumeRole",
"Resource": [
"arn:aws:iam::111122223333:role/AssumableRole"
]
}
]
}
```
------
1. (Optional) Um die Auflistung von Amazon EMR-Clustern zu ermöglichen, die im selben Konto wie Studio bereitgestellt sind, fügen Sie Ihrer Studio-Ausführungsrolle eine zusätzliche Inline-Richtlinie hinzu, wie unter *Auflisten der Amazon-EMR-Richtlinien* in [Referenzrichtlinien](studio-set-up-emr-permissions-reference.md) beschrieben.
1. **Schritt 3**: Ordnen Sie Ihre angenommene (n) Rolle (n) (Zugriffsrolle) Ihrer Domain oder Ihrem Benutzerprofil zu. JupyterLabBenutzer in Studio können die SageMaker AI-Konsole oder das bereitgestellte Skript verwenden.
Wählen Sie den Tab aus, der Ihrem Anwendungsfall entspricht.
------
#### [ Associate your assumable roles in JupyterLab using the SageMaker AI console ]
So verknüpfen Sie mithilfe der SageMaker AI-Konsole Ihre angenommenen Rollen mit Ihrem Benutzerprofil oder Ihrer Domain:
1. Navigieren Sie zur SageMaker AI-Konsole unter [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Wählen Sie im linken Navigationsbereich die **Domäne** aus und wählen Sie dann die Domäne mit der SageMaker AI-Ausführungsrolle aus, deren Berechtigungen Sie aktualisiert haben.
1.
+ So fügen Sie Ihrer Domain Ihre angenommene (n) Rolle (n) (Zugriffsrolle) hinzu: Navigieren Sie auf der Registerkarte „**App-Konfigurationen**“ der Seite mit den **Domain-Details** zu dem **JupyterLab**Abschnitt.
+ So fügen Sie Ihrem Benutzerprofil Ihre angenommene (n) Rolle (n) (Zugriffsrolle) hinzu: Wählen Sie auf der Seite mit den **Domänendetails** den Tab **Benutzerprofile** aus und wählen Sie das Benutzerprofil mit der SageMaker KI-Ausführungsrolle aus, deren Berechtigungen Sie aktualisiert haben. Navigieren Sie auf der Registerkarte **App-Konfigurationen** zum **JupyterLab**Abschnitt.
1. Wählen Sie **Bearbeiten** und fügen Sie die ARNs Ihrer angenommenen Rolle (Zugriffsrolle) hinzu.
1. Wählen Sie **Absenden** aus.
------
#### [ Associate your assumable roles in JupyterLab using a Python script ]
Führen Sie in einer JupyterLab Anwendung, die von einem Space aus gestartet wurde und die SageMaker AI-Ausführungsrolle verwendet, deren Berechtigungen Sie aktualisiert haben, den folgenden Befehl in einem Terminal aus. Ersetzen Sie`domainID`, `user-profile-name``emr-accountID`, und `AssumableRole` (`EMRServiceRole`für [RBAC-Laufzeitrollen]()) durch ihre richtigen Werte. Dieser Codeausschnitt aktualisiert die Benutzerprofileinstellungen für ein bestimmtes Benutzerprofil (Verwendung`client.update_userprofile`) oder Domäneneinstellungen (Verwendung`client.update_domain`) innerhalb einer SageMaker AI-Domäne. Insbesondere ermöglicht es der JupyterLab Anwendung, eine bestimmte IAM-Rolle (`AssumableRole`) für die Ausführung von Amazon EMR-Clustern innerhalb des Amazon EMR-Kontos anzunehmen.
```
import botocore.session
import json
sess = botocore.session.get_session()
client = sess.create_client('sagemaker')
client.update_userprofile(
DomainId="domainID",
UserProfileName="user-profile-name",
DefaultUserSettings={
'JupyterLabAppSettings': {
'EmrSettings': {
'AssumableRoleArns': ["arn:aws:iam::emr-accountID:role/AssumableRole"],
'ExecutionRoleArns': ["arn:aws:iam::emr-accountID:role/EMRServiceRole",
"arn:aws:iam::emr-accountID:role/AnotherServiceRole"]
}
}
})
resp = client.describe_user_profile(DomainId="domainID", UserProfileName=user-profile-name")
resp['CreationTime'] = str(resp['CreationTime'])
resp['LastModifiedTime'] = str(resp['LastModifiedTime'])
print(json.dumps(resp, indent=2))
```
------
#### [ For users of Studio Classic ]
Geben Sie den ARN der `AssumableRole` für Ihre Studio-Classic-Ausführungsrolle an. Der ARN wird beim Start des Jupyter-Servers geladen. Die Ausführungsrolle von Studio übernimmt diese kontoübergreifende Rolle, um Amazon-EMR-Cluster im *vertrauenden Konto* aufzufinden und eine Verbindung zu ihnen herzustellen.
Sie können diese Informationen mithilfe von Lifecycle Configuration (LCC) -Skripten angeben. Sie können das LCC an Ihre Domain oder ein bestimmtes Benutzerprofil anfügen. Das von Ihnen verwendete LCC-Skript muss eine Konfiguration sein. JupyterServer Weitere Informationen dazu, wie ein LCC-Skript erstellt wird, finden Sie unter [Verwenden der Lebenszykluskonfigurationen mit Studio Classic](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc.html).
Nachfolgend sehen Sie ein LCC-Beispielskript. Um das Skript zu ändern, ersetzen Sie `AssumableRole` es `emr-account` durch die entsprechenden Werte. Die Anzahl der Konten für die kontoübergreifende Nutzung ist auf fünf begrenzt.
```
# This script creates the file that informs Studio Classic that the role "arn:aws:iam::emr-account:role/AssumableRole" in remote account "emr-account" must be assumed to list and describe Amazon EMR clusters in the remote account.
#!/bin/bash
set -eux
FILE_DIRECTORY="/home/sagemaker-user/.cross-account-configuration-DO_NOT_DELETE"
FILE_NAME="emr-discovery-iam-role-arns-DO_NOT_DELETE.json"
FILE="$FILE_DIRECTORY/$FILE_NAME"
mkdir -p $FILE_DIRECTORY
cat > "$FILE" <<- "EOF"
{
emr-cross-account1: "arn:aws:iam::emr-cross-account1:role/AssumableRole",
emr-cross-account2: "arn:aws:iam::emr-cross-account2:role/AssumableRole"
}
EOF
```
Sobald der LCC läuft und die Dateien geschrieben werden, liest der Server die Datei `/home/sagemaker-user/.cross-account-configuration-DO_NOT_DELETE/emr-discovery-iam-role-arns-DO_NOT_DELETE.json` und speichert die kontoübergreifende ARN.
------
Besuchen Sie [Amazon EMR-Cluster aus Studio oder Studio Classic auflisten](discover-emr-clusters.md), um zu erfahren, wie Sie Amazon-EMR-Cluster von Studio- oder Studio-Classic-Notebooks aus finden und eine Verbindung zu ihnen herstellen können.
# Konfigurieren Sie IAM-Laufzeitrollen für den Amazon EMR-Clusterzugriff in Studio
Wenn Sie von Ihren Studio- oder Studio-Classic-Notebook aus eine Verbindung zu einem Amazon-EMR-Cluster herstellen, können Sie visuell eine Liste von IAM-Rollen, auch Laufzeit-Rollen genannt, durchsuchen und spontan eine auswählen. Anschließend greifen alle Ihre Apache Spark-, Apache Hive- oder Presto-Aufträge, die von Ihrem Notebook aus erstellt wurden, nur auf die Daten und Ressourcen zu, die gemäß den mit der Laufzeit-Rolle verknüpften Richtlinien zulässig sind. Außerdem können Sie beim Zugriff auf Daten aus Data Lakes AWS Lake Formation, mit denen verwaltet wird, mithilfe von Richtlinien, die der Runtime-Rolle zugeordnet sind, den Zugriff auf Tabellen- und Spaltenebene erzwingen.
Mit dieser Funktion können Sie und Ihre Teamkollegen eine Verbindung zu demselben Cluster herstellen und dabei jeweils eine Laufzeit-Rolle verwenden, deren Umfang über Berechtigungen verfügt, die Ihrer individuellen Zugriffsebene auf Daten entsprechen. Ihre Sitzungen sind auf dem gemeinsam genutzten Cluster auch voneinander isoliert.
Informationen zum Ausprobieren dieser Funktion mit Studio Classic finden Sie unter [Anwenden detaillierter Datenzugriffskontrollen mit AWS Lake Formation und Amazon EMR von Amazon SageMaker ](https://aws.amazon.com/blogs/machine-learning/apply-fine-grained-data-access-controls-with-aws-lake-formation-and-amazon-emr-from-amazon-sagemaker-studio/) Studio Classic. Dieser Blogbeitrag hilft Ihnen beim Einrichten einer Demo-Umgebung, in der Sie versuchen können, mithilfe vorkonfigurierter Laufzeit-Rollen eine Verbindung zu Amazon EMR-Clustern herzustellen.
## Voraussetzungen
Bevor Sie beginnen, sollten Sie sicherstellen, dass Sie die folgenden Voraussetzungen erfüllen:
+ Verwenden Sie Amazon EMR Version 6.9 oder höher.
+ **Für Studio Classic-Benutzer**: Verwenden Sie JupyterLab Version 3 in der Konfiguration der Studio Classic Jupyter-Serveranwendung. Diese Version unterstützt die Studio-Classic-Verbindung zu Amazon-EMR-Clustern mithilfe von Laufzeit-Rollen.
**Für Studio-Benutzer**: Verwenden Sie eine [SageMaker Distributions-Image-Version oder](sagemaker-distribution.md) höher`1.10`.
+ Erlauben Sie die Verwendung von Laufzeit-Rollen in der Sicherheitskonfiguration Ihres Clusters. Weitere Informationen finden Sie unter [ Schritte zu den Laufzeit-Rollen für Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-steps-runtime-roles.html).
+ Erstellen Sie ein Notebook mit einem der in [Unterstützte Images und Kernel für die Verbindung zu einem Amazon-EMR-Cluster von Studio oder Studio Classic aus](studio-emr-user-guide.md#studio-notebooks-emr-cluster-connect-kernels) aufgeführten Kernel.
+ Lesen Sie unbedingt die Anweisungen unter [Richten Sie Studio für die Verwendung von Laufzeit-IAM-Rollen ein](#studio-notebooks-emr-cluster-iam), um Ihre Laufzeit-Rollen zu konfigurieren.
## Kontoübergreifende Verbindungsszenarien
Die Laufzeit-Rollenauthentifizierung unterstützt eine Vielzahl von kontoübergreifenden Verbindungsszenarien, wenn sich Ihre Daten außerhalb Ihres Studio-Kontos befinden. Die folgende Abbildung zeigt drei verschiedene Möglichkeiten, wie Sie Ihren Amazon-EMR-Cluster, Ihre Daten und sogar Ihre Laufzeit-Ausführungsrolle von Amazon EMR Ihren Studio- und Datenkonten zuweisen können:
![\[Sehen Sie sich kontenübergreifende Szenarien an, die von Laufzeit-IAM-Rollen unterstützt werden.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/studio-emr-rbac-scenarios.png)
In Option 1 befinden sich Ihr Amazon-EMR-Cluster und Ihre Laufzeit-Ausführungsrolle von Amazon EMR in einem vom Studio-Konto getrennten Datenkonto. Sie definieren eine separate Autorisierungsrichtlinie für Amazon-EMR-Zugriffsrollen (auch bezeichnet als `Assumable role`) , die Ihrer Studio- oder-Studio-Classic-Ausführungsrolle die Erlaubnis erteilt, die Amazon-EMR-Zugriffsrolle zu übernehmen. Die Amazon-EMR-Zugriffsrolle ruft dann die Amazon-EMR-API `GetClusterSessionCredentials` im Namen Ihrer Studio- oder Studio Classic-Ausführungsrolle auf, sodass Sie Zugriff auf den Cluster erhalten.
In Option 2 befinden sich Ihr Amazon-EMR-Cluster und Ihre Laufzeit-Ausführungsrolle von Amazon EMR in Ihrem Studio-Konto. Ihre Studio-Ausführungsrolle ist berechtigt, die Amazon EMR-API `GetClusterSessionCredentials` zu verwenden, um Zugriff auf Ihren Cluster zu erhalten. Um auf den Amazon-S3-Bucket zuzugreifen, erteilen Sie der Laufzeit-Ausführungsrolle von Amazon EMR kontoübergreifende Zugriffsberechtigungen von Amazon S3 Bucket. Sie gewähren diese Berechtigungen im Rahmen Ihrer Bucket-Richtlinie von Amazon S3.
In Option 3 befinden sich Ihre Amazon-EMR-Cluster in Ihrem Studio-Konto und die Laufzeit-Ausführungsrolle von Amazon EMR in Ihrem Datenkonto. Ihre Studio- oder Studio-Classic-Ausführungsrolle ist berechtigt, die Amazon-EMR-API `GetClusterSessionCredentials` zu verwenden, um Zugriff auf Ihren Cluster zu erhalten. Fügen Sie die Laufzeit-Ausführungsrolle von Amazon EMR zur Konfigurations-JSON der Ausführungsrolle hinzu. Anschließend können Sie die Rolle in der Benutzeroberfläche auswählen, wenn Sie Ihren Cluster auswählen. Einzelheiten zum Einrichten der JSON-Datei für die Konfiguration Ihrer Ausführungsrolle finden Sie unter [Herunterladen Ihrer Ausführungsrollen in Studio oder Studio im Vorfeld](#studio-notebooks-emr-cluster-iam-preload).
## Richten Sie Studio für die Verwendung von Laufzeit-IAM-Rollen ein
Um die Laufzeit-Rollenauthentifizierung für Ihre Amazon EMR-Cluster einzurichten, konfigurieren Sie die erforderlichen IAM-Richtlinien, Netzwerk- und Benutzerfreundlichkeitsverbesserungen. Ihre Einrichtung hängt davon ab, ob Sie kontenübergreifende Vereinbarungen treffen, wenn sich Ihre Amazon-EMR-Cluster, Ihre Laufzeit-Ausführungsrolle von Amazon EMR oder beides außerhalb Ihres Studio-Kontos befinden. Der folgende Abschnitt führt Sie durch die zu installierenden Richtlinien, die Konfiguration des Netzwerks, um den Datenverkehr zwischen kontenübergreifenden Konten zuzulassen, und die lokale Konfigurationsdatei, die Sie zur Automatisierung Ihrer Amazon-EMR-Verbindung einrichten müssen.
### Konfigurieren Sie die Laufzeit-Rollenauthentifizierung, wenn sich Ihr Amazon EMR-Cluster und Studio im selben Konto befinden
Wenn sich Ihr Amazon EMR-Cluster in Ihrem Studio-Konto befindet, führen Sie die folgenden Schritte aus, um Ihrer Studio-Ausführungsrichtlinie die erforderlichen Berechtigungen hinzuzufügen:
1. Fügen Sie die erforderliche IAM-Richtlinie hinzu, um eine Verbindung zu Amazon EMR-Clustern herzustellen. Details hierzu finden Sie unter [Amazon-EMR-Cluster konfigurieren](studio-notebooks-configure-discoverability-emr-cluster.md).
1. Erteilen Sie die Erlaubnis zum Aufrufen der Amazon-EMR-API `GetClusterSessionCredentials`, wenn Sie eine oder mehrere zulässige Laufzeit-Ausführungsrollen von Amazon EMR bestehen, die in der Richtlinie angegeben sind.
1. (Optional) Erteilen Sie die Erlaubnis, IAM-Rollen zu übergeben, die beliebigen benutzerdefinierten Benennungskonventionen entsprechen.
1. (Optional) Erteilen Sie die Berechtigung zum Zugriff auf Amazon EMR-Cluster, die mit bestimmten benutzerdefinierten Strings gekennzeichnet sind.
1. Laden Sie Ihre IAM-Rollen vorab herunter, damit Sie die Rolle auswählen können, die Sie verwenden möchten, wenn Sie eine Verbindung zu Ihrem Amazon EMR-Cluster herstellen. Weitere Informationen über das Vorladen Ihrer IAM-Rollen finden Sie unter [Herunterladen Ihrer Ausführungsrollen in Studio oder Studio im Vorfeld](#studio-notebooks-emr-cluster-iam-preload).
Die folgende Beispielrichtlinie ermöglicht Laufzeit-Ausführungsrollen von Amazon EMR, die zu den Modellierungs- und Trainingsgruppen gehören, das Aufrufen von `GetClusterSessionCredentials`. Darüber hinaus kann der Versicherungsnehmer auf Amazon EMR-Cluster zugreifen, die mit den Strings `modeling` oder `training` gekennzeichnet sind.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "VisualEditor0",
"Effect": "Allow",
"Action": "elasticmapreduce:GetClusterSessionCredentials",
"Resource": "*",
"Condition": {
"ArnLike": {
"elasticmapreduce:ExecutionRoleArn": [
"arn:aws:iam::111122223333:role/emr-execution-role-ml-modeling*",
"arn:aws:iam::111122223333:role/emr-execution-role-ml-training*"
]},
"StringLike":{
"elasticmapreduce:ResourceTag/group": [
"*modeling*",
"*training*"
]
}
}
}
]
}
```
------
### Konfigurieren Sie die Laufzeit-Rollenauthentifizierung, wenn sich Ihr Cluster und Studio in verschiedenen Konten befinden
Wenn sich Ihr Amazon EMR-Cluster nicht in Ihrem Studio-Konto befindet, erlauben Sie Ihrer SageMaker KI-Ausführungsrolle, die kontoübergreifende Amazon EMR-Zugriffsrolle zu übernehmen, damit Sie eine Verbindung zum Cluster herstellen können. Führen Sie die folgenden Schritte aus, um Ihre Kontoübergreifende Konfiguration einzurichten:
1. Erstellen Sie Ihre Berechtigungsrichtlinie für SageMaker KI-Ausführungsrollen, sodass die Ausführungsrolle die Amazon EMR-Zugriffsrolle übernehmen kann. Folgendes ist eine Beispielrichtlinie:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowAssumeCrossAccountEMRAccessRole",
"Effect": "Allow",
"Action": "sts:AssumeRole",
"Resource": "arn:aws:iam::111122223333:role/emr-access-role-name"
}
]
}
```
------
1. Erstellen Sie die Vertrauensrichtlinie, um anzugeben, welchen Studio-Konten IDs vertraut wird, um die Amazon EMR-Zugriffsrolle zu übernehmen. Folgendes ist eine Beispielrichtlinie:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowCrossAccountSageMakerExecutionRoleToAssumeThisRole",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::111122223333:role/studio_execution_role"
},
"Action": "sts:AssumeRole"
}
]
}
```
------
1. Erstellen Sie die Autorisierungsrichtlinie für Amazon-EMR-Zugriffsrollen, die der Laufzeit-Ausführungsrolle von Amazon EMR die erforderlichen Berechtigungen für die Ausführung der vorgesehenen Aufgaben auf dem Cluster gewährt. Konfigurieren Sie die Amazon-EMR-Zugriffsrolle so, dass sie die API `GetClusterSessionCredentials` mit den Laufzeit-Ausführungsrollen von Amazon EMR aufruft, die in der Zugriffsrollenberechtigungsrichtlinie angegeben sind. Folgendes ist eine Beispielrichtlinie:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowCallingEmrGetClusterSessionCredentialsAPI",
"Effect": "Allow",
"Action": "elasticmapreduce:GetClusterSessionCredentials",
"Resource": "arn:aws:elasticmapreduce:us-east-1:111122223333:cluster/cluster-id",
"Condition": {
"StringLike": {
"elasticmapreduce:ExecutionRoleArn": [
"arn:aws:iam::111122223333:role/emr-execution-role-name"
]
}
}
}
]
}
```
------
1. Richten Sie das kontenübergreifende Netzwerk so ein, dass der Datenverkehr zwischen Ihren Konten hin und her fließen kann. Anweisungen finden Sie unter *[Konfigurieren Sie den Netzwerkzugriff für Ihren Amazon-EMR-Cluster](studio-notebooks-emr-networking.md) Einrichten von *. Die Schritte in diesem Abschnitt helfen Ihnen bei der Durchführung der folgenden Aufgaben:
1. VPC-Peer zwischen Ihrem Studio-Konto und Ihrem Amazon EMR-Konto, um eine Verbindung herzustellen.
1. Fügen Sie den Routing-Tabellen für private Subnetze in beiden Konten manuell Routen hinzu. Dies ermöglicht die Erstellung und Verbindung von Amazon-EMR-Clustern vom Studio-Konto zum privaten Subnetz des Remote-Kontos.
1. Richten Sie die mit Ihrer Studio-Domain verbundene Sicherheitsgruppe ein, um ausgehenden Datenverkehr zuzulassen, und die Sicherheitsgruppe des Amazon EMR-Primärknotens, um eingehenden TCP-Verkehr von der Studio-Instance-Sicherheitsgruppe zuzulassen.
1. Laden Sie Ihre IAM-Runtime-Rollen vorab herunter, sodass Sie die Rolle auswählen können, die Sie verwenden möchten, wenn Sie eine Verbindung zu Ihrem Amazon EMR-Cluster herstellen. Weitere Informationen über das Vorladen Ihrer IAM-Rollen finden Sie unter [Herunterladen Ihrer Ausführungsrollen in Studio oder Studio im Vorfeld](#studio-notebooks-emr-cluster-iam-preload).
### Lake Formation-Zugriff konfigurieren
Wenn Sie auf Daten aus Data Lakes zugreifen, die von verwaltet werden AWS Lake Formation, können Sie mithilfe von Richtlinien, die Ihrer Runtime-Rolle zugeordnet sind, den Zugriff auf Tabellen- und Spaltenebene erzwingen. Informationen zur Konfiguration von Lake Formation-Zugriff finden Sie unter [Integrieren von Amazon EMR mit AWS Lake Formation](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-lake-formation.html).
### Herunterladen Ihrer Ausführungsrollen in Studio oder Studio im Vorfeld
Sie können Ihre IAM-Runtime-Rollen vorab laden, sodass Sie die Rolle auswählen können, die Sie verwenden möchten, wenn Sie eine Verbindung zu Ihrem Amazon EMR-Cluster herstellen. Benutzer von JupyterLab In Studio können die SageMaker AI-Konsole oder das bereitgestellte Skript verwenden.
------
#### [ Preload runtime roles in JupyterLab using the SageMaker AI console ]
So verknüpfen Sie Ihre Runtime-Rollen mithilfe der SageMaker AI-Konsole mit Ihrem Benutzerprofil oder Ihrer Domain:
1. Navigieren Sie zur SageMaker AI-Konsole unter [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Wählen Sie im linken Navigationsbereich die **Domäne** aus und wählen Sie dann die Domäne mit der SageMaker AI-Ausführungsrolle aus, deren Berechtigungen Sie aktualisiert haben.
1.
+ So fügen Sie Ihrer Domain Ihre Laufzeit (und Zugriffsrollen für kontoübergreifende Anwendungen) hinzu: Navigieren Sie auf der Seite mit den **Domain-Details** auf der Registerkarte **App-Konfigurationen** zu dem **JupyterLab**Abschnitt.
+ So fügen Sie Ihre Laufzeit (und Zugriffsrollen für kontoübergreifende Anwendungsfälle) zu Ihrem Benutzerprofil hinzu: Wählen Sie auf der Seite mit den **Domänendetails** den Tab **Benutzerprofile** aus und wählen Sie das Benutzerprofil mit der SageMaker AI-Ausführungsrolle aus, deren Berechtigungen Sie aktualisiert haben. Navigieren Sie auf der Registerkarte **App-Konfigurationen** zum **JupyterLab**Abschnitt.
1. Wählen Sie **Bearbeiten** und fügen Sie die Rollen ARNs Ihrer Zugriffsrolle (angenommene Rolle) und EMR Serverless Runtime Execution hinzu.
1. Wählen Sie **Absenden** aus.
Wenn Sie das nächste Mal eine Verbindung zu einem Amazon EMR-Server herstellen, sollten die Runtime-Rollen in einem Dropdown-Menü zur Auswahl angezeigt werden.
------
#### [ Preload runtime roles in JupyterLab using a Python script ]
Führen Sie in einer JupyterLab Anwendung, die von einem Space aus gestartet wurde und die SageMaker AI-Ausführungsrolle verwendet, deren Berechtigungen Sie aktualisiert haben, den folgenden Befehl in einem Terminal aus. Ersetzen Sie `domainID`, `user-profile-name`, `emr-accountID` und `EMRServiceRole` durch die ordnungsgemäßen Werte. Dieser Codeausschnitt aktualisiert die Einstellungen eines Benutzerprofils (`client.update_user_profile`) innerhalb einer SageMaker AI-Domäne in einem kontoübergreifenden Anwendungsfall. Insbesondere werden die Servicerollen für Amazon EMR festgelegt. Außerdem kann die JupyterLab Anwendung eine bestimmte IAM-Rolle (`AssumableRole`oder`AccessRole`) für die Ausführung von Amazon EMR innerhalb des Amazon EMR-Kontos übernehmen.
Alternativ können Sie diese Option verwenden, `client.update_domain` um die Domain-Einstellungen zu aktualisieren, falls Ihr Space eine auf Domainebene festgelegte Ausführungsrolle verwendet.
```
import botocore.session
import json
sess = botocore.session.get_session()
client = sess.create_client('sagemaker')
client.update_user_profile(
DomainId="domainID",
UserProfileName="user-profile-name",
UserSettings={
'JupyterLabAppSettings': {
'EmrSettings': {
'AssumableRoleArns': ["arn:aws:iam::emr-accountID:role/AssumableRole"],
'ExecutionRoleArns': ["arn:aws:iam::emr-accountID:role/EMRServiceRole",
"arn:aws:iam::emr-accountID:role/AnotherServiceRole"]
}
}
})
resp = client.describe_user_profile(DomainId="domainID", UserProfileName=user-profile-name")
resp['CreationTime'] = str(resp['CreationTime'])
resp['LastModifiedTime'] = str(resp['LastModifiedTime'])
print(json.dumps(resp, indent=2))
```
------
#### [ Preload runtime roles in Studio Classic ]
Geben Sie den ARN von `AccessRole` (`AssumableRole`) für Ihre SageMaker KI-Ausführungsrolle an. Der ARN wird beim Start des Jupyter-Servers geladen. Die Ausführungsrolle von Studio übernimmt diese kontoübergreifende Rolle, um Amazon-EMR-Cluster im *vertrauenden Konto* aufzufinden und eine Verbindung zu ihnen herzustellen.
Sie können diese Informationen mithilfe von Lifecycle Configuration (LCC) -Skripten angeben. Sie können das LCC an Ihre Domain oder ein bestimmtes Benutzerprofil anfügen. Das von Ihnen verwendete LCC-Skript muss eine JupyterServer Konfiguration sein. Weitere Informationen dazu, wie ein LCC-Skript erstellt wird, finden Sie unter [Verwenden der Lebenszykluskonfigurationen mit Studio Classic](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc.html).
Nachfolgend sehen Sie ein LCC-Beispielskript. Um das Skript zu ändern, ersetzen Sie `AssumableRole` es `emr-account` durch die entsprechenden Werte. Die Anzahl der Konten für die kontoübergreifende Nutzung ist auf fünf begrenzt.
Das folgende Snippet ist ein Beispiel für ein LCC-Bash-Skript, das Sie anwenden können, wenn sich Ihre Studio-Classic-Anwendung und Ihr Cluster im selben Konto befinden:
```
#!/bin/bash
set -eux
FILE_DIRECTORY="/home/sagemaker-user/.sagemaker-analytics-configuration-DO_NOT_DELETE"
FILE_NAME="emr-configurations-DO_NOT_DELETE.json"
FILE="$FILE_DIRECTORY/$FILE_NAME"
mkdir -p $FILE_DIRECTORY
cat << 'EOF' > "$FILE"
{
"emr-execution-role-arns":
{
"123456789012": [
"arn:aws:iam::123456789012:role/emr-execution-role-1",
"arn:aws:iam::123456789012:role/emr-execution-role-2"
]
}
}
EOF
```
Wenn sich Ihre Studio-Classic-Anwendung und Ihre Cluster in unterschiedlichen Konten befinden, geben Sie die Amazon-EMR-Zugriffsrollen an, die den Cluster verwenden können. In der folgenden Beispielrichtlinie ist *123456789012* die Amazon EMR-Cluster-Konto-ID, und *212121212121* und *434343434343* sind die für die erlaubten Amazon EMR-Zugriffsrollen. ARNs
```
#!/bin/bash
set -eux
FILE_DIRECTORY="/home/sagemaker-user/.sagemaker-analytics-configuration-DO_NOT_DELETE"
FILE_NAME="emr-configurations-DO_NOT_DELETE.json"
FILE="$FILE_DIRECTORY/$FILE_NAME"
mkdir -p $FILE_DIRECTORY
cat << 'EOF' > "$FILE"
{
"emr-execution-role-arns":
{
"123456789012": [
"arn:aws:iam::212121212121:role/emr-execution-role-1",
"arn:aws:iam::434343434343:role/emr-execution-role-2"
]
}
}
EOF
# add your cross-account EMR access role
FILE_DIRECTORY="/home/sagemaker-user/.cross-account-configuration-DO_NOT_DELETE"
FILE_NAME="emr-discovery-iam-role-arns-DO_NOT_DELETE.json"
FILE="$FILE_DIRECTORY/$FILE_NAME"
mkdir -p $FILE_DIRECTORY
cat << 'EOF' > "$FILE"
{
"123456789012": "arn:aws:iam::123456789012:role/cross-account-emr-access-role"
}
EOF
```
------
# Referenzrichtlinien
+ **Amazon EMR-Richtlinien auflisten**: Diese Richtlinie ermöglicht die Durchführung der folgenden Aktionen:
+ `AllowPresignedUrl`ermöglicht URLs die Generierung von vorsignierten Dateien für den Zugriff auf die Spark-Benutzeroberfläche von Studio aus.
+ `AllowClusterDiscovery`und `AllowClusterDetailsDiscovery` ermöglicht das Auflisten und Beschreiben von Amazon EMR-Clustern in der angegebenen Region und dem angegebenen Konto.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowPresignedUrl",
"Effect": "Allow",
"Action": [
"elasticmapreduce:CreatePersistentAppUI",
"elasticmapreduce:DescribePersistentAppUI",
"elasticmapreduce:GetPersistentAppUIPresignedURL",
"elasticmapreduce:GetOnClusterAppUIPresignedURL"
],
"Resource": [
"arn:aws:elasticmapreduce:us-east-1:111122223333:cluster/*"
]
},
{
"Sid": "AllowClusterDetailsDiscovery",
"Effect": "Allow",
"Action": [
"elasticmapreduce:DescribeCluster",
"elasticmapreduce:ListInstances",
"elasticmapreduce:ListInstanceGroups",
"elasticmapreduce:DescribeSecurityConfiguration"
],
"Resource": [
"arn:aws:elasticmapreduce:us-east-1:111122223333:cluster/*"
]
},
{
"Sid": "AllowClusterDiscovery",
"Effect": "Allow",
"Action": [
"elasticmapreduce:ListClusters"
],
"Resource": "*"
}
]
}
```
------
+ **Amazon EMR-Cluster-Richtlinien erstellen**: Diese Richtlinie ermöglicht die Durchführung der folgenden Aktionen:
+ `AllowEMRTemplateDiscovery`ermöglicht die Suche nach Amazon EMR-Vorlagen im Service Catalog. Studio und Studio Classic verwenden dies, um verfügbare Vorlagen anzuzeigen.
+ `AllowSagemakerProjectManagement`ermöglicht die Erstellung von[Was ist ein SageMaker KI-Projekt?](sagemaker-projects-whatis.md). In Studio oder Studio Classic AWS Service Catalog wird der Zugriff auf die verwaltet über[Was ist ein SageMaker KI-Projekt?](sagemaker-projects-whatis.md).
Die in der bereitgestellten JSON-Datei definierte IAM-Richtlinie gewährt diese Berechtigungen. Ersetzen Sie *region* und *accountID* durch Ihre tatsächlichen Regions- und AWS Konto-ID-Werte, bevor Sie die Liste der Kontoauszüge in die Inline-Richtlinie Ihrer Rolle kopieren.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowEMRTemplateDiscovery",
"Effect": "Allow",
"Action": [
"servicecatalog:SearchProducts"
],
"Resource": "*"
},
{
"Sid": "AllowSagemakerProjectManagement",
"Effect": "Allow",
"Action": [
"sagemaker:CreateProject",
"sagemaker:DeleteProject"
],
"Resource": "arn:aws:sagemaker:us-east-1:111122223333:project/*"
}
]
}
```
------
+ **Richtlinie für Aktionen zur Aktualisierung von Domänen, Benutzerprofilen und** Bereichen: Die folgende Richtlinie gewährt Berechtigungen zur Aktualisierung von SageMaker KI-Domänen, Benutzerprofilen und Bereichen innerhalb der angegebenen Region und des angegebenen AWS Kontos.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "SageMakerUpdateResourcesPolicy",
"Effect": "Allow",
"Action": [
"sagemaker:UpdateDomain",
"sagemaker:UpdateUserprofile",
"sagemaker:UpdateSpace"
],
"Resource": [
"arn:aws:sagemaker:us-east-1:111122223333:domain/*",
"arn:aws:sagemaker:us-east-1:111122223333:user-profile/*"
]
}
]
}
```
------
# Benutzerhandbuch
In diesem Abschnitt wird beschrieben, wie Datenwissenschaftler und Dateningenieure von Studio oder Studio Classic aus einen Amazon EMR-Cluster starten, auffinden, eine Verbindung dazu herstellen oder ihn beenden können.
Bevor Benutzer Cluster auflisten oder starten können, müssen Administratoren die erforderlichen Einstellungen in der Studio-Umgebung konfiguriert haben. Informationen darüber, wie Administratoren eine Studio-Umgebung so konfigurieren können, dass sie die selbstständige Bereitstellung und die Auflistung von Amazon EMR-Clustern ermöglicht, finden Sie unter [Admin-Leitfaden](studio-emr-admin-guide.md).
**Topics**
+ [Unterstützte Images und Kernel für die Verbindung zu einem Amazon-EMR-Cluster von Studio oder Studio Classic aus](#studio-notebooks-emr-cluster-connect-kernels)
+ [Bring Your Own Image](#studio-notebooks-emr-byoi)
+ [Starten eines Amazon-EMR-Clusters von Studio oder Studio Classic aus](studio-notebooks-launch-emr-cluster-from-template.md)
+ [Amazon EMR-Cluster aus Studio oder Studio Classic auflisten](discover-emr-clusters.md)
+ [Stellen Sie von SageMaker Studio oder Studio Classic aus eine Connect zu einem Amazon EMR-Cluster her](connect-emr-clusters.md)
+ [Beenden eines Amazon-EMR-Clusters von Studio oder Studio Classic aus](terminate-emr-clusters.md)
+ [Zugriff auf die Spark-Benutzeroberfläche über Studio oder Studio Classic](studio-notebooks-access-spark-ui.md)
## Unterstützte Images und Kernel für die Verbindung zu einem Amazon-EMR-Cluster von Studio oder Studio Classic aus
Die folgenden Images und Kernel enthalten die JupyterLab Erweiterung [sagemaker-studio-analytics-extension](https://pypi.org/project/sagemaker-studio-analytics-extension/), die mithilfe von [Apache](https://livy.apache.org/) Livy über die [SparkMagic](https://github.com/jupyter-incubator/sparkmagic)Bibliothek eine Verbindung zu einem Remote-Spark-Cluster (Amazon EMR) herstellt.
+ **Für Studio-Benutzer:** SageMaker Distribution ist eine Docker-Umgebung für Data Science, die als Standard-Image für Notebook-Instances verwendet wird. JupyterLab Alle Versionen von [SageMaker AI Distribution](https://github.com/aws/sagemaker-distribution) sind `sagemaker-studio-analytics-extension` vorinstalliert.
+ **Für Studio Classic-Benutzer:** Die folgenden Images sind vorinstalliert mit: `sagemaker-studio-analytics-extension`
+ DataScience — Python-3-Kernel
+ DataScience 2.0 — Python-3-Kernel
+ DataScience 3.0 — Python-3-Kernel
+ SparkAnalytics 1.0 — SparkMagic und PySpark Kernel
+ SparkAnalytics 2.0 — SparkMagic und Kernel PySpark
+ SparkMagic — SparkMagic und Kernel PySpark
+ PyTorch 1.8 — Python-3-Kernel
+ TensorFlow 2.6 — Python-3-Kernel
+ TensorFlow 2.11 — Python-3-Kernel
Um über ein anderes integriertes oder Ihr eigenes Image eine Verbindung zu Amazon EMR-Clustern herzustellen, folgen Sie den Anweisungen unter [Bring Your Own Image](#studio-notebooks-emr-byoi).
## Bring Your Own Image
Um Ihr eigenes Image in Studio oder Studio Classic zu integrieren und es Ihren Notebooks zu ermöglichen, sich mit Amazon EMR-Clustern zu verbinden, installieren Sie die folgende [sagemaker-studio-analytics-extension](https://pypi.org/project/sagemaker-studio-analytics-extension/)Erweiterung in Ihrem Kernel. Es unterstützt die Verbindung von SageMaker Studio- oder Studio Classic-Notebooks mit Spark-Clustern (Amazon EMR) über die [SparkMagic](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-studio-magics.html)Bibliothek.
```
pip install sparkmagic
pip install sagemaker-studio-sparkmagic-lib
pip install sagemaker-studio-analytics-extension
```
Um mit [Kerberos-Authentifizierung](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-kerberos.html) eine Verbindung zu Amazon EMR herzustellen, müssen Sie außerdem den Kinit-Client installieren. Je nach Betriebssystem kann der Befehl zur Installation des Kinit-Clients unterschiedlich sein. Verwenden Sie den Befehl `apt-get install -y -qq krb5-user`, um ein Ubuntu-Image (auf Basis von Debian) mitzubringen.
Weitere Informationen zum Mitbringen Ihres eigenen Images in SageMaker Studio oder Studio Classic finden Sie unter [Bringen Sie Ihr eigenes SageMaker Bild](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-byoi.html) mit.
# Starten eines Amazon-EMR-Clusters von Studio oder Studio Classic aus
Datenwissenschaftler und Dateningenieure können Amazon EMR-Cluster von Studio oder Studio Classic aus mithilfe von CloudFormation Vorlagen, die von ihren Administratoren eingerichtet wurden, selbst bereitstellen. Bevor Benutzer einen Cluster starten können, müssen Administratoren die erforderlichen Einstellungen in der Studio-Umgebung konfiguriert haben. Informationen darüber, wie Administratoren eine Studio-Umgebung so konfigurieren können, dass sie die selbstständige Bereitstellung von Amazon EMR-Clustern ermöglicht, finden Sie unter [Amazon CloudFormation EMR-Vorlagen im Service Catalog konfigurieren](studio-notebooks-set-up-emr-templates.md).
So stellen Sie aus Studio oder Studio Classic einen neuen Amazon-EMR-Cluster bereit:
1. Wählen Sie im linken Bereich der Studio- oder Studio Classic-Benutzeroberfläche im linken Navigationsmenü den Knoten **Daten** aus. Navigieren Sie nach unten zu **Amazon EMR Clusters**. Daraufhin wird eine Seite mit einer Aufstellung der Amazon-EMR-Cluster geöffnet, auf die Sie von Studio oder Studio Classic aus Zugriff haben.
1. Wählen Sie oben rechts den Button **Erstellen**. Dies öffnet ein neues Modal, in dem die Clustervorlagen aufgeführt sind, die Ihnen zur Verfügung stehen.
1. Wählen Sie eine Cluster-Vorlage aus, indem Sie einen Vorlagennamen auswählen und dann **Weiter** auswählen.
1. Geben Sie die Einzelheiten zum Cluster ein, z. B. einen Namen für den Cluster sowie ggf. spezifische konfigurierbare Parameter, die von Ihrem Administrator festgelegt wurden, und wählen Sie dann **Cluster erstellen** aus. Die Erstellung des Clusters kann einige Minuten dauern.
![\[Formular zur Erstellung eines Amazon-EMR-Clusters aus Studio oder Studio Classic.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/studio/emr/studio-notebooks-emr-cluster-creation.png)
Sobald der Cluster bereitgestellt wurde, zeigt die Benutzeroberfläche von Studio oder Studio Classic die Meldung *Der Cluster wurde erfolgreich erstellt* an.
Informationen dazu, wie Sie eine Verbindung zu Ihrem Cluster herstellen können, finden Sie unter [Stellen Sie von SageMaker Studio oder Studio Classic aus eine Connect zu einem Amazon EMR-Cluster her](connect-emr-clusters.md)
# Amazon EMR-Cluster aus Studio oder Studio Classic auflisten
Datenwissenschaftler und Dateningenieure können Amazon-EMR-Cluster von Studio aus auffinden und dann eine Verbindung zu ihnen herstellen. Die Amazon EMR-Cluster können sich in demselben AWS Konto wie Studio oder in einem anderen AWS Konto befinden.
Bevor Benutzer Cluster auflisten oder sich mit ihnen verbinden können, müssen Administratoren die erforderlichen Einstellungen in der Studio-Umgebung konfiguriert haben. Informationen darüber, wie Administratoren eine Studio-Umgebung so konfigurieren können, dass sie laufende Amazon EMR-Cluster erkennen kann, finden Sie unter[Admin-Leitfaden](studio-emr-admin-guide.md). Wenn Ihr Administrator [die kontoübergreifende Erkennung von Amazon EMR-Clustern konfiguriert](studio-notebooks-configure-discoverability-emr-cluster.md) hat, können Sie eine konsolidierte Liste von Clustern anzeigen. Die Liste umfasst Cluster aus dem von Studio verwendeten AWS Konto sowie Cluster von Remote-Konten, auf die Ihnen Zugriff gewährt wurde.
So können Sie die Liste der verfügbaren Amazon-EMR-Cluster in SageMaker Studio einsehen:
1. Scrollen Sie im linken Navigationsmenü der Studio-Benutzeroberfläche nach unten zu **EMR-Clusters**. Daraufhin wird eine Seite mit einer Aufstellung der Amazon-EMR-Cluster geöffnet, auf die Sie von SageMaker Studio aus Zugriff haben.
**In der Liste werden Cluster in den folgenden Phasen angezeigt: **Bootstrapping**, **Starten der **Ausführung**, Warten**.** Mithilfe des Filtersymbols können Sie die angezeigten Cluster nach ihrem aktuellen Status eingrenzen.
1. Wählen Sie einen bestimmten **Running-Cluster** aus, zu dem Sie eine Verbindung herstellen möchten, und verweisen Sie dann auf ihn[Stellen Sie von SageMaker Studio oder Studio Classic aus eine Connect zu einem Amazon EMR-Cluster her](connect-emr-clusters.md).
# Stellen Sie von SageMaker Studio oder Studio Classic aus eine Connect zu einem Amazon EMR-Cluster her
Datenwissenschaftler und Dateningenieure können einen Amazon EMR-Cluster auffinden und dann eine Verbindung zu ihm herstellen. Stellen Sie zunächst sicher, dass Sie die erforderlichen Berechtigungen wie im [Schritt 4: Richten Sie die Berechtigungen ein, um das Auflisten und Starten von Amazon EMR-Clustern von Studio aus zu ermöglichen](studio-notebooks-set-up-emr-templates.md#studio-emr-permissions) Abschnitt beschrieben konfiguriert haben. Diese Berechtigungen gewähren Studio die Möglichkeit, Cluster zu erstellen, zu starten, anzuzeigen, darauf zuzugreifen und sie zu beenden.
Sie können einen Amazon EMR-Cluster direkt über die Studio-Benutzeroberfläche mit einem neuen JupyterLab Notebook verbinden oder die Verbindung in einem Notizbuch einer laufenden JupyterLab Anwendung initiieren.
**Wichtig**
Sie können nur Amazon EMR-Cluster für und Studio Classic-Anwendungen erkennen JupyterLab und eine Verbindung zu diesen herstellen, die von privaten Bereichen aus gestartet werden. Stellen Sie sicher, dass sich die Amazon EMR-Cluster in derselben AWS Region wie Ihre Studio-Umgebung befinden. Ihr JupyterLab Bereich muss eine SageMaker Distributions-Image-Version `1.10` oder höher verwenden.
## Eine Connect zu einem Amazon-EMR-Cluster über die Studio-Benutzeroberfläche herstellen
Um über die Benutzeroberfläche von Studio oder Studio Classic eine Verbindung zu Ihrem Cluster herzustellen, können Sie entweder über die Liste der Cluster, auf die zugegriffen wird[Amazon EMR-Cluster aus Studio oder Studio Classic auflisten](discover-emr-clusters.md), oder über ein Notizbuch in SageMaker Studio oder Studio Classic eine Verbindung herstellen.
**So verbinden Sie einen Amazon EMR-Cluster über die Studio-Benutzeroberfläche mit einem neuen JupyterLab Notebook:**
1. Wählen Sie im linken Bereich der Studio-Benutzeroberfläche den Knoten **Daten** im linken Navigationsbereich aus. Navigieren Sie nach unten zu **Amazon EMR-Anwendungen und -Clustern**. Daraufhin wird eine Seite mit einer Aufstellung der Amazon-EMR-Cluster geöffnet, auf die Sie von SageMaker Studio aus Zugriff haben.
**Anmerkung**
Wenn Sie oder Ihr Administrator die Berechtigungen so konfiguriert haben, dass sie den kontoübergreifenden Zugriff auf Amazon EMR-Cluster ermöglichen, können Sie eine konsolidierte Liste der Cluster für alle Konten anzeigen, denen Sie Zugriff auf Studio gewährt haben.
1. Wählen Sie einen Amazon EMR-Cluster aus, den Sie mit einem neuen Notebook verbinden möchten, und wählen Sie dann An **Notebook anfügen**. Dadurch wird ein modales Fenster geöffnet, in dem die Liste Ihrer JupyterLab Spaces angezeigt wird.
1.
+ Wählen Sie den Bereich aus, von dem aus Sie eine JupyterLab Anwendung starten möchten, und wählen Sie dann **Notizbuch öffnen**. Dadurch wird eine JupyterLab Anwendung aus dem ausgewählten Bereich gestartet und ein neues Notizbuch geöffnet.
**Anmerkung**
Benutzer von Studio Classic müssen ein Image und einen Kernel auswählen. Eine Liste der unterstützten Images finden Sie unter [Unterstützte Images und Kernel für die Verbindung zu einem Amazon-EMR-Cluster von Studio oder Studio Classic aus](studio-emr-user-guide.md#studio-notebooks-emr-cluster-connect-kernels) oder unter [Bring Your Own Image](studio-emr-user-guide.md#studio-notebooks-emr-byoi).
+ Alternativ können Sie einen neuen privaten Bereich erstellen, indem Sie oben im modalen Fenster auf die Schaltfläche **Neuen Bereich erstellen** klicken. Geben Sie einen Namen für Ihren Bereich ein und wählen Sie dann **Bereich erstellen und Notebook öffnen**. Dadurch wird ein privater Bereich mit dem Standard-Instanztyp und dem neuesten verfügbaren SageMaker Distributions-Image erstellt, eine JupyterLab Anwendung gestartet und ein neues Notizbuch geöffnet.
1. Wenn der von Ihnen ausgewählte Cluster keine Authentifizierung über Kerberos-, LDAP- oder [Lauzeit-Rollen]() verwendet, fordert Studio Sie auf, den Typ der Anmeldeinformation auszuwählen. Sie können zwischen **HTTP-Basisauthentifizierung** oder **Keine Anmeldeinformationen** wählen und dann ggf. Ihre Anmeldeinformationen eingeben.
Wenn der von Ihnen ausgewählte Cluster Runtime-Rollen unterstützt, wählen Sie den Namen der IAM-Rolle, die Ihr Amazon EMR-Cluster für die Auftragsausführung annehmen kann.
**Wichtig**
Um ein JupyterLab Notebook erfolgreich mit einem Amazon EMR-Cluster zu verbinden, der Runtime-Rollen unterstützt, müssen Sie zunächst die Liste der Runtime-Rollen mit Ihrer Domain oder Ihrem Benutzerprofil verknüpfen, wie unter beschrieben. [Konfigurieren Sie IAM-Laufzeitrollen für den Amazon EMR-Clusterzugriff in Studio](studio-notebooks-emr-cluster-rbac.md) Wenn Sie diesen Schritt nicht abschließen, können Sie die Verbindung nicht herstellen.
Ein Verbindungsbefehl füllt die erste Zelle Ihres Notebooks aus und initiiert die Verbindung mit dem Amazon-EMR-Cluster.
Sobald die Verbindung hergestellt wurde, bestätigt eine Meldung die Verbindung und den Start der Spark-Anwendung.
**Alternativ können Sie von einem Notebook JupyterLab oder einem Studio Classic-Notebook aus eine Verbindung zu einem Cluster herstellen.**
1. Wählen Sie oben in Ihrem Notebook die Option **Cluster** aus. Dadurch wird ein modales Fenster geöffnet, in dem die Amazon EMR-Cluster in einem `Running` Status aufgeführt sind, auf den Sie Zugriff haben. Sie können die `Running` Amazon EMR-Cluster auf der Registerkarte **Amazon EMR-Cluster** sehen.
**Anmerkung**
Für die Benutzer von Studio Classic ist **Cluster** nur sichtbar, wenn Sie einen Kernel von [Unterstützte Images und Kernel für die Verbindung zu einem Amazon-EMR-Cluster von Studio oder Studio Classic aus](studio-emr-user-guide.md#studio-notebooks-emr-cluster-connect-kernels) oder von verwenden[Bring Your Own Image](studio-emr-user-guide.md#studio-notebooks-emr-byoi). Wenn Sie oben in Ihrem Notebook nicht **Cluster** sehen können, vergewissern Sie sich, dass Ihr Administrator die [Auffindbarkeit Ihrer Cluster konfiguriert](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-notebooks-configure-discoverability-emr-cluster.html) hat, und wechseln Sie zu einem unterstützten Kernel.
1. Wählen Sie den Cluster aus, zu dem Sie eine Verbindung herstellen möchten, und wählen Sie dann **Verbinden** aus.
1. Wenn Sie Ihre Amazon EMR-Cluster so konfiguriert haben, dass sie [IAM-Laufzeitrollen](studio-notebooks-emr-cluster-rbac.md) unterstützen, können Sie Ihre Rolle im Auswahlmenü **Amazon EMR-Ausführungsrolle** auswählen.
**Wichtig**
Um ein JupyterLab Notebook erfolgreich mit einem Amazon EMR-Cluster zu verbinden, der Runtime-Rollen unterstützt, müssen Sie zunächst die Liste der Runtime-Rollen mit Ihrer Domain oder Ihrem Benutzerprofil verknüpfen, wie unter beschrieben. [Konfigurieren Sie IAM-Laufzeitrollen für den Amazon EMR-Clusterzugriff in Studio](studio-notebooks-emr-cluster-rbac.md) Wenn Sie diesen Schritt nicht abschließen, können Sie die Verbindung nicht herstellen.
Andernfalls, wenn der von Ihnen gewählte Cluster keine Authentifizierung über eine Kerberos-, LDAP- oder Laufzeit-Rolle verwendet, fordert Studio oder Studio Classic Sie auf, den Typ der Anmeldeinformationen auszuwählen. Sie können die **HTTP-Basisauthentifizierung** oder **Keine Anmeldeinformationen** wählen.
1. Studio fügt einen Codeblock hinzu und führt ihn anschließend aus, um die Verbindung herzustellen. Dieses Feld enthält den Befehl Connection Magic, mit dem Sie Ihr Notebook entsprechend Ihrem Authentifizierungstyp mit Ihrer Anwendung verbinden können.
Sobald die Verbindung hergestellt wurde, bestätigt eine Meldung die Verbindung und den Start der Spark-Anwendung.
## Eine Connect zu einem Amazon-EMR-Cluster mithilfe eines Verbindungsbefehls herstellen
Um eine Verbindung zu einem Amazon EMR-Cluster herzustellen, können Sie Verbindungsbefehle innerhalb einer Notebook-Zelle ausführen.
[Beim Herstellen der Verbindung können Sie sich mit [Kerberos](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-kerberos.html), [Lightweight Directory Access Protocol (LDAP)](https://docs.aws.amazon.com/) oder Runtime-IAM-Rollenauthentifizierung authentifizieren.](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-notebooks-emr-cluster-rbac.html) Die Authentifizierungsmethode, die Sie auswählen, hängt von der Konfiguration Ihres Clusters ab.
In diesem Beispiel können Sie [Apache Livy mit einem Network Load Balancer auf einem Kerberos-fähigen Amazon-EMR-Cluster aufrufen,](https://aws.amazon.com/blogs/big-data/access-apache-livy-using-a-network-load-balancer-on-a-kerberos-enabled-amazon-emr-cluster/) um einen Amazon-EMR-Cluster einzurichten, der Kerberos verwendet. [Alternativ können Sie sich die CloudFormation Beispielvorlagen mit Kerberos- oder LDAP-Authentifizierung im aws-samples/ Repository ansehen. sagemaker-studio-emr](https://github.com/aws-samples/sagemaker-studio-emr/tree/main/cloudformation/getting_started) GitHub
Wenn Ihr Administrator den kontoübergreifenden Zugriff aktiviert hat, können Sie von einem Studio Classic-Notebook aus eine Verbindung zu Ihrem Amazon EMR-Cluster herstellen, unabhängig davon, ob sich Ihre Studio Classic-Anwendung und Ihr Cluster im selben AWS Konto oder in unterschiedlichen Konten befinden.
Verwenden Sie für jeden der folgenden Authentifizierungstypen den angegebenen Befehl, um von Ihrem Studio- oder Studio-Classic-Notebook aus eine Verbindung zu Ihrem Cluster herzustellen.
+ **Kerberos**
Fügen Sie das Argument `--assumable-role-arn` an, wenn Sie kontenübergreifenden Zugriff auf Amazon EMR benötigen. Fügen Sie das Argument `--verify-certificate` an, wenn Sie die Verbindung zu Ihrem Cluster über HTTPS herstellen.
```
%load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type Kerberos --language python
[--assumable-role-arn EMR_access_role_ARN ]
[--verify-certificate /home/user/certificateKey.pem]
```
+ **LDAP**
Fügen Sie das Argument `--assumable-role-arn` an, wenn Sie kontenübergreifenden Zugriff auf Amazon EMR benötigen. Fügen Sie das Argument `--verify-certificate` an, wenn Sie die Verbindung zu Ihrem Cluster über HTTPS herstellen.
```
%load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type Basic_Access --language python
[--assumable-role-arn EMR_access_role_ARN ]
[--verify-certificate /home/user/certificateKey.pem]
```
+ **NoAuth**
Fügen Sie das Argument `--assumable-role-arn` an, wenn Sie kontenübergreifenden Zugriff auf Amazon EMR benötigen. Fügen Sie das Argument `--verify-certificate` an, wenn Sie die Verbindung zu Ihrem Cluster über HTTPS herstellen.
```
%load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type None --language python
[--assumable-role-arn EMR_access_role_ARN ]
[--verify-certificate /home/user/certificateKey.pem]
```
+ **Laufzeit IAM-Rollen**
Fügen Sie das Argument `--assumable-role-arn` an, wenn Sie kontenübergreifenden Zugriff auf Amazon EMR benötigen. Fügen Sie das Argument `--verify-certificate` an, wenn Sie die Verbindung zu Ihrem Cluster über HTTPS herstellen.
Weitere Informationen dazu, wie Sie mithilfe von Runtime-IAM-Rollen eine Verbindung mit einem Amazon-EMR-Cluster herstellen können, finden Sie unter. [Konfigurieren Sie IAM-Laufzeitrollen für den Amazon EMR-Clusterzugriff in Studio](studio-notebooks-emr-cluster-rbac.md)
```
%load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type Basic_Access \
--emr-execution-role-arn arn:aws:iam::studio_account_id:role/emr-execution-role-name
[--assumable-role-arn EMR_access_role_ARN]
[--verify-certificate /home/user/certificateKey.pem]
```
## Eine Verbindung zu einem Amazon-EMR-Cluster über HTTPS herstellen
Wenn Sie Ihren Amazon-EMR-Cluster mit aktivierter Transitverschlüsselung und Apache Livy-Server für HTTPS konfiguriert haben und möchten, dass Studio über HTTPS mit Amazon EMR kommuniziert, müssen Sie Studio für den Zugriff auf Ihren Zertifikatsschlüssel konfigurieren.
Bei selbstsignierten oder von einer lokalen Zertifizierungsstelle (CA) signierten Zertifikaten können Sie dies in zwei Schritten tun:
1. Laden Sie die PEM-Datei Ihres Zertifikates mit einer der folgenden Optionen in Ihr lokales Dateisystem herunter:
+ Die integrierte Datei-Upload-Funktion von Jupyter.
+ Eine Notebook-Zelle.
+ (Nur für Studio Classic-Benutzer) Ein Lifecycle-Configuration-Skript (LCC).
Informationen dazu, wie ein LCC-Skript verwendet wird, finden Sie unter [Individuelle Einstellung einer Notebook-Instance mithilfe eines Lifecycle-Konfigurationsskripts](https://docs.aws.amazon.com/sagemaker/latest/dg/notebook-lifecycle-config.html)
1. Aktivieren Sie die Validierung des Zertifikates, indem Sie im Argument `--verify-certificate` Ihres Verbindungsbefehls den Pfad zu Ihrem Zertifikat angeben.
```
%sm_analytics emr connect --cluster-id cluster_id \
--verify-certificate /home/user/certificateKey.pem ...
```
Für Zertifikate, die von einer öffentlichen Zertifizierungsstelle ausgestellt wurden, legen Sie die Validierung des Zertifikates fest, indem Sie den `--verify-certificate` Parameter auf `true` setzen.
Alternativ können Sie die Validierung von Zertifikaten abschalten, indem Sie den `--verify-certificate` Parameter auf `false` setzen.
Die Liste der verfügbaren Verbindungsbefehle zu einem Amazon EMR-Cluster finden Sie unter [Eine Connect zu einem Amazon-EMR-Cluster mithilfe eines Verbindungsbefehls herstellen](#connect-emr-clusters-manually).
# Beenden eines Amazon-EMR-Clusters von Studio oder Studio Classic aus
Im folgenden Verfahren wird gezeigt, wie Sie aus einem Studio- oder Studio-Classic-Notebook einen Amazon-EMR-Cluster beenden.
**Um einen Cluster im Zustand `Running` zu beenden, navigieren Sie zur Liste der verfügbaren Amazon EMR-Cluster.**
1. Scrollen Sie in der Studio-Benutzeroberfläche im linken Navigationsmenü nach unten zum Knoten **Data**.
1. Navigieren Sie nach unten zum **EMR-Cluster**-Knoten. Daraufhin wird eine Seite mit einer Aufstellung der Amazon-EMR-Cluster geöffnet, auf die Sie von SageMaker Studio aus Zugriff haben.
1. Wählen Sie den Namen des Clusters aus, den Sie beenden möchten, und wählen Sie dann **Beenden** aus.
1. Daraufhin wird ein Bestätigungsfenster geöffnet, in dem Sie darüber informiert werden, dass nach dem Beenden alle laufenden Arbeiten oder Daten auf Ihrem Cluster dauerhaft verloren gehen. Bestätigen Sie, indem Sie erneut **Beenden** auswählen.
# Zugriff auf die Spark-Benutzeroberfläche über Studio oder Studio Classic
Die folgenden Abschnitte enthalten Anweisungen für den Zugriff auf die Spark-Benutzeroberfläche von SageMaker AI Studio- oder Studio Classic-Notebooks aus. Über die Spark-Benutzeroberfläche können Sie Ihre Spark-Auftrag, die zur Ausführung auf Amazon EMR eingereicht wurden, von Studio- oder Studio-Classic-Notebooks aus überwachen und debuggen. SSH-Tunneling und Presigned URLs sind zwei Möglichkeiten, auf die Spark-Benutzeroberfläche zuzugreifen.
## SSH-Tunneling für den Zugriff auf die Spark-Benutzeroberfläche einrichten
Um SSH-Tunneling für den Zugriff auf die Spark-Benutzeroberfläche einzurichten, folgen Sie einer der beiden Optionen in diesem Abschnitt.
Optionen für die Einrichtung von SSH-Tunneling:
+ [Option 1: Richten Sie mithilfe der lokalen Port-Weiterleitung einen SSH-Tunnels zum Hauptknoten ein](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ssh-tunnel-local.html)
+ [Option 2, Teil 1: Richten Sie mithilfe der dynamischen Port-Weiterleitung einen SSH-Tunnel zum Hauptknoten ein](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ssh-tunnel.html)
[Option 2, Teil 2: Konfigurieren Sie die Proxy-Einstellungen, um auf dem Hauptknoten gehostete Websites angezeigt zu bekommen](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-proxy.html)
Weitere Informationen dazu, wie die auf Amazon EMR-Clustern gehosteten Webbenutzeroberflächen angezeigt werden können, finden Sie unter [Auf Amazon EMR-Clustern gehostete Webbenutzeroberflächen anzeigen](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-web-interfaces.html). Sie können auch Ihre Amazon EMR-Konsole aufrufen, um Zugriff auf die Spark-Benutzeroberfläche zu erhalten.
**Anmerkung**
Sie können einen SSH-Tunnel einrichten, auch wenn vorsignierte URLs Tunnels für Sie nicht verfügbar sind.
## Vorsigniert URLs
Um One-Click zu erstellen URLs , mit dem Sie von SageMaker Studio- oder Studio Classic-Notebooks aus auf die Spark-Benutzeroberfläche auf Amazon EMR zugreifen können, müssen Sie die folgenden IAM-Berechtigungen aktivieren. Wählen Sie die Option aus, die für Sie zutrifft:
+ **Für Amazon EMR-Cluster, die sich in demselben Konto wie das SageMaker Studio- oder Studio Classic-Notizbuch befinden: Fügen Sie der IAM-Ausführungsrolle SageMaker Studio oder Studio Classic die folgenden Berechtigungen hinzu.**
+ **Für Amazon EMR-Cluster, die sich in einem anderen Konto befinden (nicht SageMaker Studio- oder Studio Classic-Notizbuch): Fügen Sie der kontoübergreifenden Rolle, für die Sie erstellt haben, die folgenden Berechtigungen hinzu. [Amazon EMR-Cluster aus Studio oder Studio Classic auflisten](discover-emr-clusters.md)**
**Anmerkung**
In den folgenden Regionen können Sie URLs von der Konsole aus auf Presigned zugreifen:
Region USA Ost (Nord-Virginia)
Region USA West (Nordkalifornien)
Region Kanada (Zentral)
Region Europa (Frankfurt)
Region Europa (Stockholm)
Region Europa (Irland)
Region Europa (London)
Region Europa (Paris)
Region Asien-Pazifik (Tokio)
Region Asien-Pazifik (Seoul)
Region Asien-Pazifik (Sydney)
Region Asien-Pazifik (Mumbai)
Region Asien-Pazifik (Singapur)
Südamerika (São Paulo)
Die folgende Richtlinie gewährt Zugriff auf die Rolle Presigned URLs for your execution.
```
{
"Sid": "AllowPresignedUrl",
"Effect": "Allow",
"Action": [
"elasticmapreduce:DescribeCluster",
"elasticmapreduce:ListInstanceGroups",
"elasticmapreduce:CreatePersistentAppUI",
"elasticmapreduce:DescribePersistentAppUI",
"elasticmapreduce:GetPersistentAppUIPresignedURL",
"elasticmapreduce:GetOnClusterAppUIPresignedURL"
],
"Resource": [
"arn:aws:elasticmapreduce:region:account-id:cluster/*"
]
}
```
# Blogs und Whitepaper
In den folgenden Blogs wird anhand einer Fallstudie zur Stimmungsvorhersage für eine Filmkritik veranschaulicht, wie ein vollständiger Workflow für Machine Learning ausgeführt wird. Dazu gehören die Datenaufbereitung, die Überwachung von Spark-Aufträgen sowie das Training und Bereitstellung eines ML-Modells, um direkt aus Ihrem Studio- oder Studio-Classic-Notebook Prognosen zu erhalten.
+ [Erstellen und verwalten Sie Amazon EMR-Cluster von SageMaker Studio oder Studio Classic aus, um interaktive Spark- und ML-Workloads auszuführen](https://aws.amazon.com/blogs/machine-learning/part-1-create-and-manage-amazon-emr-clusters-from-sagemaker-studio-to-run-interactive-spark-and-ml-workloads/).
+ Informationen zur Erweiterung des Anwendungsfalls auf eine kontoübergreifende Konfiguration, bei der SageMaker Studio oder Studio Classic und Ihr Amazon EMR-Cluster in separaten AWS Konten bereitgestellt werden, finden [Sie unter Amazon EMR-Cluster von SageMaker Studio oder Studio Classic aus erstellen und verwalten, um interaktive Spark- und ML-Workloads auszuführen](https://aws.amazon.com/blogs/machine-learning/part-2-create-and-manage-amazon-emr-clusters-from-sagemaker-studio-to-run-interactive-spark-and-ml-workloads/) — Teil 2.
Weitere Informationen finden Sie auch unter:
+ Eine exemplarische Vorgehensweise für die Konfiguration von [Zugriff auf Apache Livy mithilfe eines Network Load Balancers auf einem Kerberos-fähigen Amazon EMR-Cluster](https://aws.amazon.com/blogs/big-data/access-apache-livy-using-a-network-load-balancer-on-a-kerberos-enabled-amazon-emr-cluster/).
+ AWS [Whitepapers für SageMaker bewährte Methoden in Studio oder Studio Classic.](https://docs.aws.amazon.com/whitepapers/latest/sagemaker-studio-admin-best-practices/sagemaker-studio-admin-best-practices.html)
# Fehlerbehebung
Wenn Sie mit Amazon EMR-Clustern von Studio- oder Studio Classic-Notebooks aus arbeiten, können Sie während des Verbindungs- oder Nutzungsprozesses auf verschiedene potenzielle Probleme oder Herausforderungen stoßen. Um Ihnen bei der Behebung und Behebung dieser Fehler zu helfen, finden Sie in diesem Abschnitt Anleitungen zu häufig auftretenden Problemen.
Im Folgenden sind häufig auftretende Fehler aufgeführt, die beim Herstellen einer Verbindung zu oder bei der Verwendung von Amazon-EMR-Clustern von Studio-Notebooks aus auftreten können.
## Probleme mit Livy-Verbindungen beheben, die hängen bleiben oder fehlschlagen
Im Folgenden sind Livy-Verbindungsprobleme aufgeführt, die bei der Verwendung von Amazon-EMR-Clustern aus Studio-Notebooks auftreten können.
+ **In Ihrem Amazon EMR-Cluster ist ein out-of-memory Fehler aufgetreten.**
Ein möglicher Grund dafür, dass eine Livy-Verbindung `sparkmagic` hängenbleibt oder fehlschlägt, liegt darin, dass in Ihrem Amazon EMR-Cluster ein out-of-memory Fehler aufgetreten ist.
Standardmäßig ist der Java-Konfigurationsparameter des Apache Spark-Treibers `spark.driver.defaultJavaOptions` auf `-XX:OnOutOfMemoryError='kill -9 %p'` eingestellt. Das bedeutet, dass die Standardaktion für den Fall, dass das Treiberprogramm auf ein `OutOfMemoryError` trifft, die Beendigung des Treiberprogramms ist, indem ein SIGKILL-Signal gesendet wird. Wenn der Apache Spark-Treiber beendet wird, bleibt jede Livy-Verbindung über `sparkmagic`, die von diesem Treiber abhängt, hängen oder schlägt fehl. Das liegt daran, dass der Spark-Treiber für die Verwaltung der Ressourcen der Spark-Anwendung verantwortlich ist. Dazu gehören auch die Aufgabenplanung und -ausführung. Ohne den Treiber kann die Spark-Anwendung nicht funktionieren, und alle Versuche, mit ihr zu interagieren, schlagen fehl.
Wenn Sie vermuten, dass in Ihrem Spark-Cluster Speicherprobleme auftreten, können Sie die [Amazon EMR-Protokolle](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-manage-view-web-log-files.html) durchgehen. Container, die aufgrund von out-of-memory Fehlern beendet wurden, werden normalerweise mit dem Code beendet. `137` In solchen Fällen müssen Sie die Spark-Anwendung neu starten und eine neue Livy-Verbindung herstellen, um die Interaktion mit dem Spark-Cluster wieder aufzunehmen.
Weitere Informationen finden Sie im Knowledge-Base-Artikel [Wie behebe ich den Fehler „Container wurde von YARN wegen Überschreitung der Speichergrenzen getötet“ in Spark auf Amazon EMR](https://repost.aws/knowledge-center/emr-spark-yarn-memory-limit)? weiter AWS re:Post , um mehr über verschiedene Strategien und Parameter zu erfahren, mit denen ein out-of-memory Problem behoben werden kann.
Wir empfehlen, in den [Amazon EMR Best Practices Guides](https://aws.github.io/aws-emr-best-practices/) nach bewährten Methoden und Anleitungen zur Optimierung von Apache Spark-Workloads auf Ihren Amazon EMR-Clustern zu suchen.
+ **Bei Ihrer Livy-Sitzung kommt es zu einer Zeitüberschreitung, wenn Sie sich zum ersten Mal mit einem Amazon EMR-Cluster verbinden.**
Wenn Sie zum ersten Mal eine Verbindung zu einem Amazon EMR-Cluster herstellen [sagemaker-studio-analytics-extension](https://pypi.org/project/sagemaker-studio-analytics-extension/), der die Verbindung zu einem Remote-Spark-Cluster (Amazon EMR) über die [SparkMagic](https://github.com/jupyter-incubator/sparkmagic)Bibliothek mithilfe von [Apache Livy](https://livy.apache.org/) ermöglicht, kann ein Verbindungs-Timeout-Fehler auftreten:
`An error was encountered: Session 0 did not start up in 60 seconds.`
Wenn Ihr Amazon EMR-Cluster beim Herstellen einer Verbindung die Initialisierung einer Spark-Anwendung erfordert, besteht eine erhöhte Wahrscheinlichkeit, dass Verbindungsfehler aufgrund einer Zeitüberschreitung auftreten.
Um die Wahrscheinlichkeit von Zeitüberschreitungen bei der Verbindung zu einem Amazon EMR-Cluster mithilfe von Livy über die Analytik-Erweiterung zu verringern, überschreibt `sagemaker-studio-analytics-extension` Version `0.0.19` und später die standardmäßige Zeitüberschreitung für Serversitzungen mit `120` Sekunden anstatt des Standardwertes von `sparkmagic` von `60` Sekunden.
Wir empfehlen, Ihre Erweiterung `0.0.18` und früher zu aktualisieren, indem Sie den folgenden Upgrade-Befehl ausführen.
```
pip install --upgrade sagemaker-studio-analytics-extension
```
Beachten Sie, dass bei der Bereitstellung einer benutzerdefinierten Konfiguration für die Zeitüberschreitung in`sparkmagic` `sagemaker-studio-analytics-extension` diese Änderung berücksichtigt. Wenn Sie die Zeitüberschreitung für eine Sitzung auf `60` Sekunden festlegen, wird die standardmäßige Zeitüberschreitung für Serversitzungen von `120` Sekunden allerdings automatisch in `sagemaker-studio-analytics-extension` geändert.