Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Verwenden von Datenrepositorys mit Amazon FSx for Lustre
Amazon FSx for Lustre bietet leistungsstarke Dateisysteme, die für eine schnelle Workload-Verarbeitung optimiert sind. Es kann Workloads wie maschinelles Lernen, Hochleistungsrechnen (HPC), Videoverarbeitung, Finanzmodellierung und elektronische Konstruktionsautomatisierung (EDA) unterstützen. Bei diesen Workloads müssen Daten in der Regel über eine skalierbare Hochgeschwindigkeits-Dateisystemschnittstelle für den Datenzugriff präsentiert werden. Oft werden die für diese Workloads verwendeten Datensätze in langfristigen Datenrepositorien in Amazon S3 gespeichert. FSx for Lustre ist nativ in Amazon S3 integriert, was die Verarbeitung von Datensätzen mit dem Lustre Dateisystem erleichtert.
**Anmerkung**
Dateisystem-Backups werden auf Dateisystemen, die mit einem Amazon S3 S3-Daten-Repository verknüpft sind, nicht unterstützt. Weitere Informationen finden Sie unter [Schützen Sie Ihre Daten mit Backups](using-backups-fsx.md).
Intelligent-Tiering-Dateisysteme unterstützen keine Verknüpfung mit Amazon S3 S3-Datenrepositorys.
**Topics**
+ [Überblick über Datenrepositorien](overview-dra-data-repo.md)
+ [Unterstützung von POSIX-Metadaten für Datenrepositorys](posix-metadata-support.md)
+ [Ihr Dateisystem mit einem Amazon S3 S3-Bucket verknüpfen](create-dra-linked-data-repo.md)
+ [Änderungen aus Ihrem Daten-Repository importieren](importing-files-dra.md)
+ [Änderungen in das Daten-Repository exportieren](export-changed-data-meta-dra.md)
+ [Datenrepository-Aufgaben](data-repository-tasks.md)
+ [Dateien werden freigegeben](file-release.md)
+ [Amazon FSx mit Ihren lokalen Daten verwenden](fsx-on-premises.md)
+ [Datenrepository-Ereignisprotokolle](data-repo-event-logs.md)
+ [Arbeiten mit älteren Bereitstellungstypen](older-deployment-types.md)
# Überblick über Datenrepositorien
Wenn Sie Amazon FSx for Lustre mit Datenrepositorys verwenden, können Sie große Mengen an Dateidaten in einem Hochleistungsdateisystem aufnehmen und verarbeiten, indem Sie automatische Import- und Import-Daten-Repository-Aufgaben verwenden. Gleichzeitig können Sie mithilfe von Aufgaben zum automatischen Export oder Export von Datenrepositorys Ergebnisse in Ihre Daten-Repositorys schreiben. Mit diesen Funktionen können Sie Ihren Workload jederzeit neu starten und dabei die neuesten Daten verwenden, die in Ihrem Daten-Repository gespeichert sind.
**Anmerkung**
Datenrepository-Verknüpfungen, automatischer Export und Unterstützung für mehrere Datenrepositorys sind FSx für Lustre 2.10-Dateisysteme oder `Scratch 1` Dateisysteme nicht verfügbar.
FSx for Lustre ist tief in Amazon S3 integriert. Diese Integration bedeutet, dass Sie über Anwendungen, die Ihr FSx for Lustre-Dateisystem mounten, nahtlos auf die in Ihren Amazon S3 S3-Buckets gespeicherten Objekte zugreifen können. Sie können Ihre rechenintensiven Workloads auch auf Amazon EC2 EC2-Instances in der ausführen AWS Cloud und die Ergebnisse nach Abschluss Ihrer Arbeitslast in Ihr Daten-Repository exportieren.
Um auf Objekte im Amazon S3 S3-Daten-Repository als Dateien und Verzeichnisse im Dateisystem zugreifen zu können, müssen Datei- und Verzeichnismetadaten in das Dateisystem geladen werden. Sie können Metadaten aus einem verknüpften Datenrepository laden, wenn Sie eine Datenrepository-Zuordnung erstellen.
Darüber hinaus können Sie Datei- und Verzeichnismetadaten mithilfe des automatischen Imports oder mithilfe einer Aufgabe zum Importieren eines Datenrepositorys aus Ihren verknüpften Datenrepositorys in das Dateisystem importieren. Wenn Sie den automatischen Import für eine Datenrepository-Zuordnung aktivieren, importiert Ihr Dateisystem automatisch Dateimetadaten, wenn Dateien im S3-Datenrepository erstellt, geändert and/or oder gelöscht werden. Alternativ können Sie Metadaten für neue oder geänderte Dateien und Verzeichnisse mithilfe einer Aufgabe zum Importieren eines Datenrepositorys importieren.
**Anmerkung**
Aufgaben zum automatischen Importieren und Importieren von Datenrepositorys können gleichzeitig in einem Dateisystem verwendet werden.
Sie können Dateien und die zugehörigen Metadaten in Ihrem Dateisystem auch mithilfe des automatischen Exports oder mithilfe einer Aufgabe zum Exportieren eines Datenrepositorys in Ihr Datenrepository exportieren. Wenn Sie den automatischen Export für eine Datenrepository-Zuordnung aktivieren, exportiert Ihr Dateisystem automatisch Dateidaten und Metadaten, wenn Dateien erstellt, geändert oder gelöscht werden. Alternativ können Sie Dateien oder Verzeichnisse mithilfe einer Aufgabe zum Exportieren eines Datenrepositorys exportieren. Wenn Sie eine Aufgabe zum Exportieren eines Datenrepositorys verwenden, werden Dateidaten und Metadaten exportiert, die seit der letzten Aufgabe erstellt oder geändert wurden.
**Anmerkung**
Aufgaben zum automatischen Exportieren und Exportieren von Datenrepositorys können nicht gleichzeitig in einem Dateisystem ausgeführt werden.
Datenrepository-Verknüpfungen exportieren nur reguläre Dateien, Symlinks und Verzeichnisse. Das bedeutet, dass alle anderen Dateitypen (FIFO Special, Block Special, Character Special und Socket) nicht im Rahmen von Exportprozessen wie automatischem Export und Export von Datenrepositorys exportiert werden.
FSx for Lustre unterstützt auch Cloud-Bursting-Workloads mit lokalen Dateisystemen, indem es Ihnen ermöglicht, Daten von lokalen Clients mithilfe von VPN zu kopieren. Direct Connect
**Wichtig**
Wenn Sie eines oder mehrere FSx for Lustre-Dateisysteme mit einem Daten-Repository auf Amazon S3 verknüpft haben, löschen Sie den Amazon S3 S3-Bucket erst, wenn Sie alle verknüpften Dateisysteme gelöscht oder die Verknüpfung aufgehoben haben.
## Regions- und Kontounterstützung für verknüpfte S3-Buckets
Beachten Sie beim Erstellen von Links zu S3-Buckets die folgenden Einschränkungen der Regions- und Kontounterstützung:
+ Der automatische Export unterstützt regionsübergreifende Konfigurationen. Das FSx Amazon-Dateisystem und der verknüpfte S3-Bucket können sich im selben AWS-Region oder in einem anderen befinden AWS-Regionen.
+ Der automatische Import unterstützt keine regionsübergreifenden Konfigurationen. Sowohl das FSx Amazon-Dateisystem als auch der verknüpfte S3-Bucket müssen sich im selben befinden AWS-Region.
+ Sowohl der automatische Export als auch der automatische Import unterstützen kontoübergreifende Konfigurationen. Das FSx Amazon-Dateisystem und der verknüpfte S3-Bucket können zu demselben AWS-Konto oder zu einem anderen gehören AWS-Konten.
# Unterstützung von POSIX-Metadaten für Datenrepositorys
Amazon FSx for Lustre überträgt automatisch POSIX-Metadaten (Portable Operating System Interface) für Dateien, Verzeichnisse und symbolische Links (Symlinks), wenn Daten in und aus einem Linked Data Repository auf Amazon S3 importiert und exportiert werden. Wenn Sie Änderungen in Ihrem Dateisystem in das zugehörige verknüpfte Daten-Repository exportieren, exportiert FSx for Lustre auch POSIX-Metadatenänderungen als S3-Objektmetadaten. Das bedeutet, dass, wenn ein anderes FSx for Lustre-Dateisystem dieselben Dateien aus S3 importiert, die Dateien in diesem Dateisystem dieselben POSIX-Metadaten haben, einschließlich Eigentum und Berechtigungen.
FSx for Lustre importiert nur S3-Objekte, die POSIX-konforme Objektschlüssel haben, wie zum Beispiel die folgenden.
```
mydir/
mydir/myfile1
mydir/mysubdir/
mydir/mysubdir/myfile2.txt
```
FSx für Lustre speichert Verzeichnisse und Symlinks als separate Objekte im Linked Data Repository auf S3. Für Verzeichnisse erstellt Lustre ein S3-Objekt mit einem Schlüsselnamen, FSx der mit einem Schrägstrich („/“) endet, wie folgt:
+ Der S3-Objektschlüssel ist dem for `mydir/` Lustre-Verzeichnis zugeordnet FSx . `mydir/`
+ Der S3-Objektschlüssel ist `mydir/mysubdir/` dem FSx for Lustre-Verzeichnis zugeordnet. `mydir/mysubdir/`
Für Symlinks verwendet Lustre das folgende Amazon S3 S3-Schema: FSx
+ **S3-Objektschlüssel** — Der Pfad zum Link, relativ zum Mount-Verzeichnis FSx für Lustre
+ **S3-Objektdaten** — Der Zielpfad dieses Symlinks
+ **S3-Objektmetadaten** — Die Metadaten für den Symlink
FSx for Lustre speichert POSIX-Metadaten, einschließlich Besitz, Berechtigungen und Zeitstempel für Dateien, Verzeichnisse und symbolische Links, in S3-Objekten wie folgt:
+ `Content-Type`— Der HTTP-Entity-Header, der verwendet wird, um den Medientyp der Ressource für Webbrowser anzugeben.
+ `x-amz-meta-file-permissions`— Der Dateityp und die Berechtigungen in dem Format``, das mit `st_mode` der [Linux-Manpage stat (2)](https://man7.org/linux/man-pages/man2/lstat.2.html) übereinstimmt.
**Anmerkung**
FSx for Lustre importiert oder speichert keine `setuid` Informationen.
+ `x-amz-meta-file-owner`— Die Benutzer-ID (UID) des Besitzers, ausgedrückt als Ganzzahl.
+ `x-amz-meta-file-group`— Die Gruppen-ID (GID), ausgedrückt als Ganzzahl.
+ `x-amz-meta-file-atime`— Die Zeit des letzten Zugriffs in Nanosekunden seit Beginn der Unix-Epoche. Beendet den Zeitwert mit`ns`; andernfalls interpretiert Lustre FSx den Wert als Millisekunden.
+ `x-amz-meta-file-mtime`— Die letzte Änderung in Nanosekunden seit Beginn der Unix-Epoche. Beendet den Zeitwert mit`ns`; andernfalls interpretiert FSx for Lustre den Wert als Millisekunden.
+ `x-amz-meta-user-agent`— Der Benutzeragent, der während des Lustre-Imports ignoriert wurde. FSx Während des Exports wird dieser Wert FSx für Lustre auf gesetzt. `aws-fsx-lustre`
Beim Import von Objekten aus S3, denen keine POSIX-Berechtigungen zugeordnet sind, ist die POSIX-Standardberechtigung, die FSx für Lustre einer Datei zugewiesen wird, `755` Diese Berechtigung ermöglicht Lese- und Ausführungszugriff für alle Benutzer und Schreibzugriff für den Eigentümer der Datei.
**Anmerkung**
FSx for Lustre speichert keine benutzerdefinierten benutzerdefinierten Metadaten für S3-Objekte.
# Harte Links und Export nach Amazon S3
Wenn der automatische Export (mit NEUEN und GEÄNDERTEN Richtlinien) für einen DRA in Ihrem Dateisystem aktiviert ist, wird jeder im DRA enthaltene Hardlink als separates S3-Objekt für jeden Hardlink nach Amazon S3 exportiert. Wenn eine Datei mit mehreren Hardlinks im Dateisystem geändert wird, werden alle Kopien in S3 aktualisiert, unabhängig davon, welcher Hardlink beim Ändern der Datei verwendet wurde.
Wenn Hardlinks mithilfe von Datenrepository-Tasks (DRTs) nach S3 exportiert werden, wird jeder Hardlink, der in den für das DRT angegebenen Pfaden enthalten ist, als separates S3-Objekt für jeden Hardlink nach S3 exportiert. Wenn eine Datei mit mehreren Hardlinks im Dateisystem geändert wird, wird jede Kopie in S3 zum Zeitpunkt des Exports des jeweiligen Hardlinks aktualisiert, unabhängig davon, welcher Hardlink beim Ändern der Datei verwendet wurde.
**Wichtig**
Wenn ein neues FSx for Lustre-Dateisystem mit einem S3-Bucket verknüpft wird, in den Hardlinks zuvor von einem anderen FSx for Lustre-Dateisystem oder Amazon FSx File Gateway exportiert wurden, werden die Hardlinks anschließend als separate Dateien in das neue Dateisystem importiert. AWS DataSync
## Hardlinks und veröffentlichte Dateien
Eine veröffentlichte Datei ist eine Datei, deren Metadaten im Dateisystem vorhanden sind, deren Inhalt jedoch nur in S3 gespeichert ist. Weitere Informationen zu veröffentlichten Dateien finden Sie unter[Dateien werden freigegeben](file-release.md).
**Wichtig**
Die Verwendung von Hardlinks in einem Dateisystem mit Datenrepository-Verknüpfungen (DRAs) unterliegt den folgenden Einschränkungen:
Das Löschen und Neuerstellen einer veröffentlichten Datei mit mehreren Hardlinks kann dazu führen, dass der Inhalt aller Hardlinks überschrieben wird.
Durch das Löschen einer veröffentlichten Datei werden Inhalte von allen Hardlinks gelöscht, die sich außerhalb einer Datenrepository-Zuordnung befinden.
Durch das Erstellen eines Hardlinks zu einer veröffentlichten Datei, deren entsprechendes S3-Objekt sich in einer der Speicherklassen S3 Glacier Flexible Retrieval oder S3 Glacier Deep Archive befindet, wird in S3 kein neues Objekt für den Hardlink erstellt.
# Exemplarische Vorgehensweise: Anhängen von POSIX-Berechtigungen beim Hochladen von Objekten in einen Amazon S3 S3-Bucket
Das folgende Verfahren führt Sie durch den Prozess des Hochladens von Objekten in Amazon S3 mit POSIX-Berechtigungen. Auf diese Weise können Sie die POSIX-Berechtigungen importieren, wenn Sie ein FSx Amazon-Dateisystem erstellen, das mit diesem S3-Bucket verknüpft ist.
**Um Objekte mit POSIX-Berechtigungen auf Amazon S3 hochzuladen**
1. Verwenden Sie von Ihrem lokalen Computer oder Computer aus die folgenden Beispielbefehle, um ein Testverzeichnis (`s3cptestdir`) und eine Datei (`s3cptest.txt`) zu erstellen, die in den S3-Bucket hochgeladen werden.
```
$ mkdir s3cptestdir
$ echo "S3cp metadata import test" >> s3cptestdir/s3cptest.txt
$ ls -ld s3cptestdir/ s3cptestdir/s3cptest.txt
drwxr-xr-x 3 500 500 96 Jan 8 11:29 s3cptestdir/
-rw-r--r-- 1 500 500 26 Jan 8 11:29 s3cptestdir/s3cptest.txt
```
Die neu erstellte Datei und das neu erstellte Verzeichnis haben eine Benutzer-ID (UID) des Dateibesitzers und eine Gruppen-ID (GID) von 500 sowie Berechtigungen, wie im vorherigen Beispiel gezeigt.
1. Rufen Sie die Amazon S3 S3-API auf, um das Verzeichnis `s3cptestdir` mit Metadatenberechtigungen zu erstellen. Sie müssen den Verzeichnisnamen mit einem abschließenden Schrägstrich () `/` angeben. Hinweise zu unterstützten POSIX-Metadaten finden Sie unter. [Unterstützung von POSIX-Metadaten für Datenrepositorys](posix-metadata-support.md)
`bucket_name`Ersetzen Sie es durch den tatsächlichen Namen Ihres S3-Buckets.
```
$ aws s3api put-object --bucket bucket_name --key s3cptestdir/ --metadata '{"user-agent":"aws-fsx-lustre" , \
"file-atime":"1595002920000000000ns" , "file-owner":"500" , "file-permissions":"0100664","file-group":"500" , \
"file-mtime":"1595002920000000000ns"}'
```
1. Stellen Sie sicher, dass die POSIX-Berechtigungen mit S3-Objektmetadaten gekennzeichnet sind.
```
$ aws s3api head-object --bucket bucket_name --key s3cptestdir/
{
"AcceptRanges": "bytes",
"LastModified": "Fri, 08 Jan 2021 17:32:27 GMT",
"ContentLength": 0,
"ETag": "\"d41d8cd98f00b204e9800998ecf8427e\"",
"VersionId": "bAlhCoWq7aIEjc3R6Myc6UOb8sHHtJkR",
"ContentType": "binary/octet-stream",
"Metadata": {
"user-agent": "aws-fsx-lustre",
"file-atime": "1595002920000000000ns",
"file-owner": "500",
"file-permissions": "0100664",
"file-group": "500",
"file-mtime": "1595002920000000000ns"
}
}
```
1. Laden Sie die Testdatei (erstellt in Schritt 1) von Ihrem Computer in den S3-Bucket mit Metadatenberechtigungen hoch.
```
$ aws s3 cp s3cptestdir/s3cptest.txt s3://bucket_name/s3cptestdir/s3cptest.txt \
--metadata '{"user-agent":"aws-fsx-lustre" , "file-atime":"1595002920000000000ns" , \
"file-owner":"500" , "file-permissions":"0100664","file-group":"500" , "file-mtime":"1595002920000000000ns"}'
```
1. Stellen Sie sicher, dass die POSIX-Berechtigungen mit den Metadaten des S3-Objekts gekennzeichnet sind.
```
$ aws s3api head-object --bucket bucket_name --key s3cptestdir/s3cptest.txt
{
"AcceptRanges": "bytes",
"LastModified": "Fri, 08 Jan 2021 17:33:35 GMT",
"ContentLength": 26,
"ETag": "\"eb33f7e1f44a14a8e2f9475ae3fc45d3\"",
"VersionId": "w9ztRoEhB832m8NC3a_JTlTyIx7Uzql6",
"ContentType": "text/plain",
"Metadata": {
"user-agent": "aws-fsx-lustre",
"file-atime": "1595002920000000000ns",
"file-owner": "500",
"file-permissions": "0100664",
"file-group": "500",
"file-mtime": "1595002920000000000ns"
}
}
```
1. Überprüfen Sie die Berechtigungen für das FSx Amazon-Dateisystem, das mit dem S3-Bucket verknüpft ist.
```
$ sudo lfs df -h /fsx
UUID bytes Used Available Use% Mounted on
3rnxfbmv-MDT0000_UUID 34.4G 6.1M 34.4G 0% /fsx[MDT:0]
3rnxfbmv-OST0000_UUID 1.1T 4.5M 1.1T 0% /fsx[OST:0]
filesystem_summary: 1.1T 4.5M 1.1T 0% /fsx
$ cd /fsx/s3cptestdir/
$ ls -ld s3cptestdir/
drw-rw-r-- 2 500 500 25600 Jan 8 17:33 s3cptestdir/
$ ls -ld s3cptestdir/s3cptest.txt
-rw-rw-r-- 1 500 500 26 Jan 8 17:33 s3cptestdir/s3cptest.txt
```
Sowohl für das `s3cptestdir` Verzeichnis als auch für die `s3cptest.txt` Datei wurden POSIX-Berechtigungen importiert.
# Ihr Dateisystem mit einem Amazon S3 S3-Bucket verknüpfen
Sie können Ihr Amazon FSx for Lustre-Dateisystem mit Datenrepositorys in Amazon S3 verknüpfen. Sie können den Link bei der Erstellung des Dateisystems oder zu einem beliebigen Zeitpunkt nach der Erstellung des Dateisystems erstellen.
Eine Verbindung zwischen einem Verzeichnis im Dateisystem und einem S3-Bucket oder -Präfix wird als *Data Repository Association (DRA)* bezeichnet. Sie können maximal 8 Datenrepository-Verknüpfungen auf einem FSx for Lustre-Dateisystem konfigurieren. Es können maximal 8 DRA-Anfragen in die Warteschlange gestellt werden, es kann jedoch jeweils nur eine Anfrage für das Dateisystem bearbeitet werden. Jedem DRA muss ein FSx für Lustre eindeutiges Dateisystemverzeichnis und ein eindeutiges S3-Bucket oder -Präfix zugeordnet sein.
**Anmerkung**
Datenrepository-Verknüpfungen, automatischer Export und Unterstützung für mehrere Daten-Repositorys sind FSx für Lustre 2.10-Dateisysteme oder Dateisysteme nicht verfügbar. `Scratch 1`
Um auf Objekte im S3-Datenrepository als Dateien und Verzeichnisse im Dateisystem zugreifen zu können, müssen Datei- und Verzeichnismetadaten in das Dateisystem geladen werden. Sie können Metadaten aus einem verknüpften Datenrepository laden, wenn Sie den DRA erstellen, oder Metadaten für Batches von Dateien und Verzeichnissen laden, auf die Sie zu einem späteren Zeitpunkt mit dem FSx for Lustre-Dateisystem zugreifen möchten, oder den automatischen Export verwenden, um Metadaten automatisch zu laden, wenn Objekte zum Datenrepository hinzugefügt, geändert oder aus dem Datenrepository gelöscht werden.
Sie können ein DRA nur für den automatischen Import, nur für den automatischen Export oder für beide konfigurieren. Eine Datenrepository-Zuordnung, die sowohl für den automatischen Import als auch für den automatischen Export konfiguriert ist, überträgt Daten in beide Richtungen zwischen dem Dateisystem und dem verknüpften S3-Bucket. Wenn Sie Änderungen an Daten in Ihrem S3-Datenrepository vornehmen, erkennt FSx for Lustre die Änderungen und importiert die Änderungen dann automatisch in Ihr Dateisystem. Wenn Sie Dateien erstellen, ändern oder löschen, exportiert FSx for Lustre die Änderungen automatisch asynchron nach Amazon S3, sobald Ihre Anwendung die Änderung der Datei abgeschlossen hat.
**Wichtig**
Wenn Sie dieselbe Datei sowohl im Dateisystem als auch im S3-Bucket ändern, sollten Sie die Koordination auf Anwendungsebene sicherstellen, um Konflikte zu vermeiden. FSx for Lustre verhindert nicht, dass widersprüchliche Schreibvorgänge an mehreren Speicherorten auftreten.
Bei Dateien, die mit einem unveränderlichen Attribut gekennzeichnet sind, kann FSx for Lustre keine Änderungen zwischen Ihrem FSx for Lustre-Dateisystem und einem mit dem Dateisystem verknüpften S3-Bucket synchronisieren. Das Setzen einer unveränderlichen Markierung für einen längeren Zeitraum kann dazu führen, dass die Leistung der Datenbewegung zwischen Amazon FSx und S3 beeinträchtigt wird.
Wenn Sie eine Datenrepository-Zuordnung erstellen, können Sie die folgenden Eigenschaften konfigurieren:
+ **Dateisystempfad** — Geben Sie einen lokalen Pfad im Dateisystem ein, der auf ein Verzeichnis (z. B.`/ns1/`) oder ein Unterverzeichnis (z. B.`/ns1/subdir/`) verweist, das one-to-one dem unten angegebenen Datenrepository-Pfad zugeordnet wird. Der führende Schrägstrich im Namen ist erforderlich. Zwei Daten-Repository-Verknüpfungen dürfen keine überlappenden Dateisystempfade haben. Wenn beispielsweise ein Daten-Repository dem Dateisystempfad `/ns1` zugeordnet ist, können Sie kein anderes Daten-Repository mit dem Dateisystempfad `/ns1/ns2` verknüpfen.
**Anmerkung**
Wenn Sie als Dateisystempfad nur einen Schrägstrich (`/`) angeben, können Sie nur ein Daten-Repository mit dem Dateisystem verknüpfen. Sie können „/“ nur als Dateisystempfad für das erste Daten-Repository angeben, das einem Dateisystem zugeordnet ist.
+ **Datenrepository-Pfad** — Geben Sie einen Pfad im S3-Datenrepository ein. Der Pfad kann ein S3-Bucket oder ein Präfix im Format `s3://bucket-name/prefix/` sein. Diese Eigenschaft gibt an, aus welchem Bereich des S3-Datenrepositorys Dateien importiert oder exportiert werden. FSx for Lustre fügt Ihrem Datenrepository-Pfad ein abschließendes „/“ an, falls Sie keinen angeben. Wenn Sie beispielsweise einen Datenrepository-Pfad von angeben`s3://amzn-s3-demo-bucket/my-prefix`, FSx denn Lustre interpretiert ihn als. `s3://amzn-s3-demo-bucket/my-prefix/`
Zwei Datenrepository-Assoziationen dürfen sich nicht überlappen. Wenn beispielsweise ein Datenrepository mit Pfad mit dem Dateisystem verknüpft `s3://amzn-s3-demo-bucket/my-prefix/` ist, können Sie keine weitere Datenrepository-Assoziation mit dem Datenrepository-Pfad `s3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix` erstellen.
+ **Metadaten aus dem Repository importieren** — Sie können diese Option auswählen, um Metadaten aus dem gesamten Datenrepository unmittelbar nach der Erstellung der Datenrepository-Zuordnung zu importieren. Alternativ können Sie jederzeit, nachdem die Datenrepository-Zuordnung erstellt wurde, eine Aufgabe zum Importieren des Datenrepositorys ausführen, um alle oder einen Teil der Metadaten aus dem verknüpften Datenrepository in das Dateisystem zu laden.
+ **Einstellungen importieren** — Wählen Sie eine Importrichtlinie, die den Typ der aktualisierten Objekte (eine beliebige Kombination aus neuen, geänderten und gelöschten Objekten) festlegt, die automatisch aus dem verknüpften S3-Bucket in Ihr Dateisystem importiert werden. Der automatische Import (neu, geändert, gelöscht) ist standardmäßig aktiviert, wenn Sie ein Daten-Repository über die Konsole hinzufügen, ist jedoch standardmäßig deaktiviert, wenn Sie die AWS CLI oder FSx Amazon-API verwenden.
+ **Exporteinstellungen** — Wählen Sie eine Exportrichtlinie, die den Typ der aktualisierten Objekte (eine beliebige Kombination aus neuen, geänderten und gelöschten Objekten) festlegt, die automatisch in den S3-Bucket exportiert werden. Der automatische Export (neu, geändert, gelöscht) ist standardmäßig aktiviert, wenn Sie ein Daten-Repository über die Konsole hinzufügen, ist jedoch standardmäßig deaktiviert, wenn Sie die AWS CLI oder FSx Amazon-API verwenden.
Die Einstellungen **Dateisystempfad** und **Datenrepository-Pfad** bieten eine 1:1 -Zuordnung zwischen Pfaden in Amazon FSx und Objektschlüsseln in S3.
**Topics**
+ [Einen Link zu einem S3-Bucket erstellen](create-linked-dra.md)
+ [Einstellungen für die Datenrepository-Zuordnung werden aktualisiert](update-dra-settings.md)
+ [Löschen einer Zuordnung zu einem S3-Bucket](delete-linked-dra.md)
+ [Details zur Datenrepository-Zuordnung anzeigen](view-dra-details.md)
+ [Lebenszyklusstatus der Datenrepository-Zuordnung](dra-lifecycles.md)
+ [Arbeiten mit serverseitig verschlüsselten Amazon S3 S3-Buckets](s3-server-side-encryption-support.md)
# Einen Link zu einem S3-Bucket erstellen
Die folgenden Verfahren führen Sie Schritt für Schritt durch den Prozess der Erstellung einer Datenrepository-Zuordnung FSx für ein for Lustre-Dateisystem zu einem vorhandenen S3-Bucket mithilfe von AWS-Managementkonsole und AWS Command Line Interface (AWS CLI). Informationen zum Hinzufügen von Berechtigungen zu einem S3-Bucket, um ihn mit Ihrem Dateisystem zu verknüpfen, finden Sie unter[Hinzufügen von Berechtigungen zur Verwendung von Datenrepositorys in Amazon S3](setting-up.md#fsx-adding-permissions-s3).
**Anmerkung**
Datenrepositorys können nicht mit Dateisystemen verknüpft werden, für die Dateisystem-Backups aktiviert sind. Deaktivieren Sie Backups, bevor Sie eine Verbindung zu einem Daten-Repository herstellen.
## Um einen S3-Bucket beim Erstellen eines Dateisystems (Konsole) zu verknüpfen
1. Öffnen Sie die FSx Amazon-Konsole unter [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Folgen Sie dem Verfahren zum Erstellen eines neuen Dateisystems, das [Schritt 1: Erstellen Sie Ihr FSx for Lustre-Dateisystem](getting-started.md#getting-started-step1) im Abschnitt Erste Schritte beschrieben ist.
1. Öffnen Sie den Abschnitt **Data Repository Import/Export — *optional***. Die Funktion ist standardmäßig deaktiviert.
1. Wählen Sie **Daten importieren aus und exportieren Sie Daten nach S3**.
1. Geben Sie im Dialogfeld **Informationen zur Datenrepository-Zuordnung** Informationen für die folgenden Felder ein.
+ **Dateisystempfad**: Geben Sie den Namen eines übergeordneten Verzeichnisses (z. B.`/ns1`) oder eines Unterverzeichnisses (z. B.`/ns1/subdir`) innerhalb des FSx Amazon-Dateisystems ein, das mit dem S3-Daten-Repository verknüpft wird. Der führende Schrägstrich im Pfad ist erforderlich. Zwei Daten-Repository-Verknüpfungen dürfen keine überlappenden Dateisystempfade haben. Wenn beispielsweise ein Daten-Repository dem Dateisystempfad `/ns1` zugeordnet ist, können Sie kein anderes Daten-Repository mit dem Dateisystempfad `/ns1/ns2` verknüpfen. Die Einstellung für den **Dateisystempfad** muss für alle Datenrepository-Verknüpfungen für das Dateisystem eindeutig sein.
+ **Datenrepository-Pfad**: Geben Sie den Pfad eines vorhandenen S3-Buckets oder ein Präfix ein, das Sie Ihrem Dateisystem zuordnen möchten (z. B.`s3://amzn-s3-demo-bucket/my-prefix`). Zwei Datenrepository-Verknüpfungen dürfen sich nicht überlappen. Die Einstellung für den **Datenrepository-Pfad** muss für alle Datenrepositoryzuordnungen für das Dateisystem eindeutig sein.
+ **Metadaten aus dem Repository importieren**: Wählen Sie diese Eigenschaft, um optional eine Aufgabe zum Importieren eines Datenrepositorys auszuführen, um Metadaten unmittelbar nach der Erstellung des Links zu importieren.
1. Legen **Sie unter Einstellungen importieren — optional —** eine **Importrichtlinie** fest, die festlegt, wie Ihre Datei- und Verzeichnislisten auf dem neuesten Stand gehalten werden, wenn Sie Objekte in Ihrem S3-Bucket hinzufügen, ändern oder löschen. Wählen Sie beispielsweise **Neu** aus, um Metadaten für neue Objekte, die im S3-Bucket erstellt wurden, in Ihr Dateisystem zu importieren. Weitere Informationen zu Importrichtlinien finden Sie unter[Automatischer Import von Updates aus Ihrem S3-Bucket](autoimport-data-repo-dra.md).
1. Legen Sie **unter Exportrichtlinie** eine Exportrichtlinie fest, die festlegt, wie Ihre Dateien in Ihren verknüpften S3-Bucket exportiert werden, wenn Sie Objekte in Ihrem Dateisystem hinzufügen, ändern oder löschen. Wählen Sie beispielsweise **Geändert**, um Objekte zu exportieren, deren Inhalt oder Metadaten in Ihrem Dateisystem geändert wurden. Weitere Informationen zu Exportrichtlinien finden Sie unter[Exportieren Sie Updates automatisch in Ihren S3-Bucket](autoexport-data-repo-dra.md).
1. Fahren Sie mit dem nächsten Abschnitt des Assistenten zum Erstellen von Dateisystemen fort.
## Um einen S3-Bucket mit einem vorhandenen Dateisystem (Konsole) zu verknüpfen
1. Öffnen Sie die FSx Amazon-Konsole unter [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Wählen Sie im Dashboard **Dateisysteme** und dann das Dateisystem aus, für das Sie eine Datenrepository-Zuordnung erstellen möchten.
1. Wählen Sie die Registerkarte **Daten-Repository**.
1. Wählen Sie im Bereich **Datenrepository-Verknüpfungen** die Option **Datenrepository-Zuordnung erstellen** aus.
1. Geben Sie im Dialogfeld **Informationen zur Datenrepository-Zuordnung** Informationen für die folgenden Felder ein.
+ **Dateisystempfad**: Geben Sie den Namen eines übergeordneten Verzeichnisses (z. B.`/ns1`) oder eines Unterverzeichnisses (z. B.`/ns1/subdir`) innerhalb des FSx Amazon-Dateisystems ein, das mit dem S3-Daten-Repository verknüpft wird. Der führende Schrägstrich im Pfad ist erforderlich. Zwei Daten-Repository-Verknüpfungen dürfen keine überlappenden Dateisystempfade haben. Wenn beispielsweise ein Daten-Repository dem Dateisystempfad `/ns1` zugeordnet ist, können Sie kein anderes Daten-Repository mit dem Dateisystempfad `/ns1/ns2` verknüpfen. Die Einstellung für den **Dateisystempfad** muss für alle Datenrepository-Verknüpfungen für das Dateisystem eindeutig sein.
+ **Datenrepository-Pfad**: Geben Sie den Pfad eines vorhandenen S3-Buckets oder ein Präfix ein, das Sie Ihrem Dateisystem zuordnen möchten (z. B.`s3://amzn-s3-demo-bucket/my-prefix`). Zwei Datenrepository-Verknüpfungen dürfen sich nicht überlappen. Die Einstellung für den **Datenrepository-Pfad** muss für alle Datenrepositoryzuordnungen für das Dateisystem eindeutig sein.
+ **Metadaten aus dem Repository importieren**: Wählen Sie diese Eigenschaft, um optional eine Aufgabe zum Importieren eines Datenrepositorys auszuführen, um Metadaten unmittelbar nach der Erstellung des Links zu importieren.
1. Legen **Sie unter Einstellungen importieren — optional —** eine **Importrichtlinie** fest, die festlegt, wie Ihre Datei- und Verzeichnislisten auf dem neuesten Stand gehalten werden, wenn Sie Objekte in Ihrem S3-Bucket hinzufügen, ändern oder löschen. Wählen Sie beispielsweise **Neu** aus, um Metadaten für neue Objekte, die im S3-Bucket erstellt wurden, in Ihr Dateisystem zu importieren. Weitere Informationen zu Importrichtlinien finden Sie unter[Automatischer Import von Updates aus Ihrem S3-Bucket](autoimport-data-repo-dra.md).
1. Legen Sie **unter Exportrichtlinie** eine Exportrichtlinie fest, die festlegt, wie Ihre Dateien in Ihren verknüpften S3-Bucket exportiert werden, wenn Sie Objekte in Ihrem Dateisystem hinzufügen, ändern oder löschen. Wählen Sie beispielsweise **Geändert**, um Objekte zu exportieren, deren Inhalt oder Metadaten in Ihrem Dateisystem geändert wurden. Weitere Informationen zu Exportrichtlinien finden Sie unter[Exportieren Sie Updates automatisch in Ihren S3-Bucket](autoexport-data-repo-dra.md).
1. Wählen Sie **Erstellen** aus.
## Um ein Dateisystem mit einem S3-Bucket zu verknüpfen (AWS CLI)
Das folgende Beispiel erstellt eine Datenrepository-Zuordnung, die ein FSx Amazon-Dateisystem mit einem S3-Bucket verknüpft, mit einer Importrichtlinie, die alle neuen oder geänderten Dateien in das Dateisystem importiert, und einer Exportrichtlinie, die neue, geänderte oder gelöschte Dateien in den verknüpften S3-Bucket exportiert.
+ Verwenden Sie den Amazon FSx CLI-Befehl, um eine Datenrepository-Zuordnung zu erstellen`create-data-repository-association`, wie im Folgenden gezeigt.
```
$ aws fsx create-data-repository-association \
--file-system-id fs-0123456789abcdef0 \
--file-system-path /ns1/path1/ \
--data-repository-path s3://amzn-s3-demo-bucket/myprefix/ \
--s3 "AutoImportPolicy={Events=[NEW,CHANGED,DELETED]},AutoExportPolicy={Events=[NEW,CHANGED,DELETED]}"
```
Amazon FSx gibt die JSON-Beschreibung des DRA sofort zurück. Der DRA wird asynchron erstellt.
Sie können diesen Befehl verwenden, um eine Datenrepository-Zuordnung zu erstellen, noch bevor das Dateisystem die Erstellung abgeschlossen hat. Die Anfrage wird in die Warteschlange gestellt und die Datenrepository-Zuordnung wird erstellt, sobald das Dateisystem verfügbar ist.
# Einstellungen für die Datenrepository-Zuordnung werden aktualisiert
Sie können die Einstellungen einer vorhandenen Datenrepository-Verknüpfung mithilfe der AWS-Managementkonsole AWS CLI, der und der FSx Amazon-API aktualisieren, wie in den folgenden Verfahren gezeigt.
**Anmerkung**
Sie können das `File system path` oder `Data repository path` eines DRA nicht aktualisieren, nachdem es erstellt wurde. Wenn Sie das `File system path` Oder ändern möchten`Data repository path`, müssen Sie das DRA löschen und erneut erstellen.
## So aktualisieren Sie die Einstellungen für eine bestehende Datenrepository-Zuordnung (Konsole)
1. Öffnen Sie die FSx Amazon-Konsole unter [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Wählen Sie im Dashboard **Dateisysteme** und dann das Dateisystem aus, das Sie verwalten möchten.
1. Wählen Sie die Registerkarte **Daten-Repository**.
1. Wählen Sie im Bereich **Datenrepository-Verknüpfungen** die Datenrepository-Zuordnung aus, die Sie ändern möchten.
1. Wählen Sie **Aktualisieren** aus. Für die Datenrepository-Zuordnung wird ein Bearbeitungsdialogfeld angezeigt.
1. Unter **Importeinstellungen — optional** können Sie Ihre **Importrichtlinie** aktualisieren. Weitere Informationen zu Importrichtlinien finden Sie unter[Automatischer Import von Updates aus Ihrem S3-Bucket](autoimport-data-repo-dra.md).
1. Unter **Exporteinstellungen — optional** können Sie Ihre Exportrichtlinie aktualisieren. Weitere Informationen zu Exportrichtlinien finden Sie unter[Exportieren Sie Updates automatisch in Ihren S3-Bucket](autoexport-data-repo-dra.md).
1. Wählen Sie **Aktualisieren** aus.
## So aktualisieren Sie die Einstellungen für eine bestehende Datenrepository-Zuordnung (CLI)
+ Um eine Datenrepository-Zuordnung zu aktualisieren, verwenden Sie den Amazon FSx CLI-Befehl`update-data-repository-association`, wie im Folgenden gezeigt.
```
$ aws fsx update-data-repository-association \
--association-id 'dra-872abab4b4503bfc2' \
--s3 "AutoImportPolicy={Events=[NEW,CHANGED,DELETED]},AutoExportPolicy={Events=[NEW,CHANGED,DELETED]}"
```
Nach erfolgreicher Aktualisierung der Import- und Exportrichtlinien der Datenrepository-Verknüpfung FSx gibt Amazon die Beschreibung der aktualisierten Datenrepository-Verknüpfung als JSON zurück.
# Löschen einer Zuordnung zu einem S3-Bucket
Die folgenden Verfahren führen Sie durch den Prozess des Löschens einer Datenrepository-Zuordnung von einem vorhandenen FSx Amazon-Dateisystem zu einem vorhandenen S3-Bucket mithilfe von AWS-Managementkonsole und AWS Command Line Interface (AWS CLI). Durch das Löschen der Datenrepository-Zuordnung wird die Verknüpfung des Dateisystems mit dem S3-Bucket aufgehoben.
## Um einen Link von einem Dateisystem zu einem S3-Bucket (Konsole) zu löschen
1. Öffnen Sie die FSx Amazon-Konsole unter [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Wählen Sie im Dashboard **Dateisysteme** und dann das Dateisystem aus, aus dem Sie eine Datenrepository-Zuordnung löschen möchten.
1. Wählen Sie die Registerkarte **Datenrepository**.
1. Wählen Sie im Bereich **Datenrepository-Verknüpfungen** die Datenrepository-Zuordnung aus, die Sie löschen möchten.
1. Wählen Sie für **Aktionen** die Option **Verknüpfung löschen** aus.
1. Im Dialogfeld **Löschen** können Sie Daten im Dateisystem **löschen wählen, um die Daten im Dateisystem**, die der Datenrepository-Zuordnung entsprechen, physisch zu löschen.
Wählen Sie diese Option, wenn Sie planen, eine neue Datenrepository-Zuordnung zu erstellen, die denselben Dateisystempfad verwendet, aber auf ein anderes S3-Bucket-Präfix verweist, oder wenn Sie die Daten in Ihrem Dateisystem nicht mehr benötigen.
1. Wählen Sie **Löschen**, um die Datenrepository-Zuordnung aus dem Dateisystem zu entfernen.
## Um einen Link von einem Dateisystem zu einem S3-Bucket zu löschen (AWS CLI)
Das folgende Beispiel löscht eine Datenrepository-Zuordnung, die ein FSx Amazon-Dateisystem mit einem S3-Bucket verknüpft. Der `--association-id` Parameter gibt die ID der Datenrepository-Zuordnung an, die gelöscht werden soll.
+ Um eine Datenrepository-Zuordnung zu löschen, verwenden Sie den Amazon FSx CLI-Befehl`delete-data-repository-association`, wie im Folgenden gezeigt.
```
$ aws fsx delete-data-repository-association \
--association-id dra-872abab4b4503bfc \
--delete-data-in-file-system false
```
Nach dem erfolgreichen Löschen der Datenrepository-Zuordnung FSx gibt Amazon die Beschreibung als JSON zurück.
**Neuerstellung DRAs mit demselben Dateisystempfad**
Es wird nicht empfohlen, Datenrepository-Verknüpfungen zu löschen und neu zu erstellen, die denselben Dateisystempfad verwenden. Wenn Sie einen DRA löschen und später einen neuen DRA mit demselben Dateisystempfad erstellen, behalten einige Dateien möglicherweise den HSM-Status des zuvor gelöschten DRA bei.
Wenn Sie Dateien aus einem neu erstellten DRA exportieren müssen, die von einem zuvor gelöschten DRA verwaltet wurden, müssen Sie diese Dateien mit dem folgenden Befehl als fehlerhaft markieren und dann eine Aufgabe zum Exportieren eines Datenrepositorys ausführen:
```
sudo lfs hsm_set --dirty file_path
```
# Details zur Datenrepository-Zuordnung anzeigen
Sie können die Details einer Datenrepository-Verknüpfung mithilfe der FSx for Lustre-Konsole AWS CLI, der und der API anzeigen. Zu den Details gehören die Zuordnungs-ID des DRA, der Dateisystempfad, der Datenrepository-Pfad, die Importeinstellungen, die Exporteinstellungen, der Status und die ID des zugehörigen Dateisystems.
## Um DRA-Details anzuzeigen (Konsole)
1. Öffnen Sie die FSx Amazon-Konsole unter [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Wählen Sie im Dashboard **Dateisysteme** und dann das Dateisystem aus, für das Sie die Details einer Datenrepository-Zuordnung anzeigen möchten.
1. Wählen Sie die Registerkarte **Daten-Repository**.
1. Wählen Sie im Bereich **Datenrepository-Verknüpfungen** die Datenrepository-Zuordnung aus, die Sie anzeigen möchten. Die **Übersichtsseite** mit den DRA-Details wird angezeigt.
![\[FSx Amazon-Detailseite einer Datenrepository-Assoziation.\]](http://docs.aws.amazon.com/de_de/fsx/latest/LustreGuide/images/dra-describe.png)
## So zeigen Sie DRA-Details an (CLI)
+ Um die Details einer bestimmten Datenrepository-Zuordnung anzuzeigen, verwenden Sie den Amazon FSx CLI-Befehl`describe-data-repository-associations`, wie im Folgenden dargestellt.
```
$ aws fsx describe-data-repository-associations \
--association-ids dra-872abab4b4503bfc2
```
Amazon FSx gibt die Beschreibung der Datenrepository-Zuordnung als JSON zurück.
# Lebenszyklusstatus der Datenrepository-Zuordnung
Der Lebenszyklusstatus der Datenrepository-Zuordnung enthält Statusinformationen zu einem bestimmten DRA. Eine Datenrepository-Zuordnung kann die folgenden **Lebenszyklusstatus** haben:
+ **Erstellen** — Amazon erstellt FSx die Datenrepository-Verknüpfung zwischen dem Dateisystem und dem verknüpften Daten-Repository. Das Daten-Repository ist nicht verfügbar.
+ **Verfügbar** — Die Datenrepository-Verknüpfung kann verwendet werden.
+ **Aktualisierung** — Die Datenrepository-Verknüpfung wird derzeit einem vom Kunden initiierten Update unterzogen, was sich auf die Verfügbarkeit auswirken kann.
+ **Löschen** — Die Datenrepository-Zuordnung wird vom Kunden initiiert gelöscht.
+ **Falsch konfiguriert** — Amazon FSx kann Updates nicht automatisch aus dem S3-Bucket importieren oder Updates automatisch in den S3-Bucket exportieren, bis die Konfiguration der Datenrepository-Zuordnung korrigiert ist.
Ein DRA kann aus folgenden Gründen **falsch konfiguriert** werden:
+ Amazon FSx fehlen die erforderlichen IAM-Berechtigungen für den Zugriff auf den S3-Bucket.
+ Die Konfiguration der FSx Ereignisbenachrichtigung im S3-Bucket wurde gelöscht oder geändert.
+ Der S3-Bucket enthält bereits Ereignisbenachrichtigungen, die sich mit FSx Ereignistypen überschneiden.
Nach der Behebung des zugrundeliegenden Problems kehrt der DRA innerhalb von 15 Minuten automatisch in den Status **Verfügbar** zurück, oder Sie können die Statusänderung sofort mithilfe des AWS CLI Befehls [update-data-repository-association](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-data-repository-association.html)auslösen.
+ **Fehlgeschlagen** — Die Datenrepository-Zuordnung befindet sich in einem Terminalstatus, der nicht wiederhergestellt werden kann (z. B. weil ihr Dateisystempfad gelöscht wurde oder der S3-Bucket gelöscht wurde).
Sie können den Lebenszyklusstatus einer Datenrepository-Verknüpfung mithilfe der FSx Amazon-Konsole AWS Command Line Interface, der und der FSx Amazon-API anzeigen. Weitere Informationen finden Sie unter [Details zur Datenrepository-Zuordnung anzeigen](view-dra-details.md).
# Arbeiten mit serverseitig verschlüsselten Amazon S3 S3-Buckets
FSx for Lustre unterstützt Amazon S3 S3-Buckets, die serverseitige Verschlüsselung mit S3-verwalteten Schlüsseln (SSE-S3) und mit gespeicherten Schlüsseln (SSE-KMS) verwenden. AWS KMS keys AWS Key Management Service
Wenn Sie möchten FSx , dass Amazon Daten beim Schreiben in Ihren S3-Bucket verschlüsselt, müssen Sie die Standardverschlüsselung in Ihrem S3-Bucket entweder auf SSE-S3 oder SSE-KMS festlegen. Weitere Informationen finden Sie unter [Konfiguration der Standardverschlüsselung](https://docs.aws.amazon.com/AmazonS3/latest/userguide/default-bucket-encryption.html) im *Amazon S3 S3-Benutzerhandbuch*. Beim Schreiben von Dateien in Ihren S3-Bucket FSx befolgt Amazon die Standard-Verschlüsselungsrichtlinie Ihres S3-Buckets.
Standardmäßig FSx unterstützt Amazon S3-Buckets, die mit SSE-S3 verschlüsselt wurden. Wenn Sie Ihr FSx Amazon-Dateisystem mit einem S3-Bucket verknüpfen möchten, der mit SSE-KMS-Verschlüsselung verschlüsselt wurde, müssen Sie Ihrer Richtlinie für vom Kunden verwaltete Schlüssel eine Erklärung hinzufügen, die es Amazon ermöglicht, Objekte in Ihrem S3-Bucket mit Ihrem KMS-Schlüssel FSx zu verschlüsseln und zu entschlüsseln.
Die folgende Anweisung ermöglicht es einem bestimmten FSx Amazon-Dateisystem, Objekte für einen bestimmten S3-Bucket zu verschlüsseln und zu entschlüsseln. *bucket\$1name*
```
{
"Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::aws_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_fsx_file_system_id"
},
"Action": [
"kms:Encrypt",
"kms:Decrypt",
"kms:ReEncrypt*",
"kms:GenerateDataKey*",
"kms:DescribeKey"
],
"Resource": "*",
"Condition": {
"StringEquals": {
"kms:CallerAccount": "aws_account_id",
"kms:ViaService": "s3.bucket-region.amazonaws.com"
},
"StringLike": {
"kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*"
}
}
}
```
**Anmerkung**
Wenn Sie einen KMS mit CMK verwenden, um Ihren S3-Bucket mit aktivierten S3-Bucket-Schlüsseln `EncryptionContext` zu verschlüsseln, setzen Sie den auf den Bucket-ARN, nicht auf den Objekt-ARN, wie in diesem Beispiel:
```
"StringLike": {
"kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name"
}
```
Die folgende Richtlinienerklärung ermöglicht es allen FSx Amazon-Dateisystemen in Ihrem Konto, eine Verknüpfung mit einem bestimmten S3-Bucket herzustellen.
```
{
"Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket",
"Effect": "Allow",
"Principal": {
"AWS": "*"
},
"Action": [
"kms:Encrypt",
"kms:Decrypt",
"kms:ReEncrypt*",
"kms:GenerateDataKey*",
"kms:DescribeKey"
],
"Resource": "*",
"Condition": {
"StringEquals": {
"kms:ViaService": "s3.bucket-region.amazonaws.com",
"kms:CallerAccount": "aws_account_id"
},
"StringLike": {
"kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*"
},
"ArnLike": {
"aws:PrincipalArn": "arn:aws_partition:iam::aws_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_fs-*"
}
}
}
```
## Zugreifen auf serverseitig verschlüsselte Amazon S3 S3-Buckets in einer anderen AWS-Konto oder von einer gemeinsam genutzten VPC
Nachdem Sie ein FSx for Lustre-Dateisystem erstellt haben, das mit einem verschlüsselten Amazon S3 S3-Bucket verknüpft ist, müssen Sie der `AWSServiceRoleForFSxS3Access_fs-01234567890` Service-Linked Role (SLR) Zugriff auf den KMS-Schlüssel gewähren, mit dem der S3-Bucket verschlüsselt wurde, bevor Sie Daten aus dem verknüpften S3-Bucket lesen oder schreiben. Sie können eine IAM-Rolle verwenden, die bereits über Berechtigungen für den KMS-Schlüssel verfügt.
**Anmerkung**
Diese IAM-Rolle muss sich in dem Konto befinden, in dem das FSx for Lustre-Dateisystem erstellt wurde (das ist dasselbe Konto wie die S3-Spiegelreflexkamera), nicht in dem Konto, zu dem der KMS-Schlüssel/der S3-Bucket gehört.
Sie verwenden die IAM-Rolle, um die folgende AWS KMS API aufzurufen, um einen Zuschuss für die S3-Spiegelreflexkamera zu erstellen, sodass die Spiegelreflexkamera Berechtigungen für die S3-Objekte erhält. Um den mit Ihrer Spiegelreflexkamera verknüpften ARN zu finden, suchen Sie Ihre IAM-Rollen mit Ihrer Dateisystem-ID als Suchzeichenfolge.
```
$ aws kms create-grant --region fs_account_region \
--key-id arn:aws:kms:s3_bucket_account_region:s3_bucket_account:key/key_id \
--grantee-principal arn:aws:iam::fs_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_file-system-id \
--operations "Decrypt" "Encrypt" "GenerateDataKey" "GenerateDataKeyWithoutPlaintext" "CreateGrant" "DescribeKey" "ReEncryptFrom" "ReEncryptTo"
```
Weitere Informationen zu serviceverknüpften Rollen finden Sie unter [Verwenden von serviceverknüpften Rollen für Amazon FSx](using-service-linked-roles.md).
# Änderungen aus Ihrem Daten-Repository importieren
Sie können Änderungen an Daten und POSIX-Metadaten aus einem verknüpften Daten-Repository in Ihr FSx Amazon-Dateisystem importieren. Zu den zugehörigen POSIX-Metadaten gehören Eigentum, Berechtigungen und Zeitstempel.
Verwenden Sie eine der folgenden Methoden, um Änderungen in das Dateisystem zu importieren:
+ Konfigurieren Sie Ihr Dateisystem so, dass neue, geänderte oder gelöschte Dateien automatisch aus Ihrem verknüpften Datenrepository importiert werden. Weitere Informationen finden Sie unter [Automatischer Import von Updates aus Ihrem S3-Bucket](autoimport-data-repo-dra.md).
+ Wählen Sie die Option zum Importieren von Metadaten aus, wenn Sie eine Datenrepository-Zuordnung erstellen. Dadurch wird unmittelbar nach der Erstellung der Datenrepository-Zuordnung eine Aufgabe zum Importieren des Daten-Repositorys gestartet.
+ Verwenden Sie eine On-Demand-Aufgabe zum Importieren von Datenrepositorys. Weitere Informationen finden Sie unter [Verwenden von Datenrepository-Aufgaben zum Importieren von Änderungen](import-data-repo-task-dra.md).
Aufgaben zum automatischen Import und Import von Datenrepositorys können gleichzeitig ausgeführt werden.
Wenn Sie den automatischen Import für eine Datenrepository-Zuordnung aktivieren, aktualisiert Ihr Dateisystem automatisch Dateimetadaten, wenn Objekte in S3 erstellt, geändert oder gelöscht werden. Wenn Sie beim Erstellen einer Datenrepository-Zuordnung die Option zum Importieren von Metadaten auswählen, importiert Ihr Dateisystem Metadaten für alle Objekte im Datenrepository. Wenn Sie mithilfe einer Aufgabe zum Importieren eines Datenrepositorys importieren, importiert Ihr Dateisystem nur Metadaten für Objekte, die seit dem letzten Import erstellt oder geändert wurden.
FSx for Lustre kopiert automatisch den Inhalt einer Datei aus Ihrem Daten-Repository und lädt ihn in das Dateisystem, wenn Ihre Anwendung zum ersten Mal auf die Datei im Dateisystem zugreift. Diese Datenbewegung wird von FSx for Lustre verwaltet und ist für Ihre Anwendungen transparent. Nachfolgende Lesevorgänge dieser Dateien werden direkt vom Dateisystem aus mit Latenzen von unter einer Millisekunde ausgeführt.
Sie können auch Ihr gesamtes Dateisystem oder ein Verzeichnis innerhalb Ihres Dateisystems vorab laden. Weitere Informationen finden Sie unter [Vorladen von Dateien in Ihr Dateisystem](preload-file-contents-hsm-dra.md). Wenn Sie das gleichzeitige Vorladen mehrerer Dateien anfordern, lädt FSx For Lustre Dateien parallel aus Ihrem Amazon S3 S3-Daten-Repository.
FSx for Lustre importiert nur S3-Objekte, die POSIX-konforme Objektschlüssel haben. Sowohl beim automatischen Import als auch beim Import von Datenrepositorys werden POSIX-Metadaten importiert. Weitere Informationen finden Sie unter [Unterstützung von POSIX-Metadaten für Datenrepositorys](posix-metadata-support.md).
**Anmerkung**
FSx for Lustre unterstützt nicht den Import von Metadaten für symbolische Links (Symlinks) aus den Speicherklassen S3 Glacier Flexible Retrieval und S3 Glacier Deep Archive. Metadaten für S3 Glacier Flexible Retrieval- oder S3 Glacier Deep Archive Archive-Objekte, bei denen es sich nicht um Symlinks handelt, können importiert werden (d. h., es wird ein Inode im FSx for Lustre-Dateisystem mit den richtigen Metadaten erstellt). Um diese Daten aus dem Dateisystem zu lesen, müssen Sie jedoch zuerst das Objekt S3 Glacier Flexible Retrieval oder S3 Glacier Deep Archive wiederherstellen. Der direkte Import von Dateidaten aus Amazon S3 S3-Objekten in der Speicherklasse S3 Glacier Flexible Retrieval oder S3 Glacier Deep Archive in FSx for Lustre wird nicht unterstützt.
# Automatischer Import von Updates aus Ihrem S3-Bucket
Sie können Lustre so konfigurieren FSx , dass Metadaten im Dateisystem automatisch aktualisiert werden, wenn Objekte zu Ihrem S3-Bucket hinzugefügt, darin geändert oder gelöscht werden. FSx for Lustre erstellt, aktualisiert oder löscht die Datei- und Verzeichnisliste entsprechend der Änderung in S3. Wenn das geänderte Objekt im S3-Bucket seine Metadaten nicht mehr enthält, behält FSx for Lustre die aktuellen Metadatenwerte der Datei bei, einschließlich der aktuellen Berechtigungen.
**Anmerkung**
Das FSx for Lustre-Dateisystem und der verknüpfte S3-Bucket müssen sich im selben Verzeichnis befinden, AWS-Region damit Updates automatisch importiert werden können.
Sie können den automatischen Import konfigurieren, wenn Sie die Datenrepository-Zuordnung erstellen, und Sie können die Einstellungen für den automatischen Import jederzeit über die FSx Managementkonsole AWS CLI, die oder die AWS API aktualisieren.
**Anmerkung**
Sie können sowohl den automatischen Import als auch den automatischen Export für dieselbe Datenrepository-Zuordnung konfigurieren. In diesem Thema wird nur die automatische Importfunktion beschrieben.
**Wichtig**
Wenn ein Objekt in S3 geändert wird, wobei alle automatischen Importrichtlinien aktiviert und der automatische Export deaktiviert sind, wird der Inhalt dieses Objekts immer in eine entsprechende Datei im Dateisystem importiert. Wenn am Zielort bereits eine Datei vorhanden ist, wird die Datei überschrieben.
Wenn eine Datei sowohl im Dateisystem als auch in S3 geändert wird und alle automatischen Import- und Exportrichtlinien aktiviert sind, kann entweder die Datei im Dateisystem oder das Objekt in S3 durch die andere überschrieben werden. Es ist nicht garantiert, dass eine spätere Bearbeitung an einem Ort eine frühere Bearbeitung an einem anderen Ort überschreibt. Wenn Sie dieselbe Datei sowohl im Dateisystem als auch im S3-Bucket ändern, sollten Sie die Koordination auf Anwendungsebene sicherstellen, um solche Konflikte zu vermeiden. FSx for Lustre verhindert nicht, dass widersprüchliche Schreibvorgänge an mehreren Speicherorten auftreten.
Die Importrichtlinie legt fest, wie Lustre Ihr Dateisystem aktualisieren soll, wenn sich der Inhalt im verknüpften S3-Bucket ändert. FSx Eine Datenrepository-Zuordnung kann eine der folgenden Importrichtlinien haben:
+ **Neu** — FSx für Lustre werden Datei- und Verzeichnismetadaten nur dann automatisch aktualisiert, wenn dem verknüpften S3-Datenrepository neue Objekte hinzugefügt werden.
+ **Geändert** — FSx für Lustre werden Datei- und Verzeichnismetadaten nur dann automatisch aktualisiert, wenn ein vorhandenes Objekt im Daten-Repository geändert wird.
+ **Gelöscht** — FSx für Lustre werden Datei- und Verzeichnismetadaten nur dann automatisch aktualisiert, wenn ein Objekt im Datenrepository gelöscht wird.
+ **Beliebige Kombination aus Neu, Geändert und Gelöscht** — FSx bei Lustre werden Datei- und Verzeichnismetadaten automatisch aktualisiert, wenn eine der angegebenen Aktionen im S3-Datenrepository stattfindet. Sie können beispielsweise angeben, dass das Dateisystem aktualisiert wird, wenn ein Objekt zum S3-Repository hinzugefügt (**Neu**) oder aus dem S3-Repository entfernt (**gelöscht**) wird, aber nicht aktualisiert wird, wenn ein Objekt geändert wird.
+ **Keine Richtlinie konfiguriert** — FSx denn Lustre aktualisiert keine Datei- und Verzeichnismetadaten im Dateisystem, wenn Objekte zum S3-Daten-Repository hinzugefügt, darin geändert oder gelöscht werden. Wenn Sie keine Importrichtlinie konfigurieren, ist der automatische Import für die Datenrepository-Zuordnung deaktiviert. Sie können Metadatenänderungen immer noch manuell importieren, indem Sie eine Aufgabe zum Importieren eines Datenrepositorys verwenden, wie unter beschrieben[Verwenden von Datenrepository-Aufgaben zum Importieren von Änderungen](import-data-repo-task-dra.md).
**Wichtig**
Beim automatischen Import werden die folgenden S3-Aktionen nicht mit Ihrem Linked FSx for Lustre-Dateisystem synchronisiert:
Löschen eines Objekts mit Ablauf des S3-Objektlebenszyklus
Dauerhaftes Löschen der aktuellen Objektversion in einem Bucket mit aktivierter Versionierung
Das Löschen eines Objekts in einem Bucket mit aktivierter Versionierung rückgängig machen
**Für die meisten Anwendungsfälle empfehlen wir, die Importrichtlinie „**Neu**“, „**Geändert**“ und „Gelöscht“ zu konfigurieren.** Diese Richtlinie stellt sicher, dass alle Aktualisierungen, die in Ihrem verknüpften S3-Datenrepository vorgenommen wurden, automatisch in Ihr Dateisystem importiert werden.
Wenn Sie eine Importrichtlinie zur Aktualisierung Ihrer Dateisystemdatei und Ihrer Verzeichnismetadaten auf der Grundlage von Änderungen im verknüpften S3-Datenrepository festlegen, erstellt FSx for Lustre eine Konfiguration für Ereignisbenachrichtigungen auf dem verknüpften S3-Bucket. Die Konfiguration für die Ereignisbenachrichtigung hat einen Namen`FSx`. Ändern oder löschen Sie die Konfiguration der `FSx` Ereignisbenachrichtigung im S3-Bucket nicht. Dadurch wird der automatische Import aktualisierter Datei- und Verzeichnismetadaten in Ihr Dateisystem verhindert.
Wenn FSx for Lustre eine Dateiliste aktualisiert, die sich im verknüpften S3-Daten-Repository geändert hat, überschreibt es die lokale Datei mit der aktualisierten Version, auch wenn die Datei schreibgesperrt ist.
FSx for Lustre bemüht sich nach besten Kräften, Ihr Dateisystem zu aktualisieren. FSx for Lustre kann das Dateisystem in den folgenden Situationen nicht aktualisieren:
+ Wenn FSx for Lustre nicht berechtigt ist, das geänderte oder neue S3-Objekt zu öffnen. In diesem Fall überspringt FSx for Lustre das Objekt und fährt fort. Der DRA-Lebenszyklusstatus ist davon nicht betroffen.
+ Wenn FSx for Lustre keine Berechtigungen auf Bucket-Ebene hat, z. B. für. `GetBucketAcl` **Dadurch wird der Lebenszyklusstatus des Datenrepositorys auf „Fehlkonfiguriert“ gesetzt.** Weitere Informationen finden Sie unter [Lebenszyklusstatus der Datenrepository-Zuordnung](dra-lifecycles.md).
+ Wenn die Konfiguration der `FSx` Ereignisbenachrichtigung im verknüpften S3-Bucket gelöscht oder geändert wird. Dies führt dazu, dass der Lebenszyklusstatus des Daten-Repositorys **falsch konfiguriert** wird. Weitere Informationen finden Sie unter [Lebenszyklusstatus der Datenrepository-Zuordnung](dra-lifecycles.md).
Wir empfehlen, die [Protokollierung in CloudWatch Logs zu aktivieren](cw-event-logging.md#manage-logging), um Informationen zu Dateien oder Verzeichnissen zu protokollieren, die nicht automatisch importiert werden konnten. Warnungen und Fehler im Protokoll enthalten Informationen zur Fehlerursache. Weitere Informationen finden Sie unter [Datenrepository-Ereignisprotokolle](data-repo-event-logs.md).
## Voraussetzungen
Die folgenden Bedingungen sind erforderlich, damit Lustre automatisch neue, geänderte oder gelöschte Dateien aus dem verknüpften S3-Bucket importieren kann: FSx
+ Das Dateisystem und der verknüpfte S3-Bucket befinden sich im selben AWS-Region.
+ Der S3-Bucket hat keinen falsch konfigurierten **Lifecycle-Status**. Weitere Informationen finden Sie unter [Lebenszyklusstatus der Datenrepository-Zuordnung](dra-lifecycles.md).
+ Ihr Konto verfügt über die erforderlichen Berechtigungen, um Ereignisbenachrichtigungen für den verknüpften S3-Bucket zu konfigurieren und zu empfangen.
## Unterstützte Arten von Dateiänderungen
FSx for Lustre unterstützt den Import der folgenden Änderungen an Dateien und Verzeichnissen, die im verknüpften S3-Bucket auftreten:
+ Änderungen am Dateiinhalt.
+ Änderungen an Datei- oder Verzeichnismetadaten.
+ Änderungen am Symlink-Ziel oder an den Metadaten.
+ Löschungen von Dateien und Verzeichnissen. Wenn Sie ein Objekt im verknüpften S3-Bucket löschen, das einem Verzeichnis im Dateisystem entspricht (d. h. ein Objekt mit einem Schlüsselnamen, der mit einem Schrägstrich endet), FSx löscht Lustre das entsprechende Verzeichnis im Dateisystem nur, wenn es leer ist.
## Importeinstellungen werden aktualisiert
Sie können die Importeinstellungen eines Dateisystems für einen verknüpften S3-Bucket festlegen, wenn Sie die Datenrepository-Zuordnung erstellen. Weitere Informationen finden Sie unter [Einen Link zu einem S3-Bucket erstellen](create-linked-dra.md).
Sie können auch die Importeinstellungen, einschließlich der Importrichtlinie, jederzeit aktualisieren. Weitere Informationen finden Sie unter [Einstellungen für die Datenrepository-Zuordnung werden aktualisiert](update-dra-settings.md).
## Überwachung des automatischen Imports
Wenn die Änderungsrate in Ihrem S3-Bucket die Geschwindigkeit übersteigt, mit der der automatische Import diese Änderungen verarbeiten kann, werden die entsprechenden Metadatenänderungen, die in Ihr FSx for Lustre-Dateisystem importiert werden, verzögert. In diesem Fall können Sie anhand der `AgeOfOldestQueuedMessage` Metrik das Alter der ältesten Änderung überwachen, die darauf wartet, vom automatischen Import verarbeitet zu werden. Weitere Informationen zu dieser Metrik finden Sie unter[FSx für Lustre S3-Repository-Metriken](fs-metrics.md#auto-import-export-metrics).
Wenn die Verzögerung beim Import von Metadatenänderungen 14 Tage überschreitet (gemessen anhand der `AgeOfOldestQueuedMessage` Metrik), werden Änderungen in Ihrem S3-Bucket, die nicht durch automatischen Import verarbeitet wurden, nicht in Ihr Dateisystem importiert. Darüber hinaus ist der Zuordnungszyklus Ihres Daten-Repositorys als **FALSCH KONFIGURIERT** markiert und der automatische Import wird gestoppt. Wenn Sie den automatischen Export aktiviert haben, überwacht der automatische Export Ihr FSx for Lustre-Dateisystem weiterhin auf Änderungen. Zusätzliche Änderungen werden jedoch nicht von Ihrem FSx for Lustre-Dateisystem mit S3 synchronisiert.
Um Ihre Datenrepository-Zuordnung vom Lebenszyklusstatus **MISCONFIGURED** in den Lebenszyklusstatus **AVAILABLE** zurückzuversetzen, müssen Sie Ihre Datenrepository-Zuordnung aktualisieren. Sie können Ihre Datenrepository-Zuordnung mit dem [update-data-repository-association](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-data-repository-association.html)CLI-Befehl (oder der entsprechenden [UpdateDataRepositoryAssociation](https://docs.aws.amazon.com/fsx/latest/APIReference/API_UpdateDataRepositoryAssociation.html)API-Operation) aktualisieren. Der einzige Anforderungsparameter, den Sie benötigen, ist `AssociationID` der der Datenrepository-Zuordnung, die Sie aktualisieren möchten.
Nachdem der Lebenszyklusstatus der Datenrepository-Zuordnung auf **VERFÜGBAR** geändert wurde, wird der automatische Import (und der automatische Export, falls aktiviert) neu gestartet. Nach dem Neustart setzt der automatische Export die Synchronisierung der Dateisystemänderungen mit S3 fort. [Um die Metadaten neuer und geänderter Objekte in S3 mit Ihrem FSx for Lustre-Dateisystem zu synchronisieren, die nicht importiert wurden oder aus einem falsch konfigurierten Zustand der Datenrepository-Zuordnung stammen, führen Sie eine Aufgabe zum Importieren von Datenrepositorys aus.](import-data-repo-task-dra.md) Bei Aufgaben zum Importieren von Datenrepositorys werden Löschungen in Ihrem S3-Bucket nicht mit Ihrem FSx for Lustre-Dateisystem synchronisiert. Wenn Sie S3 vollständig mit Ihrem Dateisystem synchronisieren möchten (einschließlich Löschungen), müssen Sie Ihr Dateisystem neu erstellen.
Um sicherzustellen, dass Verzögerungen beim Import von Metadatenänderungen 14 Tage nicht überschreiten, empfehlen wir Ihnen, einen Alarm für die `AgeOfOldestQueuedMessage` Metrik einzurichten und die Aktivität in Ihrem S3-Bucket zu reduzieren, falls die `AgeOfOldestQueuedMessage` Metrik Ihren Alarmschwellenwert überschreitet. Für ein FSx for Lustre-Dateisystem, das mit einem S3-Bucket verbunden ist, wobei ein einziger Shard kontinuierlich die maximale Anzahl möglicher Änderungen von S3 sendet, wobei nur der automatische Import auf dem FSx for Lustre-Dateisystem ausgeführt wird, kann der automatische Import einen 7-stündigen Backlog von S3-Änderungen innerhalb von 14 Tagen verarbeiten.
Darüber hinaus können Sie mit einer einzigen S3-Aktion mehr Änderungen generieren, als der automatische Import jemals in 14 Tagen verarbeiten kann. Beispiele für diese Arten von Aktionen sind unter anderem AWS Snowball Uploads auf S3 und umfangreiche Löschungen. Wenn Sie eine umfangreiche Änderung an Ihrem S3-Bucket vornehmen, die Sie mit Ihrem FSx for Lustre-Dateisystem synchronisieren möchten, sollten Sie Ihr Dateisystem löschen und nach Abschluss der S3-Änderung neu erstellen, um zu verhindern, dass automatische Importänderungen länger als 14 Tage dauern.
Wenn Ihre `AgeOfOldestQueuedMessage` Kennzahl wächst, überprüfen Sie Ihren S3-Bucket`GetRequests`, `PutRequests``PostRequests`, und die `DeleteRequests` Metriken auf Aktivitätsänderungen, die zu einer Erhöhung der and/or Anzahl der Änderungen führen würden, die an den automatischen Import gesendet werden. Informationen zu verfügbaren S3-Metriken finden Sie unter [Monitoring Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/monitoring-overview.html) im *Amazon S3 S3-Benutzerhandbuch*.
Eine Liste aller FSx für Lustre verfügbaren Metriken finden Sie unter[Überwachung mit Amazon CloudWatch](monitoring-cloudwatch.md).
# Verwenden von Datenrepository-Aufgaben zum Importieren von Änderungen
Die Aufgabe Datenrepository importieren importiert Metadaten von Objekten, die in Ihrem S3-Daten-Repository neu sind oder geändert wurden, und erstellt eine neue Datei- oder Verzeichnisliste für jedes neue Objekt im S3-Daten-Repository. Für jedes Objekt, das im Datenrepository geändert wurde, wird die entsprechende Datei- oder Verzeichnisliste mit den neuen Metadaten aktualisiert. Für Objekte, die aus dem Datenspeicher gelöscht wurden, werden keine Maßnahmen ergriffen.
Gehen Sie wie folgt vor, um Metadatenänderungen mithilfe der FSx Amazon-Konsole und CLI zu importieren. Beachten Sie, dass Sie eine Datenrepository-Aufgabe für mehrere verwenden können DRAs.
## Um Änderungen an Metadaten zu importieren (Konsole)
1. Öffnen Sie die FSx Amazon-Konsole unter [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Wählen Sie im Navigationsbereich **Dateisysteme** und anschließend Ihr Lustre Dateisystem aus.
1. Wählen Sie die Registerkarte **Daten-Repository**.
1. Wählen Sie im Bereich **Datenrepository-Verknüpfungen** die Datenrepository-Verknüpfungen aus, für die Sie die Importaufgabe erstellen möchten.
1. Wählen Sie im Menü **Aktionen** die Option **Aufgabe importieren** aus. Diese Option ist nicht verfügbar, wenn das Dateisystem nicht mit einem Datenrepository verknüpft ist. Die **Aufgabenseite Import-Daten-Repository erstellen** wird angezeigt.
1. (Optional) Geben Sie bis zu 32 Verzeichnisse oder Dateien an, die aus Ihren verknüpften S3-Buckets importiert werden sollen, indem Sie die Pfade zu diesen Verzeichnissen oder Dateien unter Zu **importierende Datenrepository-Pfade** angeben.
**Anmerkung**
Wenn ein von Ihnen angegebener Pfad nicht gültig ist, schlägt die Aufgabe fehl.
1. (Optional) Wählen Sie unter **Abschlussbericht** die Option **Aktivieren** aus, um nach Abschluss der Aufgabe einen Bericht über den Abschluss der Aufgabe zu erstellen. Ein *Bericht über den Abschluss der Aufgabe* enthält Details zu den Dateien, die von der Aufgabe verarbeitet wurden und die dem unter **Berichtsbereich angegebenen Umfang** entsprechen. **Um den Ort anzugeben, an den Amazon den Bericht liefern FSx soll, geben Sie als Berichtspfad einen relativen Pfad in einem verknüpften S3-Datenrepository ein.**
1. Wählen Sie **Erstellen** aus.
Eine Benachrichtigung oben auf der Seite **Dateisysteme** zeigt, dass die Aufgabe, die Sie gerade erstellt haben, in Bearbeitung ist.
Um den Status und die Details der Aufgabe einzusehen, scrollen Sie auf der Registerkarte **Daten-Repository für das Dateisystem nach unten zum Bereich **Daten-Repository-Aufgaben****. In der Standardsortierreihenfolge wird die neueste Aufgabe ganz oben in der Liste angezeigt.
Um auf dieser Seite eine Aufgabenzusammenfassung anzuzeigen, wählen Sie die **Task-ID** für die Aufgabe, die Sie gerade erstellt haben. Die **Übersichtsseite** für die Aufgabe wird angezeigt.
## So importieren Sie Metadatenänderungen (CLI)
+ Verwenden Sie den [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html)CLI-Befehl, um Metadatenänderungen in Ihr FSx for Lustre-Dateisystem zu importieren. Die entsprechende API-Operation ist [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html).
```
$ aws fsx create-data-repository-task \
--file-system-id fs-0123456789abcdef0 \
--type IMPORT_METADATA_FROM_REPOSITORY \
--paths s3://bucketname1/dir1/path1 \
--report Enabled=true,Path=s3://bucketname1/dir1/path1,Format=REPORT_CSV_20191124,Scope=FAILED_FILES_ONLY
```
Nach erfolgreicher Erstellung der Datenrepository-Aufgabe FSx gibt Amazon die Aufgabenbeschreibung als JSON zurück.
Nachdem Sie die Aufgabe zum Importieren von Metadaten aus dem verknüpften Datenrepository erstellt haben, können Sie den Status der Aufgabe zum Importieren des Datenrepositorys überprüfen. Weitere Informationen zum Anzeigen von Datenrepository-Aufgaben finden Sie unter[Zugreifen auf Datenrepository-Aufgaben](view-data-repo-tasks.md).
# Vorladen von Dateien in Ihr Dateisystem
Sie können optional Inhalte einzelner Dateien oder Verzeichnisse vorab in Ihr Dateisystem laden.
## Dateien mithilfe von HSM-Befehlen importieren
Amazon FSx kopiert Daten aus Ihrem Amazon S3 S3-Daten-Repository, wenn auf eine Datei zum ersten Mal zugegriffen wird. Aufgrund dieses Ansatzes kommt es beim ersten Lesen oder Schreiben in eine Datei zu einer geringen Latenz. Wenn Ihre Anwendung empfindlich auf diese Latenz reagiert und Sie wissen, auf welche Dateien oder Verzeichnisse Ihre Anwendung zugreifen muss, können Sie optional Inhalte einzelner Dateien oder Verzeichnisse vorab laden. Dazu verwenden Sie den `hsm_restore` folgenden Befehl.
Sie können den `hsm_action` Befehl (der mit dem `lfs` Benutzerprogramm ausgegeben wird) verwenden, um zu überprüfen, ob der Inhalt der Datei vollständig in das Dateisystem geladen wurde. Der Rückgabewert von `NOOP` gibt an, dass die Datei erfolgreich geladen wurde. Führen Sie die folgenden Befehle von einer Recheninstanz aus, auf der das Dateisystem eingehängt ist. *path/to/file*Ersetzen Sie es durch den Pfad der Datei, die Sie vorab in Ihr Dateisystem laden.
```
sudo lfs hsm_restore path/to/file
sudo lfs hsm_action path/to/file
```
Sie können Ihr gesamtes Dateisystem oder ein ganzes Verzeichnis innerhalb Ihres Dateisystems vorladen, indem Sie die folgenden Befehle verwenden. (Das nachstehende Und-Zeichen sorgt dafür, dass ein Befehl als Hintergrundprozess ausgeführt wird.) Wenn Sie das gleichzeitige Vorladen mehrerer Dateien anfordern, FSx lädt Amazon Ihre Dateien parallel aus Ihrem Amazon S3 S3-Daten-Repository. Wenn eine Datei bereits in das Dateisystem geladen wurde, wird sie durch den `hsm_restore` Befehl nicht erneut geladen.
```
nohup find local/directory -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_restore &
```
**Anmerkung**
Wenn Ihr verknüpfter S3-Bucket größer als Ihr Dateisystem ist, sollten Sie in der Lage sein, alle Dateimetadaten in Ihr Dateisystem zu importieren. Sie können jedoch nur so viele tatsächliche Dateidaten laden, wie in den verbleibenden Speicherplatz des Dateisystems passen. Sie erhalten eine Fehlermeldung, wenn Sie versuchen, auf Dateidaten zuzugreifen, obwohl im Dateisystem kein Speicherplatz mehr vorhanden ist. In diesem Fall können Sie die Speicherkapazität nach Bedarf erhöhen. Weitere Informationen finden Sie unter [Verwaltung der Speicherkapazität](managing-storage-capacity.md).
## Schritt zur Validierung
Sie können das unten aufgeführte Bash-Skript ausführen, um herauszufinden, wie viele Dateien oder Objekte sich in einem archivierten (veröffentlichten) Zustand befinden.
Um die Leistung des Skripts zu verbessern, insbesondere in Dateisystemen mit einer großen Anzahl von Dateien, werden CPU-Threads automatisch anhand der `/proc/cpuproc` Datei bestimmt. Das heißt, Sie werden eine schnellere Leistung mit einer Amazon EC2 EC2-Instance mit einer höheren vCPU-Anzahl erzielen.
1. Richten Sie das Bash-Skript ein.
```
#!/bin/bash
# Check if a directory argument is provided
if [ $# -ne 1 ]; then
echo "Usage: $0 /path/to/lustre/mount"
exit 1
fi
# Set the root directory from the argument
ROOT_DIR="$1"
# Check if the provided directory exists
if [ ! -d "$ROOT_DIR" ]; then
echo "Error: Directory $ROOT_DIR does not exist."
exit 1
fi
# Automatically detect number of CPUs and set threads
if command -v nproc &> /dev/null; then
THREADS=$(nproc)
elif [ -f /proc/cpuinfo ]; then
THREADS=$(grep -c ^processor /proc/cpuinfo)
else
echo "Unable to determine number of CPUs. Defaulting to 1 thread."
THREADS=1
fi
# Output file
OUTPUT_FILE="released_objects_$(date +%Y%m%d_%H%M%S).txt"
echo "Searching in $ROOT_DIR for all released objects using $THREADS threads"
echo "This may take a while depending on the size of the filesystem..."
# Find all released files in the specified lustre directory using parallel
# If you get false positives for file names/paths that include the word 'released',
# you can grep 'released exists archived' instead of just 'released'
time sudo lfs find "$ROOT_DIR" -type f | \
parallel --will-cite -j "$THREADS" -n 1000 "sudo lfs hsm_state {} | grep released" > "$OUTPUT_FILE"
echo "Search complete. Released objects are listed in $OUTPUT_FILE"
echo "Total number of released objects: $(wc -l <"$OUTPUT_FILE")"
```
1. Machen Sie das Skript ausführbar:
```
$ chmod +x find_lustre_released_files.sh
```
1. Führen Sie das Skript wie im folgenden Beispiel aus:
```
$ ./find_lustre_released_files.sh /fsxl/sample
Searching in /fsxl/sample for all released objects using 16 threads
This may take a while depending on the size of the filesystem...
real 0m9.906s
user 0m1.502s
sys 0m5.653s
Search complete. Released objects are listed in released_objects_20241121_184537.txt
Total number of released objects: 30000
```
Wenn freigegebene Objekte vorhanden sind, führen Sie eine Massenwiederherstellung der gewünschten Verzeichnisse durch, in die die Dateien von S3 FSx für Lustre übertragen werden sollen, wie im folgenden Beispiel:
```
$ DIR=/path/to/lustre/mount
$ nohup find $DIR -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_restore &
```
Beachten Sie, dass `hsm_restore` dies bei Millionen von Dateien eine Weile dauern kann.
# Änderungen in das Daten-Repository exportieren
Sie können Änderungen an Daten und POSIX-Metadatenänderungen aus Ihrem FSx for Lustre-Dateisystem in ein verknüpftes Daten-Repository exportieren. Zu den zugehörigen POSIX-Metadaten gehören Besitz, Berechtigungen und Zeitstempel.
Verwenden Sie eine der folgenden Methoden, um Änderungen aus dem Dateisystem zu exportieren.
+ Konfigurieren Sie Ihr Dateisystem so, dass neue, geänderte oder gelöschte Dateien automatisch in Ihr verknüpftes Datenrepository exportiert werden. Weitere Informationen finden Sie unter [Exportieren Sie Updates automatisch in Ihren S3-Bucket](autoexport-data-repo-dra.md).
+ Verwenden Sie eine On-Demand-Aufgabe zum Exportieren von Datenrepositorys. Weitere Informationen finden Sie unter [Verwenden von Datenrepository-Aufgaben zum Exportieren von Änderungen](export-data-repo-task-dra.md).
Aufgaben zum automatischen Exportieren und Exportieren von Datenrepositorys können nicht gleichzeitig ausgeführt werden.
**Wichtig**
Beim automatischen Export werden die folgenden Metadatenoperationen auf Ihrem Dateisystem nicht mit S3 synchronisiert, wenn die entsprechenden Objekte in S3 Glacier Flexible Retrieval gespeichert sind:
chmod
Chown
umbenennen
Wenn Sie den automatischen Export für eine Datenrepository-Verknüpfung aktivieren, exportiert Ihr Dateisystem automatisch Dateidaten und Metadatenänderungen, wenn Dateien erstellt, geändert oder gelöscht werden. Wenn Sie Dateien oder Verzeichnisse mithilfe einer Aufgabe zum Exportieren eines Datenrepositorys exportieren, exportiert Ihr Dateisystem nur Datendateien und Metadaten, die seit dem letzten Export erstellt oder geändert wurden.
Sowohl beim automatischen Export als auch beim Exportieren von Datenrepositorys werden POSIX-Metadaten exportiert. Weitere Informationen finden Sie unter [Unterstützung von POSIX-Metadaten für Datenrepositorys](posix-metadata-support.md).
**Wichtig**
Um sicherzustellen, dass FSx for Lustre Ihre Daten in Ihren S3-Bucket exportieren kann, müssen sie in einem UTF-8-kompatiblen Format gespeichert werden.
S3-Objektschlüssel haben eine maximale Länge von 1.024 Byte. FSx for Lustre exportiert keine Dateien, deren entsprechender S3-Objektschlüssel länger als 1.024 Byte wäre.
**Anmerkung**
Alle Objekte, die durch automatische Export- und Export-Datenrepository-Aufgaben erstellt wurden, werden mit der Speicherklasse S3 Standard geschrieben.
**Topics**
+ [Exportieren Sie Updates automatisch in Ihren S3-Bucket](autoexport-data-repo-dra.md)
+ [Verwenden von Datenrepository-Aufgaben zum Exportieren von Änderungen](export-data-repo-task-dra.md)
+ [Exportieren von Dateien mithilfe von HSM-Befehlen](exporting-files-hsm.md)
# Exportieren Sie Updates automatisch in Ihren S3-Bucket
Sie können Ihr FSx for Lustre-Dateisystem so konfigurieren, dass der Inhalt eines verknüpften S3-Buckets automatisch aktualisiert wird, wenn Dateien im Dateisystem hinzugefügt, geändert oder gelöscht werden. FSx for Lustre erstellt, aktualisiert oder löscht das Objekt in S3 entsprechend der Änderung im Dateisystem.
**Anmerkung**
Der automatische Export ist FSx für Lustre 2.10-Dateisysteme oder Dateisysteme nicht verfügbar. `Scratch 1`
Sie können in ein Daten-Repository exportieren, das sich im selben AWS-Region Dateisystem oder in einem anderen befindet. AWS-Region
Sie können den automatischen Export konfigurieren, wenn Sie die Datenrepository-Zuordnung erstellen, und die Einstellungen für den automatischen Export jederzeit mithilfe der FSx Managementkonsole AWS CLI, der und der AWS API aktualisieren.
**Wichtig**
Wenn eine Datei im Dateisystem geändert wird, wobei alle automatischen Exportrichtlinien aktiviert und der automatische Import deaktiviert ist, wird der Inhalt dieser Datei immer in ein entsprechendes Objekt in S3 exportiert. Wenn am Zielort bereits ein Objekt vorhanden ist, wird das Objekt überschrieben.
Wenn eine Datei sowohl im Dateisystem als auch in S3 geändert wird und alle automatischen Import- und Exportrichtlinien aktiviert sind, kann entweder die Datei im Dateisystem oder das Objekt in S3 durch die andere überschrieben werden. Es ist nicht garantiert, dass eine spätere Bearbeitung an einem Ort eine frühere Bearbeitung an einem anderen Ort überschreibt. Wenn Sie dieselbe Datei sowohl im Dateisystem als auch im S3-Bucket ändern, sollten Sie die Koordination auf Anwendungsebene sicherstellen, um solche Konflikte zu vermeiden. FSx for Lustre verhindert nicht, dass widersprüchliche Schreibvorgänge an mehreren Speicherorten auftreten.
Die Exportrichtlinie legt fest, wie Lustre Ihren verknüpften S3-Bucket aktualisieren soll, wenn sich der Inhalt im Dateisystem ändert. FSx Eine Datenrepository-Zuordnung kann über eine der folgenden automatischen Exportrichtlinien verfügen:
+ **Neu** — FSx für Lustre wird das S3-Daten-Repository nur dann automatisch aktualisiert, wenn eine neue Datei, ein neues Verzeichnis oder ein neuer Symlink im Dateisystem erstellt wird.
+ **Geändert** — FSx bei Lustre wird das S3-Daten-Repository nur dann automatisch aktualisiert, wenn eine bestehende Datei im Dateisystem geändert wird. Bei Änderungen des Dateiinhalts muss die Datei geschlossen werden, bevor sie in das S3-Repository übertragen wird. Metadatenänderungen (Umbenennung, Besitz, Berechtigungen und Zeitstempel) werden weitergegeben, wenn der Vorgang abgeschlossen ist. Beim Umbenennen von Änderungen (einschließlich Verschiebungen) wird das bestehende (zuvor umbenannte) S3-Objekt gelöscht und ein neues S3-Objekt mit dem neuen Namen erstellt.
+ **Gelöscht** — FSx bei Lustre wird das S3-Daten-Repository nur dann automatisch aktualisiert, wenn eine Datei, ein Verzeichnis oder ein Symlink im Dateisystem gelöscht wird.
+ **Beliebige Kombination aus Neu, Geändert und Gelöscht** — FSx bei Lustre wird das S3-Daten-Repository automatisch aktualisiert, wenn eine der angegebenen Aktionen im Dateisystem stattfindet. Sie können beispielsweise angeben, dass das S3-Repository aktualisiert wird, wenn eine Datei zum Dateisystem hinzugefügt (**Neu**) oder aus dem Dateisystem entfernt (**gelöscht**) wird, aber nicht, wenn eine Datei geändert wird.
+ **Keine Richtlinie konfiguriert** — FSx denn Lustre aktualisiert das S3-Daten-Repository nicht automatisch, wenn Dateien zum Dateisystem hinzugefügt, geändert oder aus dem Dateisystem gelöscht werden. Wenn Sie keine Exportrichtlinie konfigurieren, ist der automatische Export deaktiviert. Sie können Änderungen immer noch manuell exportieren, indem Sie eine Aufgabe zum Exportieren eines Datenrepositorys verwenden, wie unter beschrieben[Verwenden von Datenrepository-Aufgaben zum Exportieren von Änderungen](export-data-repo-task-dra.md).
Für die meisten Anwendungsfälle empfehlen wir, die Exportrichtlinie „**Neu**“, „**Geändert**“ und „**Gelöscht**“ zu konfigurieren. Diese Richtlinie stellt sicher, dass alle an Ihrem Dateisystem vorgenommenen Aktualisierungen automatisch in Ihr verknüpftes S3-Datenrepository exportiert werden.
Wir empfehlen, die [Protokollierung in CloudWatch Logs zu aktivieren](cw-event-logging.md#manage-logging), um Informationen zu Dateien oder Verzeichnissen zu protokollieren, die nicht automatisch exportiert werden konnten. Warnungen und Fehler im Protokoll enthalten Informationen zur Fehlerursache. Weitere Informationen finden Sie unter [Datenrepository-Ereignisprotokolle](data-repo-event-logs.md).
**Anmerkung**
Während der Exportvorgänge die Zugriffszeit (`atime`) und die Änderungszeit (`mtime`) mit S3 synchronisiert werden, lösen Änderungen an diesen Zeitstempeln allein noch keinen automatischen Export aus. Nur Änderungen am Dateiinhalt oder anderen Metadaten (wie Eigentum oder Berechtigungen) lösen einen automatischen Export nach S3 aus.
## Die Exporteinstellungen werden aktualisiert
Sie können die Exporteinstellungen eines Dateisystems auf einen verknüpften S3-Bucket festlegen, wenn Sie die Datenrepository-Zuordnung erstellen. Weitere Informationen finden Sie unter [Einen Link zu einem S3-Bucket erstellen](create-linked-dra.md).
Sie können auch die Exporteinstellungen, einschließlich der Exportrichtlinie, jederzeit aktualisieren. Weitere Informationen finden Sie unter [Einstellungen für die Datenrepository-Zuordnung werden aktualisiert](update-dra-settings.md).
## Überwachung des automatischen Exports
Sie können die Verknüpfungen von Datenrepositorys mit automatischem Export anhand einer Reihe von auf Amazon veröffentlichten Metriken überwachen CloudWatch. Die `AgeOfOldestQueuedMessage` Metrik gibt das Alter der ältesten Aktualisierung des Dateisystems an, die noch nicht nach S3 exportiert wurde. Wenn der über einen längeren Zeitraum größer als Null `AgeOfOldestQueuedMessage` ist, empfehlen wir, die Anzahl der Änderungen (insbesondere Verzeichnisumbenennungen), die aktiv am Dateisystem vorgenommen werden, vorübergehend zu reduzieren, bis die Nachrichtenwarteschlange reduziert wurde. Weitere Informationen finden Sie unter [FSx für Lustre S3-Repository-Metriken](fs-metrics.md#auto-import-export-metrics).
**Wichtig**
Wenn Sie eine Datenrepository-Zuordnung oder ein Dateisystem mit aktiviertem automatischen Export löschen, sollten Sie zunächst sicherstellen, dass der Wert Null `AgeOfOldestQueuedMessage` ist, d. h., dass es keine Änderungen gibt, die noch nicht exportiert wurden. Wenn der Wert größer als Null `AgeOfOldestQueuedMessage` ist, wenn Sie Ihre Datenrepository-Zuordnung oder Ihr Dateisystem löschen, werden die Änderungen, die noch nicht exportiert wurden, Ihren verknüpften S3-Bucket nicht erreichen. Um dies zu vermeiden, warten `AgeOfOldestQueuedMessage` Sie, bis Null erreicht ist, bevor Sie Ihre Datenrepository-Zuordnung oder Ihr Dateisystem löschen.
# Verwenden von Datenrepository-Aufgaben zum Exportieren von Änderungen
Die Aufgabe zum Exportieren von Datenrepositorien exportiert Dateien, die in Ihrem Dateisystem neu sind oder geändert wurden. Sie erstellt ein neues Objekt in S3 für jede neue Datei im Dateisystem. Für jede Datei, die im Dateisystem geändert wurde oder deren Metadaten geändert wurden, wird das entsprechende Objekt in S3 durch ein neues Objekt mit den neuen Daten und Metadaten ersetzt. Für Dateien, die aus dem Dateisystem gelöscht wurden, werden keine Maßnahmen ergriffen.
**Anmerkung**
Beachten Sie bei der Verwendung von Aufgaben zum Exportieren von Datenrepositorys Folgendes:
Die Verwendung von Platzhaltern zum Ein- oder Ausschließen von Dateien für den Export wird nicht unterstützt.
Bei der Ausführung von `mv` Vorgängen wird die Zieldatei nach dem Verschieben nach S3 exportiert, auch wenn keine UID, GID, Berechtigung oder Inhaltsänderung vorgenommen wurde.
Gehen Sie wie folgt vor, um Daten und Metadatenänderungen im Dateisystem mithilfe der FSx Amazon-Konsole und CLI in verknüpfte S3-Buckets zu exportieren. Beachten Sie, dass Sie eine Datenrepository-Aufgabe für mehrere DRAs verwenden können.
## Um Änderungen zu exportieren (Konsole)
1. Öffnen Sie die FSx Amazon-Konsole unter [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Wählen Sie im Navigationsbereich **Dateisysteme** und anschließend Ihr Lustre Dateisystem aus.
1. Wählen Sie die Registerkarte **Daten-Repository**.
1. Wählen Sie im Bereich **Datenrepository-Verknüpfungen** die Datenrepository-Zuordnung aus, für die Sie die Exportaufgabe erstellen möchten.
1. Wählen Sie für **Aktionen** die Option **Aufgabe exportieren** aus. Diese Option ist nicht verfügbar, wenn das Dateisystem nicht mit einem Datenrepository auf S3 verknüpft ist. Das **Aufgabendialogfeld Exportdaten-Repository erstellen** wird angezeigt.
1. (Optional) Geben Sie bis zu 32 Verzeichnisse oder Dateien an, die aus Ihrem FSx Amazon-Dateisystem exportiert werden sollen, indem Sie die Pfade zu diesen Verzeichnissen oder Dateien unter **Zu exportierende Dateisystempfade** angeben. Die Pfade, die Sie angeben, müssen sich auf den Bereitstellungspunkt des Dateisystems beziehen. Wenn der Einhängepunkt ein Verzeichnis oder eine Datei auf dem Dateisystem `/mnt/fsx/path1` ist `/mnt/fsx` und ist, das Sie exportieren möchten, dann ist der Pfad, den Sie angeben möchten`path1`.
**Anmerkung**
Wenn ein von Ihnen angegebener Pfad nicht gültig ist, schlägt die Aufgabe fehl.
1. (Optional) Wählen Sie unter **Abschlussbericht** die Option **Aktivieren** aus, um nach Abschluss der Aufgabe einen Bericht über den Abschluss der Aufgabe zu erstellen. Ein *Bericht über den Abschluss der Aufgabe* enthält Details zu den Dateien, die von der Aufgabe verarbeitet wurden und die dem unter **Berichtsbereich angegebenen Umfang** entsprechen. Um den Speicherort anzugeben, an den Amazon den Bericht liefern FSx soll, geben Sie einen relativen Pfad im verknüpften S3-Datenrepository des Dateisystems als **Berichtspfad** ein.
1. Wählen Sie **Erstellen** aus.
Eine Benachrichtigung oben auf der Seite **Dateisysteme** zeigt, dass die Aufgabe, die Sie gerade erstellt haben, in Bearbeitung ist.
Um den Status und die Details der Aufgabe einzusehen, scrollen Sie auf der Registerkarte **Daten-Repository für das Dateisystem nach unten zum Bereich **Daten-Repository-Aufgaben****. In der Standardsortierreihenfolge wird die neueste Aufgabe ganz oben in der Liste angezeigt.
Um auf dieser Seite eine Aufgabenzusammenfassung anzuzeigen, wählen Sie die **Task-ID** für die Aufgabe, die Sie gerade erstellt haben. Die **Übersichtsseite** für die Aufgabe wird angezeigt.
## Um Änderungen zu exportieren (CLI)
+ Verwenden Sie den [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html)CLI-Befehl, um Daten und Metadatenänderungen in Ihrem FSx for Lustre-Dateisystem zu exportieren. Die entsprechende API-Operation ist [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html).
```
$ aws fsx create-data-repository-task \
--file-system-id fs-0123456789abcdef0 \
--type EXPORT_TO_REPOSITORY \
--paths path1,path2/file1 \
--report Enabled=true
```
Nach erfolgreicher Erstellung der Datenrepository-Aufgabe FSx gibt Amazon die Aufgabenbeschreibung als JSON zurück, wie im folgenden Beispiel gezeigt.
```
{
"Task": {
"TaskId": "task-123f8cd8e330c1321",
"Type": "EXPORT_TO_REPOSITORY",
"Lifecycle": "PENDING",
"FileSystemId": "fs-0123456789abcdef0",
"Paths": ["path1", "path2/file1"],
"Report": {
"Path":"s3://dataset-01/reports",
"Format":"REPORT_CSV_20191124",
"Enabled":true,
"Scope":"FAILED_FILES_ONLY"
},
"CreationTime": "1545070680.120",
"ClientRequestToken": "10192019-drt-12",
"ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321"
}
}
```
Nachdem Sie die Aufgabe zum Exportieren von Daten in das verknüpfte Datenrepository erstellt haben, können Sie den Status der Aufgabe zum Exportieren des Datenrepositorys überprüfen. Weitere Informationen zum Anzeigen von Datenrepository-Aufgaben finden Sie unter[Zugreifen auf Datenrepository-Aufgaben](view-data-repo-tasks.md).
# Exportieren von Dateien mithilfe von HSM-Befehlen
**Anmerkung**
Um Änderungen an den Daten und Metadaten Ihres FSx for Lustre-Dateisystems in ein dauerhaftes Daten-Repository auf Amazon S3 zu exportieren, verwenden Sie die unter beschriebene automatische Exportfunktion. [Exportieren Sie Updates automatisch in Ihren S3-Bucket](autoexport-data-repo-dra.md) Sie können auch Aufgaben zum Exportieren von Datenrepositorys verwenden, die unter beschrieben sind. [Verwenden von Datenrepository-Aufgaben zum Exportieren von Änderungen](export-data-repo-task-dra.md)
Um eine einzelne Datei in Ihr Daten-Repository zu exportieren und zu überprüfen, ob die Datei erfolgreich in Ihr Daten-Repository exportiert wurde, können Sie die folgenden Befehle ausführen. Ein Rückgabewert von `states: (0x00000009) exists archived` gibt an, dass die Datei erfolgreich exportiert wurde.
```
sudo lfs hsm_archive path/to/export/file
sudo lfs hsm_state path/to/export/file
```
**Anmerkung**
Sie müssen die HSM-Befehle (z. B.`hsm_archive`) als Root-Benutzer oder mithilfe von `sudo` ausführen.
Führen Sie die folgenden Befehle aus, um Ihr gesamtes Dateisystem oder ein ganzes Verzeichnis in Ihrem Dateisystem zu exportieren. Wenn Sie mehrere Dateien gleichzeitig exportieren, exportiert Amazon FSx for Lustre Ihre Dateien parallel in Ihr Amazon S3 S3-Daten-Repository.
```
nohup find local/directory -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &
```
Führen Sie den folgenden Befehl aus, um festzustellen, ob der Export abgeschlossen wurde.
```
find path/to/export/file -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_state | awk '!/\/ || /\/' | wc -l
```
Wenn der Befehl zurückkehrt und keine Dateien mehr übrig sind, ist der Export abgeschlossen.
# Datenrepository-Aufgaben
Mithilfe von Aufgaben zum Importieren und Exportieren von Datenrepositorys können Sie die Übertragung von Daten und Metadaten zwischen Ihrem FSx for Lustre-Dateisystem und seinen dauerhaften Datenrepositorys auf Amazon S3 verwalten.
*Datenrepository-Aufgaben* optimieren die Daten- und Metadatentransfers zwischen Ihrem FSx for Lustre-Dateisystem und einem Daten-Repository auf S3. Eine Möglichkeit, dies zu tun, besteht darin, Änderungen zwischen Ihrem FSx Amazon-Dateisystem und dem verknüpften Datenrepository zu verfolgen. Sie tun dies auch, indem sie parallel Übertragungstechniken verwenden, um Daten mit Geschwindigkeiten von bis zu Hunderten von zu übertragen GBps. Sie erstellen und zeigen Datenrepository-Aufgaben mithilfe der FSx Amazon-Konsole AWS CLI, der und der FSx Amazon-API an.
Datenrepository-Aufgaben verwalten die POSIX-Metadaten (Portable Operating System Interface) des Dateisystems, einschließlich Eigentumsrechte, Berechtigungen und Zeitstempel. Da die Aufgaben diese Metadaten verwalten, können Sie Zugriffskontrollen zwischen Ihrem FSx for Lustre-Dateisystem und den verknüpften Datenrepositorys implementieren und aufrechterhalten.
Sie können eine Aufgabe zum Freigeben von Datenrepositorys verwenden, um Speicherplatz im Dateisystem für neue Dateien freizugeben, indem Sie nach Amazon S3 exportierte Dateien freigeben. Der Inhalt der veröffentlichten Datei wird entfernt, aber die Metadaten der veröffentlichten Datei verbleiben im Dateisystem. Benutzer und Anwendungen können weiterhin auf eine veröffentlichte Datei zugreifen, indem sie die Datei erneut lesen. Wenn der Benutzer oder die Anwendung die veröffentlichte Datei liest, ruft FSx for Lustre den Dateiinhalt transparent von Amazon S3 ab.
## Arten von Datenrepository-Aufgaben
Es gibt drei Arten von Datenrepository-Aufgaben:
+ **Exportieren Sie** Datenrepository-Aufgaben: Export aus Ihrem Lustre Dateisystem in einen verknüpften S3-Bucket.
+ **Datenrepository-Aufgaben** importieren Import aus einem verknüpften S3-Bucket in Ihr Lustre Dateisystem.
+ **Datenrepository-Aufgaben** geben Dateien frei, die aus Ihrem Lustre Dateisystem in einen verknüpften S3-Bucket exportiert wurden.
Weitere Informationen finden Sie unter [Eine Datenrepository-Aufgabe erstellen](creating-data-repo-task.md).
**Topics**
+ [Arten von Datenrepository-Aufgaben](#data-repo-task-types)
+ [Den Status und die Details einer Aufgabe verstehen](data-repo-task-status.md)
+ [Verwenden von Datenrepository-Aufgaben](managing-data-repo-task.md)
+ [Mit Berichten über den Abschluss von Aufgaben arbeiten](task-completion-report.md)
+ [Behebung von Fehlern bei Datenrepository-Aufgaben](failed-tasks.md)
# Den Status und die Details einer Aufgabe verstehen
Eine Datenrepository-Aufgabe enthält beschreibende Informationen und einen Lebenszyklusstatus.
Nachdem eine Aufgabe erstellt wurde, können Sie die folgenden detaillierten Informationen für eine Datenrepository-Aufgabe mithilfe der FSx Amazon-Konsole, CLI oder API anzeigen:
+ Der Aufgabentyp:
+ `EXPORT_TO_REPOSITORY`weist auf eine Exportaufgabe hin.
+ `IMPORT_METADATA_FROM_REPOSITORY`weist auf eine Importaufgabe hin.
+ `RELEASE_DATA_FROM_FILESYSTEM`weist auf eine Release-Aufgabe hin.
+ Das Dateisystem, auf dem die Aufgabe ausgeführt wurde.
+ Die Zeit der Erstellung der Aufgabe.
+ Der Status der Aufgabe.
+ Die Gesamtzahl der Dateien, die von der Aufgabe verarbeitet wurden.
+ Die Gesamtzahl der Dateien, die die Aufgabe erfolgreich verarbeitet hat.
+ Die Gesamtzahl der Dateien, die die Aufgabe nicht verarbeiten konnte. Dieser Wert ist größer als Null, wenn der Aufgabenstatus FEHLGESCHLAGEN ist. Detaillierte Informationen zu Dateien, bei denen Fehler aufgetreten sind, sind in einem Bericht zum Abschluss der Aufgabe verfügbar. Weitere Informationen finden Sie unter [Mit Berichten über den Abschluss von Aufgaben arbeiten](task-completion-report.md).
+ Die Uhrzeit, zu der die Aufgabe gestartet wurde.
+ Die Uhrzeit, zu der der Aufgabenstatus zuletzt aktualisiert wurde. Der Aufgabenstatus wird alle 30 Sekunden aktualisiert.
Eine Datenrepository-Aufgabe kann einen der folgenden Status haben:
+ **PENDING** bedeutet, dass Amazon die Aufgabe nicht gestartet FSx hat.
+ **EXECUTING** gibt an, dass Amazon FSx die Aufgabe bearbeitet.
+ **FAILED** bedeutet, dass Amazon die Aufgabe FSx nicht erfolgreich verarbeitet hat. Beispielsweise kann es Dateien geben, die die Aufgabe nicht verarbeiten konnte. Die Aufgabendetails enthalten weitere Informationen über den Fehler. Weitere Informationen zu fehlgeschlagenen Aufgaben finden Sie unter[Behebung von Fehlern bei Datenrepository-Aufgaben](failed-tasks.md).
+ **SUCCEED** bedeutet, dass Amazon die Aufgabe erfolgreich FSx abgeschlossen hat.
+ **CANCELED** gibt an, dass die Aufgabe storniert und nicht abgeschlossen wurde.
+ **CANCELING** bedeutet, dass Amazon FSx gerade dabei ist, die Aufgabe abzubrechen.
Die Informationen zu den Aufgaben im Datenspeicher werden nach Abschluss der Aufgabe 14 Tage lang aufbewahrt. Weitere Informationen zum Zugriff auf bestehende Datenrepository-Aufgaben finden Sie unter[Zugreifen auf Datenrepository-Aufgaben](view-data-repo-tasks.md).
# Verwenden von Datenrepository-Aufgaben
In den folgenden Abschnitten finden Sie detaillierte Informationen zur Verwaltung von Datenrepository-Aufgaben. Sie können Datenrepository-Aufgaben mithilfe der FSx Amazon-Konsole, CLI oder API erstellen, duplizieren, Details anzeigen und stornieren.
**Topics**
+ [Eine Datenrepository-Aufgabe erstellen](creating-data-repo-task.md)
+ [Eine Aufgabe duplizieren](recreate-task.md)
+ [Zugreifen auf Datenrepository-Aufgaben](view-data-repo-tasks.md)
+ [Abbrechen einer Datenrepository-Aufgabe](cancel-data-repo-task.md)
# Eine Datenrepository-Aufgabe erstellen
Sie können eine Datenrepository-Aufgabe mithilfe der FSx Amazon-Konsole, CLI oder API erstellen. Nachdem Sie eine Aufgabe erstellt haben, können Sie den Fortschritt und den Status der Aufgabe mithilfe der Konsole, CLI oder API anzeigen.
Sie können drei Arten von Datenrepository-Aufgaben erstellen:
+ Die Aufgabe Datenrepository **exportieren** exportiert Daten aus Ihrem Lustre Dateisystem in einen verknüpften S3-Bucket. Weitere Informationen finden Sie unter [Verwenden von Datenrepository-Aufgaben zum Exportieren von Änderungen](export-data-repo-task-dra.md).
+ Die Aufgabe Datenrepository **importieren** importiert aus einem verknüpften S3-Bucket in Ihr Lustre Dateisystem. Weitere Informationen finden Sie unter [Verwenden von Datenrepository-Aufgaben zum Importieren von Änderungen](import-data-repo-task-dra.md).
+ Die Aufgabe Datenrepository **freigeben** gibt Dateien aus Ihrem Lustre Dateisystem frei, die in einen verknüpften S3-Bucket exportiert wurden. Weitere Informationen finden Sie unter [Verwenden von Datenrepository-Aufgaben zur Freigabe von Dateien](release-files-task.md).
# Eine Aufgabe duplizieren
Sie können eine bestehende Datenrepository-Aufgabe in der FSx Amazon-Konsole duplizieren. Wenn Sie eine Aufgabe duplizieren, wird eine exakte Kopie der vorhandenen Aufgabe auf der **Aufgabenseite **Daten-Repository** erstellen oder Daten-Repository zum Exportieren erstellen** angezeigt. Sie können die Pfade für den Export oder Import nach Bedarf ändern, bevor Sie die neue Aufgabe erstellen und ausführen.
**Anmerkung**
Eine Anforderung zur Ausführung einer doppelten Aufgabe schlägt fehl, wenn bereits eine exakte Kopie dieser Aufgabe ausgeführt wird. Eine exakte Kopie einer Aufgabe, die bereits ausgeführt wird, enthält denselben Dateisystempfad oder dieselben Dateisystempfade im Fall einer Exportaufgabe oder dieselben Datenrepository-Pfade im Fall einer Importaufgabe.
Sie können eine Aufgabe in der Aufgabendetailansicht, im Bereich **Datenrepository-Aufgaben** auf der Registerkarte **Datenrepository** für das Dateisystem oder auf der Seite mit den **Datenrepository-Aufgaben** duplizieren.
**Um eine bestehende Aufgabe zu duplizieren**
1. Wählen Sie im Bereich **Datenrepository-Aufgaben** auf der Registerkarte **Daten-Repository** für das Dateisystem eine Aufgabe aus.
1. Wählen Sie „**Aufgabe duplizieren**“. Je nachdem, welchen Aufgabentyp Sie ausgewählt haben, wird die **Aufgabenseite Import-Daten-Repository** **erstellen oder Exportdaten-Repository** erstellen angezeigt. Alle Einstellungen für die neue Aufgabe sind identisch mit denen für die Aufgabe, die Sie duplizieren.
1. Ändern Sie die Pfade, aus denen Sie importieren oder in die Sie exportieren möchten, oder fügen Sie sie hinzu.
1. Wählen Sie **Erstellen** aus.
# Zugreifen auf Datenrepository-Aufgaben
Nachdem Sie eine Datenrepository-Aufgabe erstellt haben, können Sie über die FSx Amazon-Konsole, CLI und API auf die Aufgabe und alle vorhandenen Aufgaben in Ihrem Konto zugreifen. Amazon FSx stellt die folgenden detaillierten Aufgabeninformationen bereit:
+ Alle vorhandenen Aufgaben.
+ Alle Aufgaben für ein bestimmtes Dateisystem.
+ Alle Aufgaben für eine bestimmte Datenrepository-Zuordnung.
+ Alle Aufgaben mit einem bestimmten Lebenszyklusstatus. Weitere Informationen zu Statuswerten für den Aufgabenlebenszyklus finden Sie unter[Den Status und die Details einer Aufgabe verstehen](data-repo-task-status.md).
Sie können über die FSx Amazon-Konsole, CLI oder API auf alle vorhandenen Datenrepository-Aufgaben in Ihrem Konto zugreifen, wie im Folgenden beschrieben.
## Um Datenrepository-Aufgaben und Aufgabendetails anzuzeigen (Konsole)
1. Öffnen Sie die FSx Amazon-Konsole unter [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Wählen Sie im Navigationsbereich das Dateisystem aus, für das Sie Datenrepository-Aufgaben anzeigen möchten. Die Seite mit den Dateisystemdetails wird angezeigt.
1. Wählen Sie auf der Seite mit den Dateisystemdetails die Registerkarte **Datenrepository** aus. Alle Aufgaben für dieses Dateisystem werden im Bereich **Datenrepository-Aufgaben** angezeigt.
1. Um die Details einer Aufgabe zu sehen, wählen Sie im **Aufgabenbereich „Datenrepository“ die Option „Aufgaben-ID** ****“ oder „Aufgabenname****“. Die Seite mit den Aufgabendetails wird angezeigt.
![\[Seite mit Aufgaben im Daten-Repository\]](http://docs.aws.amazon.com/de_de/fsx/latest/LustreGuide/images/task-details-rprt.png)
## So rufen Sie Datenrepository-Aufgaben und Aufgabendetails ab (CLI)
Mit dem Amazon FSx [https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-data-repository-tasks.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-data-repository-tasks.html)CLI-Befehl können Sie alle Datenrepository-Aufgaben und deren Details in Ihrem Konto anzeigen. [https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeDataRepositoryTasks.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeDataRepositoryTasks.html)ist der entsprechende API-Befehl.
+ Verwenden Sie den folgenden Befehl, um alle Datenrepository-Aufgabenobjekte in Ihrem Konto anzuzeigen.
```
aws fsx describe-data-repository-tasks
```
Wenn der Befehl erfolgreich ist, FSx gibt Amazon die Antwort im JSON-Format zurück.
```
{
"DataRepositoryTasks": [
{
"Lifecycle": "EXECUTING",
"Paths": [],
"Report": {
"Path":"s3://dataset-01/reports",
"Format":"REPORT_CSV_20191124",
"Enabled":true,
"Scope":"FAILED_FILES_ONLY"
},
"StartTime": 1591863862.288,
"EndTime": ,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-0123456789abcdef3",
"Status": {
"SucceededCount": 4255,
"TotalCount": 4200,
"FailedCount": 55,
"LastUpdatedTime": 1571863875.289
},
"FileSystemId": "fs-0123456789a7",
"CreationTime": 1571863850.075,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef3"
},
{
"Lifecycle": "FAILED",
"Paths": [],
"Report": {
"Enabled": false,
},
"StartTime": 1571863862.288,
"EndTime": 1571863905.292,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-0123456789abcdef1",
"Status": {
"SucceededCount": 1153,
"TotalCount": 1156,
"FailedCount": 3,
"LastUpdatedTime": 1571863875.289
},
"FileSystemId": "fs-0123456789abcdef0",
"CreationTime": 1571863850.075,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1"
},
{
"Lifecycle": "SUCCEEDED",
"Paths": [],
"Report": {
"Path":"s3://dataset-04/reports",
"Format":"REPORT_CSV_20191124",
"Enabled":true,
"Scope":"FAILED_FILES_ONLY"
},
"StartTime": 1571863862.288,
"EndTime": 1571863905.292,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-04299453935122318",
"Status": {
"SucceededCount": 258,
"TotalCount": 258,
"FailedCount": 0,
"LastUpdatedTime": 1771848950.012,
},
"FileSystemId": "fs-0123456789abcdef0",
"CreationTime": 1771848950.012,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0"
}
]
}
```
## Aufgaben nach Dateisystem anzeigen
Sie können alle Aufgaben für ein bestimmtes Dateisystem mithilfe der FSx Amazon-Konsole, CLI oder API anzeigen, wie im Folgenden beschrieben.
### So zeigen Sie Aufgaben nach Dateisystem (Konsole) an
1. Wählen Sie im Navigationsbereich **Dateisysteme** aus. Die Seite **Dateisysteme** wird angezeigt.
1. Wählen Sie das Dateisystem aus, für das Sie Datenrepository-Aufgaben anzeigen möchten. Die Seite mit den Dateisystemdetails wird angezeigt.
1. Wählen Sie auf der Seite mit den Dateisystemdetails die Registerkarte **Datenrepository** aus. Alle Aufgaben für dieses Dateisystem werden im Bereich **Datenrepository-Aufgaben** angezeigt.
### Um Aufgaben per Dateisystem (CLI) abzurufen
+ Verwenden Sie den folgenden Befehl, um alle Datenrepository-Aufgaben für das Dateisystem anzuzeigen`fs-0123456789abcdef0`.
```
aws fsx describe-data-repository-tasks \
--filters Name=file-system-id,Values=fs-0123456789abcdef0
```
Wenn der Befehl erfolgreich ist, FSx gibt Amazon die Antwort im JSON-Format zurück.
```
{
"DataRepositoryTasks": [
{
"Lifecycle": "FAILED",
"Paths": [],
"Report": {
"Path":"s3://dataset-04/reports",
"Format":"REPORT_CSV_20191124",
"Enabled":true,
"Scope":"FAILED_FILES_ONLY"
},
"StartTime": 1571863862.288,
"EndTime": 1571863905.292,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-0123456789abcdef1",
"Status": {
"SucceededCount": 1153,
"TotalCount": 1156,
"FailedCount": 3,
"LastUpdatedTime": 1571863875.289
},
"FileSystemId": "fs-0123456789abcdef0",
"CreationTime": 1571863850.075,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1"
},
{
"Lifecycle": "SUCCEEDED",
"Paths": [],
"Report": {
"Enabled": false,
},
"StartTime": 1571863862.288,
"EndTime": 1571863905.292,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-0123456789abcdef0",
"Status": {
"SucceededCount": 258,
"TotalCount": 258,
"FailedCount": 0,
"LastUpdatedTime": 1771848950.012,
},
"FileSystemId": "fs-0123456789abcdef0",
"CreationTime": 1771848950.012,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0"
}
]
}
```
# Abbrechen einer Datenrepository-Aufgabe
Sie können eine Datenrepository-Aufgabe abbrechen, während sie sich entweder im Status AUSSTEHEND oder IN AUSFÜHRUNG befindet. Wenn Sie eine Aufgabe stornieren, passiert Folgendes:
+ Amazon verarbeitet FSx keine Dateien, die sich in der Warteschlange zur Verarbeitung befinden.
+ Amazon verarbeitet FSx weiterhin alle Dateien, die sich derzeit in Bearbeitung befinden.
+ Amazon FSx setzt keine Dateien zurück, die die Aufgabe bereits verarbeitet hat.
## Um eine Datenrepository-Aufgabe abzubrechen (Konsole)
1. Öffnen Sie die FSx Amazon-Konsole unter [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Klicken Sie auf das Dateisystem, für das Sie eine Datenrepository-Aufgabe abbrechen möchten.
1. Öffnen Sie die Registerkarte **Datenrepository** und scrollen Sie nach unten, um den Bereich **Datenrepository-Aufgaben** aufzurufen.
1. Wählen Sie die **Aufgaben-ID** **oder den Aufgabennamen** für die Aufgabe, die Sie stornieren möchten.
1. Wählen Sie **Aufgabe abbrechen**, um die Aufgabe abzubrechen.
1. Geben Sie die Aufgaben-ID ein, um die Stornierungsanfrage zu bestätigen.
## Um eine Datenrepository-Aufgabe abzubrechen (CLI)
Verwenden Sie den Amazon FSx [https://docs.aws.amazon.com/cli/latest/reference/fsx/cancel-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/cancel-data-repository-task.html)CLI-Befehl, um eine Aufgabe abzubrechen. [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CancelDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CancelDataRepositoryTask.html)ist der entsprechende API-Befehl.
+ Verwenden Sie den folgenden Befehl, um eine Datenrepository-Aufgabe abzubrechen.
```
aws fsx cancel-data-repository-task \
--task-id task-0123456789abcdef0
```
Wenn der Befehl erfolgreich ist, FSx gibt Amazon die Antwort im JSON-Format zurück.
```
{
"Status": "CANCELING",
"TaskId": "task-0123456789abcdef0"
}
```
# Mit Berichten über den Abschluss von Aufgaben arbeiten
Ein *Bericht über den Abschluss einer Aufgabe* enthält Einzelheiten zu den Ergebnissen einer Aufgabe zum Exportieren, Importieren oder Freigeben eines Datenrepositorys. Der Bericht enthält Ergebnisse für die von der Aufgabe verarbeiteten Dateien, die dem Umfang des Berichts entsprechen. Mithilfe des `Enabled` Parameters können Sie angeben, ob ein Bericht für eine Aufgabe generiert werden soll.
Amazon FSx übermittelt den Bericht an das verknüpfte Daten-Repository des Dateisystems in Amazon S3 und verwendet dabei den Pfad, den Sie angeben, wenn Sie den Bericht für eine Aufgabe aktivieren. Der Dateiname des Berichts ist `report.csv` für Importaufgaben und `failures.csv` für Export- oder Veröffentlichungsaufgaben vorgesehen.
Das Berichtsformat ist eine Datei mit kommagetrennten Werten (CSV) mit drei Feldern: `FilePath``FileStatus`, und. `ErrorCode`
Berichte werden mit der Kodierung im RFC-4180-Format wie folgt codiert:
+ Pfade, die mit einem der folgenden Zeichen beginnen, sind in einfachen Anführungszeichen enthalten: `@ + - =`
+ Zeichenfolgen, die mindestens eines der folgenden Zeichen enthalten, sind in doppelten Anführungszeichen enthalten: `" ,`
+ Alle doppelten Anführungszeichen werden durch ein zusätzliches doppeltes Anführungszeichen maskiert.
Im Folgenden finden Sie einige Beispiele für die Berichtskodierung:
+ `@filename.txt`wird `"""@filename.txt"""`
+ `+filename.txt`wird `"""+filename.txt"""`
+ `file,name.txt`wird `"file,name.txt"`
+ `file"name.txt`wird `"file""name.txt"`
Weitere Informationen zur RFC-4180-Kodierung finden Sie unter [RFC-4180 — Common Format and MIME Type for Comma-Separated Values (](https://tools.ietf.org/html/rfc4180)CSV) -Dateien auf der IETF-Website.
Im Folgenden finden Sie ein Beispiel für die Informationen in einem Bericht zum Abschluss einer Aufgabe, der nur fehlgeschlagene Dateien enthält.
```
myRestrictedFile,failed,S3AccessDenied
dir1/myLargeFile,failed,FileSizeTooLarge
dir2/anotherLargeFile,failed,FileSizeTooLarge
```
Weitere Informationen zu Aufgabenfehlern und deren Behebung finden Sie unter[Behebung von Fehlern bei Datenrepository-Aufgaben](failed-tasks.md).
# Behebung von Fehlern bei Datenrepository-Aufgaben
Sie können die [Protokollierung in Logs aktivieren](cw-event-logging.md), um Informationen über Fehler zu CloudWatch protokollieren, die beim Import oder Export von Dateien mithilfe von Datenrepository-Aufgaben aufgetreten sind. Informationen zu CloudWatch Protokoll-Ereignisprotokollen finden Sie unter[Datenrepository-Ereignisprotokolle](data-repo-event-logs.md).
Wenn eine Datenrepository-Aufgabe fehlschlägt, finden Sie die Anzahl der Dateien, die Amazon FSx nicht verarbeiten konnte, unter **Dateien konnten nicht exportiert** werden auf der **Task-Statusseite** der Konsole. Oder Sie können die CLI oder API verwenden und die `Status: FailedCount` Eigenschaft der Aufgabe anzeigen. Informationen zum Zugriff auf diese Informationen finden Sie unter[Zugreifen auf Datenrepository-Aufgaben](view-data-repo-tasks.md).
Für Datenrepository-Aufgaben stellt Amazon optional FSx auch Informationen zu den spezifischen Dateien und Verzeichnissen, bei denen Fehler aufgetreten sind, in einem Abschlussbericht zur Verfügung. Der Bericht über den Abschluss der Aufgabe enthält den Datei- oder Verzeichnispfad auf dem Lustre Dateisystem, bei dem der Fehler aufgetreten ist, seinen Status und die Fehlerursache. Weitere Informationen finden Sie unter [Mit Berichten über den Abschluss von Aufgaben arbeiten](task-completion-report.md).
Eine Datenrepository-Aufgabe kann aus verschiedenen Gründen fehlschlagen, unter anderem aus den unten aufgeführten Gründen.
| Fehlercode | Erklärung |
| --- | --- |
| `FileSizeTooLarge` | Die von Amazon S3 unterstützte maximale Objektgröße beträgt 5 TiB. |
| `InternalError` | Im FSx Amazon-Dateisystem ist bei einer Import-, Export- oder Release-Aufgabe ein Fehler aufgetreten. Im Allgemeinen bedeutet dieser Fehlercode, dass sich das FSx Amazon-Dateisystem, auf dem die fehlgeschlagene Aufgabe ausgeführt wurde, im Lebenszyklusstatus FAILED befindet. In diesem Fall können die betroffenen Dateien aufgrund von Datenverlust möglicherweise nicht wiederhergestellt werden. Andernfalls können Sie HSM-Befehle (Hierarchical Storage Management) verwenden, um die Dateien und Verzeichnisse in das Datenrepository auf S3 zu exportieren. Weitere Informationen finden Sie unter [Exportieren von Dateien mithilfe von HSM-Befehlen](exporting-files-hsm.md). |
| `OperationNotPermitted` | Amazon FSxkonnte die Datei nicht veröffentlichen, da sie nicht in einen verknüpften S3-Bucket exportiert wurde. Sie müssen automatische Export- oder Export-Datenrepository-Aufgaben verwenden, um sicherzustellen, dass Ihre Dateien zuerst in Ihren verknüpften Amazon S3 S3-Bucket exportiert werden. |
| `PathSizeTooLong` | Der Exportpfad ist zu lang. Die maximale Länge des Objektschlüssels, die von S3 unterstützt wird, beträgt 1.024 Zeichen. |
| `ResourceBusy` | Amazon FSxkonnte die Datei nicht exportieren oder veröffentlichen, da ein anderer Client im Dateisystem auf sie zugegriffen hat. Sie können es erneut versuchen, DataRepositoryTask nachdem Ihr Workflow das Schreiben in die Datei abgeschlossen hat. |
| `S3AccessDenied` | Der Zugriff auf Amazon S3 wurde für eine Export- oder Importaufgabe des Datenrepositorys verweigert. Für Exportaufgaben muss das FSx Amazon-Dateisystem über die Berechtigung verfügen, den `S3:PutObject` Vorgang zum Exportieren in ein verknüpftes Datenrepository auf S3 auszuführen. Diese Berechtigung wird in der `AWSServiceRoleForFSxS3Access_fs-0123456789abcdef0` serviceverknüpften Rolle erteilt. Weitere Informationen finden Sie unter [Verwenden von serviceverknüpften Rollen für Amazon FSx](using-service-linked-roles.md). Da bei Exportaufgaben Daten außerhalb der VPC eines Dateisystems fließen müssen, kann dieser Fehler auftreten, wenn das Ziel-Repository über eine Bucket-Richtlinie verfügt, die einen der globalen Bedingungsschlüssel `aws:SourceVpc` oder `aws:SourceVpce` IAM-Bedingungsschlüssel enthält. Für Importaufgaben muss das FSx Amazon-Dateisystem über die Berechtigung verfügen, die `S3:GetObject` AND-Operationen für den `S3:HeadObject` Import aus einem verknüpften Daten-Repository auf S3 auszuführen. Wenn Ihr S3-Bucket für Importaufgaben serverseitige Verschlüsselung mit in AWS Key Management Service (SSE-KMS) gespeicherten kundenverwalteten Schlüsseln verwendet, müssen Sie die Richtlinienkonfigurationen unter befolgen. [Arbeiten mit serverseitig verschlüsselten Amazon S3 S3-Buckets](s3-server-side-encryption-support.md) Wenn Ihr S3-Bucket Objekte enthält, die von einem anderen AWS-Konto als Ihrem mit dem Dateisystem verknüpften S3-Bucket-Konto hochgeladen wurden, können Sie sicherstellen, dass Ihre Datenrepository-Aufgaben S3-Metadaten ändern oder S3-Objekte überschreiben können, unabhängig davon, welches Konto sie hochgeladen hat. Wir empfehlen Ihnen, die Funktion S3-Objektbesitz für Ihren S3-Bucket zu aktivieren. Mit dieser Funktion können Sie die Verantwortung für neue Objekte übernehmen, die von anderen in Ihren Bucket AWS-Konten hochgeladen werden, indem Sie Uploads dazu zwingen, die gespeicherte ACL `-/-acl bucket-owner-full-control` bereitzustellen. Sie aktivieren S3 Object Ownership, indem Sie in Ihrem **S3-Bucket die bevorzugte Option des Bucket-Besitzers** auswählen. Weitere Informationen finden Sie unter [Steuern des Eigentums an hochgeladenen Objekten mithilfe von S3 Object Ownership](https://docs.aws.amazon.com/AmazonS3/latest/userguide/about-object-ownership.html) im *Amazon S3 S3-Benutzerhandbuch*. |
| `S3Error` | Amazon FSx ist auf einen S3-Fehler gestoßen, der nicht aufgetreten ist. `S3AccessDenied` |
| `S3FileDeleted` | Amazon FSx konnte eine Hardlink-Datei nicht exportieren, da die Quelldatei nicht im Daten-Repository existiert. |
| `S3ObjectInUnsupportedTier` | Amazon FSx hat erfolgreich ein Objekt ohne Symlink aus einer Speicherklasse S3 Glacier Flexible Retrieval oder S3 Glacier Deep Archive importiert. Das `FileStatus` wird im Bericht über den `succeeded with warning` Abschluss der Aufgabe enthalten sein. Die Warnung weist darauf hin, dass Sie zum Abrufen der Daten zuerst das Objekt S3 Glacier Flexible Retrieval oder S3 Glacier Deep Archive wiederherstellen und dann einen `hsm_restore` Befehl verwenden müssen, um das Objekt zu importieren. |
| `S3ObjectNotFound` | Amazon FSx konnte die Datei nicht importieren oder exportieren, da sie nicht im Datenspeicher vorhanden ist. |
| `S3ObjectPathNotPosixCompliant` | Das Amazon S3 S3-Objekt ist vorhanden, kann aber nicht importiert werden, da es kein POSIX-kompatibles Objekt ist. Informationen zu unterstützten POSIX-Metadaten finden Sie unter. [Unterstützung von POSIX-Metadaten für Datenrepositorys](posix-metadata-support.md) |
| `S3ObjectUpdateInProgressFromFileRename` | Amazon FSxkonnte die Datei nicht veröffentlichen, da der automatische Export eine Umbenennung der Datei verarbeitet. Der automatische Umbenennungsprozess für den Export muss abgeschlossen sein, bevor die Datei veröffentlicht werden kann. |
| `S3SymlinkInUnsupportedTier` | Amazon FSx konnte ein Symlink-Objekt nicht importieren, da es sich in einer Amazon S3 S3-Speicherklasse befindet, die nicht unterstützt wird, wie z. B. einer S3 Glacier Flexible Retrieval- oder S3 Glacier Deep Archive Archive-Speicherklasse. Das `FileStatus` wird `failed` im Bericht zum Abschluss der Aufgabe enthalten sein. |
| `SourceObjectDeletedBeforeReleasing` | Amazon FSx konnte die Datei nicht aus dem Dateisystem freigeben, da die Datei aus dem Daten-Repository gelöscht wurde, bevor sie veröffentlicht werden konnte. |
# Dateien werden freigegeben
Aufgaben im Release-Daten-Repository geben Dateidaten aus Ihrem FSx for Lustre-Dateisystem frei, um Speicherplatz für neue Dateien freizugeben. Beim Freigeben einer Datei bleiben die Dateiliste und die Metadaten erhalten, die lokale Kopie des Dateiinhalts wird jedoch entfernt. Wenn ein Benutzer oder eine Anwendung auf eine veröffentlichte Datei zugreift, werden die Daten automatisch und transparent aus Ihrem verknüpften Amazon S3 S3-Bucket wieder in Ihr Dateisystem geladen.
**Anmerkung**
Repository-Aufgaben FSx für Release-Daten sind auf Lustre 2.10-Dateisystemen nicht verfügbar.
Die Parameter **Dateisystempfade bis zur Veröffentlichung** und **Mindestdauer seit dem letzten Zugriff** bestimmen, welche Dateien veröffentlicht werden.
+ **Dateisystempfade zur Veröffentlichung**: Gibt den Pfad an, von dem aus Dateien veröffentlicht werden.
+ **Mindestdauer seit dem letzten Zugriff**: Gibt die Dauer in Tagen an, sodass alle Dateien, auf die innerhalb dieser Zeit nicht zugegriffen wurde, veröffentlicht werden sollen. Die Dauer seit dem letzten Zugriff auf eine Datei wird anhand der Differenz zwischen der Erstellungszeit der Release-Aufgabe und dem Zeitpunkt des letzten Zugriffs auf eine Datei berechnet (Maximalwert von `atime``mtime`, und`ctime`).
Dateien werden nur dann entlang des Dateipfads veröffentlicht, wenn sie nach S3 exportiert wurden und eine Dauer seit dem letzten Zugriff haben, die größer ist als der Wert für die Mindestdauer seit dem letzten Zugriff. Wenn Sie eine Mindestdauer seit dem letzten Zugriff von `0` Tagen angeben, werden Dateien unabhängig von ihrer Dauer seit dem letzten Zugriff veröffentlicht.
**Anmerkung**
Die Verwendung von Platzhaltern zum Ein- oder Ausschließen von Dateien für die Veröffentlichung wird nicht unterstützt.
Bei Aufgaben zur Freigabe von Datenrepositorien werden nur Daten aus Dateien freigegeben, die bereits in ein verknüpftes S3-Datenrepository exportiert wurden. Sie können Daten entweder mit der automatischen Exportfunktion, einer Aufgabe zum Exportieren eines Datenrepositorys oder mit HSM-Befehlen nach S3 exportieren. Um zu überprüfen, ob eine Datei in Ihr Daten-Repository exportiert wurde, können Sie den folgenden Befehl ausführen. Ein Rückgabewert von `states: (0x00000009) exists archived` gibt an, dass die Datei erfolgreich exportiert wurde.
```
sudo lfs hsm_state path/to/export/file
```
**Anmerkung**
Sie müssen den HSM-Befehl als Root-Benutzer oder unter Verwendung von `sudo` ausführen.
Um Dateidaten in regelmäßigen Intervallen freizugeben, können Sie mit Amazon EventBridge Scheduler eine wiederkehrende Aufgabe für das Release-Daten-Repository planen. Weitere Informationen finden Sie unter [Erste Schritte mit EventBridge Scheduler](https://docs.aws.amazon.com/scheduler/latest/UserGuide/getting-started.html) im *Amazon EventBridge Scheduler-Benutzerhandbuch*.
**Topics**
+ [Verwenden von Datenrepository-Aufgaben zur Freigabe von Dateien](release-files-task.md)
# Verwenden von Datenrepository-Aufgaben zur Freigabe von Dateien
Gehen Sie wie folgt vor, um Aufgaben zu erstellen, die Dateien mithilfe der FSx Amazon-Konsole und CLI aus dem Dateisystem freigeben. Beim Freigeben einer Datei werden die Dateiliste und die Metadaten beibehalten, die lokale Kopie des Dateiinhalts wird jedoch entfernt.
## Um Dateien freizugeben (Konsole)
1. Öffnen Sie die FSx Amazon-Konsole unter [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Wählen Sie im linken Navigationsbereich **Dateisysteme** und anschließend Ihr Lustre Dateisystem aus.
1. Wählen Sie die Registerkarte **Daten-Repository**.
1. Wählen Sie im Bereich **Datenrepository-Verknüpfungen** die Datenrepository-Zuordnung aus, für die Sie die Release-Aufgabe erstellen möchten.
1. Wählen Sie für **Aktionen** die Option **Veröffentlichungsaufgabe erstellen** aus. Diese Option ist nur verfügbar, wenn das Dateisystem mit einem Daten-Repository auf S3 verknüpft ist. Das **Aufgabendialogfeld Release-Daten-Repository erstellen** wird angezeigt.
1. Geben Sie unter Zu **veröffentlichende Dateisystempfade bis** zu 32 Verzeichnisse oder Dateien an, die aus Ihrem FSx Amazon-Dateisystem freigegeben werden sollen, indem Sie die Pfade zu diesen Verzeichnissen oder Dateien angeben. Die Pfade, die Sie angeben, müssen sich auf den Bereitstellungspunkt des Dateisystems beziehen. Wenn der Einhängepunkt beispielsweise eine Datei auf dem Dateisystem `/mnt/fsx/path1` ist `/mnt/fsx` und ist, die Sie veröffentlichen möchten, dann ist der bereitzustellende Pfad`path1`. Um alle Dateien im Dateisystem freizugeben, geben Sie einen Schrägstrich (/) als Pfad an.
**Anmerkung**
Wenn ein von Ihnen angegebener Pfad nicht gültig ist, schlägt die Aufgabe fehl.
1. Geben Sie unter **Mindestdauer seit letztem Zugriff** die Dauer in Tagen an, sodass alle Dateien, auf die in dieser Zeit nicht zugegriffen wurde, freigegeben werden sollen. Die Zeit des letzten Zugriffs wird anhand des Maximalwerts von `atime``mtime`, und berechnet`ctime`. Dateien, deren Dauer des letzten Zugriffs länger ist als die Mindestdauer seit dem letzten Zugriff (im Verhältnis zur Erstellungszeit der Aufgabe), werden veröffentlicht. Dateien mit einer Dauer des letzten Zugriffs unter dieser Anzahl von Tagen werden nicht veröffentlicht, auch wenn sie sich im Feld **Dateisystempfade zur Veröffentlichung** befinden. Geben Sie unabhängig von der Dauer seit dem letzten Zugriff eine Dauer von `0` Tagen für die Freigabe von Dateien an.
1. (Optional) Wählen Sie unter **Abschlussbericht** die Option **Aktivieren** aus, um einen Bericht zum Abschluss der Aufgabe zu erstellen, der Details zu den Dateien enthält, die den unter **Berichtsbereich angegebenen Umfang** erfüllen. **Um einen Ort anzugeben, an dem Amazon den Bericht liefern FSx soll, geben Sie als Berichtspfad einen relativen Pfad im verknüpften S3-Datenrepository des Dateisystems ein.**
1. Wählen Sie die **Aufgabe „Datenrepository erstellen**“.
Eine Benachrichtigung oben auf der Seite **Dateisysteme** zeigt, dass die Aufgabe, die Sie gerade erstellt haben, in Bearbeitung ist.
Um den Status und die Details der Aufgabe einzusehen, scrollen Sie auf der Registerkarte **Daten-Repository** nach unten zu **Datenrepository-Aufgaben**. In der Standardsortierreihenfolge wird die neueste Aufgabe ganz oben in der Liste angezeigt.
Um auf dieser Seite eine Aufgabenzusammenfassung anzuzeigen, wählen Sie die **Task-ID** für die Aufgabe, die Sie gerade erstellt haben.
## Um Dateien freizugeben (CLI)
+ Verwenden Sie den [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html)CLI-Befehl, um eine Aufgabe zu erstellen, die Dateien auf Ihrem FSx for Lustre-Dateisystem veröffentlicht. Die entsprechende API-Operation ist [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html).
Legen Sie die folgenden Parameter fest:
+ Geben `--file-system-id` Sie die ID des Dateisystems ein, aus dem Sie Dateien freigeben.
+ Legt `--paths` die Pfade auf dem Dateisystem fest, aus dem die Daten veröffentlicht werden. Wenn ein Verzeichnis angegeben ist, werden die Dateien innerhalb des Verzeichnisses veröffentlicht. Wenn ein Dateipfad angegeben ist, wird nur diese Datei veröffentlicht. Um alle Dateien im Dateisystem freizugeben, die in einen verknüpften S3-Bucket exportiert wurden, geben Sie einen Schrägstrich (/) für den Pfad an.
+ Setzen Sie `--type` auf `RELEASE_DATA_FROM_FILESYSTEM`.
+ Stellen Sie die `--release-configuration DurationSinceLastAccess` Optionen wie folgt ein:
+ `Unit` – Eingestellt auf `DAYS`.
+ `Value`— Geben Sie eine Ganzzahl an, die die Dauer in Tagen angibt, sodass alle Dateien, auf die in dieser Zeit nicht zugegriffen wurde, veröffentlicht werden sollen. Dateien, auf die in einem Zeitraum von weniger als dieser Anzahl von Tagen zugegriffen wurde, werden nicht veröffentlicht, auch wenn sie im `--paths` Parameter enthalten sind. Geben Sie unabhängig von der Dauer seit dem letzten Zugriff eine Dauer von `0` Tagen für die Freigabe von Dateien an.
Dieser Beispielbefehl gibt an, dass Dateien, die in einen verknüpften S3-Bucket exportiert wurden und die `--release-configuration` Kriterien erfüllen, aus den Verzeichnissen in den angegebenen Pfaden veröffentlicht werden.
```
$ aws fsx create-data-repository-task \
--file-system-id fs-0123456789abcdef0 \
--type RELEASE_DATA_FROM_FILESYSTEM \
--paths path1,path2/file1 \
--release-configuration '{"DurationSinceLastAccess":{"Unit":"DAYS","Value":10}}' \
--report Enabled=false
```
Nach erfolgreicher Erstellung der Datenrepository-Aufgabe FSx gibt Amazon die Aufgabenbeschreibung als JSON zurück.
Nachdem Sie die Aufgabe zur Freigabe von Dateien erstellt haben, können Sie den Status der Aufgabe überprüfen. Weitere Informationen zum Anzeigen von Datenrepository-Aufgaben finden Sie unter[Zugreifen auf Datenrepository-Aufgaben](view-data-repo-tasks.md).
# Amazon FSx mit Ihren lokalen Daten verwenden
Sie können FSx for Lustre verwenden, um Ihre lokalen Daten mit In-Cloud-Recheninstanzen zu verarbeiten. FSx for Lustre unterstützt den Zugriff über Direct Connect und VPN, sodass Sie Ihre Dateisysteme von lokalen Clients aus bereitstellen können.
**Zur Verwendung FSx für Lustre mit Ihren lokalen Daten**
1. Erstellen eines Dateisystems. Weitere Informationen finden Sie [Schritt 1: Erstellen Sie Ihr FSx for Lustre-Dateisystem](getting-started.md#getting-started-step1) in der Übung Erste Schritte.
1. Mounten Sie das Dateisystem von lokalen Clients aus. Weitere Informationen finden Sie unter [Mounten von FSx Amazon-Dateisystemen vor Ort oder über eine Peering-Amazon-VPC](mounting-on-premises.md).
1. Kopieren Sie die Daten, die Sie verarbeiten möchten, in Ihr FSx for Lustre-Dateisystem.
1. Führen Sie Ihren rechenintensiven Workload auf Amazon EC2 EC2-Instances in der Cloud aus, die Ihr Dateisystem mounten.
1. Wenn Sie fertig sind, kopieren Sie die Endergebnisse aus Ihrem Dateisystem zurück an Ihren lokalen Datenspeicherort und löschen Sie Ihr FSx for Lustre-Dateisystem.
# Datenrepository-Ereignisprotokolle
Sie können die Protokollierung in CloudWatch Logs aktivieren, um Informationen über Fehler beim Import oder Export von Dateien mithilfe von Import-, Export-, Datenrepository-Aufgaben und Wiederherstellungsereignissen zu protokollieren. Weitere Informationen finden Sie unter [Protokollierung mit Amazon CloudWatch Logs](cw-event-logging.md).
**Anmerkung**
Wenn eine Datenrepository-Aufgabe fehlschlägt, schreibt Amazon FSx auch Fehlerinformationen in den Bericht zum Abschluss der Aufgabe. Weitere Informationen zu Fehlerinformationen in Abschlussberichten finden Sie unter[Behebung von Fehlern bei Datenrepository-Aufgaben](failed-tasks.md).
**Topics**
+ [Ereignisse importieren](#import-event-logging)
+ [Ereignisse exportieren](#export-event-logging)
+ [HSM-Wiederherstellungsereignisse](#hsm-restore-event-logging)
## Ereignisse importieren
| Fehlertyp | Protokollebene | Nachricht protokollieren | Ursache | Fehlercode im Abschlussbericht |
| --- | --- | --- | --- | --- |
| Fehler beim Auflisten von Objekten | ERROR | Fehler beim Auflisten von S3-Objekten im S3-Bucket bucket\$1name mit Präfixprefix. | Amazon FSx konnte S3-Objekte nicht im S3-Bucket auflisten. Dies kann passieren, wenn die S3-Bucket-Richtlinie Amazon keine ausreichenden Berechtigungen gewährt FSx. | N/A |
| Die S3-Speicherklasse wird nicht unterstützt | WARN | Das S3-Objekt mit dem Schlüssel konnte nicht key\$1value in den S3-Bucket importiert werden, bucket\$1name da sich ein S3-Objekt in einer nicht unterstützten Stufe befindet. S3\$1tier\$1name | Amazon FSx konnte ein S3-Objekt nicht importieren, da es sich in einer Amazon S3 S3-Speicherklasse befindet, die nicht unterstützt wird, wie z. B. S3 Glacier Flexible Retrieval oder S3 Glacier Deep Archive. | S3ObjectInUnsupportedTier |
| Die Symlink-Speicherklasse wird nicht unterstützt | ERROR | Das S3-Objekt mit dem Schlüssel konnte nicht key\$1value in den S3-Bucket importiert werden, bucket\$1name da sich ein S3-Symlink-Objekt in einer nicht unterstützten Stufe befindet. S3\$1tier\$1name | Amazon FSx konnte ein Symlink-Objekt nicht importieren, da es sich in einer Amazon S3 S3-Speicherklasse befindet, die nicht unterstützt wird, wie z. B. S3 Glacier Flexible Retrieval oder S3 Glacier Deep Archive. | S3SymlinkInUnsupportedTier |
| S3-Zugriff verweigert | ERROR | Das S3-Objekt mit dem Schlüssel key\$1value im S3-Bucket konnte nicht importiert werdenbucket\$1name, da der Zugriff auf das S3-Objekt verweigert wurde. | Der Zugriff auf Amazon S3 wurde für eine Aufgabe zum Exportieren eines Datenrepositorys verweigert. Für Importaufgaben muss das FSx Amazon-Dateisystem über die Berechtigung verfügen, die `s3:GetObject` AND-Operationen für den `s3:HeadObject` Import aus einem verknüpften Daten-Repository auf S3 auszuführen. Wenn Ihr S3-Bucket für Importaufgaben serverseitige Verschlüsselung mit in AWS Key Management Service (SSE-KMS) gespeicherten kundenverwalteten Schlüsseln verwendet, müssen Sie die Richtlinienkonfigurationen unter befolgen. [Arbeiten mit serverseitig verschlüsselten Amazon S3 S3-Buckets](s3-server-side-encryption-support.md) | S3AccessDenied |
| Der Löschzugriff wurde verweigert | ERROR | Die lokale Datei für das S3-Objekt mit dem Schlüssel key\$1value im S3-Bucket konnte nicht gelöscht werdenbucket\$1name, da der Zugriff auf das S3-Objekt verweigert wurde. | Dem automatischen Import wurde der Zugriff auf ein S3-Objekt verweigert. | N/A |
| Nicht POSIX-konformes Objekt | ERROR | Das S3-Objekt mit dem Schlüssel konnte nicht key\$1value in den S3-Bucket importiert werdenbucket\$1name, da das S3-Objekt nicht POSIX-konform ist. | Das Amazon S3 S3-Objekt ist vorhanden, kann aber nicht importiert werden, da es kein POSIX-kompatibles Objekt ist. Informationen zu unterstützten POSIX-Metadaten finden Sie unter. [Unterstützung von POSIX-Metadaten für Datenrepositorys](posix-metadata-support.md) | S3ObjectPathNotPosixCompliant |
| Der Objekttyp stimmt nicht überein | ERROR | Das S3-Objekt mit dem Schlüssel key\$1value im S3-Bucket konnte nicht importiert werden, bucket\$1name da bereits ein S3-Objekt mit demselben Namen in das Dateisystem importiert wurde. | Das importierte S3-Objekt ist von einem anderen Typ (Datei oder Verzeichnis) als ein vorhandenes Objekt mit demselben Namen im Dateisystem. | S3ObjectTypeMismatch |
| Aktualisierung der Verzeichnis-Metadaten fehlgeschlagen | ERROR | Die Metadaten des lokalen Verzeichnisses konnten aufgrund eines internen Fehlers nicht aktualisiert werden. | Verzeichnismetadaten konnten aufgrund eines internen Fehlers nicht importiert werden. | N/A |
| S3-Objekt wurde nicht gefunden | ERROR | Das S3-Objekt mit dem Schlüssel konnte nicht importiert werdenkey\$1value, da es nicht im S3-Bucket gefunden wurdebucket\$1name. | Amazon FSx konnte Dateimetadaten nicht importieren, da das entsprechende Objekt nicht im Daten-Repository existiert. | S3FileDeleted |
| S3-Bucket wurde nicht gefunden | ERROR | Das S3-Objekt mit dem Schlüssel konnte nicht key\$1value in den S3-Bucket importiert werden, bucket\$1name da der Bucket nicht existiert. | Amazon FSx kann ein S3-Objekt nicht automatisch in das Dateisystem importieren, da der S3-Bucket nicht mehr existiert. | N/A |
| S3-Bucket wurde nicht gefunden | ERROR | Die lokale Datei für das S3-Objekt mit dem Schlüssel key\$1value im S3-Bucket konnte nicht gelöscht werden, bucket\$1name da der Bucket nicht existiert. | Amazon FSx kann eine mit einem S3-Objekt verknüpfte Datei im Dateisystem nicht löschen, da der S3-Bucket nicht mehr existiert. | N/A |
| Fehler beim Erstellen des Verzeichnisses | ERROR | Das lokale Verzeichnis konnte aufgrund eines internen Fehlers nicht erstellt werden. | Amazon FSx konnte eine Verzeichniserstellung aufgrund eines internen Fehlers nicht automatisch in das Dateisystem importieren. | N/A |
| Der Festplattenspeicher ist voll | ERROR | Das S3-Objekt mit dem Schlüssel konnte nicht key\$1value in den S3-Bucket importiert werdenbucket\$1name, da das Dateisystem voll ist. | Beim Erstellen der Datei oder des Verzeichnisses ist dem Dateisystem auf den Metadatenservern der Speicherplatz ausgegangen. | N/A |
## Ereignisse exportieren
| Fehlertyp | Protokollebene | Nachricht protokollieren | Ursache | Fehlercode im Abschlussbericht |
| --- | --- | --- | --- | --- |
| Zugriff verweigert | ERROR | Die Datei konnte nicht exportiert werden, da der Zugriff auf das S3-Objekt mit dem Schlüssel key\$1value im S3-Bucket verweigert wurdebucket\$1name. | Der Zugriff auf Amazon S3 wurde für eine Datenrepository-Exportaufgabe verweigert. Für Exportaufgaben muss das FSx Amazon-Dateisystem über die Berechtigung verfügen, den `s3:PutObject` Vorgang zum Exportieren in ein verknüpftes Datenrepository auf S3 auszuführen. Diese Berechtigung wird in der `AWSServiceRoleForFSxS3Access_fs-0123456789abcdef0` serviceverknüpften Rolle erteilt. Weitere Informationen finden Sie unter [Verwenden von serviceverknüpften Rollen für Amazon FSx](using-service-linked-roles.md). Da die Exportaufgabe erfordert, dass Daten außerhalb der VPC eines Dateisystems fließen, kann dieser Fehler auftreten, wenn das Ziel-Repository über eine Bucket-Richtlinie verfügt, die einen der globalen Bedingungsschlüssel `aws:SourceVpc` oder `aws:SourceVpce` IAM-Bedingungsschlüssel enthält. Wenn Ihr S3-Bucket Objekte enthält, die von einem anderen AWS-Konto als Ihrem mit dem Dateisystem verknüpften S3-Bucket-Konto hochgeladen wurden, können Sie sicherstellen, dass Ihre Datenrepository-Aufgaben unabhängig davon, welches Konto sie hochgeladen hat, S3-Metadaten ändern oder S3-Objekte überschreiben können. Wir empfehlen Ihnen, die Funktion S3-Objektbesitz für Ihren S3-Bucket zu aktivieren. Mit dieser Funktion können Sie die Verantwortung für neue Objekte übernehmen, die von anderen in Ihren Bucket AWS-Konten hochgeladen werden, indem Sie Uploads dazu zwingen, die gespeicherte ACL `--acl bucket-owner-full-control` bereitzustellen. Sie aktivieren S3 Object Ownership, indem Sie in Ihrem **S3-Bucket die bevorzugte Option des Bucket-Besitzers** auswählen. Weitere Informationen finden Sie unter [Steuern des Eigentums an hochgeladenen Objekten mithilfe von S3 Object Ownership](https://docs.aws.amazon.com/AmazonS3/latest/userguide/about-object-ownership.html) im *Amazon S3 S3-Benutzerhandbuch*. | S3AccessDenied |
| Der Exportpfad ist zu lang | ERROR | Die Datei konnte nicht exportiert werden, da die Größe des lokalen Dateipfads die von S3 unterstützte maximale Objektschlüssellänge überschreitet. | Der Exportpfad ist zu lang. Die maximale Länge des Objektschlüssels, die von S3 unterstützt wird, beträgt 1.024 Zeichen. | PathSizeTooLong |
| Die Datei ist zu groß | ERROR | Die Datei konnte nicht exportiert werden, da die Dateigröße die maximal unterstützte Größe von S3-Objekten überschreitet. | Die maximale Objektgröße, die von Amazon S3 unterstützt wird, beträgt 5 TiB. | FileSizeTooLarge |
| Der KMS-Schlüssel wurde nicht gefunden | ERROR | Die Datei für das S3-Objekt mit dem Schlüssel key\$1value im S3-Bucket konnte nicht exportiert werdenbucket\$1name, da der KMS-Schlüssel des Buckets nicht gefunden wurde. | Amazon FSx konnte die Datei nicht exportieren, da sie nicht gefunden werden AWS KMS key konnte. Achten Sie darauf, einen Schlüssel zu verwenden, der sich im selben Ordner AWS-Region wie der S3-Bucket befindet. Weitere Informationen zum Erstellen von KMS-Schlüsseln finden Sie unter [Creating Keys](https://docs.aws.amazon.com/kms/latest/developerguide/create-keys.html) im AWS Key Management Service Developer Guide. | N/A |
| Ressource ausgelastet | ERROR | Die Datei konnte nicht exportiert werden, da sie von einem anderen Prozess verwendet wird. | Amazon FSx konnte die Datei nicht exportieren, da sie von einem anderen Client im Dateisystem geändert wurde. Sie können die Aufgabe erneut versuchen, nachdem Ihr Workflow das Schreiben in die Datei abgeschlossen hat. | ResourceBusy |
| Datei veröffentlicht | WARN | Export übersprungen: Die lokale Datei befindet sich im Status „Freigegeben“ und ein verknüpftes S3-Objekt mit Schlüssel key\$1value wurde nicht im Bucket bucket\$1name gefunden. | Amazon FSx konnte die Datei nicht exportieren, da sie sich im Dateisystem in einem freigegebenen Zustand befand. | N/A |
| Der Pfad des Datenrepositorys stimmt nicht überein | WARN | Der Export wurde übersprungen: Die lokale Datei gehört nicht zu einem mit einem Datenrepository verknüpften Dateisystempfad. | Amazon FSx konnte nicht exportieren, da das Objekt nicht zu einem Dateisystempfad gehört, der mit einem Daten-Repository verknüpft ist. | N/A |
| Internal failure (Interner Fehler) | ERROR | Beim automatischen Export ist beim Export eines Dateisystemobjekts ein interner Fehler aufgetreten | Der Export ist aufgrund eines internen Fehlers (Autoexport oder Lustrebene) fehlgeschlagen. | N/A |
| Fehler beim Hochladen des Abschlussberichts | ERROR | Der Abschlussbericht für die Aufgabe im Datenrepository konnte nicht hochgeladen werden bucket\$1name | Amazon FSx konnte den Abschlussbericht nicht hochladen. | N/A |
| Fehler bei der Validierung des Abschlussberichts | ERROR | Der Abschlussbericht für die Datenrepository-Aufgabe konnte nicht in den Bucket hochgeladen werden, bucket\$1name da der Pfad des Abschlussberichts report\$1path nicht zu einem Datenrepository gehört, das diesem Dateisystem zugeordnet ist | Amazon FSx konnte den Abschlussbericht nicht hochladen, da der vom Kunden bereitgestellte S3-Pfad nicht zu einem verknüpften Datenspeicher gehört. | N/A |
## HSM-Wiederherstellungsereignisse
| Fehlertyp | Protokollebene | Nachricht protokollieren | Ursache |
| --- | --- | --- | --- |
| Zugriff verweigert | ERROR | Die Datei konnte nicht wiederhergestellt werden, da der Zugriff auf das S3-Objekt object\$1name im S3-Bucket verweigert wurdebucket\$1name. | Beim Versuch, eine Datei mithilfe von HSM-Befehlen wiederherzustellen, wurde der Zugriff auf Amazon S3 verweigert. Das Dateisystem muss berechtigt sein, die `s3:GetObject` Operationen `s3:HeadObject` und zur Wiederherstellung aus dem verknüpften Daten-Repository auf S3 auszuführen. |
| Die S3-Speicherklasse wird nicht unterstützt | WARN | Die Datei konnte nicht wiederhergestellt werden, da sich das S3-Objekt object\$1name im Bucket in einem nicht unterstützten S3\$1storage\$1class \$1name Ordner bucket\$1name befand. | Amazon FSx konnte die Datei nicht wiederherstellen, da sich das entsprechende S3-Objekt in einer S3-Speicherklasse befindet, die nicht unterstützt wird, z. B. S3 Glacier Flexible Retrieval oder S3 Glacier Deep Archive. Sie müssen das Objekt zuerst aus der Glacier-Speicherklasse wiederherstellen, bevor Sie es verwenden können. `hsm_restore` |
| S3-Objekt wurde nicht gefunden | ERROR | Die Datei konnte nicht wiederhergestellt werden, da das S3-Objekt mit dem Schlüssel nicht im S3-Bucket gefunden key\$1value wurdebucket\$1name. | Amazon FSx konnte die Datei nicht wiederherstellen, da das entsprechende S3-Objekt nicht im Daten-Repository existiert. |
| S3-Bucket wurde nicht gefunden | ERROR | Die Datei konnte nicht wiederhergestellt werden, da der S3-Bucket nicht bucket\$1name existiert. | Amazon FSx kann die Datei nicht wiederherstellen, da der verknüpfte S3-Bucket nicht mehr existiert. |
| Der Festplattenspeicher ist voll | ERROR | Die Datei konnte nicht wiederhergestellt werden, da im Dateisystem kein Speicherplatz verfügbar war. | Beim Versuch, die Dateidaten aus S3 wiederherzustellen, ging dem Dateisystem der verfügbare Speicherplatz aus. Erwägen Sie, die Speicherkapazität des Dateisystems zu erhöhen oder Dateien freizugeben, um Speicherplatz freizugeben. |
# Arbeiten mit älteren Bereitstellungstypen
Dieser Abschnitt gilt für Dateisysteme mit dem Bereitstellungstyp Scratch 1 sowie für Dateisysteme mit `Scratch 2` oder `Persistent 1` Bereitstellungstypen, die keine Datenrepository-Zuordnungen verwenden. Beachten Sie, dass der automatische Export und die Unterstützung mehrerer Datenrepositorys FSx für Lustre-Dateisysteme, die keine Datenrepository-Verknüpfungen verwenden, nicht verfügbar sind.
**Topics**
+ [Verknüpfen Sie Ihr Dateisystem mit einem Amazon S3 S3-Bucket](#legacy-link-to-S3)
+ [Automatisches Importieren von Updates aus Ihrem S3-Bucket](#legacy-auto-import-from-s3)
## Verknüpfen Sie Ihr Dateisystem mit einem Amazon S3 S3-Bucket
Wenn Sie ein Amazon FSx for Lustre-Dateisystem erstellen, können Sie es mit einem dauerhaften Daten-Repository in Amazon S3 verknüpfen. Bevor Sie Ihr Dateisystem erstellen, stellen Sie sicher, dass Sie den Amazon S3 S3-Bucket, zu dem Sie verlinken, bereits erstellt haben. Im Assistenten zum **Erstellen von Dateisystemen** legen Sie im optionalen Bereich **Datenrepository-Import/Export die folgenden Eigenschaften für die Datenrepository-Konfiguration** fest.
+ Wählen Sie aus, wie Amazon Ihre Datei- und Verzeichnisliste auf dem neuesten Stand FSx hält, wenn Sie Objekte in Ihrem S3-Bucket hinzufügen oder ändern, nachdem das Dateisystem erstellt wurde. Weitere Informationen finden Sie unter [Automatisches Importieren von Updates aus Ihrem S3-Bucket](#legacy-auto-import-from-s3).
+ **Bucket importieren**: Geben Sie den Namen des S3-Buckets ein, den Sie für das verknüpfte Repository verwenden.
+ **Importpräfix**: Geben Sie ein optionales Importpräfix ein, wenn Sie nur einige Datei- und Verzeichnislisten von Daten in Ihrem S3-Bucket in Ihr Dateisystem importieren möchten. Das Importpräfix definiert, aus welcher Position in Ihrem S3-Bucket Daten importiert werden sollen.
+ **Exportpräfix**: Definiert, wo Amazon den Inhalt Ihres Dateisystems in Ihren verknüpften S3-Bucket FSx exportiert.
Sie können eine 1:1 -Zuordnung verwenden, bei der Amazon Daten aus Ihrem FSx for Lustre-Dateisystem zurück in dieselben Verzeichnisse auf dem S3-Bucket FSx exportiert, aus denen sie importiert wurden. Um eine 1:1 -Zuordnung zu erhalten, geben Sie bei der Erstellung Ihres Dateisystems einen Exportpfad zum S3-Bucket ohne Präfixe an.
+ Wenn Sie ein Dateisystem mit der Konsole erstellen, wählen Sie die Option **Präfix exportieren > Ein von Ihnen festgelegtes** Präfix und lassen Sie das Präfixfeld leer.
+ Wenn Sie ein Dateisystem mithilfe der AWS CLI oder API erstellen, geben Sie den Exportpfad als Namen des S3-Buckets ohne zusätzliche Präfixe an, z. B. `ExportPath=s3://amzn-s3-demo-bucket/`
Mit dieser Methode können Sie bei der Angabe des Importpfads ein Importpräfix angeben, ohne dass sich dies auf eine 1:1 -Zuordnung für Exporte auswirkt.
### Dateisysteme erstellen, die mit einem S3-Bucket verknüpft sind
Die folgenden Verfahren führen Sie durch den Prozess der Erstellung eines FSx Amazon-Dateisystems, das mithilfe der AWS Management Console und der AWS Befehlszeilenschnittstelle (AWS CLI) mit einem S3-Bucket verknüpft ist.
------
#### [ Console ]
1. Öffnen Sie die FSx Amazon-Konsole unter [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Wählen Sie im Dashboard die Option **Dateisystem erstellen** aus.
1. Wählen Sie FSx als Dateisystemtyp **Lustre** und dann **Weiter** aus.
1. Geben Sie die Informationen ein, die für die Abschnitte **Dateisystemdetails** und **Netzwerk und Sicherheit** erforderlich sind. Weitere Informationen finden Sie unter [Schritt 1: Erstellen Sie Ihr FSx for Lustre-Dateisystem](getting-started.md#getting-started-step1).
1. Sie verwenden den Bereich **Daten-Repository-Import/Export**, um ein verknüpftes Daten-Repository in Amazon S3 zu konfigurieren. Wählen Sie **Daten aus S3 importieren und Daten nach S3 exportieren, um** den Abschnitt **Datenrepository-Import/Export** zu erweitern und die Datenrepository-Einstellungen zu konfigurieren.
![\[Das Fenster für Import und Export von Datenrepositorys zur Konfiguration eines verknüpften Datenrepositorys in Amazon S3.\]](http://docs.aws.amazon.com/de_de/fsx/latest/LustreGuide/images/legacy-data-repository-import-export.png)
1. Wählen Sie aus, wie Amazon Ihre Datei- und Verzeichnisliste auf dem neuesten Stand FSx hält, wenn Sie Objekte in Ihrem S3-Bucket hinzufügen oder ändern. (Optional) Wenn Sie Ihr Dateisystem erstellen, werden Ihre vorhandenen S3-Objekte als Datei- und Verzeichnislisten angezeigt.
+ **Aktualisiere meine Datei- und Verzeichnisliste, wenn Objekte zu meinem S3-Bucket hinzugefügt werden**: (Standard) Amazon aktualisiert FSx automatisch die Datei- und Verzeichnislisten aller neuen Objekte, die dem verknüpften S3-Bucket hinzugefügt wurden und derzeit nicht im FSx Dateisystem existieren. Amazon aktualisiert FSx keine Angebote für Objekte, die sich im S3-Bucket geändert haben. Amazon löscht FSx keine Angebote von Objekten, die im S3-Bucket gelöscht wurden.
**Anmerkung**
Die Standardeinstellung für die Importeinstellungen für den Import von Daten aus einem verknüpften S3-Bucket mithilfe der CLI und API lautet`NONE`. Die Standardeinstellung für die Importeinstellungen bei Verwendung der Konsole besteht darin, dass sie aktualisiert Lustre werden, wenn dem S3-Bucket neue Objekte hinzugefügt werden.
+ **Meine Datei- und Verzeichnisliste aktualisieren, wenn Objekte zu meinem S3-Bucket hinzugefügt oder geändert werden**: Amazon aktualisiert FSx automatisch die Datei- und Verzeichnislisten aller neuen Objekte, die dem S3-Bucket hinzugefügt wurden, und aller vorhandenen Objekte, die im S3-Bucket geändert wurden, nachdem Sie diese Option ausgewählt haben. Amazon löscht FSx keine Angebote von Objekten, die im S3-Bucket gelöscht wurden.
+ **Meine Datei- und Verzeichnisliste aktualisieren, wenn Objekte zu meinem S3-Bucket hinzugefügt, geändert oder aus ihm gelöscht werden**: Amazon aktualisiert FSx automatisch die Datei- und Verzeichnislisten aller neuen Objekte, die dem S3-Bucket hinzugefügt wurden, aller vorhandenen Objekte, die im S3-Bucket geändert wurden, und aller vorhandenen Objekte, die im S3-Bucket gelöscht werden, nachdem Sie diese Option ausgewählt haben.
+ **Aktualisieren Sie meine Datei nicht und listen Sie nicht direkt auf, wenn Objekte zu meinem S3-Bucket hinzugefügt, geändert oder gelöscht werden**. Amazon aktualisiert FSx nur Datei- und Verzeichnislisten aus dem verknüpften S3-Bucket, wenn das Dateisystem erstellt wird. FSx aktualisiert keine Datei- und Verzeichnislisten für neue, geänderte oder gelöschte Objekte, nachdem Sie diese Option gewählt haben.
1. Geben Sie ein optionales **Importpräfix** ein, wenn Sie nur einige der Datei- und Verzeichnislisten von Daten in Ihrem S3-Bucket in Ihr Dateisystem importieren möchten. Das Importpräfix definiert, aus welcher Position in Ihrem S3-Bucket Daten importiert werden sollen. Weitere Informationen finden Sie unter [Automatischer Import von Updates aus Ihrem S3-Bucket](autoimport-data-repo-dra.md).
1. Wählen Sie eine der verfügbaren Optionen für das **Exportpräfix**:
+ **Ein eindeutiges Präfix, das Amazon in Ihrem Bucket FSx erstellt**: Wählen Sie diese Option, um neue und geänderte Objekte mit einem von FSx for Lustre generierten Präfix zu exportieren. Das Präfix sieht wie folgt aus:`/FSxLustrefile-system-creation- timestamp`. Der Zeitstempel weist das UTC-Format auf, z. B. `FSxLustre20181105T222312Z`.
+ **Das gleiche Präfix, aus dem Sie importiert haben (vorhandene Objekte durch aktualisierte ersetzen)**: Wählen Sie diese Option, um vorhandene Objekte durch aktualisierte zu ersetzen.
+ **Ein von Ihnen angegebenes Präfix**: Wählen Sie diese Option, um Ihre importierten Daten beizubehalten und neue und geänderte Objekte mit einem von Ihnen angegebenen Präfix zu exportieren. Um beim Exportieren von Daten in Ihren S3-Bucket eine 1:1 -Zuordnung zu erreichen, wählen Sie diese Option und lassen Sie das Präfixfeld leer. FSx exportiert Daten in dieselben Verzeichnisse, aus denen sie importiert wurden.
1. (Optional) Legen Sie die **Wartungseinstellungen** fest, oder verwenden Sie die Systemstandardwerte.
1. Wählen Sie **Weiter** und überprüfen Sie die Dateisystemeinstellungen. Nehmen Sie bei Bedarf Änderungen vor.
1. Wählen Sie **Create file system (Dateisystem erstellen)** aus.
------
#### [ AWS CLI ]
Das folgende Beispiel erstellt ein FSx Amazon-Dateisystem, das mit dem verknüpft ist`amzn-s3-demo-bucket`, mit einer Importeinstellung, die alle neuen, geänderten und gelöschten Dateien in das verknüpfte Datenrepository importiert, nachdem das Dateisystem erstellt wurde.
**Anmerkung**
Die Standard-Importeinstellungen für den Import von Daten aus einem verknüpften S3-Bucket mithilfe der CLI und API sind`NONE`, was sich vom Standardverhalten bei Verwendung der Konsole unterscheidet.
Um ein FSx for Lustre-Dateisystem zu erstellen, verwenden Sie den Amazon FSx CLI-Befehl [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-file-system.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-file-system.html), wie unten gezeigt. Die entsprechende API-Operation ist [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateFileSystem.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateFileSystem.html).
```
$ aws fsx create-file-system \
--client-request-token CRT1234 \
--file-system-type LUSTRE \
--file-system-type-version 2.10 \
--lustre-configuration
AutoImportPolicy=NEW_CHANGED_DELETED,DeploymentType=SCRATCH_1,ImportPath=s
3://amzn-s3-demo-bucket/,ExportPath=s3://amzn-s3-demo-bucket/export,
PerUnitStorageThroughput=50 \
--storage-capacity 2400 \
--subnet-ids subnet-123456 \
--tags Key=Name,Value=Lustre-TEST-1 \
--region us-east-2
```
Nachdem Sie das Dateisystem erfolgreich erstellt haben, FSx gibt Amazon die Dateisystembeschreibung als JSON zurück, wie im folgenden Beispiel gezeigt.
```
{
"FileSystems": [
{
"OwnerId": "owner-id-string",
"CreationTime": 1549310341.483,
"FileSystemId": "fs-0123456789abcdef0",
"FileSystemType": "LUSTRE",
"FileSystemTypeVersion": "2.10",
"Lifecycle": "CREATING",
"StorageCapacity": 2400,
"VpcId": "vpc-123456",
"SubnetIds": [
"subnet-123456"
],
"NetworkInterfaceIds": [
"eni-039fcf55123456789"
],
"DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
"ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
"Tags": [
{
"Key": "Name",
"Value": "Lustre-TEST-1"
}
],
"LustreConfiguration": {
"DeploymentType": "PERSISTENT_1",
"DataRepositoryConfiguration": {
"AutoImportPolicy": "NEW_CHANGED_DELETED",
"Lifecycle": "UPDATING",
"ImportPath": "s3://amzn-s3-demo-bucket/",
"ExportPath": "s3://amzn-s3-demo-bucket/export",
"ImportedFileChunkSize": 1024
},
"PerUnitStorageThroughput": 50
}
}
]
}
```
------
### Den Exportpfad eines Dateisystems anzeigen
Sie können den Exportpfad eines Dateisystems mithilfe der FSx for Lustre-Konsole, der AWS CLI und der API anzeigen.
------
#### [ Console ]
1. Öffnen Sie die FSx Amazon-Konsole unter [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)
1. Wählen Sie **Dateisystemname** oder **Dateisystem-ID** für das FSx for Lustre-Dateisystem, für das Sie den Exportpfad anzeigen möchten.
Die Seite mit den Dateisystemdetails für dieses Dateisystem wird angezeigt.
1. Wählen Sie die Registerkarte **Daten-Repository**.
Das **Datenrepository-Integrationsfenster** mit den Import- und Exportpfaden wird angezeigt.
![\[Die Import- und Exportpfade für das Datenrepository im Datenrepository-Integrationsfenster.\]](http://docs.aws.amazon.com/de_de/fsx/latest/LustreGuide/images/legacy-view-export-path.png)
------
#### [ CLI ]
Verwenden Sie den [https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html) AWS CLI-Befehl, um den Exportpfad für Ihr Dateisystem zu ermitteln.
```
aws fsx describe-file-systems
```
Suchen Sie `LustreConfiguration` in der Antwort nach der `ExportPath` Eigenschaft unter.
```
{
"OwnerId": "111122223333",
"CreationTime": 1563382847.014,
"FileSystemId": "",
"FileSystemType": "LUSTRE",
"Lifecycle": "AVAILABLE",
"StorageCapacity": 2400,
"VpcId": "vpc-6296a00a",
"SubnetIds": [
"subnet-1111111"
],
"NetworkInterfaceIds": [
"eni-0c288d5b8cc06c82d",
"eni-0f38b702442c6918c"
],
"DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
"ResourceARN": "arn:aws:fsx:us-east-2:267731178466:file-system/fs-0123456789abcdef0",
"Tags": [
{
"Key": "Name",
"Value": "Lustre System"
}
],
"LustreConfiguration": {
"DeploymentType": "SCRATCH_1",
"DataRepositoryConfiguration": {
"AutoImportPolicy": " NEW_CHANGED_DELETED",
"Lifecycle": "AVAILABLE",
"ImportPath": "s3://amzn-s3-demo-bucket/",
"ExportPath": "s3://amzn-s3-demo-bucket/FSxLustre20190717T164753Z",
"ImportedFileChunkSize": 1024
}
},
"PerUnitStorageThroughput": 50,
"WeeklyMaintenanceStartTime": "6:09:30"
}
```
------
### Status des Lebenszyklus des Datenrepositorys
Der Lebenszyklusstatus des Datenrepositorys enthält Statusinformationen über das verknüpfte Datenrepository des Dateisystems. Ein Datenrepository kann die folgenden Lebenszyklusstatus haben.
+ **Erstellen**: Amazon erstellt FSx die Datenrepository-Konfiguration zwischen dem Dateisystem und dem verknüpften Daten-Repository. Das Daten-Repository ist nicht verfügbar.
+ **Verfügbar**: Das Datenrepository steht zur Verwendung zur Verfügung.
+ **Aktualisierung**: Die Konfiguration des Datenrepositorys wird derzeit vom Kunden initiiert, was sich auf die Verfügbarkeit auswirken kann.
+ **Falsch konfiguriert**: Amazon FSx kann Updates nicht automatisch aus dem S3-Bucket importieren, bis die Konfiguration des Datenrepositorys korrigiert ist. Weitere Informationen finden Sie unter [Fehlerbehebung bei einem falsch konfigurierten verknüpften S3-Bucket](troubleshooting-misconfigured-data-repository.md).
Sie können den Lebenszyklusstatus eines verknüpften Daten-Repositorys mithilfe der FSx Amazon-Konsole, der AWS Befehlszeilenschnittstelle und der FSx Amazon-API anzeigen. In der FSx Amazon-Konsole können Sie im Bereich Data Repository **Integration der Registerkarte Data Repository** für das Dateisystem auf den **Lebenszyklusstatus** des **Daten-Repositorys** zugreifen. Die `Lifecycle` Eigenschaft befindet sich im `DataRepositoryConfiguration` Objekt in der Antwort auf einen [https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html)CLI-Befehl (die entsprechende API-Aktion ist [https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeFileSystems.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeFileSystems.html)).
## Automatisches Importieren von Updates aus Ihrem S3-Bucket
Wenn Sie ein neues Dateisystem erstellen, FSx importiert Amazon standardmäßig die Dateimetadaten (Name, Besitz, Zeitstempel und Berechtigungen) von Objekten im verknüpften S3-Bucket bei der Erstellung des Dateisystems. Sie können Ihr FSx for Lustre-Dateisystem so konfigurieren, dass Metadaten von Objekten, die nach der Erstellung des Dateisystems zu Ihrem S3-Bucket hinzugefügt, dort geändert oder gelöscht wurden, automatisch importiert werden. FSx for Lustre aktualisiert die Datei- und Verzeichnisliste eines geänderten Objekts nach der Erstellung auf die gleiche Weise, wie es Dateimetadaten bei der Erstellung des Dateisystems importiert. Wenn Amazon die Datei- und Verzeichnisliste eines geänderten Objekts FSx aktualisiert und das geänderte Objekt im S3-Bucket seine Metadaten nicht mehr enthält, FSx behält Amazon die aktuellen Metadatenwerte der Datei bei, anstatt Standardberechtigungen zu verwenden.
**Anmerkung**
Importeinstellungen sind FSx für Lustre-Dateisysteme verfügbar, die nach 15:00 Uhr EDT am 23. Juli 2020 erstellt wurden.
Sie können Importeinstellungen festlegen, wenn Sie ein neues Dateisystem erstellen, und Sie können die Einstellungen auf vorhandenen Dateisystemen mithilfe der FSx Managementkonsole, der AWS CLI und der AWS API aktualisieren. (Optional) Wenn Sie Ihr Dateisystem erstellen, werden Ihre vorhandenen S3-Objekte als Datei- und Verzeichnislisten angezeigt. Wie möchten Sie Ihr Dateisystem nach der Erstellung aktualisieren, wenn der Inhalt Ihres S3-Buckets aktualisiert wird? Ein Dateisystem kann eine der folgenden Importeinstellungen haben:
**Anmerkung**
Das FSx for Lustre-Dateisystem und der verknüpfte S3-Bucket müssen sich in derselben AWS Region befinden, damit Updates automatisch importiert werden können.
+ **Aktualisiere meine Datei- und Verzeichnisliste, wenn Objekte zu meinem S3-Bucket hinzugefügt werden**: (Standard) Amazon aktualisiert FSx automatisch die Datei- und Verzeichnislisten aller neuen Objekte, die dem verknüpften S3-Bucket hinzugefügt wurden und derzeit nicht im FSx Dateisystem existieren. Amazon aktualisiert FSx keine Angebote für Objekte, die sich im S3-Bucket geändert haben. Amazon löscht FSx keine Angebote von Objekten, die im S3-Bucket gelöscht wurden.
**Anmerkung**
Die Standardeinstellung für die Importeinstellungen für den Import von Daten aus einem verknüpften S3-Bucket mithilfe der CLI und API lautet`NONE`. Die Standardeinstellung für die Importeinstellungen bei Verwendung der Konsole besteht darin, dass sie aktualisiert Lustre werden, wenn dem S3-Bucket neue Objekte hinzugefügt werden.
+ **Meine Datei- und Verzeichnisliste aktualisieren, wenn Objekte zu meinem S3-Bucket hinzugefügt oder geändert werden**: Amazon aktualisiert FSx automatisch die Datei- und Verzeichnislisten aller neuen Objekte, die dem S3-Bucket hinzugefügt wurden, und aller vorhandenen Objekte, die im S3-Bucket geändert wurden, nachdem Sie diese Option ausgewählt haben. Amazon löscht FSx keine Angebote von Objekten, die im S3-Bucket gelöscht wurden.
+ **Meine Datei- und Verzeichnisliste aktualisieren, wenn Objekte zu meinem S3-Bucket hinzugefügt, geändert oder aus ihm gelöscht werden**: Amazon aktualisiert FSx automatisch die Datei- und Verzeichnislisten aller neuen Objekte, die dem S3-Bucket hinzugefügt wurden, aller vorhandenen Objekte, die im S3-Bucket geändert wurden, und aller vorhandenen Objekte, die im S3-Bucket gelöscht werden, nachdem Sie diese Option ausgewählt haben.
+ **Aktualisieren Sie meine Datei nicht und listen Sie nicht direkt auf, wenn Objekte zu meinem S3-Bucket hinzugefügt, geändert oder gelöscht werden**. Amazon aktualisiert FSx nur Datei- und Verzeichnislisten aus dem verknüpften S3-Bucket, wenn das Dateisystem erstellt wird. FSx aktualisiert keine Datei- und Verzeichnislisten für neue, geänderte oder gelöschte Objekte, nachdem Sie diese Option gewählt haben.
Wenn Sie die Importeinstellungen so einrichten, dass Ihre Dateisystemdatei und Verzeichnislisten auf der Grundlage von Änderungen im verknüpften S3-Bucket aktualisiert werden, FSx erstellt Amazon eine Konfiguration für Ereignisbenachrichtigungen für den verknüpften S3-Bucket mit dem Namen`FSx`. Ändern oder löschen Sie die Konfiguration der `FSx` Ereignisbenachrichtigung im S3-Bucket nicht. Dadurch wird der automatische Import neuer oder geänderter Datei- und Verzeichnislisten in Ihr Dateisystem verhindert.
Wenn Amazon eine Dateiliste FSx aktualisiert, die sich im verknüpften S3-Bucket geändert hat, überschreibt Amazon die lokale Datei mit der aktualisierten Version, auch wenn die Datei schreibgesperrt ist. Wenn Amazon eine Dateiliste FSx aktualisiert, wenn das entsprechende Objekt im verknüpften S3-Bucket gelöscht wurde, löscht Amazon die lokale Datei, auch wenn die Datei schreibgesperrt ist.
Amazon FSx bemüht sich nach besten Kräften, Ihr Dateisystem zu aktualisieren. Amazon FSx kann das Dateisystem in den folgenden Situationen nicht mit Änderungen aktualisieren:
+ Wenn Amazon FSx nicht berechtigt ist, das geänderte oder neue S3-Objekt zu öffnen.
+ Wenn die Konfiguration der `FSx` Ereignisbenachrichtigung im verknüpften S3-Bucket gelöscht oder geändert wird.
Jede dieser Bedingungen führt dazu, dass der Lebenszyklusstatus des Daten-Repositorys **falsch konfiguriert** wird. Weitere Informationen finden Sie unter [Status des Lebenszyklus des Datenrepositorys](#legacy-data-lifecycle).
### Voraussetzungen
Die folgenden Bedingungen sind erforderlich, FSx damit Amazon automatisch neue, geänderte oder gelöschte Dateien aus dem verknüpften S3-Bucket importieren kann:
+ Das Dateisystem und der verknüpfte S3-Bucket müssen sich in derselben AWS Region befinden.
+ Der S3-Bucket hat keinen falsch konfigurierten Lifecycle-Status. Weitere Informationen finden Sie unter [Status des Lebenszyklus des Datenrepositorys](#legacy-data-lifecycle).
+ Ihr Konto muss über die erforderlichen Berechtigungen verfügen, um Ereignisbenachrichtigungen für den verknüpften S3-Bucket zu konfigurieren und zu empfangen.
### Unterstützte Arten von Dateiänderungen
Amazon FSx unterstützt den Import der folgenden Änderungen an Dateien und Ordnern, die im verknüpften S3-Bucket vorgenommen werden:
+ Änderungen am Dateiinhalt
+ Änderungen an Datei- oder Ordner-Metadaten
+ Änderungen am Symlink-Ziel oder an den Metadaten
### Importeinstellungen werden aktualisiert
Sie können die Importeinstellungen eines Dateisystems festlegen, wenn Sie ein neues Dateisystem erstellen. Weitere Informationen finden Sie unter [Ihr Dateisystem mit einem Amazon S3 S3-Bucket verknüpfen](create-dra-linked-data-repo.md).
Sie können die Importeinstellungen eines Dateisystems auch aktualisieren, nachdem es mit der AWS Management Console, der AWS CLI und der FSx Amazon-API erstellt wurde, wie im folgenden Verfahren gezeigt.
------
#### [ Console ]
1. Öffnen Sie die FSx Amazon-Konsole unter [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Wählen Sie im Dashboard **Dateisysteme** aus.
1. Wählen Sie das Dateisystem aus, das Sie verwalten möchten, um die Dateisystemdetails anzuzeigen.
1. Wählen Sie **Datenrepository**, um die Datenrepository-Einstellungen anzuzeigen. Sie können die Importeinstellungen ändern, wenn der Lebenszyklusstatus **VERFÜGBAR** oder **FALSCH KONFIGURIERT** lautet. Weitere Informationen finden Sie unter [Status des Lebenszyklus des Datenrepositorys](#legacy-data-lifecycle).
1. Wählen Sie „**Aktionen**“ und anschließend „**Importeinstellungen aktualisieren“**, um das Dialogfeld „**Importeinstellungen aktualisieren**“ anzuzeigen.
1. Wählen Sie die neue Einstellung und anschließend „**Aktualisieren**“, um die Änderung vorzunehmen.
------
#### [ CLI ]
Verwenden Sie den [https://docs.aws.amazon.com/cli/latest/reference/fsx/update-file-system.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-file-system.html)CLI-Befehl, um die Importeinstellungen zu aktualisieren. Die entsprechende API-Operation ist [https://docs.aws.amazon.com/fsx/latest/APIReference/API_UpdateFileSystem.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_UpdateFileSystem.html).
Nachdem Sie das Dateisystem erfolgreich aktualisiert haben`AutoImportPolicy`, FSx gibt Amazon die Beschreibung des aktualisierten Dateisystems als JSON zurück, wie hier gezeigt:
```
{
"FileSystems": [
{
"OwnerId": "111122223333",
"CreationTime": 1549310341.483,
"FileSystemId": "fs-0123456789abcdef0",
"FileSystemType": "LUSTRE",
"Lifecycle": "UPDATING",
"StorageCapacity": 2400,
"VpcId": "vpc-123456",
"SubnetIds": [
"subnet-123456"
],
"NetworkInterfaceIds": [
"eni-039fcf55123456789"
],
"DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
"ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
"Tags": [
{
"Key": "Name",
"Value": "Lustre-TEST-1"
}
],
"LustreConfiguration": {
"DeploymentType": "SCRATCH_1",
"DataRepositoryConfiguration": {
"AutoImportPolicy": "NEW_CHANGED_DELETED",
"Lifecycle": "UPDATING",
"ImportPath": "s3://amzn-s3-demo-bucket/",
"ExportPath": "s3://amzn-s3-demo-bucket/export",
"ImportedFileChunkSize": 1024
}
"PerUnitStorageThroughput": 50,
"WeeklyMaintenanceStartTime": "2:04:30"
}
}
]
}
```
------