本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。 # 将文件系统链接到 Amazon S3 存储桶 您可以将您的 Amazon f FSx or Lustre 文件系统链接到 Amazon S3 中的数据存储库。您可以在创建文件系统时，或者在文件系统创建后的任何时间创建该链接。 文件系统上的目录与 S3 桶或前缀之间的链接称为*数据存储库关联（DRA）*。在 for Lustre 文件系统上，您最多可以配置 8 个数据存储库关联。 FSx 最多 8 个 DRA 请求可以加入队列，但文件系统每次只能处理一个请求。每个 DRA 都必须有一个唯一 FSx 的 for Lustre 文件系统目录以及与之关联的唯一的 S3 存储桶或前缀。 **注意** Lustre 2.10 文件系统或`Scratch 1`文件系统不支持数据存储库关联、自动导出和 FSx 对多个数据存储库的支持。 要以文件系统上文件和目录的形式访问 S3 数据存储库上的对象，文件和目录元数据必须加载到文件系统中。您可以在创建 DRA 时从链接的数据存储库加载元数据，或者稍后使用导入数据存储库任务加载要使用 for Lustre 文件系统访问的批量文件和目录的元数据，或者使用自动导出在数据存储库中添加对象、更改对象或从数据存储库中删除对象时自动加载元数据。 FSx 您可以将 DRA 配置为仅用于自动导入、仅用于自动导出或同时用于两者。同时用于自动导入和自动导出的数据存储库关联在文件系统和关联 S3 存储桶之间双向传播数据。当您更改 S3 数据存储库中的数据时， FSx for Lustre 会检测到更改，然后自动将更改导入您的文件系统。在您创建、修改或删除文件时，For FSx Lustre 会在应用程序完成文件修改后自动将更改异步导出到 Amazon S3。 **重要** 如果您修改文件系统和 S3 存储桶中的同一个文件，则应确保应用程序级别的协调以防止冲突。 FSx for Lustre 并不能防止在多个位置发生冲突的写入。 对于标有不可变属性的文件， FSx for Lustre 无法在您 FSx 的 for Lustre 文件系统和链接到文件系统的 S3 存储桶之间同步更改。长时间设置不可变标志可能会导致 Amazon FSx 和 S3 之间的数据移动性能降低。 在创建数据存储库关联时，您可以配置以下属性： + **文件系统路径**-输入文件系统上的本地路径，该路径指向将映射 one-to-one到以下指定数据存储库路径的目录（例如 `/ns1/``/ns1/subdir/`）或子目录（例如）。名称中的前导正斜杠必填。两个数据存储库关联不能具有重叠的文件系统路径。例如，如果数据存储库与文件系统路径 `/ns1` 相关联，则您无法将另一个数据存储库与文件系统路径 `/ns1/ns2` 相关联。 **注意** 如果您仅指定正斜杠（`/`）作为文件系统路径，则只能将一个数据存储库链接到文件系统。您只能将“/”指定为与文件系统相关联的第一个数据存储库的文件系统路径。 + **数据存储库路径** – 输入 S3 数据存储库中的路径。该路径可以是 S3 存储桶或格式 `s3://bucket-name/prefix/` 的前缀。此属性指定文件将从 S3 数据存储库中导入或导出到的位置。 FSx 如果您不提供尾随的 “/”，for Lustre 将在您的数据存储库路径后面追加一个 “/”。例如，如果您提供的数据存储库路径为`s3://amzn-s3-demo-bucket/my-prefix`， FSx 则 Lustre 会将其解释为`s3://amzn-s3-demo-bucket/my-prefix/`。 两个数据存储库关联不能具有重叠的数据存储库路径。例如，如果采用路径 `s3://amzn-s3-demo-bucket/my-prefix/` 的数据存储库与文件系统路径相关联，则您无法将另一个数据存储库与文件系统路径 `s3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix` 相关联。 + **从存储库导入元数据** – 您可以选择此选项，在创建数据存储库关联后立即从整个数据存储库导入元数据。或者，您可以在创建数据存储库关联后随时运行导入数据存储库任务，将链接的数据存储库中的全部或部分元数据加载到文件系统。 + **导入设置** – 选择一个导入策略，用于指定更新对象的类型（新对象、已更改和已删除对象的任意组合），这些对象将自动从链接的 S3 桶导入文件系统。当您从控制台添加数据存储库时，自动导入（新建、已更改、已删除）在默认情况下处于启用状态，但在使用 AWS CLI 或 Amazon FSx API 时则默认处于禁用状态。 + **导出设置** – 选择一个导出策略，用于指定更新对象的类型（新对象、已更改和已删除对象的任意组合），这些对象将自动导出到 S3 桶。当您从控制台添加数据存储库时，自动导出（新建、已更改、已删除）默认处于启用状态，但在使用 AWS CLI 或 Amazon FSx API 时默认处于禁用状态。 **文件系统路径**和**数据存储库路径**设置提供了 Amazon 中的路径 FSx 和 S3 中的对象密钥之间的 1:1 映射。 **Topics** + [创建指向 S3 桶的链接](create-linked-dra.md) + [更新数据存储库关联设置](update-dra-settings.md) + [删除与 S3 桶的关联](delete-linked-dra.md) + [查看数据存储库关联详细信息](view-dra-details.md) + [数据存储库关联生命周期状态](dra-lifecycles.md) + [使用服务器端加密的 Amazon S3 桶](s3-server-side-encryption-support.md) # 创建指向 S3 桶的链接 以下过程将引导您完成使用 AWS 管理控制台 和 AWS Command Line Interface (AWS CLI) 为 for Lustre 文件系统创建数据存储库与现有 S3 存储桶关联的过程。 FSx 有关为 S3 桶添加权限以将其链接到文件系统的信息，请参阅[添加在 Amazon S3 中使用数据存储库的权限](setting-up.md#fsx-adding-permissions-s3)。 **注意** 数据存储库不能链接到已启用文件系统备份的文件系统。在链接到数据存储库之前禁用备份。 ## 在创建文件系统时链接 S3 桶（控制台） 1. 打开亚马逊 FSx 控制台，网址为[https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)。 1. 按照“入门”部分的[步骤 1：创建 FSx for Lustre 文件系统](getting-started.md#getting-started-step1)中所述的步骤创建新文件系统。 1. 打开**数据存储库 Import/Export -*可选***部分。该功能在默认情况下处于禁用状态。 1. 选择**从 S3 导入数据和将数据导出到 S3**。 1. 在**数据存储库关联信息**对话框中，提供以下字段的信息。 + **文件系统路径**：输入 Amazon FSx 文件系统中将与 S3 数据存储库关联的高级目录（例如 `/ns1``/ns1/subdir`）或子目录（例如）的名称。路径中的前导正斜杠必填。两个数据存储库关联不能具有重叠的文件系统路径。例如，如果数据存储库与文件系统路径 `/ns1` 相关联，则您无法将另一个数据存储库与文件系统路径 `/ns1/ns2` 相关联。**文件系统路径**设置在文件系统的所有数据存储库关联中必须唯一。 + **数据存储库路径**：输入要与您的文件系统关联的现有 S3 桶或前缀的路径（例如，`s3://amzn-s3-demo-bucket/my-prefix`）。两个数据存储库关联不能具有重叠的数据存储库路径。**数据存储库路径**设置在文件系统的所有数据存储库关联中必须唯一。 + **从存储库导入元数据**：选择此属性，可以选择性运行导入数据存储库任务，以便在链接创建后立即导入元数据。 1. 在**导入设置 – 可选**中，请设置**导入策略**，确定当您在 S3 桶中添加、更改或删除对象时，文件和目录列表如何保持最新状态。例如，选择**新**，可以针对 S3 桶中创建的新对象将元数据导入文件系统。有关导入策略的更多信息，请参阅[自动从 S3 存储桶导入更新。](autoimport-data-repo-dra.md)。 1. 在**导出策略**中，请设置导出策略，确定当您在文件系统中添加、更改或删除对象时，如何将文件导出到链接的 S3 桶。例如，选择**已更改**，可以导出文件系统中内容或元数据已更改的对象。有关导出策略的更多信息，请参阅[自动将更新导出到 S3 桶](autoexport-data-repo-dra.md)。 1. 继续执行文件系统创建向导的下一部分。 ## 将 S3 桶链接到现有文件系统（控制台） 1. 打开亚马逊 FSx 控制台，网址为[https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)。 1. 在控制面板中，选择**文件系统**，然后选择您想为其创建数据存储库关联的文件系统。 1. 选择**数据存储库**选项卡。 1. 在**数据存储库关联**窗格中，选择**创建数据存储库关联**。 1. 在**数据存储库关联信息**对话框中，提供以下字段的信息。 + **文件系统路径**：输入 Amazon FSx 文件系统中将与 S3 数据存储库关联的高级目录（例如 `/ns1``/ns1/subdir`）或子目录（例如）的名称。路径中的前导正斜杠必填。两个数据存储库关联不能具有重叠的文件系统路径。例如，如果数据存储库与文件系统路径 `/ns1` 相关联，则您无法将另一个数据存储库与文件系统路径 `/ns1/ns2` 相关联。**文件系统路径**设置在文件系统的所有数据存储库关联中必须唯一。 + **数据存储库路径**：输入要与您的文件系统关联的现有 S3 桶或前缀的路径（例如，`s3://amzn-s3-demo-bucket/my-prefix`）。两个数据存储库关联不能具有重叠的数据存储库路径。**数据存储库路径**设置在文件系统的所有数据存储库关联中必须唯一。 + **从存储库导入元数据**：选择此属性，可以选择性运行导入数据存储库任务，以便在链接创建后立即导入元数据。 1. 在**导入设置 – 可选**中，请设置**导入策略**，确定当您在 S3 桶中添加、更改或删除对象时，文件和目录列表如何保持最新状态。例如，选择**新**，可以针对 S3 桶中创建的新对象将元数据导入文件系统。有关导入策略的更多信息，请参阅[自动从 S3 存储桶导入更新。](autoimport-data-repo-dra.md)。 1. 在**导出策略**中，请设置导出策略，确定当您在文件系统中添加、更改或删除对象时，如何将文件导出到链接的 S3 桶。例如，选择**已更改**，可以导出文件系统中内容或元数据已更改的对象。有关导出策略的更多信息，请参阅[自动将更新导出到 S3 桶](autoexport-data-repo-dra.md)。 1. 选择**创建**。 ## 将文件系统链接到 S3 桶（AWS CLI） 以下示例创建了将 Amazon FSx 文件系统链接到 S3 存储桶的数据存储库关联，其导入策略用于将任何新文件或更改文件导入文件系统，以及将新的、更改或删除的文件导出到链接的 S3 存储桶的导出策略。 + 要创建数据存储库关联，请使用 Amazon FSx CLI 命令`create-data-repository-association`，如下所示。 ``` $ aws fsx create-data-repository-association \ --file-system-id fs-0123456789abcdef0 \ --file-system-path /ns1/path1/ \ --data-repository-path s3://amzn-s3-demo-bucket/myprefix/ \ --s3 "AutoImportPolicy={Events=[NEW,CHANGED,DELETED]},AutoExportPolicy={Events=[NEW,CHANGED,DELETED]}" ``` 亚马逊 FSx 会立即返回 DRA 的 JSON 描述。DRA 是异步创建。 即使在文件系统创建完成之前，您也可以使用此命令来创建数据存储库关联。文件系统可用后，请求将排队并且数据存储库关联将创建。 # 更新数据存储库关联设置 您可以使用 AWS 管理控制台、和 Amazon FSx API 更新现有数据存储库关联的设置，如以下过程所示。 AWS CLI **注意** DRA 创建之后，它的 `File system path` 和 `Data repository path` 无法更新。如果您想更改 `File system path` 或 `Data repository path`，您必须删除 DRA 并重新创建。 ## 更新现有数据存储库关联的设置（控制台） 1. 打开亚马逊 FSx 控制台，网址为[https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)。 1. 在控制面板中，选择**文件系统**，然后选择您想管理的文件系统。 1. 选择**数据存储库**选项卡。 1. 在**数据存储库关联**窗格中，选择您想更改的数据存储库关联。 1. 选择**更新**。针对数据存储库关联的编辑对话框将显示。 1. 在**导入设置 – 可选**中，您可以更新您的**导入策略**。有关导入策略的更多信息，请参阅[自动从 S3 存储桶导入更新。](autoimport-data-repo-dra.md)。 1. 在**导出设置 – 可选**中，您可以更新您的导出政策。有关导出策略的更多信息，请参阅[自动将更新导出到 S3 桶](autoexport-data-repo-dra.md)。 1. 选择**更新**。 ## 更新现有数据存储库关联的设置（CLI） + 要更新数据存储库关联，请使用 Amazon FSx CLI 命令`update-data-repository-association`，如下所示。 ``` $ aws fsx update-data-repository-association \ --association-id 'dra-872abab4b4503bfc2' \ --s3 "AutoImportPolicy={Events=[NEW,CHANGED,DELETED]},AutoExportPolicy={Events=[NEW,CHANGED,DELETED]}" ``` 成功更新数据存储库关联的导入和导出策略后，Amazon 以 JSON 格式 FSx 返回更新后的数据存储库关联的描述。 # 删除与 S3 桶的关联 以下过程将引导您使用 AWS 管理控制台 和 AWS Command Line Interface (AWS CLI) 完成从现有 Amazon FSx 文件系统中删除与现有 S3 存储桶之间的数据存储库关联的过程。删除数据存储库关联将取消文件系统与 S3 桶的关联。 ## 删除文件系统到 S3 桶的链接（控制台） 1. 打开亚马逊 FSx 控制台，网址为[https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)。 1. 在控制面板中，选择**文件系统**，然后选择您想为其删除数据存储库关联的文件系统。 1. 选择**数据存储库**选项卡。 1. 在**数据存储库关联**窗格中，选择您想删除的数据存储库关联。 1. 在**操作**中，选择**删除关联**。 1. 在**删除**对话框中，您可以选择**删除文件系统中的数据**，以物理方式删除与数据存储库关联所对应文件系统中的数据。 如果您计划使用相同的文件系统路径创建新的数据存储库关联，但指向不同的 S3 存储桶前缀，或者您不再需要文件系统中的数据，则选择此选项。 1. 选择**删除**，从文件系统中删除数据存储库关联。 ## 删除文件系统到 S3 桶的链接（AWS CLI） 以下示例删除了将 Amazon FSx 文件系统链接到 S3 存储桶的数据存储库关联。`--association-id` 参数指定要删除的数据存储库关联的 ID。 + 要删除数据存储库关联，请使用 Amazon FSx CLI 命令`delete-data-repository-association`，如下所示。 ``` $ aws fsx delete-data-repository-association \ --association-id dra-872abab4b4503bfc \ --delete-data-in-file-system false ``` 成功删除数据存储库关联后，Amazon 以 JSON 格式 FSx 返回其描述。 **DRAs 使用相同的文件系统路径重新创建** 我们不建议删除和重新创建使用相同文件系统路径的数据存储库关联。如果您删除 DRA，然后使用相同的文件系统路径创建新的 DRA，则某些文件可能会保留先前删除的 DRA 的 HSM 状态。 如果您需要从重新创建的 DRA 中导出由先前删除的 DRA 管理的文件，则需要使用以下命令将这些文件标记为已脏，然后运行导出数据存储库任务： ``` sudo lfs hsm_set --dirty file_path ``` # 查看数据存储库关联详细信息 您可以使用 for Lustre 控制台 AWS CLI、和 API 查看数据存储库关联的详细信息。 FSx 详细信息包括 DRA 的关联 ID、文件系统路径、数据存储库路径、导入设置、导出设置、状态及其关联文件系统的 ID。 ## 查看 DRA 详细信息（控制台） 1. 打开亚马逊 FSx 控制台，网址为[https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)。 1. 在控制面板中，选择**文件系统**，然后选择您想查看其数据存储库关联详细信息的文件系统。 1. 选择**数据存储库**选项卡。 1. 在**数据存储库关联**窗格中，选择您想查看的数据存储库关联。**摘要**页面会显示，展示 DRA 详细信息。 ![\[数据存储库关联的 Amazon FSx 详情页面。\]](http://docs.aws.amazon.com/zh_cn/fsx/latest/LustreGuide/images/dra-describe.png) ## 查看 DRA 详细信息（CLI） + 要查看特定数据存储库关联的详细信息，请使用 Amazon FSx CLI 命令`describe-data-repository-associations`，如下所示。 ``` $ aws fsx describe-data-repository-associations \ --association-ids dra-872abab4b4503bfc2 ``` Amazon 以 JSON 格式 FSx 返回数据存储库关联的描述。 # 数据存储库关联生命周期状态 数据存储库关联生命周期状态提供有关特定 DRA 的状态信息。数据存储库关联可以具有以下**生命周期状态**： + **创建** — Amazon FSx 正在文件系统和链接的数据存储库之间创建数据存储库关联。数据存储库不可用。 + **可用** – 数据存储库关联可供使用。 + **正在更新** – 数据存储库关联正在进行客户发起的更新，这可能会影响其可用性。 + **正在删除** – 数据存储库关联正在进行客户发起的删除。 + **配置错误** — 在更正数据存储库关联配置之前，Amazon FSx 无法自动从 S3 存储桶导入更新或自动将更新导出到 S3 存储桶。 DRA 可能因以下原因出现**配置错误**： + Amazon FSx 缺乏访问 S3 存储桶所必需的 IAM 权限。 + S3 存储桶上的 FSx 事件通知配置已被删除或修改。 + S3 存储桶中现有的事件通知与 FSx 事件类型重叠。 解决潜在问题后，DRA 会在 15 分钟内自动恢复到**可用**状态，或者您可以使用 AWS CLI 命令立即触发状态更改[update-data-repository-association](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-data-repository-association.html)。 + **失败** – 数据存储库关联处于无法恢复的终端状态（例如，因为其文件系统路径已删除或 S3 桶已删除）。 您可以使用亚马逊 FSx 控制台、和 Amazon FSx API 查看数据存储库关联的生命周期状态。 AWS Command Line Interface有关更多信息，请参阅 [查看数据存储库关联详细信息](view-dra-details.md)。 # 使用服务器端加密的 Amazon S3 桶 FSx for Lustre 支持使用 S3 托管密钥 (SSE-S3) 和存储在 (SSE-KMS) 中的服务器端加密的 Amazon S3 AWS KMS keys 存储桶。 AWS Key Management Service 如果您希望 Amazon FSx 在写入您的 S3 存储桶时对数据进行加密，则需要将 S3 存储桶上的默认加密设置为 SSE-S3 或 SSE-KMS。有关更多信息，请参阅*《Amazon S3 用户指南》*中的[配置原定设置加密](https://docs.aws.amazon.com/AmazonS3/latest/userguide/default-bucket-encryption.html)。将文件写入您的 S3 存储桶时，Amazon 会 FSx 遵循您的 S3 存储桶的默认加密策略。 默认情况下，亚马逊 FSx 支持使用 SSE-S3 加密的 S3 存储桶。如果您想将您的 Amazon FSx 文件系统链接到使用 SSE-KMS 加密的 S3 存储桶，则需要在客户托管密钥策略中添加声明，允许亚马逊 FSx 使用您的 KMS 密钥加密和解密 S3 存储桶中的对象。 以下语句允许特定 Amazon FSx 文件系统加密和解密特定 S3 存储桶的对象。*bucket\$1name* ``` { "Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::aws_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_fsx_file_system_id" }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*", "Condition": { "StringEquals": { "kms:CallerAccount": "aws_account_id", "kms:ViaService": "s3.bucket-region.amazonaws.com" }, "StringLike": { "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*" } } } ``` **注意** 如果您使用带 CMK 的 KMS 在启用了 S3 桶密钥的情况下加密您的 S3 桶，请将 `EncryptionContext` 设置为桶 ARN，而不是对象 ARN，如下例所示： ``` "StringLike": { "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name" } ``` 以下政策声明允许您账户中的所有 Amazon FSx 文件系统链接到特定的 S3 存储桶。 ``` { "Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket", "Effect": "Allow", "Principal": { "AWS": "*" }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*", "Condition": { "StringEquals": { "kms:ViaService": "s3.bucket-region.amazonaws.com", "kms:CallerAccount": "aws_account_id" }, "StringLike": { "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*" }, "ArnLike": { "aws:PrincipalArn": "arn:aws_partition:iam::aws_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_fs-*" } } } ``` ## 在不同的 VPC AWS 账户 或共享 VPC 中访问服务器端加密的 Amazon S3 存储桶 创建链接到加密的 Amazon S3 存储桶的 for Lustre 文件系统后，必须向`AWSServiceRoleForFSxS3Access_fs-01234567890`服务相关角色 (SLR) 授予访问用于加密 S3 存储桶的 KMS 密钥的权限，然后才能从链接的 S3 存储桶读取或写入数据。 FSx 您可以使用已拥有 KMS 密钥权限的 IAM 角色。 **注意** 此 IAM 角色必须位于创建 for Lustre 文件系统的账户中（该账户与 S3 SLR 相同），而不是 KMS 密钥/S3 存储桶所属的账户中。 FSx 您可以使用 IAM 角色调用以下 AWS KMS API 为 S3 SLR 创建授权，以便 SLR 获得对 S3 对象的权限。要查找与您的 SLR 关联的 ARN，请使用您的文件系统 ID 作为搜索字符串来搜索您的 IAM 角色。 ``` $ aws kms create-grant --region fs_account_region \ --key-id arn:aws:kms:s3_bucket_account_region:s3_bucket_account:key/key_id \ --grantee-principal arn:aws:iam::fs_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_file-system-id \ --operations "Decrypt" "Encrypt" "GenerateDataKey" "GenerateDataKeyWithoutPlaintext" "CreateGrant" "DescribeKey" "ReEncryptFrom" "ReEncryptTo" ``` 有关服务关联角色的更多信息，请参阅[使用适用于 Amazon 的服务相关角色 FSx](using-service-linked-roles.md)。