本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
什么是适用于 Lustre 的 Amazon FSx?
FSx for Lustre 可帮助您轻松、经济高效地启动和运行常用的高性能 Lustre 文件系统。您可以将 Lustre 用于速度至关重要的工作负载,例如机器学习、高性能计算(HPC)、视频处理和财务建模。
Lustre 文件系统专为需要快速存储的应用程序而设计,快速存储指希望存储能跟上计算速度。构建 Lustre 以解决快速、低成本处理全球不断增长的数据集这一问题。该文件系统是广泛使用的文件系统,专为世界上速度最快的计算机而设计。该文件系统提供亚毫秒级延迟、高达数 TBps 的吞吐量和高达数百万的 IOPS。有关 Lustre 更多信息,请参阅 Lustre 网站
作为一项完全托管式服务,Amazon FSx 使您可以更轻松地将 Lustre 用于存储速度至关重要的工作负载。FSx for Lustre 消除了设置和管理 Lustre 文件系统的传统复杂性,使您能够在几分钟内启动并运行经过实战考验的高性能文件系统。此外,还提供多种部署选项和存储类别,因此您可以根据需要优化成本。
FSx for POSIX-compliant Lustre 是,因此您无需进行任何 Linux-based 更改即可使用当前的应用程序。FSx for Lustre 提供了一个本机文件系统接口,并且可以像任何文件系统在 Linux 操作系统中一样工作。此外,还提供了先写后读一致性,并支持文件锁定。
主题
多种部署选项和存储类别
适用于 Lustre 的 Amazon FSx 提供临时文件系统和持久性文件系统供您选择,可满足不同的数据处理需求。临时文件系统适用于临时存储和短期数据处理。如果文件服务器出现故障,则不会复制数据,也不会持久保留数据。持久性文件系统适用于长期存储和侧重于吞吐量的工作负载。在持久性文件系统中,会复制数据,并更换出现故障的文件服务器。有关更多信息,请参阅 FSx for Lustre 文件系统的部署和存储类别选项。
Amazon FSx for Lustre 提供固态硬盘 (SSD Intelligent-Tiering) 和硬盘驱动器 (HDD) 存储类别,它们针对不同的数据处理要求进行了优化:
SSD 存储类别已针对具有小规模随机文件操作且需要高达 TBps 吞吐量的工作负载进行优化。该存储类别提供对完整数据集的一致亚毫秒级延迟访问权限。
该 Intelligent-Tiering 存储类别适用于大多数不需要在整个数据集中保持一致的低延迟的工作负载。该存储类别通过可选的 SSD 读取缓存提供完全弹性且经济高效的存储、高达多 TBps 的吞吐量以及对频繁访问数据的亚毫秒级延迟访问权限。
HDD 存储类别可用于需要稳定的个位数毫秒级延迟和高达数十 GBps 吞吐量才能满足完整数据集需求的工作负载。您可选择性地预置 SSD 读取缓存,其容量可设置为 HDD 存储容量的 20%。
有关更多信息,请参阅 FSx for Lustre 存储类别。
FSx for Lustre 和数据存储库
您可以将 FSx for Lustre 文件系统关联到 Amazon S3 上的数据存储库或本地数据存储。
FSx for Lustre S3 数据存储库集成
FSx for Lustre 已与 Amazon S3 集成,因此可以更轻松地使用 Lustre 高性能文件系统处理云数据集。关联到 Amazon S3 桶后,FSx for Lustre 文件系统会透明地将 S3 对象显示为文件。Amazon FSx 可以在创建文件系统时导入 S3 桶中的所有现有文件列表。Amazon FSx 还可以在创建文件系统后导入添加到数据存储库中的文件列表。您可以设置导入首选项以满足您的工作流程需求。文件系统还允许将文件系统数据写回 S3。数据存储库任务简化了 FSx for Lustre 文件系统与其在 Amazon S3 上的持久数据存储库之间的数据和元数据传输。有关更多信息,请参阅将数据存储库与适用于 Lustre 的 Amazon FSx 结合使用和数据存储库任务。
FSx for Lustre 和本地数据存储库
借助 Amazon FSx for Lustre,您可以通过使用或导入 Direct Connect 数据, AWS Cloud 将数据处理工作负载从本地扩展到中。 Site-to-Site VPN有关更多信息,请参阅 将 Amazon FSx 用于您的本地数据。
访问 FSx for Lustre 文件系统
您可以混合搭配连接到单个 FSx for Lustre 文件系统的计算实例类型和 Linux 亚马逊机器映像(AMI)。
适用于 Lustre 的 Amazon FSx 文件系统可以从 Amazon Elastic Compute Cloud(Amazon EC2)实例上运行的计算工作负载、Amazon Elastic Container Service(Amazon ECS)Docker 容器和 Amazon Elastic Kubernetes Service(Amazon EKS)上运行的容器进行访问。
Amazon EC2 – 可以使用开源 Lustre 客户端从 Amazon EC2 计算实例访问文件系统。Amazon EC2 实例可以从同一 Amazon Virtual Private Cloud(Amazon VPC)内的其他可用区访问您的文件系统,但前提是您的联网配置允许在 VPC 内跨子网访问。挂载适用于 Lustre 的 Amazon FSx 文件系统后,就可以像使用本地文件系统一样使用其文件和目录。
Amazon EKS – 可以使用开源 FSx for Lustre CSI 驱动程序从 Amazon EKS 上运行的容器访问适用于 Lustre 的 Amazon FSx,如《Amazon EKS 用户指南》中所述。在 Amazon EKS 上运行的容器可以使用适用于 Lustre 的 Amazon FSx 支持的高性能持久性卷(PV)。
Amazon ECS – 可以从 Amazon EC2 实例上的 Amazon ECS Docker 容器访问适用于 Lustre 的 Amazon FSx。有关更多信息,请参阅 从 Amazon Elastic Container Service 挂载。
适用于 Lustre 的亚马逊 FSx 与 Linux-based 最受欢迎的 AMI 兼容,包括亚马逊 Linux 2023 和亚马逊 Linux 2、红帽企业 Linux (RHEL)、CentOS、Ubuntu 和 SUSE Linux。Amazon Linux 2023 和 Amazon Linux 2 提供 Lustre 客户端。对于 RHEL、CentOS 和 Ubuntu, AWS Lustre客户端存储库提供了与这些操作系统兼容的客户端。
使用 FSx for Lustre,您可以通过或导入数据,将计算密集型工作负载从本地扩展 AWS Cloud 到中。 Direct Connect AWS Virtual Private Network您可以从本地访问 Amazon FSx 文件系统,根据需要将数据复制到文件系统中,并在云端实例上运行计算密集型工作负载。
有关可以访问 FSx for Lustre 文件系统的客户端、计算实例和环境的更多信息,请参阅访问文件系统。
与集成 AWS 务
适用于 Lustre 的 Amazon FSx 与 SageMaker 亚马逊 AI 集成作为输入数据源。将 SageMaker AI 与 FSx for Lustre 配合使用时,通过省去从 Amazon S3 的初始下载步骤,可以加速您的机器学习训练作业。此外,在节省 S3 请求成本的同时,还避免了重复下载同一数据集上迭代作业的通用对象,从而降低了总拥有成本(TCO)。有关更多信息,请参阅什么是 SageMaker AI? 在《亚马逊 A SageMaker I 开发者指南》中。有关如何使用 Amazon FSx for Lustre 作为 AI 数据源的 SageMaker 演练,请参阅 Machine Learning 博客上的 Machine Learning 博客上使用 A SageMaker mazon FSx for Lustre 和 Amazon EFS 文件系统加快亚马逊人工智能的训练
FSx for Lustre 与使用 EC2 AWS Batch 启动模板集成。 AWS Batch 使您能够在上运行批量计算工作负载 AWS Cloud,包括高性能计算 (HPC)、机器学习 (ML) 和其他异步工作负载。 AWS Batch 根据任务资源要求自动和动态地调整实例的大小。有关更多信息,请参阅什么是 AWS Batch? 在《AWS Batch 用户指南》中。
FSx for Lu AWS ParallelCluster stre 集成了。 AWS ParallelCluster 是一款 AWS支持开源集群管理工具,用于部署和管理 HPC 集群。它可以自动创建 FSx for Lustree 文件系统,也可以在集群创建过程中使用现有文件系统。
安全与合规
FSx for Lustre 文件系统支持静态加密和传输中加密。Amazon FSx 使用在 () 中 AWS Key Management Service 管理的密钥自动加密文件系统的静态数据。AWS KMS从支持的 Amazon EC2 实例访问时,某些 AWS 区域 的文件系统上的传输中数据也会自动加密。有关 FSx for Lustre 中数据加密的更多信息 AWS 区域 ,包括哪些地方支持对传输中的数据进行加密,请参阅。中的数据加密 适用于 Lustre 的 Amazon FSxAmazon FSx 已通过评估,符合 ISO 和 SOC 认证 PCI-DSS,并且符合 HIPAA 资格。有关更多信息,请参阅 适用于 Lustre 的 Amazon FSx 中的安全性。
假设
在本指南中,我们做出了以下假设:
-
如果您使用 Amazon Elastic Compute Cloud(Amazon EC2),我们假设您熟悉该服务。有关如何使用 Amazon EC2 的更多信息,请参阅 Amazon EC2 文档。
-
我们假设您熟悉使用 Amazon Virtual Private Cloud(Amazon VPC)。有关如何使用 Amazon VPC 的更多信息,请参阅《Amazon VPC 用户指南》。
-
我们假设您没有根据 Amazon VPC 服务更改 VPC 的默认安全组规则。如果更改了,请确保添加必要的规则,允许从 Amazon EC2 实例到适用于 Lustre 的 Amazon FSx 文件系统的网络流量。有关更多详细信息,请参阅使用 Amazon VPC 进行文件系统访问控制。
适用于 Lustre 的 Amazon FSx 的定价
使用适用于 Lustre 的 Amazon FSx,无需预付硬件或软件成本。您只需为使用的资源付费,没有最低承付款、设置费用或额外费用。有关与该服务相关的定价和费用的信息,请参阅适用于 Lustre 的 Amazon FSx 定价
适用于 Lustre 的 Amazon FSx 论坛
如果您在使用适用于 Lustre 的 Amazon FSx 时遇到问题,请访问论坛
您是适用于 Lustre 的 Amazon FSx 新用户吗?
如果您是适用于 Lustre 的 Amazon FSx 新用户,我们建议您按顺序阅读以下内容:
-
如果您已准备好创建第一个适用于 Lustre 的 Amazon FSx 文件系统,请参阅开始使用适用于 Lustre 的 Amazon FSx。
-
有关性能的信息,请参阅 适用于 Lustre 的 Amazon FSx 性能。
-
有关将文件系统关联到 Amazon S3 桶数据存储库的更多信息,请参阅将数据存储库与适用于 Lustre 的 Amazon FSx 结合使用。
-
有关适用于 Lustre 的 Amazon FSx 的安全详细信息,请参阅 适用于 Lustre 的 Amazon FSx 中的安全性。
-
有关适用于 Lustre 的 Amazon FSx 的可扩展性限制(包括吞吐量和文件系统大小)的信息,请参阅适用于 Lustre 的 Amazon FSx 的服务配额。
-
有关适用于 Lustre 的 Amazon FSx API 的信息,请参阅《适用于 Lustre 的 Amazon FSx API 参考》。