Amazon FSx for Lustre 的功能

Amazon FSx for Lustre 文件系统可扩展到每秒数 TB 的吞吐量和数百万 IOPS。FSx for Lustre 还支持从数千计算实例同时访问同一个文件或目录。FSx for Lustre 针对文件操作提供一致的低延迟。

Lustre 开源文件系统旨在解决快速且经济地处理全球日益增长的数据集的问题。它经过各行各业（从能源到生命科学，从媒体制作到金融服务）以及各种工作负载（从基因组测序到视频转码到机器学习到欺诈侦测）的实战考验。

在基于 SSD 的文件系统上，访问文件数据时的平均首字节延迟为亚毫秒级，在基于 HDD 的文件系统上为数毫秒。

每个 Amazon FSx for Lustre 文件系统，无论部署类型、存储类型或吞吐量性能水平如何，都由低延迟 SSD 存储支持的元数据服务器提供支持。基于 SSD 的元数据服务器可确保所有元数据操作（代表大多数文件系统操作）的交付延迟均为亚毫秒级。

FSx for Lustre 与最热门的基于 Linux 的 AMI 兼容，包括 Amazon Linux、Red Hat Enterprise Linux (RHEL)、CentOS、Ubuntu 和 SUSE Linux。

Amazon FSx for Lustre 与 Amazon S3 原生集成，使您可以轻松访问 S3 数据以运行数据处理工作负载。

只需在 Amazon FSx 控制台中单击几下，即可创建链接到一个或多个 S3 存储桶的文件系统。将 S3 存储桶链接到文件系统后，FSx for Lustre 会透明地将 S3 对象显示为文件，并允许您将结果写回 S3。在您的 S3 存储桶中添加、更改或删除对象时，您的链接文件系统会自动更新。FSx for Lustre 还会自动跟踪文件系统更改，并在添加、修改或删除文件时更新您的 S3 存储桶。FSx for Lustre 使用并行数据传输技术将数据导出回 S3，从而实现快速的数据传输。

Amazon FSx for Lustre 可从 Amazon EC2 实例或本地计算机/服务器上运行的工作负载访问。挂载完成后，您就可以像使用本地文件系统一样，使用您文件系统中的文件和目录。FSx for Lustre 文件系统也可以从 Amazon Elastic Kubernetes 服务 (EKS) 上运行的容器访问。

Amazon FSx for Lustre 与 Amazon Sagemaker 集成，作为输入数据源。将 Amazon SageMaker 与 Amazon FSx for Lustre 配合使用时，通过消除从 S3 进行初次下载的步骤，可以加快机器学习训练作业的速度，同时避免重复下载同一数据集上迭代作业的通用对象（节省 S3 请求成本），从而降低总体拥有成本。

Amazon FSx for Lustre 通过 EC2 启动模板与 Amazon Batch 集成。Amazon Batch 是适用于 HPC、ML 和其他异步工作负载的原生云批处理计划程序。Amazon Batch 将根据作业资源要求自动、动态地调整实例大小，并在启动实例和运行作业时使用现有的 FSx for Lustre 文件系统。

FSx for Lustre 还与 Amazon ParallelCluster 集成。Amazon ParallelCluster 是一个受 Amazon Web Services 支持的开源集群管理工具，用于部署和管理高性能计算 (HPC) 集群。它可以在集群创建过程中自动创建 FSx for Lustre 文件系统或使用现有文件系统。

只需在 Amazon FSx 控制台、CLI 或 API 中单击几下，即可创建和扩展高性能 Lustre 文件系统。有了 Amazon FSx 文件系统，您无需为管理文件服务器和存储卷、更新硬件、配置软件、容量不足或调整性能而担心，因为 Amazon FSx 会自动执行这些耗时的管理任务。

FSx for Lustre 让您可以为短期和长期数据处理选择临时文件系统和持久文件系统。临时文件系统是临时存储和在短期内处理数据的理想选择。如果文件服务器发生故障，系统不会复制和持久保存数据。持久的文件系统是长期存储和工作负载的理想选择。使用持久文件系统时，系统会复制数据，并在文件服务器出现故障时替换它们。

为了进一步保护持久文件系统并满足业务和法规合规性要求，Amazon FSx 还可以自动对您的文件系统进行增量备份。备份存储在 Amazon S3 中，持久性为 99.999999999％（11 个 9）。

您可以使用存储配额来监视和控制文件系统上的用户和组级存储消耗，并确保任何用户或组都不会消耗过多的容量。存储配额适用于管理多用户文件系统（如数据科学家、计算工程师和基因组学研究人员的用户共享）的存储管理员。

可以使用数据压缩来减少文件系统存储和文件系统备份的存储消耗。数据压缩功能使用 LZ4 压缩算法，该算法经过优化，可提供高级别压缩，而不会对文件系统性能造成负面影响。启用数据压缩之后，FSx for Lustre 将会在写入到磁盘之前自动压缩新撰写的文件，并在读取时对其自动解压。

要优化可用存储容量，可以在文件导出至 Amazon S3 后从文件系统中释放非活跃数据。释放文件之后，将从文件系统中移除文件数据（并保留在 S3 上），并且元数据将保留在文件系统中。如果用户或应用程序访问已释放的文件，则数据将自动且透明地从 S3 存储桶加载回文件系统。

所有 Amazon FSx for Lustre 文件系统都是静态加密的，传输中加密在部分区域可用。

您可以从 Amazon VPC 中的终端节点访问 Amazon FSx 文件系统，这样您就可以在自己的虚拟网络中隔离文件系统。您可以配置安全组规则并控制对您的 Amazon FSx 文件系统的网络访问。

Amazon FSx 与 Amazon Identity and Access Management (IAM) 集成。这种集成意味着您可以控制 Amazon IAM 用户和组在管理文件系统时可以执行的操作（例如创建和删除文件系统）。您还可以标记您的 Amazon FSx 资源，并根据这些标签控制您的 IAM 用户和组可以执行的操作。

Amazon FSx 与 Amazon Backup 集成，可为您的 Amazon FSx 文件系统提供完全托管的、基于策略的备份和还原功能。通过与 Amazon Backup 的集成，您可以保护客户数据并确保 Amazon Web Services 服务的合规性，从而实现业务连续性。