发布于: Jul 31, 2023
亚马逊云科技近日在纽约峰会上宣布 Amazon Elastic Compute Cloud（EC2）P5 实例正式可用。这是一款下一代 GPU 实例，由最新的英伟达 H100 Tensor Core GPU 提供支持，可以满足客户在运行人工智能、机器学习和高性能计算工作负载时对高性能和高扩展性的需求。与上一代基于 GPU 的实例相比，Amazon EC2 P5 实例可以将训练时间缩减 6 倍（从几天缩短到几小时），从而帮助客户节省高达 40% 的训练成本。
Amazon EC2 P5 实例提供 8 个英伟达 H100 Tensor Core GPU，具有 640 GB 高带宽 GPU 内存，同时提供第三代 AMD EPYC 处理器、2TB 系统内存和 30 TB 本地 NVMe 存储。Amazon EC2 P5 实例还提供 3200 Gbps 的聚合网络带宽并支持 GPUDirect RDMA，从而能够绕过 CPU 进行节点间通信，实现更低的延迟和高效的横向扩展性能。
亚马逊云科技和英伟达 (NVIDIA) 在今年 3 月宣布了一项多方合作，构建全球最具可扩展性且按需付费的人工智能基础设施，以便训练日益复杂的大语言模型和开发生成式 AI 应用程序。
当时，亚马逊云科技预发布了由英伟达 H100 Tensor Core GPU 支持的 Amazon EC2 P5 实例，可为构建和训练更大规模的机器学习模型提供高达 20 exaFLOPS 的算力。亚马逊云科技和英伟达合作十多年来成果颇丰，推出了包括支持视觉计算、人工智能和高性能计算集群的各种 GPU 实例，如 CG1 实例（2010 年）、G2（2013 年）、P2（2016 年）、P3（2017 年）、G3（2017 年）、P3dn（2018 年）、G4（2019 年）、P4（2020 年）、G5（2021 年）和 P4de（2022 年）实例。
现在，机器学习模型的规模已经达到数万亿参数，这种复杂性大大增加了客户训练模型所需的时间，例如，最新的大语言模型训练时间长达数月之久。类似的趋势也出现在高性能计算领域。随着高性能计算客户数据收集准确度的提高以及数据集达到 EB 级规模，客户已经在寻找解决日益复杂应用程序的更快方法。
Amazon EC2 P5 实例非常适合训练和运行越来越复杂的大语言模型和计算机视觉模型，以满足最苛刻的计算密集型生成式 AI 应用的需求，包括问答、代码生成、视频和图像生成、语音识别等。与上一代基于 GPU 的实例相比，Amazon EC2 P5 实例在这些应用中的训练时间缩短了 6 倍。那些可以在工作负载中使用较低精度 FP8 数据类型的客户，例如使用 Transformer 框架的语言模型，将通过英伟达 Transformer Engine 的支持获得高达 6 倍的性能提升。
高性能计算客户通过使用 Amazon EC2 P5 实例可以在药物发现、地震分析、天气预报和金融建模等领域更大规模地部署高要求的应用程序。此外，对于使用基于动态规划（Dynamic Programming）算法进行基因组测序或加速数据分析等应用的客户，Amazon EC2 P5 将通过新的 DPX 指令集提供支持。
Amazon EC2 P5 实例使客户能够探索以前看似无法解决的问题，更快地迭代解决方案，并加速进入市场。
Amazon EC2 P5 实例为多节点分布式训练和紧密耦合的高性能计算工作负载提供先进的横向扩展功能，其使用的第二代 Elastic Fabric Adapter（EFA）网络设备提供高达 3200 Gbps 的网络速度，是 Amazon EC2 P4d 实例的 8 倍。
为了满足客户对大规模和低延迟的需求，Amazon EC2 P5 实例部署在第二代 Amazon EC2 UltraClusters 中，该集群目前可在超过 2 万个英伟达 H100 Tensor Core GPU 上为客户提供更低的延迟。作为云中最大规模的机器学习基础设施之一，Amazon EC2 UltraClusters 中的 Amazon EC2 P5 实例可提供高达 20 exaFLOPS 的聚合计算能力。
Amazon EC2 UltraClusters 使用了 Amazon FSx for Lustre，这是一种完全托管的共享存储，构建在常用的高性能并行文件系统上。客户通过 Amazon FSx for Lustre，可以按需大规模快速处理海量数据集，并实现亚毫秒级延迟。Amazon FSx for Lustre 的低延迟和高吞吐量特性经过优化，可在 Amazon EC2 UltraCluster 上为深度学习、生成式 AI 和高性能计算工作负载提供支持。
Amazon FSx for Lustre 可以为 Amazon EC2 UltraCluster 中的 GPU 机器学习加速器持续提供数据，从而加速最苛刻的工作负载，包括大语言模型训练、生成式 AI 推理，以及基因组学和金融风险建模等高性能计算负载。
Amazon EC2 P5 实例现已在以下区域正式可用：美国东部（北弗吉尼亚）和美国西部（俄勒冈）。
客户也可以选择亚马逊云科技提供的各种内置生成式 AI 的云服务，它们都运行在具有成本效益的生成式 AI 云基础设施上，助力客户加快创新和重塑应用。