HPC、AI 与云计算：当智能时代三叉戟在亚马逊云科技完美融合

发布于: Aug 19, 2022

希腊神话中，海神与丰收之神波塞冬手持三叉戟，为航船保驾护航，为农人带来清泉。从此之后，“三叉戟”经常用来比喻三种事物紧密结合，形成合力，比如足球世界很多球队都有经典的锋线“三叉戟”。

在企业上云与产业智能化的浪潮里，也有前沿技术趋势上的“三叉戟”组合——业务与组织上云正在成为绝大多数企业的数字化发展选择；算力逐渐成为企业的战略性资源，而云端近乎无限的集群算力，使越来越多的行业与场景创新可以依赖云端高性能计算来完成；AI 正在改变千行百业的生产方式，成为科研与产业探索的先驱力量，机器学习和深度学习也带来了人工智能专项算力需求的爆发。

而在很多人的印象中，HPC 高性能计算、AI、云服务的“三叉戟”还处在各自独立、并行发展的阶段，尤其在云端实现高性能计算似乎还过于前卫。

但从产业效率的逻辑上看，在云端实现可以高质量、高效率的 AI 训练与部署的高性能计算，其实是产业集约化与社会低成本创新的大势所趋。只有把这三项技术完美融合到一起，才能铸成智能时代所需的数字化“三叉戟”。如何熔炼这把时代”三叉戟”，亚马逊云科技已经有了一些答案。

走向云端：

高性能计算的产业趋势与挑战

云计算与高性能计算的关系，真的只能格格不入吗？答案可能并非如此。

根据 Hyperion Research 市场调研的数据来看，到 2022 年底将会有 18.8% 的 HPC 在云端运行，而这个数据在 2021 年是 12.3%，虽然大多数 HPC 任务依旧依赖于超算中心和本地硬件，但在云端获取高性能计算，可以说是产业发展的大势所趋。在云端获取高性能计算，在目前阶段客户会担心遇到一些挑战。比如说：管理挑战，大规模计算集群难以创建和管理，是否能够有快捷的部署方式和高效便捷的管理手段；能效挑战，或者说是对云上高性能计算的性价比考虑，如何在云端发挥 HPC 的最大能效是很多用户担心的话题；安全挑战，云端的数据安全如何交付给用户一个放心的环境，是我们目前面临的一个安全挑战。

但从高性能计算行业发展趋势上看，这些问题都是可以在实践中被逐个解决的。从基础的计算逻辑上看，云端获取高性能计算更加经济实惠，并且用户可以弹性获取异构计算资源，真正实现计算与任务的适配。从单个节点性能上看，云端的计算资源性能更好；而在计算集群场景下，云端可以让用户获得线性增长的计算性能，避免算力浪费。

所以，在云端实现高性能计算并不是不可能，反而因为云端海量扩展的算力，不断增强的单节点的计算性能，方便高效的算力管理手段，以及云原生的系统及数据的安全保障，使得众多行业的高性能计算可以得以在云端运行。

在如何实现云端获取可靠 HPC 的探索中，亚马逊云科技已经实现了行业领军级的探索。

技术融合与产业平衡：

亚马逊云科技的高性能计算探索

在目前阶段，亚马逊云科技已经可以提供高度可定制的 HPC 计算平台，为用户带来多样化的异构计算资源以及定制化的计算实例。尤其值得注意的是，以软件生态丰富著称的亚马逊云科技在 HPC 领域同样提供了大量可用、低成本的软件，帮助用户解决管理与调度等领域的问题。

总体而言，亚马逊云科技的 HPC 探索呈现出两大核心差异：芯片、云、存储、软件、AI 等领域的技术经验的高度融合，以及面向行业需求与用户痛点，改善了大量高度产业指向的软硬件生态。

►在高性能计算客户关心的计算、网络、存储以及应用软件生态适配上，亚马逊云科技都为客户提供了成熟的 HPC 相关服务保障。

►在算力层，亚马逊云科技提供包括 CPU,GPU,ARM 在内的多样化异构计算支持，以及定制化的弹性计算实例，满足用户在 AI 等 HPC 高发任务中的计算资源需求。

►在存储层，集群化算力需求会导致对存储的海量高并发访问，这就使存储的性能变得十分关键。亚马逊云科技提供了面向高性能计算场景的存储支撑，并且可以在云端实现多级的文件存储策略，帮助用户实现根据计算需求来弹性规划存储使用，进而实现降低云端 HPC 的存储成本，提升数据调用、管理效率。

►在云端的网络里，亚马逊云科技可以为客户提供超级计算应用程序所需的持续低延迟，高带宽的网络环境，用户可以采用亚马逊云科技推出的高达100Gbps 带宽吞吐，支持 MPI 的 EFA(Elastic Fabric Adapter) 网卡，推出了低延迟，降低网络抖动的 SRD(Scalable Reliable Datagram) 协议，加速节点之间的通信。

►在软件层，亚马逊云科技面向迁移、调度，包括可视化等等 HPC 场景需求，提供了丰富且低成本的软件工具。比如使用亚马逊云科技 ParallelCluster 可以实现快速构建 HPC 计算环境，简化 HPC 集群的部署和管理。亚马逊云科技 Step Functions 是一项低代码、可视化的工作流服务，可以帮助开发人员构建分布式应用程序、自动化 IT 和业务流程并构建数据和机器学习管道，从而降低综合开发成本。这对于 AI 等领域的高性能计算任务来说非常重要。丰富、专业且低门槛的软件生态，让亚马逊云科技可以帮助高性能计算用户节约掉巨大的软件定制开发成本，实现产业级的高性能计算应用。

基于亚马逊云科技多样化的高性能计算探索，在云端获取集群化的澎湃算力已经成为可能。而这样一种可能带来的直接影响，就是为大规模的 AI 应用潮奠定基础。

智能晨曦：

AI 大航海带来的计算浪潮

随着预训练大模型与 AI 科学计算开始成为行业主流，AI 训练与部署所需的算力开始激增，尤其是 AI 任务对高性能计算的依赖逐渐被放大。或许可以说，产业智能化的晨曦逐渐绽放，必须建立在 HPC 的坚实算力基座上。

新药研发、科研研究、地质勘探等结构复杂、数据量庞大的 AI 任务开始增多，对 HPC 提出了一系列全新的需求。比如计算集群化的要求不断提升，对异构计算的能力要求更加严苛、对数据吞吐量与吞吐效率得要求不断加强等等。而在这样的“ AI 大航海”时代，如果企业和科研机构依旧广泛采用搭建硬件计算池的方向来实现 HPC，那么显然产业效率很低，综合成本浪费巨大，而物理集群从硬件采购，到安装、部署等都需要较长的时间。对于时效性要求极高的高性能计算任务来说，显然无法满足其需求。

面对机器学习、深度学习以及其他 AI 任务带来的算力需求，亚马逊云科技在云端不仅提供了搭载企业级 GPU 的计算资源，同时针对机器学习和深度学习的工作特点，自主研发了相对应的芯片，并且通过云服务的形式交付给客户使用。目前阶段，亚马逊云科技可以为客户的机器学习与深度学习任务提供搭载了4000 张 NVIDIA A100 GPU 的超大规模计算集群，提供 400 Gbps 非阻塞联网基础设施，以及通过 FSx for Lustre 实现的高吞吐能力、低延迟存储。而这样规模的计算集群，在物理超算中心中其实是很难实现的。在 AI 大航海时代，从云端获取针对机器学习、深度学习的高性能算力显然是最合理的方案。

面向智能时代必然高速涌起的 HPC 需求，亚马逊云科技通过产业知识与服务经验的积累，最终将 AI, HPC, 云计算，三项明星技术融合成了一把“三叉戟”。这把“三叉戟”还将持续进化，帮助用户在智能化浪潮中出海远航，在数字化田野中收获价值。

在今年 6 月初的全球 ISC2022 大会上，亚马逊云科技推出了一系列针对高性能计算的云服务，有专门针对 HPC 工作负载的计算实例 HPC6a。经过优化，可高效运行计算密集型、高性能计算工作负载，如计算流体动力学、油藏建模、天气模拟，以及有限元分析等。相对于与之相当的 Amazon EC2 基于 x86 的计算优化型实例，Hpc6a 实例所提供的性价比最多更高出 65%。使用 Hpc6a 实例，您可以大幅降低 HPC 工作负载的成本，同时利用亚马逊云科技的弹性和可扩展性。在GPU实例上，新型实例 Amazon EC2 P4de 推出预览版，这款实例可提供机器学习（ML）训练和高性能计算（HPC）应用程序所需的极佳性能，例如对象检测、语义分割、自然语言处理、地震分析和计算流体动力学等。而亚马逊云科技一直以来致力于发展的基于 ARM 的芯片 Graviton 系列，也在今年发布了第三代 Graviton 处理器系列的最新产品 Graviton3 。与 Amazon Graviton2 处理器相比，它们的计算性能提高了 25%，浮点性能提高了 2 倍，加密工作负载性能提高了 2 倍。