为什么专门构建的人工智能芯片可能是生成式 AI 策略的关键

尽管最近大量的关注和信息都集中在生成式人工智能及其所代表的强大而颠覆性的可能性上，但该技术值得研究和理解的一个重要方面是促进变革性最终结果所需的硬件。

如果您的公司正在训练新的机器学习模型，或者使用专有数据自定义或完善现有模型，那么您可能会对用于完成这项工作的底层技术产生浓厚的兴趣。为人工智能模型提供计算能力的芯片非常重要，因为这些小片硅片是决定你训练和运行模型的速度、廉价和可持续性的重要因素。

对生成式人工智能可能性的兴奋导致生成式人工智能应用程序及其底层模型对计算能力的需求显著增加。实际上，在广阔的市场中，现在GPU短缺，这些芯片对于训练和运行许多机器学习模型至关重要。

这种计算能力现在不仅稀缺，即使公司能够获得芯片，构建和使用生成式人工智能模型和应用程序也可能非常昂贵。这些模型依赖于数十亿或数万亿个参数，需要大量数据才能正常运行和训练，这可能使成本高得令人望而却步。随着越来越多的组织希望使用生成式人工智能工具作为其更广泛的云战略的一部分，专业硬件（特别是硅芯片组）将为构建、训练和运行为生成式人工智能应用提供动力的模型的人员提供更大的好处。

亚马逊云科技 一直在努力通过多种方式使生成式 AI 的访问民主化。它正在 推出诸如Amazon Bedrock之类的工具 ，该工具允许开发人员通过API访问基础模型。它还一直在 设计定制芯片 ， 专门用于训练机器学习模型并运行这些模型，以便它们能够得出推论。这些专门构建的芯片具有卓越的性价比，可以更快、更低的成本和更低的能源密集度来训练和运行为生成式人工智能提供动力的模型。

亚马逊云科技 与包括 NVIDIA、英特尔和 AMD 在内的主要合作伙伴合作，为机器学习和生成式 AI 应用程序提供最广泛的云端加速器。亚马逊云科技最近宣布，专为人工智能和机器学习工作负载量身定制的亚马逊弹性计算云（Amazon EC2）P5实例 将由最新的NVIDIA H100 Tensor Core GPU提供支持。 在过去的几年中，亚马逊云科技还投入了大量资金，在内部开发了以人工智能和机器学习为重点的芯片，包括 亚马逊云科技 Trainium 和亚马逊云科技 Inferentia。

研究公司Moor Insights & Strategy的创始人、首席执行官兼首席分析师帕特里克·穆尔黑德说：“我看到公共云提供商为通用计算、人工智能训练、人工智能推断、存储加速和所有级别的网络设计的定制芯片。”“定制设计的芯片如果架构和执行良好，可以为公有云客户提供更低的成本、更高的性能，在某些情况下还能提供独特的功能和上市时间，而功能消耗的功耗也会降低。”

穆尔黑德说，他认为亚马逊云科技是目前公有云提供商生产的定制芯片领域的领导者，并补充说，他 “根本不谨慎地指定这一点”。

“如果你看一下市场上亚马逊云科技公开披露的定制设计芯片，我相信亚马逊云科技目前在通用计算、人工智能、安全和网络卸载方面拥有最广泛、最深入、最差异化的能力，包括Graviton、Trainium、Inferentia和Nitro。”

亚马逊云科技 Trainium 芯片有助于降低机器学习培训成本

训练具有数千亿参数的基础生成人工智能模型可能需要几个月的时间，花费数千万美元。这就是亚马逊云科技推出亚马逊云科技 Trainium的原因，它专为加快机器学习模型的训练速度和降低高达50％的成本而设计。每个 Trainium 加速器都包含两个专为深度学习算法构建的第二代 NeuronCore。

为了帮助客户缩短培训时间从而降低培训成本，亚马逊云科技 于 2022 年 推出了基于 Trainium 的 Trn 1 实例。 这些实例支持每秒 800 千兆比特 (Gbps) 的带宽，但是随着基础模型变得越来越大、越来越复杂，它们需要更多的带宽来进行训练。2023 年 4 月， 亚马逊云科技 推出了 trn1n 实例 ，与 Trn1 实例 相比，它将网络带宽翻了一倍，达到 1600 Gbps，并将训练性能提高了 20%。

亚马逊云科技 推理芯片有助于加速生成式 AI 应用程序的部署

2018年，亚马逊云科技推出了亚马逊云科技 Inferentia，这是其第一款专门用于进行人工智能和机器学习的芯片，人工智能应用程序通过该过程实时做出预测和决策。这些芯片为 Amazon EC2 Inf1 实例提供支持，旨在为深度学习模型推理工作负载提供高性能和高成本效益。第二代 亚马逊云科技 Inferentia2 芯片的吞吐量是第一代 Inf1 芯片的四倍，延迟最多可降低 10 倍。今年早些时候， 亚马逊云科技 推出了基于 Inferentia2 的 Inf2 实例 ，在部署生成式 AI 模型时，该实例 的性价比比其他同类亚马逊 EC2 实例高出 40%。

关键在于，Inferentia 芯片在提供高性能的同时，还能完成所有这些操作，包括极高的吞吐量和低延迟。这使客户能够运行生成式 AI 应用程序并几乎立即获得推荐或生成内容，这对于任何使用生成式 AI 应用程序的人来说都很有价值。

运行生成式 AI 应用程序也非常耗能，亚马逊云科技 及其客户也越来越多地将可持续性视为重要的考虑因素。这就是为什么 亚马逊云科技 设计 Inf2 实例以提供比 Amazon EC2 中其他同类实例更好的每瓦特性能，在本例中可提高 50%。

毫无疑问，亚马逊云科技客户将使用一系列不同的芯片进行生成人工智能。但是，考虑到他们有机会使用这项技术来改变业务和客户体验，以及培训和运行必要模型的成本，Trainium和Inferentia提供的性价比令人信服。

强生公司、OctomL 认为 AI 受益于专门构建的 亚马逊云科技 芯片

医疗保健产品公司强生在各种用例中使用人工智能和机器学习算法，包括加速药物发现、提供个性化药物、优化供应链、改善临床试验结果以及简化监管合规性。出于各种原因，该公司正在探索使用亚马逊云科技定制芯片。

强生公司人工智能产品线软件工程经理赛拉姆·梅农指出，该公司的研发部门处理大量数据，包括基因组学、分子结构、临床试验结果等方面的数据。因此，该公司需要非常高效地处理这些数据集，以帮助其研究人员预测药物的功效，优化分子设计并识别潜在的候选药物。

此外，强生与其他制药公司一样，受到严格的监管要求的约束。人工智能和机器学习工具通过提取相关信息来帮助其分析监管合规数据，从而帮助公司快速识别潜在的合规问题并确保其遵守监管标准。

梅农说：“专为 AI/ML 构建的专用硬件，例如... 神经处理内核、自定义现场可编程门阵列以及诸如 Trainium 和 Inferentia 之类的特定应用集成电路加速器，可以帮助我们解锁我们在扩展工作负载时所寻求的成本效率、性能和能效。”

梅农补充说，对使用生成式人工智能大型语言模型的应用程序的需求意味着 “降低使用专业机器学习加速器的运营成本将有助于我们在相同支出下提高模型质量，并以更少的资源实现更多目标。”

梅农说，强生也专注于可持续发展，并指出，人工智能和机器学习硅片的先进节能创新，以及其他先进的建筑节能策略，使该公司能够可持续地使用人工智能并兑现其应对气候变化的承诺。

一些使用 亚马逊云科技 的自定义 AI 和 ML 芯片的公司这样做是为了帮助其客户获得生成式 AI 模型的访问权限。通过其 OctoAI 服务，OctoML 让开发人员可以访问一个包含当今可用的一些最快、最具成本效益的开源基础模型库，包括市场上最快的稳定扩散端点和650亿参数的LLaMa语言模型。

OctoML联合创始人兼机器学习副总裁杰森·奈特说：“我们实现... 优化和成本效益的很大一部分是通过在一系列硬件目标上提高模型性能。”“这一点尤其重要，因为开发人员正在应对强大的 a100 GPU 的稀缺性问题，他们正在寻找替代方案，以满足用户所需的延迟运行流行型号。”

奈特说，客户一直渴望将亚马逊云科技 Inferentia2添加到他们正在使用的芯片组合中，并了解Inferentia可以为其模型带来的性价比优势。他说：“在Inf2的基础上，我们相信我们可以解锁未来基于生成式人工智能的新开发人员和新应用程序，并接近任何开发人员都可以轻松且经济高效地在生成式人工智能模型上进行构建的时代。”

为什么在选择云提供商时，专用芯片很重要

提高计算密集型工作负载的性价比，同时提供高能效和易用性，是确保更多客户能够实现生成式 AI 技术的全部承诺的关键。

Forrester Research等研究公司的专家建议，组织应考虑云服务提供商的完整技术堆栈，因为这是公共云市场中大部分创新发生的地方，也是不同参与者的投资水平差异最大的地方。

在最近发布的《公有云开发和基础设施平台Forrester Wave，全球第 422 季度》中，Forrester 将 亚马逊云科技 评为 “当前产品” 和 “战略” 衡量领域的领导者，该报告评估了市场上十大最重要的供应商。

Forrester建议组织考虑的主要因素之一是亚马逊云科技等云提供商生产的专用芯片。硬件创新，尤其是芯片创新，越来越多地成为云提供商的差异化因素，并允许组织寻求新的用例。

了解更多

• 亚马逊云科技 芯片创新 （概述）
• 亚马逊云科技 Trainium （概 述）
• 亚马逊云科技 推论 （概述 ）
• 亚马逊云科技 硅创新日 （视频）
• 亚马逊云科技 上的生成式 AI （概述）