发布于: Oct 26, 2021
Amazon EC2 Inf1 实例和 Amazon Neuron 现在支持 YOLOv5 和 ResNext 深度学习模型以及最新的开源 Hugging Face 转换器。我们还将 Neuron 编译器进行了优化，以提升性能，对于预先训练的 BERT 基础模型，您现在可以获得比基于 GPU 的实例高 12 倍的开箱即用吞吐量。这些增强功能使您能够有效地满足高性能推理需求，并以低成本部署一流的深度学习模型。
EC2 Inf1 实例由 Amazon Inferentia 提供支持，后者是一个由 Amazon 构建的自定义芯片，用于加快机器学习推理。与当前一代基于 GPU 的 Amazon EC2 实例相比，这些实例将吞吐量提高了高达 2.3 倍并且将每次推理的成本降低了高达 70%。您可以在常用机器学习框架（如 TensorFlow、PyTorch 和 MXNet）上轻松训练您的机器学习模型，并使用 Neuron SDK 将它们部署到 EC2 Inf1 实例上。Neuron 已与常用机器学习框架集成，因此，您只需最小的代码更改即可将现有模型部署到 Inf1 实例。这使您可以自由地保持硬件的可移植性，并充分利用最新技术，而无需局限于供应商特定的解决方案。
Inf1 实例已在全球 23 个亚马逊云科技区域推出，包括由光环新网运营的亚马逊云科技中国（北京）区域和由西云数据运营的亚马逊云科技中国（宁夏）区域。我们的工程投资，加上我们的规模以及久经时间考验的功能管理能力，使得我们能够实现成本节省并将它传递给客户。为了帮助您在生产中进一步扩展在 Amazon EC2 Inf1 实例上的深度学习应用，我们宣布将按需 (OD) 价格降低 38%，从 2021 年 6 月 1 日起开始生效。对于想要充分利用预留实例 (RI) 以进一步降低成本的客户，我们将会将 1 年期 RI 价格和 3 年期 RI 价格分别降低 38% 和 31%。降价对于通过容器编排服务（如 Amazon ECS 或 EKS）使用 EC2 Inf1 实例的客户来说同样有效。
Amazon EC2 Inf1 实例有 4 种大小可供选择，最高配备 16 个 Inferentia 芯片、96 个 vCPU、192GB 内存、100Gbps 联网带宽和 19Gbps 的 Elastic Block Store (EBS) 带宽。这些实例均可作为按需实例、预留实例或 Spot 实例购买。
要了解更多信息，请访问 Amazon EC2 Inf1 实例页面。