重温 2024 年亚马逊云科技 re:Invent 的精彩瞬间,一键查看主题演讲及创新讲座的精彩回放

 ✕

Amazon EC2 G5 实例

基于 GPU 的高性能实例,适用于图形密集型应用程序和机器学习推理

Amazon EC2 G5 实例是最新一代基于 NVIDIA GPU 的实例,可用于各种图形密集型和机器学习应用场景。与 Amazon EC2 G4dn 实例相比,新的实例可将图形密集型应用程序和机器学习推理的性能提高多达 3 倍,机器学习训练的性能提高多达 3.3 倍。

客户可以将 G5 实例用于远程工作站、视频渲染和游戏等图形密集型应用程序,以实时生成高保真图形。借助 G5 实例,机器学习客户可以获得高性能和高性价比的基础设施,从而为自然语言处理、计算机视觉和推荐引擎应用场景训练并部署更大、更复杂的模型。

G5 实例配备多达 8 个 NVIDIA A10G Tensor Core GPU 和第二代 AMD EPYC 处理器。还支持多达 192 个 vCPU、高达 100 Gbps 的网络带宽和高达 7.6 TB 的本地 NVMe SSD 存储。

优势

为图形密集型应用程序提供高性能

与 G4dn 实例相比,G5 实例的图形性能最高可提高 3 倍,性价比最高可提高 40%。G5 实例拥有比任何其他基于 GPU 的 EC2 实例更多的光线跟踪内核,每个 GPU 具有 24 GB 的内存,并支持 NVIDIA RTX 技术。因此,这些实例非常适合更快地渲染逼真场景、运行强大的虚拟工作站以及以更高的保真度支持图形量大的应用程序。

机器学习推理的高性能和成本效益

与 G4dn 实例相比,G5 实例在机器学习推理方面的性能提高了 3 倍,性价比提高了 40%。对于想要使用诸如 TensorRT、CUDA 和 cuDNN 之类的 NVIDIA 库来运行机器学习应用程序的客户来说,G5 实例是一种高性能且高性价比的解决方案。

对中等复杂的机器学习模型进行高性价比的训练

与 Amazon EC2 P3 实例相比,G5 实例的训练成本最多可降低 15%。与 G4dn 实例相比,G5 实例可将机器学习训练的性能提高 3.3 倍。因此,这些实例成为一种高性价比的解决方案,用于为自然语言处理、计算机视觉和推荐引擎应用场景训练中等复杂的单节点机器学习模型。

最大限度地提高资源效率

G5 实例基于 Amazon Nitro System 构建,该系统是专用硬件和轻量虚拟机管理程序的组合,几乎可以将主机硬件的所有计算和内存资源提供给您的实例,以提高整体性能和安全性。对于 G5 实例,Nitro 系统以直通模式预置 GPU,提供与裸机相当的性能。

功能

NVIDIA A10G Tensor Core GPU

G5 实例是云中首款采用 NVIDIA A10G Tensor Core GPU 的实例,可为图形密集型和机器学习应用程序提供高性能。每个实例最多配备 8 个 A10G Tensor Core GPU,每个 GPU 配备 80 个光线跟踪内核和 24 GB 内存。还提供 320 个第三代 NVIDIA Tensor Core,可提供高达 250 TOPS,从而为机器学习工作负载带来高性能。

NVIDIA 驱动程序

G5 实例免费向客户提供 NVIDIA RTX Enterprise 和游戏驱动程序。NVIDIA RTX Enterprise 驱动程序可用于为各种图形密集型工作负载提供高质量的虚拟工作站。NVIDIA 游戏驱动程序为游戏开发提供无与伦比的图形和计算支持。G5 实例还支持 CUDA、cuDNN、NVENC、TensorRT、cuBLAS、OpenCL、DirectX 11/12、Vulkan 1.1 和 OpenGL 4.5 库。

高性能网络和存储

G5 实例具有高达 100 Gbps 的网络吞吐量,使其能够支持机器学习推理和图形密集型应用程序的低延迟需求。每个 GPU 具有 24 GB 内存,支持高达 7.6 TB 的本地 NVMe SSD 存储,支持本地存储大型模型和数据集,用于高性能机器学习训练和推理。G5 实例还可以在本地存储大型视频文件,从而提高图形性能并能够渲染更大、更复杂的视频文件。

基于 Amazon Nitro System 构建

G5 实例基于 Amazon Nitro System 构建,该系统是一组丰富的构建块,可将许多传统虚拟化功能转移到专用硬件和软件上,从而提供高性能、高可用性和高安全性,同时减少虚拟化开销。

产品详细信息

  实例大小 GPU GPU 内存(GiB) vCPU 内存(GiB) 存储(GB) 网络带宽(Gbps) EBS 带宽(Gbps)
单 GPU 虚拟机 g5.xlarge 1 24 4 16 1x250 最多 10 个 最多 3.5 个
g5.2xlarge 1 24 8 32 1x450 最多 10 个 最多 3.5 个
g5.4xlarge 1 24 16 64 1x600 最多 25 个 8
g5.8xlarge 1 24 32 128 1x900 25 16
g5.16xlarge 1 24 64 256 1x1900 25 16
                 
多 GPU 虚拟机 g5.12xlarge 4 96 48 192 1x3800 40 16
g5.24xlarge 4 96 96 384 1x3800 50 19
g5.48xlarge 8 192 192 768 2x3800 100 19
关闭
1010 0766
由光环新网运营的
北京区域
1010 0966
由西云数据运营的
宁夏区域
关闭
由光环新网运营的
北京区域
由西云数据运营的
宁夏区域