重温 2024 年亚马逊云科技 re:Invent 的精彩瞬间,一键查看主题演讲及创新讲座的精彩回放

 ✕

Amazon Batch 功能

使用 Amazon Batch,您只需打包批处理作业的代码,指定其依赖关系并使用 亚马逊云科技管理控制台、CLI 或软件开发工具包提交批处理作业。Amazon Batch 不仅允许指定执行参数和作业依赖关系,还可以促进与一系列常用批量计算工作流程引擎及语言(如 Pegasus WMS、Luigi 和 Amazon Step Functions)的集成。Amazon Batch 会根据您的作业要求以动态方式高效地预置和扩展 Amazon EC2 实例和 Spot 实例。Amazon Batch 提供默认作业队列和计算环境定义,以便您快速开始使用。

支持紧密耦合的 HPC 工作负载

Amazon Batch 支持多节点并行作业,这使您能够跨多个 EC2 实例运行单个作业。此功能允许您使用 Amazon Batch 轻松高效地运行工作负载,例如,大规模紧密耦合的高性能计算 (HPC) 应用程序或分布式 GPU 模型训练。Amazon Batch 还支持 Elastic Fabric Adapter,这是一种网络接口,可让您在 亚马逊云科技上运行需要大规模、高级别节点间通信的应用程序。

精细的作业定义

借助 Amazon Batch,您可以指定资源要求,如 vCPU 和内存、Amazon  Identity and Access Management (IAM) 角色、卷挂载点、容器属性及环境变量,以定义如何执行作业。Amazon Batch 将您的作业作为在 Amazon ECS 上运行的容器化应用程序来执行。

简单的作业依赖关系建模

Amazon Batch 使您可以定义不同作业之间的依赖关系。例如,您的批处理作业可能分为三个不同的处理阶段,且各个阶段所需要的资源不同。有了依赖关系,您可以创建资源要求不同的三个作业,其中下一个作业均依赖于上一个作业。

Amazon Batch 可与商用和开源工作流程引擎和语言(如 Pegasus WMS 和 Luigi)集成,让您能够使用熟悉的工作流程语言为批量计算管道建模。

动态计算资源配置和扩展

Amazon Batch 提供托管计算环境,此类环境可根据所提交作业的数量和资源要求以动态方式预置和扩展计算资源。您可以结合如下要求配置 Amazon Batch 托管计算环境:EC2 实例类型、VPC 子网配置、跨所有实例的最少/最多/所需 vCPU 数量及您愿意为 Spot 实例作为按需实例价格百分比支付的金额。
此外,如果您需要针对 EC2 实例使用不同的配置(如更大的 EBS 卷或另一种操作系统)而不是 Amazon Batch 托管计算资源所提供的配置,您还可以在 Amazon Batch 非托管计算资源中预置和管理自己的计算资源。您只需预置含有 Amazon ECS 代理的 EC2 实例并运行支持的 Linux 和 Docker 版本。然后,Amazon Batch 会在您预置的 EC2 实例上运行批处理作业。

基于优先级的作业安排

借助 Amazon Batch,您可以设置多个具有不同优先级的队列。批处理作业会一直存储在队列中,直到计算资源可用于执行作业。Amazon Batch 计划程序会根据每个作业的资源要求评估已提交给队列的作业的运行时间、运行位置及运行方式。该计划程序会评估每个队列的优先级,并按优先级顺序在最佳计算资源(例如,内存与 CPU 优化型资源)上运行作业,只要这些作业依赖关系确定即可。

集成的监控和日志记录

Amazon Batch 在 亚马逊云科技管理控制台中显示批处理作业的主要操作指标。您可以查看与计算容量相关的指标,以及正在运行、待处理和已完成的作业。您可以在 亚马逊云科技管理控制台中查看您的作业日志(如 STDERR 和 STDOUT),也可以将其写入 Amazon CloudWatch Logs。

对访问权限的精细控制

Amazon Batch 使用 IAM 来控制和监控作业可以访问的 亚马逊云科技资源,例如 Amazon DynamoDB 表。此外,您还可以通过 IAM 为组织中的不同用户定义策略。例如,管理员可以拥有对所有 Amazon Batch API 操作的完全访问权限,开发人员可以拥有与配置计算环境及注册作业相关的有限权限,而最终用户只能拥有提交和删除作业所需的权限。

了解有关 Amazon Batch 定价的更多信息

访问定价页面
准备好开始构建了吗?
开始使用 Amazon Batch
还有其他问题?
联系我们
关闭
1010 0766
由光环新网运营的
北京区域
1010 0966
由西云数据运营的
宁夏区域
关闭
由光环新网运营的
北京区域
由西云数据运营的
宁夏区域