Amazon Batch 文档

使用Amazon Batch，您只需打包批处理作业的代码，指定其依赖关系并使用亚马逊云科技管理控制台、CLI或软件开发工具包提交批处理作业。Amazon Batch允许您指定执行参数和作业依赖关系，并促进与一系列常用批处理计算工作流引擎及语言（如Pegasus WMS、Luigi、Nextflow、Metaflow、Apache Airflow和Amazon Step Functions）的集成。Amazon Batch可以预置和扩展Amazon ECS和Spot实例，并可选择根据您的作业要求利用Fargate和FargateSpot。Amazon Batch提供默认作业队列和计算环境定义，以便您快速开始使用。    

计算资源预置和扩展 

在将Fargate或Fargate Spot与Batch配合使用时，您只需在Batch中设置一些概念（CE、作业队列和作业定义），您就将拥有完整的队列、计划程序和计算架构，而无需管理一个计算基础设施。  

对于需要EC2实例的人员而言，Amazon Batch提供托管计算环境，此类环境可根据所提交作业的容量和资源要求预置和扩展计算资源。您可以结合如下要求配置Amazon Batch托管计算环境：EC2实例类型、VPC子网配置、跨所有实例的最少/最多/所需vCPU及您愿意为Spot实例作为按需实例价格百分比支付的金额。     

此外，如果您需要针对EC2实例使用不同的配置（如更大的EBS容量或另一种操作系统）而不是Amazon Batch托管计算资源所提供的配置，您还可以在Amazon Batch非托管计算资源中预置和管理自己的计算资源。您只需预置含有Amazon ECS代理的EC2实例并运行支持的Linux和Docker版本。然后，Amazon Batch会在您预置的EC2实例上执行批处理作业。    

包含Fargate的Amazon Batch 

包含Fargate资源的Amazon Batch可让您为批处理作业提供无服务器的架构。在Fargate中，每个作业都会收到其请求的确切CPU和内存量（在允许的Fargate SKU范围内），因此不会浪费资源时间，也无需等待EC2实例启动。  

如果您目前在使用Batch，Fargate允许从EC2分离出一个额外的层。Fargate旨在将与Fargate兼容的作业提交到Batch中时，对于在EC2和Fargate上运行的工作负载，则无需维护两种不同的服务。  

亚马逊云科技提供配有托管队列的原生云计划程序，并且可以指定优先级、重试、依赖项、超时等。Batch可帮助您管理提交至Fargate的文件以及作业的生命周期。   

Fargate还帮助提供了安全优势（例如，SOX、PCI合规性），以及每个作业的计算资源之间的隔离。 

支持紧密耦合的HPC工作负载 

Amazon Batch支持多节点并行作业，这使您能够跨多个EC2实例运行单个作业。此功能允许您使用Amazon Batch轻松高效地运行工作负载，例如，大规模紧密耦合的高性能计算（HPC）应用程序或分布式GPU模型训练。Amazon Batch还支持Elastic Fabric Adapter，这是一种网络接口，可让您在亚马逊云科技上运行需要大规模节点间通信的应用程序。   

精细作业定义和简单的作业依赖关系建模  

借助Amazon Batch，您可以指定资源要求，如vCPU和内存、Amazon Identity and Access Management（IAM）角色、卷挂载点、容器属性及环境变量，以定义如何执行作业。Amazon Batch将您的作业作为在 Amazon ECS上运行的应用程序来执行。Batch还让您可以定义不同作业之间的依赖关系。例如，您的批处理作业可能分为不同的处理阶段，且各个阶段所需资源不同。有了依赖关系，您可以创建资源要求不同的作业，其中下一个作业均依赖于上一个作业。    

基于优先级的作业安排 

Amazon Batch旨在可以设置多个具有不同优先级的队列。批处理任务会一直存储在队列中，直到计算资源可用于执行任务。Amazon Batch计划程序会根据每个任务的资源要求评估已提交给队列的任务的执行时间、执行位置及执行方式。该计划程序会评估每个队列的优先级并按最优计算资源（如内存与优化型CPU）的优先级执行作业，只要这些作业依赖关系确定即可。    

GPU安排支持 

通过GPU安排，您可以指定作业所需的加速器的数量和类型，作为Amazon Batch中的作业定义输入变量。Amazon Batch将根据所需的GPU数量扩展适合您的作业实例，并根据每个作业的需要隔离加速器，因此只有合适的容器才能访问它们。   

支持工作流引擎 

Amazon Batch可与商用开源工作流引擎和语言集成（如Pegasus WMS、Luigi、Nextflow、Metaflow、Apache Airflow，和Amazon Step Functions），让您能够使用熟悉的工作流语言为批量计算管道建模。   

与EC2启动模块集成 

Amazon Batch现在支持EC2启动模板，允许您为计算资源构建定制模板，并支持Batch根据这些需求扩展实例。您可以指定EC2启动模板来添加存储卷、指定网络接口、配置权限或者使用其他功能。EC2启动模板会将启动参数捕获到一项资源中，从而减少配置Batch环境所需的步骤。     

灵活的分配策略 

Amazon Batch允许客户选择分配计算资源的方式。这些策略使客户在决定Amazon Batch应如何代表他们扩展实例时考虑到吞吐量和价格的因素。  

集成的监控和日志记录 

Amazon Batch在亚马逊云科技管理控制台中显示批处理任务的主要操作指标。您可以查看与计算容量相关的指标以及执行中、待执行和已完成的任务。您可以在亚马逊云科技管理控制台中查看您的任务日志（如STDERR和STDOUT），也可以将其写入 Amazon CloudWatch Logs。  

访问权限控制 

Amazon Batch使用IAM控制和监控您的任务可访问的亚马逊云科技资源，如Amazon DynamoDB表。您还可以通过IAM为组织中的不同用户定义策略。比如，管理员可以拥有对任何Amazon Batch API操作的完全访问权限，开发人员可以拥有与配置计算环境及注册任务相关的有限权限，而最终用户只能拥有提交和删除任务所需的权限。    

其他信息 

有关服务控制、安全特性及功能的其他信息，包括有关存储、检索、修改、限制和删除数据的信息，请参见 https://docs.amazonaws.cn/。以上链接包含的信息不构成光环新网关于亚马逊云科技（北京区域）的客户协议或西云数据关于亚马逊云科技（宁夏区域）的客户协议的“文档”的一部分，也不构成您与光环新网或西云数据之间就您使用亚马逊云科技中国区域服务达成的其他协议的任何部分。