发布于: Oct 30, 2022
本文通过一个只需五个步骤的动手实践来示例如何利用 Amazon Batch 快速搭建 HPC 高性能计算集群，以帮助您快速上手运用 Amazon Batch 服务。Amazon Batch 服务近期已在 Amazon 中国区域上线运行。Amazon Batch 已在全球范围内广泛服务于基因测序、数字媒体渲染、科学研究、金融服务等高性能计算（HPC）的业务场景中。
Amazon Batch 让开发人员、科学家和工程师能够轻松高效地在 Amazon Web Services 上运行成千上万个批处理计算作业。Amazon Batch 可根据提交的批处理作业的卷和特定资源需求动态预置最佳的计算资源（如 CPU 或内存优化实例）数量和类型。借助 Amazon Batch，您无需安装和管理运行您的作业所使用的批处理计算软件或服务器集群，从而使您能够专注于分析结果和解决问题。Amazon Batch有着丰富的功能特性，支持动态计算资源预置和扩展，支持精细作业定义和权限控制，支持紧密耦合型的 HPC 工作负载，可以基于优先级来进行任务安排，具有集成的监控和日志记录。
Amazon Batch具有的优势包括：
- 全托管——Amazon Batch 可为您管理所有基础设施，从而避免了预置、管理、监控和扩展您的批处理计算作业所带来的复杂性。
- 与 Amazon Web Services 原生集成——Amazon Batch 已与 Amazon Web Services 平台原生集成，让您能够利用 Amazon Web Services 的扩展、联网和访问管理功能。这便于您轻松运行能够安全地从 Amazon Web Services 数据存储（如 Amazon S3 和 Amazon DynamoDB）中检索数据并向其写入作业的数据。
- 成本优化——Amazon Batch 可根据所提交的批处理作业的数量和资源要求预置计算资源并优化作业分配。Amazon Batch 能够将计算资源动态扩展至运行您的批处理作业所需的任何数量，从而使您不必受固定容量集群的限制。Amazon Batch 还可利用 Spot 实例进一步降低批处理作业的费用。
- 生命科学中 DNA 测序场景——生物信息学家进行基因组序列的二级分析时，利用 Amazon Batch 服务来简化并加速测序分析的处理过程，以批量处理的方式将原始 DNA 读数装配成完整基因组序列，同时减少测序分析的数据偏差。
- 数字媒体中视觉渲染处理的场景——Amazon Batch 为内容制作者和后期制作公司提供自动化内容渲染工作负载的工具，协调流程中不同步骤的执行，自动扩展渲染处理的计算核数，并减少资源调度的人工干预。Amazon Batch 还可利用 Spot 实例来降低渲染成本。
- 金融服务中交易后期分析的场景——在交易日结束后需要分析一天的交易成本、执行报告和市场表现，对诸多来源的大数据集进行批量处理。Amazon Batch 可实现此类工作负载的自动化，以便根据数据在第二天交易周期中做出更好的决策。
相关文章