发布于: Aug 4, 2017
现在,您可以配置策略,以让系统自动添加 (扩展) 和终止 (缩减) Amazon EMR 群集中的节点。Amazon EMR 能够以编程方式扩展 Apache Spark 和 Apache Hive 等应用程序,以使用额外的节点来提升性能,并能在使用率较低时减少群集中的节点数量,从而节省开支。您的群集可以根据 Amazon EMR 提供的 Amazon CloudWatch 指标 (包括 YARN 使用率指标) 进行扩展。
现在可以配置 Amazon EMR 的缩减行为。从版本 5.1.0 开始,当您群集的运行时间即将达到 Amazon EC2 账单的实例小时数时,Amazon EMR 现在将在缩减您群集的同时终止节点,不管任务是否已经完成。如果您想使用之前的默认行为,还可以对您的群集进行配置,以等到某个节点上所有正在运行的任务完成后再终止该节点,而不管是否即将达到实例小时数阈值。
您可以通过 Amazon EMR 控制台、Amazon 命令行界面 (CLI) 或 亚马逊云科技 开发工具包及 Amazon EMR API 创建或修改自动扩展策略。您可以使用 4.x 和 5.x 版 Amazon EMR 启用 Auto Scaling,并且 Amazon EMR 5.1.0 及更高版本还支持在达到小时阈值时进行缩减。有关 Auto Scaling 和缩减行为的更多信息,请访问 Amazon EMR 文档。