使用新的大型工作人员类型 G.4X 和 G.8X 扩展适用于 Apache Spark 的 亚马逊云科技 Glue 任务

成千上万的客户使用无服务器数据集成服务 亚马逊云科技 G lue 来发现、准备和组合数据，用于分析、机器学习 (ML) 和应用程序开发。适用于 Apache Spark 的 Aws Glue 任务使用您的代码和数据处理单元 (DPU) 数量的配置。每个 DPU 提供 4 个 vCPU、16 GB 内存和 64 GB 磁盘。亚马逊云科技 Glue 管理 Spark 的运行并调整员工以实现最佳性价比。对于数据转换、联接和查询等工作负载，您可以使用 G.1X (1 DPU) 和 G.2X (2 DPU) 工作线程，这为运行大多数作业提供了一种可扩展且经济实惠的方式。随着数据源和数据湖呈指数级增长，客户希望运行更多的数据集成工作负载，包括最苛刻的转换、聚合、联接和查询。这些工作负载需要每个工作人员更高的计算、内存和存储空间。

今天，我们很高兴地宣布，亚马逊云科技 Glue G.4X (4 DPU) 和 G.8X (8 DPU) 工作线程已正式上线，这是下一系列 亚马逊云科技 Glue 工作程序，用于最苛刻的数据集成工作负载。G.4X 和 G.8X 工作线程提供更高的计算、内存和存储空间，使您能够垂直扩展和运行密集型数据集成作业，例如内存密集型数据转换、倾斜聚合和涉及千兆字节数据的实体检测检查。较大的工作人员类型不仅有益于 Spark 执行者，而且在 Spark 驱动程序需要更大容量的情况下也会受益，例如，因为作业查询计划非常大。

这篇文章演示了 亚马逊云科技 Glue G.4X 和 G.8X 工作人员如何帮助你扩展 Apache Spark 的 Aws Glue 任务。

G.4X 和 G.8X 工作人员

亚马逊云科技 Glue G.4X 和 G.8X 工作人员为您提供更多的计算、内存和存储空间，以运行最苛刻的任务。G.4X 工作人员提供 4 个 DPU，每个节点有 16 个 vCPU、64 GB 内存和 256 GB 磁盘。G.8X 工作人员提供 8 个 DPU，每个节点有 32 个 vCPU、128 GB 内存和 512 GB 磁盘。您可以在 API、AW S 命令行接口 (亚马逊云科技 CLI) 中或在 亚马逊云科技 Glue Studio 中直观地更改单个参数，让 G.4X 和 G.8X 工作人员获得支持。无论使用哪种工作人员，所有 亚马逊云科技 Glue 任务都具有相同的功能，包括通过笔记本进行自动扩展和交互式任务创作。G.4X 和 G.8X 员工可使用 亚马逊云科技 Glue 3.0 和 4.0。

下表显示了 亚马逊云科技 Glue 3.0 或更高版本中每种工作程序类型的计算、内存、磁盘和 Spark 配置。

要在 亚马逊云科技 Glue 任务中使用 G.4X 和 G.8X 工作人员，请将工作人员类型参数的设置更改为 G.4X 或 G.8X。在 亚马逊云科技 Glue Studio 中，您可以在 “ 工作人员 类型” 下选择 G 4X 或 G 8X 。

在 亚马逊云科技 API 或 亚马逊云科技 开发工具包中，您可以在 WorkerType 参数中指定 G.4X 或 G.8X。 在 AWS CLI 中，您可以在创建任务命令中使用 --worker- ty pe 参数。

要在 AWS Glue Studio 笔记本或互动会话中使用 G.4X 和 G.8X，请在 %worker_type 魔法中设置 G.4X 或 G.8X：

使用 TPC-DS 基准测试的性能特征

在本节中，我们使用 TPC-DS 基准测试来展示新 G.4X 和 G.8X 工作人员类型的性能特征。我们使用了 亚马逊云科技 Glue 4.0 版任务。

在员工人数相同的情况下，G.2X、G.4X 和 G.8X 的结果

与 G.2X 工作人员类型相比，G.4X 工作线程拥有 2 倍的 DPU，G.8X 工作线程拥有 4 倍的 DPU。我们针对 3 TB 的 TPC-DS 数据集运行了 100 多次 TPC-DS 查询，这些数据集的工作人员数量相同，但工作人员类型不同。下表显示了基准测试的结果。

当使用相同数量的员工运行作业时，新的 G.4X 和 G.8x 工作人员实现了大致线性的垂直可扩展性。

使用相同数量的 DPU 时 G.2X、G.4X 和 G.8X 的结果

我们针对 10 TB 的 TPC-DS 数据集运行了 100 多次 TPC-DS 查询，这些数据集的 DPU 数量相同，但工作人员类型不同。下表显示了实验结果。

当在总数相同的 DPU 上运行作业时，新的工作人员类型的工作性能基本保持不变。

示例：内存密集型转换

数据转换是将数据预处理和结构化为最佳形式的重要步骤。在某些转换中，例如聚合、联接、使用用户定义函数 (UDF) 的自定义逻辑等，会消耗更大的内存占用。新的 G.4X 和 G.8X 工作线程使您能够大规模运行更大规模的内存密集型转换。

以下示例从 亚马逊简单存储服务 (Amazon S3) 的输入位置读取以 GZIP 压缩的大型 JSON 文件，执行 g roupBy ， 使用 Pandas UDF 根据 K 均值聚类 计算群组，然后显示结果。请注意，这种基于 UDF 的 K-means 仅用于说明目的；建议将 原生 K 均值聚类 用于生产目的。

有 G.2X 工作人员

当 亚马逊云科技 Glue 任务在 12 个 G.2X 工作线程（24 个 DPU）上运行时，由于设备上没有剩余空间错误，它失败了。在 Spark 用户界面上，失败 阶段 的 “阶段 ” 选项卡显示，由于该错误，亚马逊云科技 Glue 任务中有多个失败的任务。

“ 执行器 ” 选项卡显示每个执行者的失败任务。

通常，G.2X 工作人员可以很好地处理内存密集型工作负载。这次，我们使用了一个特殊的 Pandas UDF，它消耗了大量内存，并且由于大量的洗牌写入而导致了故障。

有 G.8X 工作人员

当 亚马逊云科技 Glue 任务在 3 个 G.8X 工作线程（24 个 DPU）上运行时，它会成功运行而不会出现任何故障，如 Spark 用户界面的 “任务” 选项卡所示。

“ 执行者 ” 选项卡还说明没有失败的任务。

从这个结果中，我们观察到 G.8X 工作人员处理了相同的工作负载，没有出现故障。

结论

在这篇文章中，我们演示了 亚马逊云科技 Glue G.4X 和 G.8X 工作人员如何帮助你垂直扩展适用于 Apache Spark 的 亚马逊云科技 Glue 任务。G.4X 和 G.8X 工作人员目前可在美国东部（俄亥俄）、美国东部（弗吉尼亚北部）、美国西部（俄勒冈）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（东京）、加拿大（中部）、欧洲（法兰克福）、欧洲（爱尔兰）和欧洲（斯德哥尔摩）工作。从今天起，您可以开始使用新的 G.4X 和 G.8X 工作人员类型来扩展工作量。要开始使用 亚马逊云科技 Glue，请访问 亚马逊云科技 Glu e 。

作者简介

关山 则隆 是 亚马逊云科技 Glue 团队的首席大数据架构师。他在日本东京工作。他负责构建软件工件以帮助客户。在业余时间，他喜欢骑公路自行车骑自行车。

田中智宏 是 A WS Support 团队的高级云支持工程师。他热衷于帮助客户使用 ETL 工作负载构建数据湖。在空闲时间，他喜欢和同事一起喝咖啡，也喜欢在家煮咖啡。

刘楚涵 是 亚马逊云科技 Glue 团队的软件开发工程师。他热衷于为大数据处理、分析和管理构建可扩展的分布式系统。在业余时间，他喜欢打网球。

Matt Su 是 亚马逊云科技 Glue 团队的高级产品经理。他喜欢通过 亚马逊云科技 Analytic 服务使用他们的数据帮助客户发现见解并做出更好的决策。在业余时间，他喜欢滑雪和园艺。