借助 Amazon Glue,您可以对抓取程序(发现数据)和 ETL 作业(处理和加载数据)按小时付费(不足一小时按秒计费)。对于 Amazon Glue 数据目录,您需要支付月度费用,以便存储和访问元数据。如果您预置开发端点以交互方式开发 ETL 代码,那么您需要按小时付费(不足一小时按秒计费)。
-
ETL 作业和交互式会话
-
数据目录存储和请求
-
抓取程序
-
DataBrew 交互式会话
-
DataBrew 作业
-
ETL 作业和交互式会话
-
借助 Amazon Glue,您只需为 ETL 作业运行所需的时间付费。无需管理资源,无需前期投资,同时不收取启动或关闭时间的费用。我们根据用于运行 ETL 作业的数据处理单元 (DPU) 的数量按小时向您付费。一个数据处理单元 (DPU) 提供 4 个 vCPU 和 16GB 的
内存。 我们以 1 秒为增量对作业和开发端点计费,四舍五入到最接近的秒数。Amazon Glue 作业有三种类型:Apache Spark、Spark Streaming 和 Python Shell。
Apache Spark 和 Spark Streaming 作业运行至少需要 2 个 DPU。默认情况下,Amazon Glue 为每个 Apache Spark 作业分配 10 个 DPU,为每个串流作业分配 2 个 DPU。使用 Amazon Glue 版本 0.9 或 1.0 的作业的最短计费时长为 10 分钟,而使用 Glue 2.0 及更高版本的作业的最短计费时长为 1 分钟。
对于 Python Shell 作业, 您可以分配 1 个 DPU 或 0.0625 DPU。默认情况下,Amazon Glue 为每个 Python Shell 作业分配 0.0625 个 DPU。这些作业的最短计费时长为 1 分钟。
交互式会话是可选的,并且仅在将它们用于交互式 ETL 代码开发时才计费。我们根据会话的活跃时间和 DPU 的数量对交互式会话收费。交互式会话具有可配置的空闲超时。Amazon Glue 交互式会话需要至少 2 个 DPU,默认值为 5 个 DPU。每个预置的交互式会话的最短计费时长为 1 分钟。Amazon Glue Studio 作业笔记本为交互式会话提供了内置界面。我们不会为作业笔记本付费,但会为它们使用的交互式会话付费。
开发端点是可选的,并且仅在将它们用于交互式 ETL 代码开发时才计费。我们根据端点的预置时间和 DPU 的数量对开发端点收费。开发端点不会超时。开发端点需要至少 2 个 DPU,默认值为 5 个 DPU。每个预置的开发端点的最短计费时长为 10 分钟。
借助 Amazon Glue Studio 数据预览,您可以在作业创作过程中测试自己的转换。每个 Amazon Glue Studio 数据预览会话使用 2 个 DPU,运行时长 30 分钟,并自动停止。
定价
- 每个 Apache Spark 或 Spark Streaming 作业 ¥3.021/DPU-小时,按秒计费,最短持续时间为 1 分钟(Glue 版本 2.0 及更高版本),或者最短持续时间为 10 分钟(Glue 版本 0.9/1.0)
- 每个 Python Shell 作业 ¥3.021/DPU-小时,按秒计费,最短持续时间为 1 分钟
- 每个预置的开发端点 ¥3.021/DPU-小时,按秒计费,最短持续时间为 10 分钟
- 每个交互式会话 ¥3.021/DPU-小时,按秒计费,最短持续时间为 1 分钟。
- 每个 Amazon Glue Studio 数据预览会话 ¥3.021/DPU-小时,,以 30 分钟为单位计费,并作为开发端点开具发票
额外费用
如果 ETL 数据来自 Amazon S3、Amazon RDS 或 Amazon Redshift 等数据源,您需要按标准请求和数据传输费率付费。如果您使用的是 Amazon CloudWatch,您需要按 CloudWatch 日志和 CloudWatch 事件的标准费率付费。
定价示例
ETL 作业示例:假设一个 Amazon Glue Apache Spark 作业运行了 15 分钟并使用了 6 个 DPU。1 DPU-小时的价格为 ¥3.021。由于作业运行了四分之一小时,并且使用了 6 个 DPU,我们将向您收取 6 个 DPU * 1/4 小时 * ¥3.021 的费用,即 ¥4.532。
Amazon Glue Studio 作业笔记本和交互式会话示例:假设您在 Amazon Glue Studio 中使用笔记本以交互方式开发 ETL 代码。默认情况下,交互式会话有 5 个 DPU。如果您让该会话运行 24 分钟(也就是 2/5 个小时),则我们将按每个 DPU 小时向您收取 5 个 DPU * 2/5 小时 * ¥3.021 的费用,也就是 ¥6.042。
ML 转换示例:与 Amazon Glue 作业运行类似,运行 ML 转换(包括对数据进行 FindMatches)的成本将因数据大小、数据内容以及所用节点的数量和类型而异。在以下示例中,我们使用 FindMatches 集成来自多个数据源的兴趣点信息。如果数据集大小约为 11,000,000 行 (1.6 GB),标签数据(真实匹配或真正不匹配示例)的大小约为 8,000 行 (641kb),在类型为 G.2x 的 16 个实例上运行,则标签集生成运行时间为 34 分钟,成本为 ¥54.781;指标估计运行时间为 11 分钟,成本为 ¥17.723;FindMatches 作业执行运行时间为 32 分钟,成本为 ¥51.558。
-
数据目录存储和请求
-
借助 Amazon Glue 数据目录,您每月将为每 100000 个对象支付 ¥6.866。Amazon Glue 数据目录中的对象是表、表版本、分区或数据库。
每百万个请求将收取 ¥6.866。某些常见请求为 CreateTable、CreatePartition、GetTable 和 GetPartitions。有关 Amazon Glue 数据目录所支持请求的完整列表,请参阅我们的文档。
定价
存储:
- 每个月每 100000 个对象 ¥6.866
请求:- 每个月每百万个请求 ¥6.866
-
抓取程序
-
Amazon Glue 抓取程序运行时,用于发现数据并填充 Amazon Glue 数据目录,按小时收费。您需要根据用于运行抓取程序的数据处理单元 (DPU) 的数量按小时付费。一个数据处理单元 (DPU) 提供 4 个 vCPU 和 16GB 的内存。以 1 秒为增量计费,四舍五入到最接近的秒数,每个抓取程序的最短持续时间为 10 分钟。可以选择使用 Amazon Glue 抓取程序,您可以直接通过 API 填充 Amazon Glue 数据目录。
定价
- 每 DPU 小时 ¥3.021(不足一小时按秒计费),每个抓取程序至少运行 10 分钟
-
DataBrew 交互式会话
-
当您打开一个 Amazon Glue DataBrew 项目时,会启动会话。您需要按使用的会话总数计费。每个会话的时间为 30 分钟。由光环新网运营的中国(北京)区域和西云数据运营的中国(宁夏)区域中第一次使用 DataBrew 的用户可免费体验前 40 场交互式会话。使用 DataBrew API 操作时,您需要按同样的费率付费。
定价
- 每个 DataBrew 会话 ¥ 6.53
定价示例
Amazon Glue DataBrew 示例:每 30 分钟交互式会话的价格为 ¥ 6.53。如果您将 2 个会话用于一个 Amazon Glue DataBrew 项目,则将向您收取 2 次交互式会话 * ¥ 6.53/每次会话的费用,或 ¥13.06。
如果 Amazon Glue DataBrew 作业运行 10 分钟并使用 12 个 DataBrew 节点,则 1 节点小时的价格为 ¥ 3.1344。由于您的作业运行了 1/6 个小时并使用了 12 个节点,将向你收取 ¥ 6.2688 的费用,计算公式为 12 个节点 * 1/6 小时 * 每节点小时 ¥ 3.1344。
-
DataBrew 作业
-
使用 Amazon Glue DataBrew,您只需为运行作业时用于清理和规范化数据的时间付费。您需要根据用于运行作业的 DataBrew 节点数量按小时费率付费。默认情况下,DataBrew 为每个作业分配 10 个节点。DataBrew 作业的计费持续时间为 1 分钟。
单个 Amazon Glue DataBrew 节点提供 4 vCPU 和 16GB 的内存。无需管理资源,也无需前期投资,并且不收取启动或关闭时间的费用。
定价
- 每个 DataBrew 节点小时价格为 ¥ 3.1344,按分钟计费
额外费用
如果您的 Amazon Glue DataBrew 作业使用了其他 Amazon 服务或传输了数据,则可能会产生额外费用。例如,如果您的 DataBrew 作业从 Amazon S3 读取并向其写入数据,您就需要为读写请求和 Amazon S3 中存储的数据而支付费用。有关 Amazon 服务定价的详情,请参阅相关 Amazon 服务详情页面的定价部分。
定价示例
Amazon Glue DataBrew 示例:每 30 分钟交互式会话的价格为 ¥ 6.53。如果您将 2 个会话用于一个 Amazon Glue DataBrew 项目,则将向您收取 2 次交互式会话 * ¥ 6.53/每次会话的费用,或 ¥13.06。
如果 Amazon Glue DataBrew 作业运行 10 分钟并使用 12 个 DataBrew 节点,则 1 节点小时的价格为 ¥ 3.1344。由于您的作业运行了 1/6 个小时并使用了 12 个节点,将向你收取 ¥ 6.2688 的费用,计算公式为 12 个节点 * 1/6 小时 * 每节点小时 ¥ 3.1344