借助适用于 Apache Flink 的亚马逊托管服务,您可以使用 Apache Flink(一种用于处理数据流的开源框架和引擎)实时转换和分析流数据。适用于 Apache Flink 的亚马逊托管服务简化了 Apache Flink 工作负载的构建和管理,并使您能够更轻松地将应用程序与其他亚马逊云科技服务集成。
使用适用于 Apache Flink 的亚马逊托管服务,您只需按实际使用量付费。无需预置资源,且无预付款。您需要根据用于运行应用程序的 Kinesis 处理单元(KPU)的数量,按小时支付费用。单个 KPU 包括 1 个 vCPU 计算和 4GB 内存。
适用于 Apache Flink 的亚马逊托管服务串流应用程序定价
对于 Apache Flink 应用程序,需要为每个应用程序收取编排所用的额外 KPU 的费用。应用程序还需要为运行存储空间和持久备份付费。运行应用程序存储用于适用于 Apache Flink 的亚马逊托管服务中的有状态处理功能,并按每月每 GB 收费。持久备份是可选项,可为应用程序提供时间点恢复,并按照每月每 GB 收费。
在串流模式下,适用于 Apache Flink 的亚马逊托管服务会随着内存和计算需求的波动而自动调整流处理应用程序所需的 KPU 数量。您可以选择使用所需的 KPU 数量来预置应用程序。
适用于 Apache Flink Studio 的亚马逊托管服务定价
在交互模式下,每个 Studio 应用程序需额外支付两个 KPU 的费用。一个 KPU 用于 Apache Flink 应用程序编排,另一个用于无服务器交互式开发环境。还需要为用于有状态处理功能的运行应用程序存储付费。运行应用程序存储按每月每 GB 收费。
在 Studio 笔记本中进行开发时,无法选择创建持久应用程序备份。但是,在 Studio 笔记本中将应用程序从交互模式部署到串流模式时,可以创建持久应用程序备份。
有关 KPU 使用的一般性指导
我们建议您使用生产负载测试应用程序,以准确估算应用程序需要的 KPU 数量。KPU 使用量根据数据量和速度、代码复杂度、集成等可能有很大差异,在适用于 Apache Flink 的亚马逊托管服务中使用 Apache Flink 运行时系统时尤其如此。例如,通过内部测试,我们观察到没有状态的简单应用程序每个 KPU 每秒有数百 MB 吞吐量;而使用密集机器学习(ML)算法的复杂应用程序每秒吞吐量不足 1MB。考虑到这些情况,在测试应用程序之前,我们提供的一般性指导是每个 KPU 每秒 1MB。
中国(宁夏)区域:
Kinesis 处理单元(每小时) | 每小时 ¥0.777 |
运行应用程序存储(每 GB/月)(每个 KPU 分配 50 GB 的运行应用程序存储) | 每月每 GB ¥0.664 |
持久应用程序存储(每 GB/月) | 每月每 GB ¥0.176 |
适用于 Studio 笔记本的 Kinesis 处理单元(每小时) | 每小时 ¥0.777 |
运行应用程序存储(每 GB/月)(Studio 笔记本) | 每月每 GB ¥0.664 |
中国(北京)区域:
Kinesis 处理单元(每小时) | 每小时 ¥1.161 |
运行应用程序存储(每 GB/月)(每个 KPU 分配 50 GB 的运行应用程序存储) | 每月每 GB ¥0.746 |
持久应用程序存储(每 GB/月) | 每月每 GB ¥0.195 |
适用于 Studio 笔记本的 Kinesis 处理单元(每小时) | 每小时 ¥1.161 |
运行应用程序存储(每 GB/月)(Studio 笔记本) | 每月每 GB ¥0.746 |
定价示例
定价示例 1:带有简单流筛选器的 Studio 笔记本
客户使用适用于 Apache Flink 的亚马逊托管服务中的 Apache Flink 应用程序读取其 Amazon MSK 集群中的 Apache Kafka 主题捕获的流数据。客户应用持续筛选器以仅保留感兴趣的记录。客户每天创建一个持久应用程序备份并将这些备份保留七天。适用于 Apache Flink 的亚马逊托管服务的月度费用将按以下方式计算:
中国(宁夏)区域用于流处理应用程序的价格为每 KPU 每小时 ¥0.777。这个简单的应用程序使用 1 KPU 来处理传入的数据流。对于 Apache Flink 应用程序,每个应用程收取一个额外的 KPU 费用。
30 天/月 * 24 小时/天 = 720 小时/月
月度 KPU 费用 = 720 小时/月 *([1 KPU + 1 个额外 KPU] * ¥0.777/小时)= ¥1118.88
Apache Flink 应用程序每 KPU 使用 50GB 运行应用程序存储,在中国(宁夏)区域每 GB 每月收费 ¥0.664。
月度运行应用程序存储费用 = 720 小时/月 * 1 KPU * 50GB/KPU * ¥0.664/GB/月 = ¥33.20
对于持久应用程序备份,Apache Flink 应用程序在中国(宁夏)区域每月每 GB 收费 ¥0.176。此应用程序的每个备份为 1MB,客户保留最新的 7 个备份,每天创建一个新备份并删除一个旧备份。
月度持久应用程序存储费用 = 7 个备份 * (1MB/备份 * 1GB/1000MB) * ¥0.176/GB/月 = ¥0.001(四舍五入到最近的值)
总费用 = ¥1118.88 + ¥33.20 + ¥0.001 = ¥1152.081
定价示例 2:带有被部署为串流模式的滑动窗口的 Studio 笔记本
客户使用适用于 Apache Flink Studio 的亚马逊托管服务为 Amazon MSK 集群中的主题捕获的流式数据构建滑动窗口。他们在两天内使用包含 2 个 KPU 的 Studio 笔记本 8 小时来开发和测试他们的查询。开发之后,他们将其应用程序部署为具有 12 个 KPU 的流式应用程序。部署流式应用程序后,他们将停止其 Studio 笔记本。流式应用程序以持久状态连续运行。客户每天创建持久状态备份。
月度费用
开发和测试适用于 Apache Flink Studio 的亚马逊托管服务查询:
KPU 费用 = 2 天 * 8 小时 *(2 个 KPU + 2 个用于 Studio 笔记本的额外 KPU)* ¥0.777/小时)= ¥49.728
Apache Flink 应用程序每 KPU 使用 50GB 运行应用程序存储,在中国(宁夏)区域每 GB 每月收费 ¥0.664。
运行应用程序存储费用 = 2 天 * 2 KPU *(50GB * ¥0.664/GB/月)= ¥4.42
部署为流应式用程序以连续运行并进行应用程序备份:
KPU 费用 = 28 天 * 24 小时 *(2 个 KPU + 1 个用于串流应用程序的额外 KPU)* ¥0.777/小时)= ¥1566.432
Apache Flink 应用程序每 KPU 使用 50GB 运行应用程序存储,收费 ¥0.664
运行应用程序存储费用 = 28 天 * 2 KPU *(50GB * ¥0.664/GB/月)= ¥61.97
持久应用程序存储费用 = 28 * (1MB/备份 * 1GB/1000MB) * ¥0.176/GB/月 = ¥0.001(四舍五入到最近的值)
总费用 = ¥49.728 + ¥4.42 + ¥1566.432 + ¥61.97158.40 + 5.00 USD + ¥0.001 = ¥1682.55163.41
定价示例 3:Apache Flink 应用程序执行带有工作负载变更的流 ETL
客户使用适用于 Apache Flink 的亚马逊托管服务中的 Apache Flink 应用程序来不断将 Kinesis 数据流捕获的日志数据转换并传送到 Amazon S3。使用多个运算符转换日志数据,包括将模式应用于不同的日志事件,按事件类型对数据进行分区,按时间戳对数据进行排序,以及在交付前缓冲数据一小时。该应用程序有许多转换步骤,但没有一个是计算密集型的。这种流每天 12 小时以每秒 2000 条记录的速度摄取数据,并增加至每天 12 小时以每秒 8000 条记录的速度摄取数据。客户不创建任何持久应用程序备份。适用于 Apache Flink 的亚马逊托管服务的月度费用将按以下方式计算:
月度费用
中国(宁夏)区域的定价为每 KPU 每小时 ¥0.777。适用于 Apache Flink 的亚马逊托管服务为每个 KPU 分配 50GB 的运行应用程序存储空间,每 GB 每月收费 ¥0.664。
繁重工作负载:在 12 小时的繁重工作负载期间,适用于 Apache Flink 的亚马逊托管服务应用程序每秒处理 8000 条记录,并自动扩展到 8 个 KPU。在繁重的工作量过后,适用于 Apache Flink 的亚马逊托管服务应用程序在吞吐量降低 6 小时后会缩小应用程序的规模。应用程序被扩展到 8 个 KPU,每天总计 18 小时。
30 天/月 * 18 小时/天 = 540 小时/月
月度 KPU 费用 = 540 小时/月 * 8 KPU * ¥0.777/小时 = ¥3356.64
月度运行应用程序存储费用 = 540 小时/月 * 8 KPU * 50GB/KPU * ¥0.664/GB/月 = ¥868.48
月度 KPU 和存储费用 = ¥2868.48 + ¥6225.12 = ¥6226.12
轻量工作负载:在剩余 6 小时的轻量工作负载期间,适用于 Apache Flink 的亚马逊托管服务应用程序每秒处理 2000 条记录,并自动缩减到 2 个 KPU。
30 天/月 * 6 小时/天 = 180 小时/月
月度 KPU 费用 = 180 小时/月 * 2 KPU * ¥0.777/小时 = ¥279.72
月度运行应用程序存储费用 = 180 小时/月 * 2 KPU * 50GB * ¥0.664/GB/月 = ¥66.40
月度 KPU 和存储费用 = ¥279.72 + ¥66.40 = ¥346.12
对于 Apache Flink 应用程序,每个应用程收取一个额外的 KPU 费用。
月度费用 = 30 * 24 * 1 个 KPU * ¥0.777/小时 = ¥559.44
总费用 = ¥3622.24 + ¥346.12 + ¥559.44= ¥4527.80
注意:我们保留对传入和传出适用于 Apache Flink 的亚马逊托管服务应用程序的数据收取标准亚马逊云科技数据传输费用的权利。