借助适用于 Apache Flink 的亚马逊托管服务,您可以使用 Apache Flink 实时转换和分析流数据。适用于 Apache Flink 的亚马逊托管服务简化了 Apache Flink 工作负载的构建和管理,并使您能够将应用程序与其他亚马逊云科技服务集成。
使用 Apache Flink 和 Apache Beam 构建流式处理应用程序
第 1 步:将开源库下载到您喜欢的 IDE
您可以首先下载包括 Amazon SDK、Apache Flink 和适用于亚马逊云科技服务的连接器的开源库。
第 2 步:使用 Apache Flink 或 Apache Beam 构建示例应用程序
使用数据流和流运算符编写 Apache Flink 应用程序代码。应用程序数据流是针对使用应用程序代码执行处理的数据结构。数据不断地从源流入应用程序数据流。一个或多个流运算符用于定义对应用程序数据流的处理。
第 3 步:将您的代码上传到适用于 Apache Flink 的亚马逊托管服务
构建完成后,将您的代码上传到适用于 Apache Flink 的亚马逊托管服务。该服务将处理持续运行您的实时应用程序所需的一切工作,包括自动扩展以匹配传入数据的数量和吞吐量。
直观地使用适用于 Apache Flink Studio 的亚马逊托管服务
第 1 步:创建适用于 Apache Flink Studio 的亚马逊托管服务应用程序
从适用于 Apache Flink 的亚马逊托管服务、Amazon MSK 或 Amazon Kinesis Data Streams 控制台开始。使用自定义连接器连接到任何其他数据来源。
第 2 步:在 SQL、Python 和 Scala 的无服务器笔记本中编写代码,开发 Apache Flink 应用程序
在笔记本中运行单个段落,查看上下文中的结果,并使用 Apache Zeppelin 的内置可视化来加速开发。您还可以在代码中使用用户定义的函数。
步骤 3:作为适用于 Apache Flink 的亚马逊托管服务流式处理应用程序进行构建和部署
只需几步,即可将代码部署为持续运行的流处理应用程序。您部署的应用程序将是适用于 Apache Flink 的亚马逊托管服务应用程序,具有持久状态和自动扩展功能。在生产代码之前,您还将有机会更改来源、目标位置、日志记录和监控级别。