发布于: Oct 28, 2020
Apache Flink Kinesis Consumer 现已支持增强型扇出 (EFO) 和适用于 Amazon Kinesis Data Streams 的 HTTP/2 数据检索 API。EFO 可以为每个使用者提供高达 2MB/秒的专用读取吞吐量，从而支持 Amazon Kinesis Data Streams 使用者进行扩展。HTTP/2 数据检索 API 可将从生产者到使用者的数据传输延迟减少到 70 毫秒或更短。通过结合使用这两个功能，您可以构建低延迟的 Apache Flink 应用程序，这些应用程序利用 Amazon Kinesis Data Streams 的专用吞吐量。
Amazon Kinesis Data Analytics 提供了一种简便的方法，可以使用 Apache Flink 实时转换和分析流数据。Apache Flink 是一个用于处理数据流的开源框架和引擎。Amazon Kinesis Data Analytics 降低了构建和管理 Apache Flink 应用程序的复杂性。适用于 Apache Flink 的 Amazon Kinesis Data Analytics 使用内置连接器与 Amazon Managed Streaming for Apache Kafka (Amazon MSK)、Amazon Kinesis Data Streams、Amazon Elasticsearch Service、Amazon DynamoDB Streams、Amazon S3、自定义集成等集成。您可以在此处了解有关适用于 Apache Flink 的 Amazon Kinesis Data Analytics 的更多信息。
要开始使用支持 EFO 的 Apache Flink Kinesis Data Streams 连接器，请参阅适用于 Apache Flink 版本 1.8 的 Maven Repository 和 GitHub 存储库。