发布于: Oct 19, 2023
Amazon Kinesis Data Firehose 现已与 Amazon MSK 集成，提供完全托管的解决方案，可简化流式数据从 Amazon MSK Apache Kafka 集群到 Amazon S3 数据湖的处理和传输。只需点击几下，Amazon MSK 客户就可以将所需的 Apache Kafka 集群中的数据持续加载到 Amazon S3 存储桶，无需开发或运行自己的连接器应用程序。
Amazon MSK 是一项适用于 Apache Kafka 的完全托管式服务，可让您轻松构建并运行使用 Apache Kafka 作为数据存储的应用程序。 Kinesis Data Firehose 是一项完全托管式服务，可持续捕获、转换流式数据并将其传输到数据湖、数据存储和分析服务。 Kinesis Data Firehose 可自动扩展以匹配您的 Amazon MSK 数据的吞吐量，无需持续管理。Kinesis Data Firehose 还提供易于使用的功能，例如 JSON 到 Parquet/ORC 的格式转换，以及用于优化 S3 文件大小的批量聚合。这些功能简化了对已交付数据进行数据分析/处理的工作流。
要开始使用，您需要一个亚马逊云科技账户。拥有账户后，您便可以在 Amazon Kinesis 控制台中创建传输流。要了解更多信息，请浏览 Amazon Kinesis Data Firehose 开发人员指南。使用 Amazon Kinesis Data Firehose 从 Amazon MSK 到 Amazon S3 的传输可以在由光环新网运营的亚马逊云科技中国（北京）区域和由西云数据运营的亚马逊云科技中国（宁夏）区域以及可提供 Kinesis Data Firehose 的所有商业亚马逊云科技区域使用。