发布于: Mar 25, 2025
Amazon EMR Serverless 是 Amazon EMR 中的一个无服务器选项,让数据工程师和数据科学家能够轻松运行开源大数据分析框架,而无需配置、管理和扩展集群或服务器。我们很高兴地宣布在 Amazon EMR Serverless 上推出新的流作业模式,使您能够持续分析和处理流数据。
对于企业从传感器、IoT 设备和 Web 日志等数据来源获得持续见解而言,流式传输已变得至关重要。但是,由于需要满足高可用性、故障恢复能力以及与流服务集成等要求,处理流数据可能具有挑战性。Amazon EMR Serverless 流作业具有解决这些挑战的内置功能。它通过自动故障转移到运行状况良好的可用区,从而通过多可用区弹性提供高可用性。它还通过在失败时自动重试作业以及日志轮换和压缩等日志管理功能来提高弹性,从而防止可能导致作业失败的日志文件累积。此外,Amazon EMR Serverless 流作业还支持处理来自自我管理型 Apache Kafka 集群、Amazon Managed Streaming for Apache Kafka 等流服务的数据,并且现在使用新的内置 Amazon Kinesis Data Streams 连接器与 Amazon Kinesis Data Streams 集成,从而更轻松地构建端到端流管道。
Amazon EMR Serverless 流作业现已在由光环新网运营的亚马逊云科技中国(北京)区域和由西云数据运营的亚马逊云科技中国(宁夏)区域推出。