Amazon EMR Serverless
使用开源框架运行大数据应用程序,而无需管理集群和服务器
Amazon EMR Serverless 是 Amazon EMR 中的无服务器选项,数据分析师和工程师可借助其轻松运行开源大数据分析框架,而无需配置、管理和扩展集群或服务器。您可获得 Amazon EMR 的所有功能和优势,而无需通过专家来规划和管理集群。
优势
更轻松地运行框架
选择要为应用程序运行的开源框架,例如 Apache Spark 和 Apache Hive,并且 EMR Serverless 会自动预置和管理底层计算与内存资源。
按需扩展
通过自动按需扩展,在几秒钟内调整资源大小以满足不断变化的数据卷和处理要求,从而运行任意规模的分析工作负载。
优化成本
EMR Serverless 可自动扩展和缩减资源,为您的应用程序提供适当的容量。您只需按实际用量付费,并且可以最大限度地减少对过度预置或预置不足的担忧。
工作原理
步骤 1:创建您的应用程序
选择要使用的开源框架和版本。
步骤 2:提交作业
通过 API 或 EMR Studio 向您的应用程序提交作业。您也可以使用工作流程编排服务提交作业,例如 Apache Airflow 或适用于 Apache Airflow 的 Amazon 托管工作流程。
步骤 3:调试作业
使用熟悉的开源工具(如 Spark UI 和 Tez UI)监控和调试作业。
使用案例
可变工作负载
随着工作负载需求的变化,无缝扩展应用程序资源,而无需预先配置所需的计算能力和内存。
SLA 敏感数据管道
选择预初始化应用程序资源的选项,同时支持面向 SLA 敏感数据管道的响应时间(以秒为单位)。
开发和测试环境
快速轻松地启动开发和测试环境,自动扩展以应对不可预测的使用量,同时更快地将产品推向市场。