重温 2024 年亚马逊云科技 re:Invent 的精彩瞬间,一键查看主题演讲及创新讲座的精彩回放

 ✕

Amazon EKS 上的 Amazon EMR

借助 Amazon EKS 上的 Amazon EMR,您可以在 Amazon Elastic Kubernetes Service (EKS) 上按需提交 Apache Spark 任务,而无需调配集群。借助 EKS 上的 EMR,您可以整合分析工作负载与相同 Amazon EKS 集群上基于 Kubernetes 的其他应用程序,以提高资源利用率并简化基础设施管理。

至目前为止,您必须选择使用 EMR 管理 EC2 上的 Apache Spark 或者自行管理 Amazon EKS 上的 Apache Spark。使用 EC2 上的 EMR 时,EC2 实例专用于 EMR。自行管理 EKS 上的 Apache Spark 时,您需要手动安装、管理和优化 Apache Spark 才能在 Kubernetes 上运行。

借助 Amazon EKS 上的 Amazon EMR,您可以在所有应用程序中共享计算和内存资源,并使用一组 Kubernetes 工具集中监控和管理您的基础设施。此外,您还可以使用单个 EKS 集群运行需要不同 Apache Spark 版本和配置的应用程序,并充分利用自动预置、扩展、更快的运行时以及 EMR 提供的开发和调试工具。

优势

简化管理

您可以在 EKS 上获得与目前在 EC2 上获得的相同 Apache Spark EMR 优势。这包括 Apache Spark 2.4 和 3.0 的完全托管式版本、自动调配、扩缩、性能优化运行时以及诸如用于创作任务的 EMR Studio 以及用于调试的 Apache Spark UI 之类的工具。

降低成本

借助 EKS 上的 EMR,可以在 Apache Spark 应用程序与其他 Kubernetes 应用程序之间共享您的计算资源。可以根据需要分配和删除资源,以消除这些资源的过度预置和利用不足情况,从而使您能够降低成本,因为您只需为使用的资源付费。

优化性能

通过在 EKS 上运行分析应用程序,您可以在共享 Kubernetes 集群上重复使用现有 EC2 实例,并避免创建专用于分析的新 EC2 实例集群所需的启动时间。与标准的 EKS 上的 Apache Spark 相比,通过 EKS 上的 EMR,您还可以获得快 3 倍的优化运行性能。

工作原理

EKS 上的 Amazon EMR 的工作原理图

只需在 Amazon EMR 控制台中点击几下,您就可以选择 Apache Spark 版本并将 EMR 工作负载部署到 Amazon EKS。EMR 会将工作负载自动打包到容器中,并提供用于与其他 Amazon Web Services 服务集成的预先构建的连接器。EMR 随后会将容器部署到 EKS 集群上,并管理工作负载的扩展、日志记录和监控。

使用案例

集中资源管理

借助 EKS 上的 EMR,您可以对 Apache Spark 自动执行预置、管理和扩展,并使用一组工具集中管理和监控您的基础设施。

工作负载的主机托管

在与您的其他应用程序工作负载相同的 EKS 集群上运行需要不同框架、版本和配置的多个 EMR 工作负载。

快速采用新的 EMR 版本

EKS 上的 EMR 可以为开发、排查和优化分析提供托管体验。您可以在几秒钟内部署配置并启动作业,以便在同一个 EKS 集群上测试新的 EMR 版本,而无需分配专用资源。

关闭
1010 0766
由光环新网运营的
北京区域
1010 0966
由西云数据运营的
宁夏区域
关闭
由光环新网运营的
北京区域
由西云数据运营的
宁夏区域