发布于: Aug 23, 2021
即日起,Amazon EMR on Amazon Elastic Kubernetes Service (Amazon EKS) 已在由光环新网运营的亚马逊云科技中国(北京)区域和由西云数据运营的亚马逊云科技中国(宁夏)区域推出。
Amazon EMR on EKS 允许客户在 EKS 上自动配置和管理开源大数据框架。通过 EMR on EKS,客户现在可以在同一 EKS 集群上与其他类型的应用程序一起运行 Spark 应用程序,以提高资源利用率和简化基础设施管理。客户可以将 EMR 应用程序与其他类型的应用程序一起部署在同一个 EKS 集群上,这样就可以共享资源,并在单一的解决方案上对所有应用程序进行标准化操作和管理。客户可以在 EKS 上获得他们目前在 Amazon EC2 上使用的 EMR 功能,例如,访问最新的、性能得到优化的 Spark 运行时、用于应用程序开发的 EMR Studio(预览版)以及用于调试的持久 Spark UI。
要开始使用,请在 Amazon EMR 上注册您的 EKS 集群。然后定义您的作业,包括 EMR 发布版本、Spark 参数和应用程序依赖项。Amazon EMR on Amazon EKS 会将 Pod、容器和资源编排到您的 Amazon EKS 集群上。您可以将您的作业配置为“在 Amazon EC2 实例上运行”;如果您想要获得无服务器体验,则可以将作业配置为 Amazon Fargate。您可以使用 Amazon Managed Workflows for Apache Airflow 来创建工作流,并使用存储在 Amazon S3 或 Amazon CloudWatch 中的每个作业日志来分析输出。
要了解更多信息,您可以访问我们的详细页面或阅读我们的 Amazon EMR on EKS 文档。