发布于: Nov 6, 2023
您现在可以创建 Apache Airflow 版本 2.7 环境并在 Amazon Managed Workflows for Apache Airflow(MWAA)上执行可延迟操作单元。Apache Airflow 2.7 是热门开源工具的最新次要版本,可帮助客户编写、安排和监控工作流。
Amazon MWAA 是一项适用于 Apache Airflow 的托管式编排服务,让您可以更轻松地在云中设置和操作端到端数据管道。Amazon MWAA 上的 Apache Airflow 版本 2.7 引入了可延迟操作单元支持,从而可以使用更少的资源同时运行更多数量的任务。可延迟操作单元可以在等待任务完成时释放工作线程槽位,并受热门 Amazon Web Services 服务(例如 Amazon EMR、Amazon ECS 和 Amazon Glue)支持。此更新还带来了诸如集群活动页面、自动设置/拆卸任务和密钥缓存等改进。此外,Amazon MWAA 上的 Airflow 2.7现在在 Python 3.11 上运行,并基于 Amazon Linux 2023(AL2023)基础映像构建,可提供增强的安全性、现代化的工具以及对最新 Python 库和功能的支持。
只需在由光环新网运营的亚马逊云科技中国(北京)区域和由西云数据运营的亚马逊云科技中国(宁夏)区域的亚马逊云科技管理控制台中单击几下,即可在 Amazon MWAA 上启动新的 Apache Airflow 2.7 环境。要了解有关 Apache Airflow 2.7 和可延迟操作单元的更多信息,请访问 Amazon MWAA 产品页面、Apache Airflow 2.7 变更日志以及 Apache Airflow 文档中的可延迟操作单元部分。
Apache、Apache Airflow 和 Airflow 是 Apache 软件基金会在美国和/或其他国家的注册商标或商标。