功能
大规模部署 Apache Airflow,无需承担管理底层基础架构的运营负担。
在自己独立且安全的云环境中运行 Apache Airflow 工作负载。
通过 Amazon CloudWatch 集成监控环境,降低运营成本和工程开销。
通过 Apache Airflow 提供商或自定义插件连接到云端或本地资源。
功能
大规模部署 Apache Airflow,无需承担管理底层基础架构的运营负担。
在自己独立且安全的云环境中运行 Apache Airflow 工作负载。
通过 Amazon CloudWatch 集成监控环境,降低运营成本和工程开销。
通过 Apache Airflow 提供商或自定义插件连接到云端或本地资源。
工作原理
Amazon Managed Workflows for Apache Airflow (MWAA) 使用以 Python 编写的有向无环图 (DAG) 来编排您的工作流。您向 MWAA 提供一个 Amazon Simple Storage Service (S3) 存储桶,您的 DAG、插件和 Python 要求都存放在该存储桶中。然后从管理控制台、命令行界面 (CLI)、软件开发工具包 (SDK) 或 Apache Airflow 用户界面 (UI) 运行和监控您的 DAG。
工作原理
Amazon Managed Workflows for Apache Airflow (MWAA) 使用以 Python 编写的有向无环图 (DAG) 来编排您的工作流。您向 MWAA 提供一个 Amazon Simple Storage Service (S3) 存储桶,您的 DAG、插件和 Python 要求都存放在该存储桶中。然后从管理控制台、命令行界面 (CLI)、软件开发工具包 (SDK) 或 Apache Airflow 用户界面 (UI) 运行和监控您的 DAG。
使用场景
支持复杂的工作流
创建计划或按需工作流,准备和处理来自大数据提供商的复杂数据。
协调提取、转换、加载 (ETL) 作业
在复杂的 ETL 工作流中协调使用不同技术的多个 ETL 流程。
准备 ML 数据
实现管道自动化,帮助机器学习 (ML) 建模系统摄取数据,然后根据数据进行训练。
使用场景
支持复杂的工作流
创建计划或按需工作流,准备和处理来自大数据提供商的复杂数据。
协调提取、转换、加载 (ETL) 作业
在复杂的 ETL 工作流中协调使用不同技术的多个 ETL 流程。
准备 ML 数据
实现管道自动化,帮助机器学习 (ML) 建模系统摄取数据,然后根据数据进行训练。