2024 亚马逊云科技 re:Invent | 太平洋时间 12 月 2 日盛大启幕,邀您一起共赴年度科技盛会

 ✕

首页  »  产品  »  Amazon MWAA

Amazon MWAA

安全且高度可用的适用于 Apache Airflow 的托管工作流编排

功能

大规模部署 Apache Airflow,无需承担管理底层基础架构的运营负担。
在自己独立且安全的云环境中运行 Apache Airflow 工作负载。
通过 Amazon CloudWatch 集成监控环境,降低运营成本和工程开销。
通过 Apache Airflow 提供商或自定义插件连接到云端或本地资源。

功能

大规模部署 Apache Airflow,无需承担管理底层基础架构的运营负担。

在自己独立且安全的云环境中运行 Apache Airflow 工作负载。

通过 Amazon CloudWatch 集成监控环境,降低运营成本和工程开销。

通过 Apache Airflow 提供商或自定义插件连接到云端或本地资源。

工作原理

Amazon Managed Workflows for Apache Airflow (MWAA) 使用以 Python 编写的有向无环图 (DAG) 来编排您的工作流。您向 MWAA 提供一个 Amazon Simple Storage Service (S3) 存储桶,您的 DAG、插件和 Python 要求都存放在该存储桶中。然后从管理控制台、命令行界面 (CLI)、软件开发工具包 (SDK) 或 Apache Airflow 用户界面 (UI) 运行和监控您的 DAG。

工作原理

Amazon Managed Workflows for Apache Airflow (MWAA) 使用以 Python 编写的有向无环图 (DAG) 来编排您的工作流。您向 MWAA 提供一个 Amazon Simple Storage Service (S3) 存储桶,您的 DAG、插件和 Python 要求都存放在该存储桶中。然后从管理控制台、命令行界面 (CLI)、软件开发工具包 (SDK) 或 Apache Airflow 用户界面 (UI) 运行和监控您的 DAG。

使用场景

支持复杂的工作流
创建计划或按需工作流,准备和处理来自大数据提供商的复杂数据。
协调提取、转换、加载 (ETL) 作业
在复杂的 ETL 工作流中协调使用不同技术的多个 ETL 流程。
准备 ML 数据
实现管道自动化,帮助机器学习 (ML) 建模系统摄取数据,然后根据数据进行训练。

使用场景

支持复杂的工作流

创建计划或按需工作流,准备和处理来自大数据提供商的复杂数据。

协调提取、转换、加载 (ETL) 作业

在复杂的 ETL 工作流中协调使用不同技术的多个 ETL 流程。

准备 ML 数据

实现管道自动化,帮助机器学习 (ML) 建模系统摄取数据,然后根据数据进行训练。

关闭
1010 0766
由光环新网运营的
北京区域
1010 0966
由西云数据运营的
宁夏区域
关闭
由光环新网运营的
北京区域
由西云数据运营的
宁夏区域