Amazon Glue 是一项无服务器数据集成服务,可以让用户轻松发现、准备和合并数据,以便进行分析、机器学习和应用程序开发。Amazon Glue 提供有数据集成所需的所有功能,从而让您只需几分钟而不是几个月即可开始分析您的数据并即可将其付诸使用。
数据集成是为分析、机器学习和应用程序开发准备和合并数据的过程。它涉及多项任务,例如从各种来源发现和提取数据;丰富、清理、规范化和合并数据;加载和组织数据库、数据仓库和数据湖中的数据。这些任务通常由不同类型的用户处理,每种用户都使用不同的产品。
Amazon Glue 提供有可视化和基于代码的界面,可以让数据集成更加轻松。用户可以使用 Amazon Glue 数据目录轻松查找和访问数据。数据工程师和 ETL(提取、转换和加载)开发人员可以创建并运行 ETL 工作流程。数据分析师和数据科学家可以使用 Amazon Glue DataBrew 直观地丰富、清理和规范化数据,而无需编写任何代码。
Amazon Glue 是一项无服务器数据集成服务,可以让用户轻松发现、准备和合并数据,以便进行分析、机器学习和应用程序开发。Amazon Glue 提供有数据集成所需的所有功能,从而让您只需几分钟而不是几个月即可开始分析您的数据并即可将其付诸使用。
数据集成是为分析、机器学习和应用程序开发准备和合并数据的过程。它涉及多项任务,例如从各种来源发现和提取数据;丰富、清理、规范化和合并数据;加载和组织数据库、数据仓库和数据湖中的数据。这些任务通常由不同类型的用户处理,每种用户都使用不同的产品。
Amazon Glue 提供有可视化和基于代码的界面,可以让数据集成更加轻松。用户可以使用 Amazon Glue 数据目录轻松查找和访问数据。数据工程师和 ETL(提取、转换和加载)开发人员可以创建并运行 ETL 工作流程。数据分析师和数据科学家可以使用 Amazon Glue DataBrew 直观地丰富、清理和规范化数据,而无需编写任何代码。
优势
更快的数据集成
无需管理服务器
大规模自动执行数据集成
优势
更快的数据集成
无需管理服务器
大规模自动执行数据集成
工作原理
-
构建事件驱动的 ETL 管道
-
跨多个数据存储查找数据
-
自助式可视化数据准备
-
构建事件驱动的 ETL 管道
-
当新数据到来时,Amazon Glue 可以运行您的 ETL 作业。例如,您可以使用 Amazon Lambda 函数来触发 ETL 作业,以在 Amazon S3 中有新数据可用时立即运行。您还可以将这个新数据集注册到 Amazon Glue Data Catalog 中,作为 ETL 作业的一部分。
-
跨多个数据存储查找数据
-
您可以使用 Amazon Glue Data Catalog 快速发现和搜索多个 Amazon 数据集,而无需移动数据。在存储到目录中之后,数据立即可供使用 Amazon Athena、Amazon EMR 和 Amazon Redshift Spectrum 进行搜索和查询。
-
自助式可视化数据准备
-
Amazon Glue DataBrew 使您能够直接从数据湖、数据仓库和数据库(包括 Amazon S3、Amazon Redshift、Amazon Lake Formation、Amazon Aurora 和 Amazon RDS)中探索和试验数据。您可以从 Amazon Glue DataBrew 中的 250 多种预构建转换中进行选择,以自动执行数据准备任务,例如筛选异常、标准化格式和纠正无效值。数据准备就绪后,您可以立即将其用于分析和机器学习。在此了解有关 Amazon Glue DataBrew 的更多信息。
工作原理
-
构建事件驱动的 ETL 管道
-
跨多个数据存储查找数据
-
自助式可视化数据准备
-
构建事件驱动的 ETL 管道
-
当新数据到来时,Amazon Glue 可以运行您的 ETL 作业。例如,您可以使用 Amazon Lambda 函数来触发 ETL 作业,以在 Amazon S3 中有新数据可用时立即运行。您还可以将这个新数据集注册到 Amazon Glue Data Catalog 中,作为 ETL 作业的一部分。
-
跨多个数据存储查找数据
-
您可以使用 Amazon Glue Data Catalog 快速发现和搜索多个 Amazon 数据集,而无需移动数据。在存储到目录中之后,数据立即可供使用 Amazon Athena、Amazon EMR 和 Amazon Redshift Spectrum 进行搜索和查询。
-
自助式可视化数据准备
-
Amazon Glue DataBrew 使您能够直接从数据湖、数据仓库和数据库(包括 Amazon S3、Amazon Redshift、Amazon Lake Formation、Amazon Aurora 和 Amazon RDS)中探索和试验数据。您可以从 Amazon Glue DataBrew 中的 250 多种预构建转换中进行选择,以自动执行数据准备任务,例如筛选异常、标准化格式和纠正无效值。数据准备就绪后,您可以立即将其用于分析和机器学习。在此了解有关 Amazon Glue DataBrew 的更多信息。