发布于: Aug 31, 2020
EMR Notebooks 是一项服务,可为编写临时作业并进行试验的数据科学家和工程师提供基于 Jupyter 的完全托管型笔记本。现在,您可以在由光环新网运营的 亚马逊云科技中国(北京)区域和由西云数据运营的 亚马逊云科技中国(宁夏)区域,以非交互的方式编排 EMR Notebooks 来运行 ETL 工作负载,尤其是在生产环境中。在此功能推出之前,执行笔记本需要通过 亚马逊云科技管理控制台访问 Jupyter 用户界面。
EMR Notebooks API 支持通过 亚马逊云科技命令行界面和软件开发工具包访问笔记本,因此您可以使用笔记本自动运行 ETL 工作负载。您可以利用 Amazon Step functions 和 Apache Airflow 等编排服务来构建弹性工作流,并使用 cron 脚本以非交互方式按计划执行笔记本。您也可以向笔记本传递输入参数,并通过访问每次执行的历史输出来调试笔记本的所有执行。在此功能推出之前,您必须为每个新的输入值组合创建新的笔记本副本并进行修改。
要开始使用 EMR Notebooks,请访问 EMR Notebooks 页面。
EMR 5.18.0 或更高版本中已提供此功能。