使用 Amazon Sagemaker 构建
Amazon SageMaker 提供标记训练数据、访问和共享笔记本以及使用内置算法和框架所需的所有内容,因此您可以大规模轻松构建机器学习 (ML) 模型并为训练做好准备。
功能
协作笔记本体验
Amazon SageMaker Notebooks 提供一键式 Jupyter 笔记本,可以快速启动弹性计算。Notebooks 包含运行或重新创建机器学习工作流程所需的一切,并集成在 Amazon SageMaker Studio 中。Notebooks 预装了所有常用的 CUDA 和 cuDNN 驱动程序、Anaconda 软件包以及框架库。
笔记本环境可让您浏览和可视化数据,并记录您在可重复使用的工作流程中的发现。在笔记本中,您可以引入存储在 Amazon S3 中的数据。此外,您还可以使用 Amazon Glue 轻松将数据从 Amazon RDS、Amazon DynamoDB 和 Amazon Redshift 移动到 S3 以进行分析。
全面托管的大规模数据处理
通常,机器学习的数据处理和分析工作负载是在自行管理的基础设施上运行的,而这一基础设施很难随着业务需求的变化分配和扩展。使用不同的工具来实现这一目标会变得很麻烦,从而导致性能达不到最优,资本和运营费用增加。为了克服这一挑战,Amazon SageMaker Processing 在 SageMaker 的易用性、可扩展性和可靠性基础上进行扩展,形成一种可大规模运行数据处理工作负载的全面托管体验。借助 SageMaker Processing,您可以连接到现有的存储或文件系统数据源,启动运行作业所需的资源,将输出保存到持久性存储中,并提供日志和指标。您还可以使用自己选择的框架引入自己的容器,并充分利用运行数据处理和分析工作负载的优势。
内置的高性能算法
Amazon SageMaker 提供的机器学习算法不仅性能高、可扩展,还针对速度、规模和准确性进行了优化,可以在 PB 级的数据集上执行训练。您可以从监督算法中选择,其中的正确答案在训练时是已知的,您也可以在模型出错的位置指示模型。SageMaker 提供了一些监督算法(如 XGBoost 和线性/逻辑回归或分类),以解决建议和时间序列预测问题。SageMaker 还提供了对非监督式学习(即算法必须自行发现正确答案)的支持,例如 K-Means 集群分析和主成分分析 (PCA),从而解决基于购买行为识别客户群等问题。
广泛框架支持
Amazon SageMaker 支持许多常用的深度学习框架,例如 TensorFlow、Apache MXNet、PyTorch、Chainer 等。这些框架会自动配置和优化以实现高性能。您无需手动设置这些框架,就可以在内置容器中使用它们。您也可以将所需的任何框架引入到 SageMaker,方法是将其内置到您可以存储在 Amazon EC2 Container Registry 中的 Docker 容器。
在本地执行测试和构建原型
Amazon SageMaker 中使用的开源 Apache MXNet 和 TensorFlow Docker 容器在 Github 上可用。您可以将这些容器下载到本地环境,使用 SageMaker Python 软件开发工具包测试脚本,然后再部署到 SageMaker 训练或托管环境。当您已完成本地测试并准备好部署到生产训练和托管环境时,只需更改一行代码即可。
强化学习
除传统的监督和非监督式学习外,Amazon SageMaker 还支持强化学习。SageMaker 具有内置、完全托管的强化学习算法,包括学术文献中的一些最新和最佳表现的算法。SageMaker 在多个框架(包括 TensorFlow 和 MXNet)以及为强化学习从头设计的更新的框架(如 Intel Coach 和 Ray RL)中都支持 RL。支持多个 2D 和 3D 物理特性模拟环境,包括基于开源 OpenGym 接口的环境。此外,SageMaker RL 将允许您使用 Amazon Sumerian 和 Amazon RoboMaker 中内置的虚拟 3D 环境进行训练。为帮助您入门,SageMaker 还提供了一系列示例笔记本和教程。