借助 Amazon SageMaker Experiments，您可以组织数以千计的训练实验、记录实验构件，例如数据集、超参数和指标，然后复制实验。由于 SageMaker Experiments 是与 SageMaker Studio 集成的，您可以可视化模型，快速简单地评估最佳模型。您还可以随着实验进行记录和维护注释和备注的运行记录，轻松地在团队成员间点击共享实验。SageMaker Experiments 还会保留整个实验谱系，一旦某个模型开始背离预期结果，您可以返回过去时间点检查其构件。

SageMaker Debugger 会自动检测和提醒常见问题，例如梯度值过大或过小。您也可以使用 Debugger SDK 自动检测新的特定模型错误类别，或者对 SageMaker Notebook 内的训练运行进行交互式分析。这样，机器学习模型的调试工作可从数天缩短至数分钟。SageMaker Debugger 收集的数据保留在您自己的账户中，可用于对隐私最敏感的应用。

SageMaker Debugger 可产生您的模型的实时性能度量。度量包括训练和验证损失（代表模型错误，应尽可能低）、混淆矩阵（用于分类模型，代表假阳性和阴性预测，以及训练过程中的变化）、学习梯度（审查训练过程中的学习曲线，用于诊断学习问题，例如欠拟合或过度拟合模型，以及训练和验证数据集是否具有适当代表性） 这些度量可在 Amazon SageMaker Studio 内的笔记本中查看和可视化。

当检测到常见的训练问题时，SageMaker Debugger 还可以生成警告和修正建议。例如，如果您的模型已从数据充分学习但没有改进，仍在接受训练（耗时且昂贵），SageMaker Debugger 可以尽早识别此问题，帮助您终止训练。它还可以识别常见数据验证问题，例如您的网络权重一直设置为零，以及识别模型是否过度拟合数据。

在 Amazon S3 中指定数据位置后，SageMaker 会提取您的算法并对隔离在自身软件定义网络（根据您的需要配置）中的训练集群运行算法。选择实例类型后，包括云端最强大的基于 GPU 的实例 Amazon EC2 P3dn，SageMaker 会在自动扩展组中创建集群。SageMaker 还会将 EBS 卷附加到每个节点，设置数据管道，开始使用您的 TensorFlow、MXNet、Pytorch、Chainer 或您的框架脚本、内置或自定义算法进行训练。结束后，结果会存储在 S3 中，集群自动拆分。

为了简化大规模训练，我们优化了 Amazon S3 的训练数据传送方式。通过 API， 您可以指定是否要将所有数据发送到集群内的每个节点，或者是否要让 SageMaker 根据算法需求管理节点间的数据分布。结合内置算法，Amazon SageMaker 提供的训练可扩展性可大幅减少训练运行的时间和成本。

调谐模型以提高精确度时，有两种杠杆可用，一是修改为模型提供的数据输入（例如提取数值日志），二是调整定义模型行为的参数。这些参数称为超参数，找到适当的值可能很难。通常需要先随机查找，通过调整迭代，同时观察变化的影响。这一周期可能很长，取决于模型有多少超参数。

SageMaker 在训练过程中提供 Automatic Model Tuning，简化了这一流程。自动模型调谐使用机器学习来快速调谐模型，最大限度地提高精确度。该功能避免了手动调整超参数的冗长试错过程。自动模型调谐通过发现数据中的有趣特征，学习这些特征对精确度的互动影响，在多个训练运行中执行超参数优化。这样可以节省数天甚至数周的时间，最大限度地提高训练模型的质量。

只需通过 API 或控制台指定训练作业数量，SageMaker 便会使用机器学习调谐模型，完成剩余工作。它会学习不同类型数据对模型的影响，将这一知识应用于不同的模型副本，快速找到最佳结果。对于开发人员或数据科学家，这意味着您只需关注如何调整输入模型的数据，显著减少训练过程中的干扰。