Amazon SageMaker Model Monitor 的新功能现已在中国区域推出

Amazon SageMaker Model Monitor 的新功能现已在中国区域推出。Amazon SageMaker Model Monitor 持续监控机器学习模型的概念偏差（即数据分布和特征随时间推移的变化），并在出现任何偏差时提醒您，以便您采取补救措施。即日起，您还可以使用 Amazon SageMaker Model Monitor 来检测模型质量、模型偏差和特征重要性中的偏差。借助这些全新的完全托管功能，SageMaker Model Monitor 可帮助您在生产中维护高质量的机器学习模型。

Amazon SageMaker Model Monitor 目前可通过跟踪用于训练模型的数据与提交给模型进行评分的数据之间的差异来检测数据质量偏差并提醒您，以帮助您及时采取措施（如审计数据或重新训练模型）。目前，SageMaker Model Monitor 新增了三项功能，可帮助您检测模型质量、模型偏差和特征重要性中的偏差。

借助模型质量监控，您可以实时监控 ML 模型的模型特征（如精度、准确度、召回等）。SageMaker Model Monitor 通过将模型预测结果与真实数据进行比较，报告 ML 模型在预测结果方面的准确度。监控模型时，您可以在 Amazon S3、Amazon SageMaker Studio 和 SageMaker 笔记本实例中查看详细描述模型质量的可导出报告和图表。您还可以将 Amazon CloudWatch 配置为在观察到模型质量出现偏差时接收通知。

偏差监控可帮助您定期检测 ML 模型中的偏差。SageMaker Model Monitor 会定期确定偏差指标的偏差程度何时超过有统计意义的预设阈值。借助 Model Monitor 中的偏差监控功能，您可以在 SageMaker Studio 中查看指标并可视化结果。您还可以配置自动警报，这样您就可以在模型超出设置的偏差指标阈值时即刻知晓。

在生产环境中部署模型后，模型中某些特征的重要性和影响可能会随着时间的推移而改变。模型可解释性监控可帮助您了解和解释 ML 模型所做的预测是否基于模型训练时的相同特征和比例。启用可解释性跟踪后，SageMaker Model Monitor 会自动检测特征的相对重要性偏差，使您能够在 SageMaker Studio 中直观查看这些更改；而且，可以像所有其他 SageMaker Model Monitor 特征那样，配置 Amazon CloudWatch 来主动提醒您检测到偏差。

可以为新的或现有的实时推理终端节点启用 Amazon SageMaker Model Monitor。启用后，SageMaker Model Monitor 会将预测请求和响应保存在 Amazon S3 中、将模型预测与您提供的实际数据或真实数据进行比较、运行内置或自定义规则以根据基线检测偏差，并在出现偏差时提醒您。因此，无需构建任何其他工具，即可在整个组织中以标准化方式监控数百个模型的数据质量、模型质量、模型偏差和特征重要性的偏差。可以将监控作业安排为定期运行（例如每小时或每天），并将报告和指标推送到 Amazon CloudWatch 和 Amazon S3。Amazon SageMaker Studio 中提供了监控结果，可供您查看；此外，您还可以使用 SageMaker 笔记本实例对结果进行进一步分析。另外，将内置监控规则与默认 ml.m5.xlarge 实例结合使用时，每个月所有终端节点上总共提供长达 30 小时的免费监控。如需更多信息，请参阅文档。