如何使用 Amazon Forecast 检测机器学习模型的准确性

在预测器的详细信息页面上，您可以查看整体模型的准确性指标，以及来自指定的回测窗口的具体指标。整体模型的准确性指标可通过对各回测窗口指标求均值来计算。

在预测器训练期间，各分布点将生成对应的预测结果。作为可选项，您还可以指定不同的分布点以生成相应预测。

在本节中，我们将分享使用 Forecast 时的技巧与最佳实践：

• 在尝试使用 Forecast 之前，请定义与预测不足或预测过度相关的业务问题。评估权衡结果并确定优先顺序（例如更倾向于预测过度，而非预测不足）。
• 对多个分布点进行试验，以优化您的预测模型，在预测不足与预测过度之间实现成本平衡。
• 如果您要对多个不同模型进行比较，请使用相同分位数的 wQL 指标进行比较。值越低，则代表预测模型越准确。
• Forecast 允许您最多选择 5 个回测窗口。Forecast 使用回测机制调整预测器并生成准确性指标。为了执行回测，Forecast 会自动将我们的时间序列数据集分为两组：训练数据集与测试数据集。训练数据集用于训练模型，测试数据集则用于评估模型的预测准确性。我们建议选择一个以上的回测窗口，以最大程度减少选择偏差。单一窗口的偶然性或多或少会影响准确性。通过多个回测窗口评估模型的整体准确性，能够帮助我们更好地评估模型。

现在，大家可以使用 Forecast 在您所指定的多个分布点上测量预测模型的准确性。这使您可以更灵活地将 Forecast 与您的业务保持同步，因为预测过度与预测不足所引发的影响经常不同。您可以在 Forecast 正式上线的各区域内使用这项功能。关于区域可用性的更多详细信息，请参阅区域表。关于在创建预测器与访问准确性指标时指定自定义分布点 API 的更多详细信息，请参阅 CreatePredictor API 与 GetAccuracyMetrics API 说明文档。关于评估多个分布点上预测器准确性的更多详细信息，请参阅评估预测器的准确性。

 

返回上一级 机器学习文章>>