发布于: Nov 24, 2020
Amazon Elasticsearch Service 现已针对高基数数据集提供异常检测。借助这项新功能，您可以从数百万个事件中筛选数千个指标，从而准确找出具有异常模式的各个实体。通过利用机器学习，Amazon Elasticsearch Service 现在提供可靠的可行见解，可以显著缩短隔离和纠正问题的时间。高基数异常检测对于许多运营、安全和业务使用案例都是非常宝贵的，比如识别高 CPU 和内存消耗的主机、查找错误率最高的服务、隔离访问敏感信息的可疑用户或 IP 地址，或者按区域检测销售数据中的异常值。
支持高基数数据流具有挑战性，因为处理复杂的数据需要进行计算和扩展。当操作员需要近乎实时地从大量数据集中找出异常实体时，该问题会进一步加剧。Amazon Elasticsearch Service 使用分布式架构，通过在域中的实例之间分散负载来解决性能和可扩展性方面的挑战。对高基数数据集进行异常检测由 Random Cut Forest (RCF) 算法提供支持，这是一种轻量级的非监督式机器学习算法，经证实可以在生产环境中大规模处理多维数据流。该功能还提供 Kibana 控制面板和可视化内容，可以一目了然地快速发现问题，从而使所有用户都能进行异常检测，无论其机器学习知识如何。
适用于 Amazon Elasticsearch Service 的高基数异常检测功能现已可供由光环新网运营的 亚马逊云科技中国（北京）区域和由西云数据运营的 亚马逊云科技中国（宁夏）区域内的 Amazon Elasticsearch Service 域使用。