发布于: Jun 8, 2020
Amazon Elasticsearch Service 现在提供异常检测功能,用于使用机器学习来检测流数据上的异常,并随着异常的发展实时识别问题,以便您可以立即缓解问题。这项新功能基于一种经过验证的实时流式传输算法 Random Cut Forests (RCF) 构建,并且与域无关,从而使其成为各种日志分析应用程序的理想选择。
基于规则的静态分析方法难以适应动态工作负载,并且容易遗漏关键问题。Amazon Elasticsearch Service 异常检测功能利用 RCF,这是一种不受监督的算法,可持续适应不断发展的数据模式。异常检测功能设计为轻量级且具有弹性,其计算负载分布在 Elasticsearch 节点上,从而消除了对专用机器学习节点的需求。这种高效的设计允许该功能扩展以处理大量数据,而不会影响集群性能或应用程序工作负载。
新的异常检测功能包括一个 Kibana 用户界面。此 UI 提供了导致异常的数据和事件的上下文,使所有用户(无论他们的机器学习知识如何)可以轻松地通过该功能获取价值。您也可以将异常检测功能与警报结合使用来触发通知。
实时异常检测功能由 Open Distro for Elasticsearch 提供支持,该工具是 Elasticsearch 的 Apache 2.0 许可发行版。要了解有关 Open Distro for Elasticsearch 及其异常检测插件的更多信息,请访问项目网站。
可以在运行 Elasticsearch 7.4 及更高版本的域上进行异常检测,而无需支付额外费用。要了解更多信息,请参阅文档。
Amazon Elasticsearch Service 中的实时异常检测功能在由光环新网运营的 亚马逊云科技中国(北京)区域和由西云数据运营的 亚马逊云科技中国(宁夏)区域推出