Amazon MSK 功能

Amazon MSK 是一项完全托管的服务，可让您轻松构建并运行使用 Apache Kafka 处理流数据的应用程序。管理 Apache Kafka 集群既复杂又耗时。借助 Amazon MSK，您可以轻松地在 Apache Kafka 上构建并运行生产应用程序，而无需 Apache Kafka 基础设施管理专业知识，从而减少管理基础设施的时间，并将更多时间用于构建应用程序。

Amazon MSK 支持本机的 Apache Kafka API 和基于这些 API 构建的现有开源工具。这使现有的 Apache Kafka 应用程序能够与 Amazon MSK 集群配合使用，而无需更改应用程序代码。您可以继续使用 Apache Kafka 的 API 和开源生态系统来填充数据湖，在数据库之间流式传输数据库更改，以及为机器学习和分析应用程序提供支持。

只需在 Amazon MSK 控制台中单击几下鼠标，您就可以创建一个完全托管的 Apache Kafka 集群，该集群遵循 Apache Kafka 的部署最佳实践，或者您也可以使用自己的自定义配置创建自己的集群。创建所需配置后，Amazon MSK 会自动预置、配置和管理 Apache Kafka 集群和 Apache ZooKeeper 节点的操作。

需要使用 Apache ZooKeeper 来运行 Apache Kafka、协调集群任务，以及维护与集群交互的资源的状态。Amazon MSK 为您管理 Apache ZooKeeper 节点。 每个 Amazon MSK 集群都包括 Apache Kafka 集群的适当数量的 Apache ZooKeeper 节点，无需额外付费。

Amazon MSK 会持续监控您的集群的运行状况，并在不中断应用程序的情况下更换运行状况不佳的代理。Amazon MSK 可管理 Apache ZooKeeper 节点的可用性，因此您无需自行启动、停止或直接访问节点。Amazon MSK 还可根据需要部署软件补丁，以使您的集群保持最新状态并平稳运行。

Amazon MSK 使用多可用区复制实现高可用性。数据复制包括在内，无需额外付费。 

您的 Apache Kafka 集群在 Amazon MSK 托管的 Amazon Virtual Private Cloud（VPC）中运行。您自己的 Amazon VPC 中的 Kafka 客户端可以通过 Amazon MSK 在您的 VPC 中部署的跨账户弹性网络接口私密地访问集群。如果您的 Kafka 客户端分布在一个或多个 VPC 或亚马逊云科技账户中，您还可使用多 VPC 私有连接功能私密连接到您的集群。此功能可消除自行管理 PrivateLink 解决方案的运营开销，并可随 Amazon MSK 集群的扩展而无缝扩展，使您无需进行额外配置更改即可保持与集群的私有连接。多 VPC 私有连接还可消除管理与其他 VPC 连接解决方案相关的非重叠 IP、复杂对等连接和路由表的挑战，因为它允许在相互连接的 VPC 之间重叠 IP。

Amazon MSK 可对您的数据进行静态加密，而无需特殊配置和第三方工具。默认情况下，所有数据都可以使用 Amazon Key Management Service (KMS) 客户主密钥 (CMK) 或您自己的 CMK 进行静态加密。

Amazon MSK 还通过您集群中的代理之间以及客户端与代理之间的 TLS 加密传输中的数据。

您可以从 Amazon MSK 集群中的几个代理开始。然后，使用 亚马逊云科技管理控制台或 Amazon CLI，您可以在每个集群中扩展多达 100 个代理。如果每个集群需要超过 15 个代理或每个账户需要超过 30 个代理，请提交增加上限的请求。

您可以使用 亚马逊云科技管理控制台或 Amazon CLI 无缝扩展每个代理的预置存储容量，以满足存储要求的变化需求。

Amazon MSK 通过提供现成的本地 亚马逊云科技集成，让客户能够更轻松地构建端到端解决方案。您可以使用 Amazon KMS 加密静态数据，使用 Amazon CloudFormation 通过代码部署 Amazon MSK，将 Amazon VPC 内的客户端秘密连接到 Amazon MSK，并利用 Amazon Identity and Access Management (IAM) 进行精细的服务等级 API 控制。

Amazon MSK 允许您以每天不到 2.00 美元的价格开始使用。客户通常为每 GB 摄取量支付 0.05 美元到 0.07 美元的总费用，这可能低至其他托管提供商成本的十三分之一。访问 Amazon MSK 定价页面，了解有关定价的更多信息。

Amazon Graviton3 处理器是基于 Amazon Nitro System 构建的最新一代定制设计的 Amazon Graviton 处理器。与类似大小的 M5 实例相比，基于 Graviton3 处理器的 M7g 实例以更低的成本提供更高的存储吞吐量和更高的网络吞吐量。

默认情况下，Amazon MSK 为 Apache Kafka 部署了最佳实践集群配置，使客户能够调整 30 多种不同的集群配置，同时支持所有动态和主题级配置。有关更多信息，请参阅文档中的自定义 MSK 配置。

使用您的 Amazon MSK 集群的集群策略来定义哪些跨账户 IAM 主体有权设置与您的 Amazon MSK 集群的跨账户私有连接。与 IAM 客户端身份验证一起使用时，您还可以使用集群策略为连接的客户端精细定义 Kafka 数据面板权限。 

借助分层存储，您可以在 MSK 中存储几乎无限的数据，并且无需使用分层存储预置和管理存储容量。只需单击几下，即可为新集群或现有集群启用分层存储，并且只需为所使用的存储空间付费。您可以先将数据存储在性能优化的主存储层中，然后让 MSK 自动将数据分层到新的低成本层中以延长保留时间。此功能在由光环新网运营的亚马逊中国（北京）区域和由西云数据运营的亚马逊中国（宁夏）区域得到支持。要了解如何开始使用 MSK 和分层存储，请访问我们的 Amazon MSK 开发人员指南。