Amazon MSK 常见问题

• Apache Kafka 以容错的方式将流数据存储为一系列连续的记录，并保留记录的生成顺序。
  
• Apache Kafka 充当数据生产者和数据使用者之间的缓冲区。Apache Kafka 允许许多数据生产者（例如网站、IoT 设备、Amazon EC2 实例）持续发布流数据并使用 Apache Kafka 主题对这些数据进行分类。多个数据使用者（例如机器学习应用程序、Lambda 函数）以自己的速率从这些主题中读取，类似于消息队列或企业消息收发系统。
• 数据使用者以先进先出的方式处理来自 Apache Kafka 主题的数据，从而保留数据的生成顺序。

问：Apache Kafka 的关键概念是什么？

问：是否可以使用 Apache Kafka API 在 Apache Kafka 中存取数据？

可以，Amazon MSK 支持原生 Apache Kafka 生产者和使用者 API。当客户开始使用 Amazon MSK 中的集群时，您的应用程序代码无需更改。


问：是否可以将 Apache Kafka Connect、Apache Kafka Streams 或 Apache Kafka 的任何其他生态系统组件与 Amazon MSK 一起使用？

是的，您可以使用任何利用 Apache Kafka 生产者和使用者 API 以及 Apache Kafka Admin Client 的组件。用于将 .jar 文件上传到 Apache Kafka 集群的工具目前与 Amazon MSK 不兼容，包括 Confluent Control Center、Confluent Auto Data Balancer 和 Uber uReplicator。

问：如何通过互联网连接到 Amazon MSK 集群？

最简单的方法是通过互联网向运行 Apache Kafka 2.6.0 或更高版本的 MSK 集群的代理开启公共连接。出于安全原因，您不能在创建 MSK 集群时开启公共访问权限。但是，您可以更新现有集群，使其可公开访问。您还可以创建一个新集群，然后对其进行更新，使其可公开访问。要了解有关开启公共访问的更多信息，请参阅公共访问文档。 

问：如何从亚马逊云科技中国网络内部、我的 Amazon MSK 集群所在的 Amazon VPC 外部连接到我的 Amazon MSK 集群？

为运行 Apache Kafka 版本 2.7.1 或更高版本的 MSK 集群开启多 VPC 私有连接后，您即可从任何非您的 MSK 集群所在的任何 VPC 或亚马逊云科技账户连接到您的 MSK 集群。只有在创建集群后才能为任何受支持的身份验证方案（IAM 身份验证、SASL SCRAM 和 mTLS 身份验证）启用私有连接。Amazon MSK 使用 Amazon PrivateLink 技术来启用私有连接，您应该将您的客户端配置为使用 Amazon PrivateLink 端点连接到集群。要了解有关设置私有连接的更多信息，请参阅从亚马逊云科技内访问文档。

问：如何控制集群身份验证和 Apache Kafka API 授权？

Amazon MSK 提供了三种用于控制身份验证 (AuthN) 和授权 (AuthZ) 的选项。1) AuthN/Z 的 IAM 访问控制（推荐），2) AuthN 的 TLS 证书身份验证 (CA) 和 AuthZ 的访问控制列表，3) AuthN 的 SASL/SCRAM 和 AuthZ 的访问控制列表。Amazon MSK 建议使用 IAM 访问控制。这是使用起来最容易使用的方式，因为它默认启用最低权限访问，因此是最安全的选项。

问：在 Amazon MSK 中如何进行授权？

如果您使用 IAM 访问控制，则 Amazon MSK 将使用您编写的策略及其自己的授权方来授权操作。如果您使用 TLS 证书身份验证或 SASL/SCRAM，则 Apache Kafka 将使用访问控制列表 (ACL) 进行授权。要启用 ACL，您必须使用 TLS 证书或 SASL/SCRAM 启用客户端身份验证。

问：如何同时对客户端进行身份验证和授权？

如果您使用 IAM 访问控制，则 Amazon MSK 将对您进行身份验证和授权，而无需进行任何额外设置。如果您使用 TLS 身份验证，则可以使用客户端 TLS 证书的 Dname 作为 ACL 的主体来授权客户端请求。如果您使用 SASL/SCRAM，则可以使用用户名作为 ACL 的主体来授权客户端请求。

问：如何控制服务 API 操作？

您可以使用 Amazon IAM 控制服务 API 操作。

问：我可以为现有集群启用 IAM 访问控制吗？

不能，但是即将推出允许您更新身份验证设置的功能。

问：我可以在 Amazon MSK 之外使用 IAM 访问控制吗？

不能，IAM 访问控制仅适用于 Amazon MSK 集群。

问：能否更新集群上的身份验证设置？

您可以通过控制台或者 update-security API 为启用启用或禁用身份验证模式。使用 API 时，显式声明的身份验证模式将会相应地更改，而省略的身份验证模式则会保持原样。例如，如果您的集群使用 mTLS 进行身份验证并且您通过调用 update-security API 启用 IAM 访问控制，则您的集群上的 mTLS 和 IAM 访问控制均会启用。

问：能否在我的集群上启用多种身份验证模式？

可以，您可以在创建和更新过程中为集群添加多钟身份验证模式。对于集群内的代理，每种身份验证模式均有专用端口，并且通过这些端口连接到 Kafka 的客户端必须启用相应的身份验证模式。

问：能否在集群上禁用身份验证模式？

可以，您可以禁用身份验证模式。为了确保您的客户端不会中断与代理的连接，在所有客户端更新为使用其他可用身份验证模式之前，请勿禁用任何现有身份验证模式。

问：能否使用集群上的身份验证模式跟踪客户端？

可以，您可以使用发布到 Amazon CloudWatch 指标的 ClientConnectionCount 指标按身份验证模式跟踪当前连接的数量。

问：如何向非 Amazon MSK 所在的亚马逊云科技账户中的 Kafka 客户端提供跨账户存取，以私密连接到我的 Amazon MSK 集群？

您可以向您的 Amazon MSK 集群附加一个集群策略，来提供跨账户 Kafka 客户端权限，以便设置与 Amazon MSK 集群的私有连接。使用 IAM 客户端身份验证时，您还可以使用集群策略为连接的客户端精细定义 Kafka 数据面板权限。要了解有关集群策略的更多信息，请参阅集群策略文档。 

问：如何监控集群或主题的性能？

您可以使用 Amazon MSK 控制台、Amazon CloudWatch 控制台来监控集群性能，也可以使用开源监控解决方案 Open Monitoring with Prometheus 访问 JMX 和主机指标。

问：不同 CloudWatch 监控级别的费用各是多少？

使用 Amazon CloudWatch 监控集群时的费用取决于您的 Apache Kafka 集群的监控级别和大小。Amazon CloudWatch 按照每月每个指标收费，并提供免费套餐；有关更多信息，请参阅 Amazon CloudWatch 定价。有关各个监控级别公开的指标数量的详细信息，请参阅 Amazon MSK 监控文档。

问：哪些监控工具与 Open Monitoring with Prometheus 兼容？

设计为可以读取 Prometheus 导出程序的数据的工具均兼容 Open Monitoring，例如：Datadog、Lenses、New Relic、Sumologic 或 Prometheus 服务器。有关 Open Monitoring 的详细信息，请参阅 Amazon MSK Open Monitoring 文档。

问：如何监控客户端的运行状况和性能？

您可以使用您当前使用的 Apache Kafka 版本支持的任何客户端监控工具。

问：我可以标记 Amazon MSK 资源吗？

可以，您可以通过 Amazon CLI 或控制台标记 Amazon MSK 集群。

问：如何监控使用器滞后？
主题级别的使用器滞后指标可作为 Amazon MSK 为所有集群发布到 Amazon CloudWatch 的默认指标集的一部分。无需进行其他设置即可获取这些指标。要获得分区级别的指标（分区维度），您可以在集群上启用增强型监控 (PER_PARTITION_PER_TOPIC)。此外，您也可以在集群上启用开放监控，并使用 Prometheus 服务器，以从集群中的代理获取分区级别的指标。和其他 Kafka 指标一样，使用器滞后指标可在端口 11001 获得。

问：将使用器滞后指标发布到 Amazon CloudWatch 需要多少费用？
主题级别的指标包含在默认的 Amazon MSK 指标集中，这些指标是免费的。分区的级别指标按 Amazon CloudWatch 定价收费。

问：什么是 Apache ZooKeeper？

来自 https://zookeeper.apache.org/：“Apache ZooKeeper 是一种集中式服务，用于维护配置信息、执行命名，并提供分布式同步和群组服务。所有这些类型的服务都以某种形式供分布式应用程序使用，”包括 Apache Kafka 在内。

问：Amazon MSK 是否使用 Apache ZooKeeper？

是的，Amazon MSK 使用 Apache ZooKeeper，并将每个集群中的 Apache ZooKeeper 作为 Amazon MSK 服务的一部分进行管理。每个集群均免费包含 Apache ZooKeeper 节点。

问：我的客户端如何与 Apache ZooKeeper 交互？

您的客户端可以通过该服务提供的 Apache ZooKeeper 终端节点与 Apache ZooKeeper 进行交互。此终端节点在 亚马逊云科技管理控制台中提供，或使用 DescribeCluster API 提供。

问：Amazon MSK 与哪些亚马逊云科技集成？

Amazon MSK 可与以下服务集成：

• 用于网络隔离和安全的 Amazon VPC
  
• 用于指标的 Amazon CloudWatch
  
• 用于存储卷加密的 Amazon KMS
  
• 用于 Apache Kafka 和服务 API 的身份验证和授权的 Amazon IAM。 
  
• 用于 MSK 事件溯源的 Amazon Lambda
  
• 用于物联网事件溯源的 Amazon IoT
  
• 用于控制 Apache Kafka 应用程序使用的架构演变的 Amazon Glue Schema Registry
  
• 用于 Amazon API 日志的 Amazon CloudTrail
  
• 用于客户端 TLS 身份验证的私有 CA 的 Amazon Certificate Manager
  
• 用于使用代码描述和预置 Amazon MSK 集群的 Amazon CloudFormation
  
• 用于处理流数据的完全托管式 Apache Flink 应用程序的 Amazon Kinesis Data Analytics
  
• 用于 SASL/SCRAM 身份验证的客户端凭证的 Amazon Secrets Manager
  

问：如何扩大集群中的存储？

您可以使用 亚马逊云科技管理控制台或 Amazon CLI 扩展集群中的存储。

问：我是否可以扩展现有集群中的代理数量？

是。您可以扩展或增加现有 Amazon MSK 集群中的代理数量。

问：我是否可以扩展现有集群中代理实例的大小？

否。Amazon MSK 目前不支持扩展现有集群中代理实例的大小，但是我们已经有此计划。

问：Amazon MSK 如何定价？

定价基于 Apache Kafka 代理小时数和预置存储小时数。亚马逊云科技数据传输费率适用于传入传出 Amazon MSK 的数据。有关更多信息，请访问我们的定价页面。

问：我是否需要为数据复制所产生的数据传输付费？

不需要，服务已经涵盖所有集群内数据传输，无需额外付费。

问：数据传输如何定价？

您需要为传入和传出 Amazon MSK 集群的数据量支付标准的 亚马逊云科技数据传输费用。您不需要为一个区域中集群内的数据传输付费，包括代理间数据传输以及代理与 Apache ZooKeeper 节点之间的数据传输。