Kafka 是什么？

• Kafka 是一个分布式流处理平台，使用 Scala 语言开发。它主要用于处理大量的活跃流式数据。Kafka 采用消息队列（Message Queue， MQ）的结构，因此在 Kafka 中，代理（Broker）有分区（Partition）的概念。每个分区都是一个有序的、不可变的消息序列，消息以追加的方式写入分区。
• 与 Kafka 不同，RabbitMQ 是一个消息代理（Message Broker），使用 Erlang 语言开发。Erlang 语言天生就具有高并发性，因此 RabbitMQ 在传递消息时可靠性更高。RabbitMQ 采用高级消息队列协议 AMQP（Advanced Message Queuing Protocol），这是一种面向消息中间件的开放式应用层协议标准。

• Kafka 采用 Pull 的交互方式，即消费者主动从 Kafka 集群拉取消息。这种方式具有高吞吐量的特点，非常适合用于大数据领域的消息处理。Kafka 内部采用 zero-copy 机制对消息进行批量处理，因此消息处理效率更高。
• 相比之下，RabbitMQ 采用 Push 的交互方式，即消息代理将消息推送给消费者。这种方式主要支持对消息的可靠传递，但无法支持批量的操作请求。因此，RabbitMQ 更适合用于可靠性要求较高的场景，如金融服务、电子商务订单等。

Kafka 每秒可生产约 25 万条消息，处理约 55 万条消息，能够高效处理大规模活跃的流式数据。这得益于 Kafka 的分布式架构和高度优化的内部设计。

Kafka 将消息持久化存储到磁盘，这不仅能够进行批量消费，还能防止数据丢失，保证数据安全。即使 Kafka 集群发生故障，也不会丢失已提交的消息。

作为分布式系统，Kafka 具有良好的容错性。用户无需停机即可对 Kafka 集群进行扩展，提高系统的可用性和可靠性。

Kafka 在生产者和消费者之间引入了消息队列，使它们能够独立扩展，提高了系统的灵活性和可伸缩性。

Kafka 能够同时处理在线应用和离线应用产生的大量数据，满足各种数据处理需求。

与传统企业消息系统相比，Kafka 能够降低系统组网和编程的复杂度，更易于使用和维护。

• Kafka 将数据存储在称为 Topic 的分类中。每个 Topic 又被分为多个 Partition（分区）。
• 生产者（Producer）发送数据都是发送至相应的 Leader 分区。数据会按照一定顺序写入磁盘。
• 之后 Leader 分区会将对应的数据同步到各个从分区（Follower）。
• 在将数据写入分区时：如果生产者指定了分区，则数据会写入对应分区；如果生产者没有指定分区，但设置了 key 数据，则会根据 key 的值 hash 出一个分区；如果生产者既没有指定分区，也没有设置 key，则会轮询出一个分区。

• 消费者（Consumer）从 Kafka 集群中拉取数据时，Kafka 会根据不同场景分为多个消费组（Consumer Group）。
• 用户根据场景加入对应的消费组，从而拉取对应的数据。
• 在实际应用中，建议消费组中的消费者数量与分区数量保持一致，以实现最佳的并行消费能力。

Kafka 的架构设计使其具有极高的可扩展性。它将数据流分成多个分区（partition），并将这些分区分布在不同的服务器上。这种分布式架构允许 Kafka 集群在需要时轻松地添加更多的服务器，从而提高整体吞吐量和存储容量。这使得 Kafka 能够处理大规模的数据流，满足各种规模的企业需求。

Kafka 通过将生产者和消费者解耦来实现低延迟的数据处理。生产者只需将数据发送到 Kafka 集群，而不必等待消费者处理数据。消费者可以根据自身的处理能力从 Kafka 获取数据。这种设计确保了数据流的高效传输，避免了生产者和消费者之间的阻塞。

Kafka 将数据持久化到磁盘，并在集群中复制分区，以确保数据的持久性和容错性。即使某些服务器发生故障，数据也不会丢失，因为它已经被复制到其他服务器上。这种架构设计使 Kafka 非常适合构建实时数据管道和应用程序，可以确保关键数据的安全性。

与传统的消息队列系统（如 RabbitMQ）相比，Kafka 的架构更加复杂。它结合了队列和发布-订阅模型的优点，但这也增加了系统的复杂性。Kafka 使用基于 TCP 的二进制协议，而不是像 RabbitMQ 那样使用 AMQP 协议。这可能会给一些开发人员带来学习曲线。