kafka中部分概念

kafka中常用的内容

0. 什么是rebalance？

   • rabalance本质是一种协议，规定了consumer group中的所有consumer对于如何分配订阅的topic的每个分区这件事，如何达成一致

1. 目前使用的是什么版本？

   • 0.9之前(0.8.2及其之前)使用的是zookeeper存储Partition 的 Offset 信息 (consumers/{group}/offsets/{topic}/{partition})，
     • zookeeper 并不适用频繁写操作的场景
   • 0.9及其之后，通过内置 Topic(__consumer_offsets) 的方式来记录对应 Partition 的 Offset

2. 查看一下broker的机器上是否有coordinator
   Group Coordinator 是一个服务，每个 Broker在启动的时候都会启动一个该服务。

   • Group Coordinator 的作用是用来存储 Group 的相关 Meta 信息，并将对应 Partition 的 Offset 信息记录到 Kafka 内置Topic(__consumer_offsets) 中

3. group如何选择coordination？如何查看__consumer_offsets中每个group对应的partition信息？命令？

   • Group 对应在 __consumer_offsets 上的 Partition
   • offsets.topic.num.partitions 50个分区

4. 发生 rebalance 的时机 ？

   • 组成员个数发生变化。例如有新的 consumer 实例加入该消费组或者离开组。
   • 订阅的 Topic 个数发生变化。
   • 订阅 Topic 的分区数发生变化。

5. 消费者也有leader？

6. 问题：

   1. consumer-group成员在接收到coordinate的syncgroup的response后，如何知道自己消费哪个topic的哪个partition？如何在response中找到自己的这个信息？