Kafka副本机制之副本leader的选举？ISR、LEO、HW的概念？

内容分享2小时前发布

0 0 0

一、副本机制

每个分区可以有多个副本，并且在副本集合中会存在一个leader 的副本，所有的读写请求都是由 leader 副本来进行处理。剩余的其他副本都作为 follower 副本，follower 副本会从 leader副本同步消息日志。

如何知道那个各个分区中对应的 leader 是谁呢？

在 zookeeper 服务器上，通过如下命令去获取对应分区的信息, 列如下面这个是获取 secondTopic 第 1 个分区的状态信息。

get /brokers/topics/secondTopic/partitions/1/state

➢ {“controller_epoch”:12,”leader“:0,”version”:1,”leader_epoch”:0,”isr”:[0,1]}

leader 表明当前分区的 leader 是那个 broker-id。

二、副本leader的选举

如果 leader 发生故障或挂掉，新的 leader 被选举并接受客户端的消息成功写入。Kafka 确保从同步副本列表中选举一个副本为 leader，leader负责维护和跟踪 ISR(in-Sync replicas ，副本同步队列)中，所有 follower的状态。

三、kafka 副本机制中的几个概念

leader 副本：响应 clients 端读写请求的副本

follower 副本：被动的备份 leader 副本中的数据，不能响应 clients 端读写请求。

ISR 副本：包含了 leader 副本和所有与 leader 副本保持同步的 follower 副本

前面两个不用讲解，这里讲ISR副本。

ISR 表明目前”可用且消息量与Leader 相差不多的副本集合，这是整个副本集合的一个子集”。具体来说，ISR 集合中的副本必须满足两个条件：

1. 副本所在节点必须维持着与 zookeeper 的连接

2. 副本最后一条消息的 offset 与 leader 副本的最后一条消息的offset之间的差值不能超过指定的阈值(replica.lag.time.max.ms) 如果该 follower 在此时间间隔内一直没有追上过 leader 的所有消息，则该 follower 就会被剔除isr列表。

如何判定是否与 leader 同步？

会提到每个 Kafka 副本对象都有两个重大的属性：LEO和HW。注意是所有的副本，而不只是 leader 副本。

关于 follower 副本同步的过程中，还有两个关键的概念：HW&LEO

LEO：即日志末端位移(log end offset)，记录了该副本底层日志(log)中下一条消息的位移值。注意是下一条消息！也就是说，如果 LEO=10，那么表明该副本保存了 10 条消息，位移值范围是[0, 9]。另外，leader LEO 和 follower LEO 的更新是有区别的。

HW：即上面提到的水位值。对于同一个副本对象而言，其HW 值不会大于 LEO 值。小于等于 HW 值的所有消息都被认为是”已备份”的（replicated）。同理，leader 副本和follower 副本的 HW 更新是有区别的。

但是如果一个 follower 副本出现异常，列如宕机、网络断开等缘由长时间没有同步到消息，那这个时候，leader 就会把它踢出去。kafka 通过 ISR集合来维护一个分区副本信息。

这两个参数跟 ISR 集合紧密关联。HW 标记了一个特殊的 offset，当消费者处理消息的时候，只能拉去到 HW 之前的消息，HW之后的消息对消费者来说是不可见的。也就是说，取partition 对应 ISR 中最小的 LEO 作为 HW，consumer 最多只能消费到 HW 所在的位置。

每个 replica 都有 HW，leader 和 follower 各自维护更新自己的 HW 的状态。一条消息只有被 ISR 里的所有 Follower 都从 Leader 复制过去才会被认为已提交。这样就避免了部分数据被写进了Leader，还没来得及被任何 Follower 复制就宕机了，而造成数据丢失（Consumer 无法消费这些数据）。

而对于Producer 而言，它可以选择是否等待消息 commit，这可以通过 acks 来设置。这种机制确保了只要 ISR 有一个或以上的 Follower，一条被 commit 的消息就不会丢失。

初始状态：

初始状态下，leader 和 follower 的 HW 和 LEO 都是 0，leader 副本会保存remote LEO，所有 follower LEO也会被初始化为 0，这个时候，producer 没有发送消息。

follower 会不断地给 leader 发送fetch请求，但是由于没有数据，这个请求会被 leader 寄存，当在指定的时间之后会强制完成请求，这个时间配置是(replica.fetch.wait.max.ms)，如果在指定时间内 producer 有消息发送过来，那么 kafka 会唤醒 fetch 请求，让 leader 继续处理。

Kafka副本机制之副本leader的选举？ISR、LEO、HW的概念？

这里会分两种情况，第一种是 leader 处理完 producer 请求之后，follower 发送一个 fetch 请求过来、第二种是follower 阻塞在 leader 指定时间之内，leader 副本收到producer 的请求。这两种情况下处理方式是不一样的。