HDUO Lab

深入 Raft 陷阱排查：不对称网络分区触发 Term 暴涨与 PreVote 缺失引发的 Leader 频繁禅让雪崩实战

作者：

ningniu

在

,

排查过程中，某核心自研分布式网关的控制面集群突然出现大规模长尾延迟，P99 耗时从平时的 20ms 飙升至 5s 以上，集群频繁进入不可用状态。结论先行：这是由于某台边缘节点出现不对称网络分区（单向丢包），且底层 Raft 库（基于 Hashicorp Raft 早期版本二次开发）未开启 PreVote 机制，导致隔离节点陷入“发起选举 -> 失败 -> 增加 Term -> 再选举”的死循环。当网络偶发恢复时，该节点携带暴涨的 Term 强行打断当前 Leader 的任期，引发全集群频繁重新选举，最终导致控制面雪崩。

解决思路极简：紧急将故障节点移出集群，随后在代码中强行开启 PreVote 特性（强制要求 ProtocolVersion >= 3），彻底阻断无脑 Term 膨胀。

案发现场：诡异的 Leader 禅让风暴

近期监控大盘发出尖锐报警，控制面 API 的 QPS 出现规律性断崖式下跌。登录主节点查看基础指标：Load Average 低于 1，CPU 和内存水位均在 20% 以下，磁盘 IOPS 毫无波澜。系统层面看起来极其健康，但在应用侧，报错日志却在疯狂刷屏。

抓取核心日志，满屏都是触目惊心的状态切换：

[WARN] raft: Heartbeat timeout from "" reached, starting election
[INFO] raft: Node at 10.12.5.101 entering Candidate state in term 45012
[INFO] raft: aborting pipeline replication to peer 10.12.5.105
[WARN] raft: Remote peer 10.12.5.105 has higher term (45012), stepping down
[INFO] raft: state changed from Leader to Follower

这个日志透露出两个致命信息：

  1. 集群原本运转正常，但突然有人（10.12.5.105）携带着一个高得离谱的 Term（45012）跳出来竞选。

  2. 现任 Leader（10.12.5.101）遵循 Raft 契约，只要见到比自己大的 Term，必须立刻无条件退位（stepping down）。

切到那个捣乱的节点（10.12.5.105）上去抓包：

tcpdump -i eth0 port 8300 -nn -vv

发现该节点能持续往外发包（RequestVote），但几乎收不到 Leader 的心跳包（AppendEntries）。物理网络排查证实：交换机上联口光模块老化，引发了极高比例的不对称丢包。节点 105 认为 Leader 死透了，但其他节点眼里 Leader 活得好好的。

剖析：Term 暴涨与 Raft 协议的阿喀琉斯之踵

在原生的 Raft 论文设计中，如果一个 Follower 在 election_timeout 内没有收到心跳，它就会认为集群群龙无首，从而自增 Term（任期号），转换为 Candidate 状态并向外拉票。

在这个极端的单向断网场景里，节点 105 的行为逻辑就成了一场灾难：

  1. 收不到心跳 -> Term 从 50 增加到 51 -> 发起选举。

  2. 选票请求发不出或者收不到回应 -> 选举超时 -> Term 增加到 52 -> 发起选举。

  3. 循环往复，因为没有人阻止它，它的 Term 在短短几小时内膨胀到了 45012。

当网络瞬间抖动恢复（光模块偶发导通）时，这颗带着 Term 45012 的“定时炸弹”向现任 Leader 发出了 RequestVote 请求。

为什么它不可原谅？ 按照 Raft 的“日志匹配原则”（Log Matching Property），节点 105 在断网期间错过了大量日志，它的日志绝对不是最新（Up-to-date）的，因此它绝对不可能拉到多数票，永远当不上 Leader。 但悲剧在于，现任 Leader 一看对方 Term 比自己大，不管对方日志多旧，自己先心虚退位了！这导致整个集群短暂失去 Leader，拒绝所有写请求，触发重新选举。等新 Leader 刚稳住阵脚，节点 105 再次由于丢包发起下一轮攻击，集群再次雪崩。

这是经典共识算法在工程实现落地时，由于对边界条件缺乏敬畏而导致的惨案。把论文直接翻译成代码跑在不可靠的物理网络上，注定要挨毒打。

落地防御：引入 PreVote 机制

为了对抗这种无脑暴涨 Term 的流氓节点，四体人…不对，工程界引入了 PreVote（预投票）阶段（最早在 ZooKeeper 中有类似思想，后被优化并引入 Raft 增强版规范）。

开启 PreVote 后，Candidate 在自增 Term 之前，必须先在一个虚拟的阶段（Term 不变）向大家发 PreVote 请求：“兄弟们，我怀疑 Leader 挂了，如果我现在发起真实选举，你们会把票投给我吗？”

  • 如果其他节点正在正常接收 Leader 心跳，会无情拒绝：“不投，Leader 活得好好的”。

  • 节点 105 发现自己连虚拟选票都拿不到多数，就绝不会自增 Term，从而完美阻断了 Term 膨胀机制。

修复代码实录（以 Hashicorp Raft 为例）： 直接修改集群初始化的配置项，强制升级通信协议并开启 PreVote：

config := raft.DefaultConfig()
config.LocalID = raft.ServerID(localIP)
// 防御性配置：禁止使用默认的旧版协议，强制使用 v3 及以上版本以开启 PreVote
config.ProtocolVersion = 3 

// 配合网络环境适当放宽选举超时，避免轻微抖动引发惊群
config.ElectionTimeout = 1500 * time.Millisecond
config.HeartbeatTimeout = 1000 * time.Millisecond

raftNode, err := raft.NewRaft(config, fsm, logStore, stableStore, snapshotStore, transport)

对于使用 Etcd 的同仁，在 Etcd v3.4 之后 PreVote 已默认开启，但如果是老集群升级上来，务必通过 etcdctl 或启动参数检查 --pre-vote=true 是否生效。

监控指标的收敛验证

修复并滚动重启后，我们需要在可观测性层面将此类风险卡死。强烈建议在 Prometheus 中配置如下 PromQL 告警，监控 Term 不一致的漂移量：

# 监控 Raft 集群中各节点 Term 极差（如果极大说明有孤岛节点在刷 Term）
max(raft_term) by (cluster) - min(raft_term) by (cluster) > 5

一旦极差超过 5，立即触发告警，要求运维介入检查网络分区，而不是等该节点回归大部队把集群炸毁。

排查清单与同类问题速查 (Troubleshooting Checklist)

  1. Raft 状态翻转频繁？ 查日志搜索 stepping down 或 higher term 关键字，确认是否存在携带畸高 Term 的 Zombie Node。

  2. 确认网络不对称性： 使用 ping -s 1400 和 iperf3 -u 双向测试节点间的收发包成功率，排查交换机端口、光模块单向故障或防火墙半开连接。

  3. 核对 PreVote 特性： 检查共识中间件（Etcd/Consul/Nacos/自研组件）的协议版本配置，确认 PreVote（预投票）特性处于强制开启状态。

  4. 防御性监控覆盖： 部署针对 raft_term（任期差异）和 raft_state（角色高频切换）的监控项，在出现局部网络隔离的第一时间感知风险。

更多文章