Raft – HDUO Lab

近期排查了一个非常经典的分布式共识层故障。K8s 集群的 API Server 频繁报 context deadline exceeded，核心控制器全线 CrashLoopBackOff。底层定位到 Etcd 集群处于极度不稳定的状态，Raft Leader 疯狂切换（Flapping）。最终查明，这是一起由于共主节点磁盘 I/O 被同机其他定时任务打满，导致 Etcd WAL (Write-Ahead Log) fsync 严重超时，进而“饿死” Raft 心跳触发的选主风暴惨案。

在分布式共识（Raft/Paxos）的工程实践中，存储 I/O 抖动是干掉集群可用性的头号杀手。遇到这种问题，调整网络参数是缘木求鱼，必须深入底层的日志复制和状态机流转机制去开刀。

故障现场：API Server 雪崩与疯狂的 Term 暴增

排查期间，首先接到 Prometheus 告警，K8s API Server 的 P99 延迟直接从平时的 30ms 飙升到了 8000ms 以上。查看 Etcd 集群状态，发现 etcd_server_leader_changes_seen_total 指标呈阶梯状暴增。

直接拉取 Etcd 的运行日志，满屏的红色 Error，核心报错就两行：

# Leader 节点疯狂抱怨心跳发送超时
{"level":"warn","ts":"...","caller":"etcdserver/server.go:2038","msg":"failed to send out heartbeat on time (exceeded the 100ms timeout for 2.3s)","server_id":"8211f1d0f64f3269"}

# 紧接着 Leader 发现自己任期落后，被迫下台
{"level":"info","ts":"...","caller":"raft/raft.go:825","msg":"8211f1d0f64f3269 [term: 1205] received a MsgVote with higher term from 7192f1d0f64f11a2 [term: 1206]"}
{"level":"info","ts":"...","caller":"raft/raft.go:842","msg":"8211f1d0f64f3269 became follower at term 1206"}

从日志可以看出一个典型的 Raft 状态扭转过程：

当前 Leader 因为某种原因，长达 2.3 秒没有发包。
Follower 节点的 election-timeout（默认 1000ms）耗尽，认为 Leader 已死。
Follower 状态转为 Candidate，将当前任期（Term）+1，并向集群广播 MsgVote。
原 Leader 收到高 Term 的投票请求，瞬间认怂，StepDown 退化为 Follower。

如此反复，集群陷入了永无止境的选主（Election Storm），导致没有任何一个节点能稳定处理外部 Client 提交的写请求（Propose）。

原理剖析：为什么磁盘卡顿会饿死网络心跳？

很多新人会有个疑问：磁盘 I/O 慢，大不了客户端的写请求（Put）慢一点，为什么连 Raft 节点之间的网络心跳都会发不出去？

这就得扒一下 Etcd 底层 Raft 状态机的工程实现逻辑。在 etcd/raft 模块中，为了保证强一致性，Raft Node 处理状态机输出（Ready 结构体）的典型流程是一个同步的串行大循环：

// Etcd Raft 核心循环的伪代码逻辑映射
for {
    select {
    case rd := <-node.Ready():
        // 1. 将 HardState 和 Entries 写入底层 WAL 文件并强制落盘
        saveToStorage(rd.HardState, rd.Entries)
        // 注意这里的 fsync 是阻塞调用！
        wal.Fsync() 

        // 2. 将消息（包含 AppendEntries/心跳）发送给其他 Peer
        send(rd.Messages)

        // 3. 将已提交的日志应用到内存状态机（KV 存储）
        applyToStore(rd.CommittedEntries)

        node.Advance()
    }
}

发现致命问题了吗？WAL 落盘（wal.Fsync()）和发送网络消息（send）是在同一个处理流程中的。 Raft 协议要求：日志必须先持久化到本地（保证 Crash-Safe），然后才能广播给其他节点。如果底层磁盘 I/O 突然飙升，fsync 系统调用被内核挂起 2 秒，那么紧跟在后面的 send(rd.Messages) 就会被硬生生延迟 2 秒！

Leader 发不出带着空 Entry 的 AppendEntries RPC（即心跳），Follower 就会准时发起叛变。

现场缉凶：I/O 被谁吃干抹净了？

顺着这个逻辑，直接去 Leader 宿主机上查 I/O 现场。使用 iostat -dx 1 监控，发现系统盘（/dev/vda）的 %util 长期顶死在 100%，await 指标高达 2500ms+。

进一步通过 iotop -o 和 ps 溯源，抓到了真凶：宿主机上被人偷偷配了一个 Ansible 统一下发的 Cronjob，跑的是一个极度暴力的 tar -czf 日志归档脚本，且没有任何资源限制（cgroups/ionice）。这个任务瞬间榨干了云盘的 IOPS（突发型 EBS 的 Burst Balance 直接被扣光），导致同在一块盘上的 Etcd WAL 写入被内核底层 I/O 调度队列无情阻塞。

架构避坑与防御性配置

把这种重型 I/O 任务与对延迟极其敏感的分布式共识组件混跑，在运维界属于经典的低级失误。为了防止这类 I/O 抖动导致系统雪崩，必须做好以下防御性架构调优：

1. 物理隔离：分离 WAL 目录

千万不要把 Etcd 的数据和系统的 /var/log 甚至其他业务跑在同一块盘上。 Etcd 启动时强烈建议利用 --wal-dir 参数，将 WAL 单独挂载到一块独立的高性能 SSD / NVMe 盘上。 WAL 是 Append-only 的顺序写，对 IOPS 要求极高且对延迟敏感；而 DB 文件 (--data-dir) 存在随机读写和压缩。分离两者能最大程度保护心跳逻辑。

2. 调优 Raft 超时参数 (适用于云环境)

Etcd 默认的 heartbeat-interval=100ms 和 election-timeout=1000ms 是为局域网低延迟裸金属服务器设计的。在存在网络虚拟化和存储网络化（EBS/Ceph）的云环境中，稍微的 I/O 抖动就会打破这个 1 秒的底线。 实战建议： 针对跨可用区（Multi-AZ）或云盘环境，适当放宽超时容忍度。

# 启动参数调整
--heartbeat-interval=250
--election-timeout=2500

注：election-timeout 推荐设置为 heartbeat-interval 的 10 倍，以规避网络偶发丢包。

3. 确保 Pre-Vote 机制开启

如果是自行维护的旧版本 Etcd 或其他 Raft 实现，务必确保 Pre-Vote 机制是开启的（Etcd 3.4+ 默认开启）。当网络发生非对称分区（Asymmetric Partition）或节点局部 I/O 夯死时，节点会被隔离并空转 Term。一旦它恢复并重新接入集群，它的高 Term 会立刻把正常 Leader 打下台。开启 Pre-Vote 后，Candidate 在增加本地 Term 前，必须先发起一轮预投票（PreVote），如果无法获得多数派响应，则不允许增加 Term，从根本上阻断了此类选主风暴。

排查清单：同类问题速查

如果你的 K8s/Etcd/Consul 集群出现频繁选主或超时断连，请直接按以下清单排查：

查磁盘 fsync 延迟：查看 Prometheus 指标 etcd_disk_wal_fsync_duration_seconds，若 P99 超过 election-timeout（默认 1s），必发选主风暴。
查系统级 I/O 争抢：使用 iostat 检查 IO util 和 await，排查同节点是否有定时快照（Snapshot）、日志备份、Prometheus 压盘等耗 IO 进程。
查网络 RTT 与丢包率：排查跨 AZ 部署时的网络抖动，指标 etcd_network_peer_round_trip_time_seconds，若网络 RTT 超过心跳间隔（100ms），会导致 Follower 频繁超时。
查大 Key 写阻塞：排查业务端是否有超大体积的 KV 写入（如巨型 ConfigMap）。Raft 复制大单体 Entry 会占用整个网络与 I/O 周期，变相阻塞后续的心跳包发送。

标签： Raft

Etcd 集群频繁 Leader 切换雪崩：WAL fsync 阻塞引发的 Raft 心跳饿死与选主风暴排查实战