HDUO Lab

深入 RocketMQ 陷阱排查：海量消费重试引发的 CommitLog 随机读风暴与 PageCache 抖动实战

作者：

ningniu

在

核心结论：RocketMQ 的混合存储模型在海量消费重试与冷数据积压场景下，会打破 CommitLog 的顺序读写假象。当随机读导致 OS PageCache 命中率暴跌时，频繁的 Major Page Fault 会打满磁盘 IO，直接引发 [PCBUSY_CLEAN_QUEUE] Broker busy 拒绝服务。破局点在于开启 transientStorePoolEnable 实现读写内存隔离，调优 accessMessageInMemoryMaxRatio 强制冷读下沉至 Slave，并在 OS 层优化 PageCache 淘汰策略。

故障现场：Broker 陷入假死与 PCBUSY 风暴

某次排查过程中，生产环境核心 RocketMQ 集群（版本 4.9.4，部署于 CentOS 7，内核 3.10.0-1160.el7）突发大面积消息发送超时。客户端日志被 MQBrokerException: CODE: 2 DESC: [PCBUSY_CLEAN_QUEUE]broker busy 刷屏。

登录 Broker 节点，系统 Load Average 飙升至 40+，但 CPU 使用率不到 30%。直觉告诉我，IO 瓶颈出现了。

拉起 iostat 查看底层设备状态：

iostat -dx 1
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
nvme0n1           0.00     0.00 4850.00  120.00 75800.00 12400.00    35.45    25.80    5.15    4.90   15.25   0.20 100.00

磁盘 %util 长期处于 100%，且读操作 r/s 远高于写操作 w/s。 通过 pidstat -d -p 1 确认，高频发起的读 IO 全部来自 RocketMQ 进程。但这极不合理：RocketMQ 的核心优势就是 CommitLog 顺序写与 PageCache 带来的无盘读，为什么会出现如此密集的物理磁盘读取？

查看 RocketMQ store.log 发现内存命中率暴跌：

[PAGECACHERT] TotalPut 120543, PutOK 120500, PutRT > 1s 43
[PAGECACHERT] PageCache hit ratio: 35.2%

为什么海量重试会导致 CommitLog 退化为随机读？

RocketMQ 的所有 Topic 数据混合写入同一个 CommitLog，这保证了极致的写入吞吐。消费时，通过 ConsumeQueue 进行逻辑定位，再回查 CommitLog 读取实际消息。

正常情况下，生产者追加最新消息，消费者紧跟其后拉取，读取的 Offset 都在 OS PageCache 的热数据区间内。但当业务出现大面积异常，触发海量消费重试时，存储引擎的灾难就开始了：

  1. 重试队列的跳跃性读取：RocketMQ 的重试消息会被放入 %RETRY%ConsumerGroup Topic，并按延迟级别转入 SCHEDULE_TOPIC_XXXX。这些延迟消息在到期后，需要从历史 CommitLog 文件中被捞出并投递。

  2. 冷热数据交替污染 PageCache：大量延迟到期的重试消息分布在几小时甚至几天前的 CommitLog 中（冷数据）。消费者同时拉取实时热消息与重试冷消息。

  3. OS 层面的驱逐：Linux 内核通过 LRU 算法（Active/Inactive List）管理 PageCache。当 Broker 通过 mmap 读取冷数据时，触发缺页中断（Major Page Fault），内核被迫从磁盘读取数据到内存，并把热数据挤出 PageCache。

  4. 锁争用雪崩：RocketMQ 写入消息时需要获取 putMessageLock。当 PageCache 处于高压抖动状态时，mmap 内存映射区的写入或 fsync 刷盘耗时突增。一旦持锁时间超过 osPageCacheBusyTimeOutMills（默认 1000ms），Broker 就会立刻触发快速失败，抛出 PCBUSY_CLEAN_QUEUE。

深度排查与调优实战

为了彻底解决这一设计层面的物理瓶颈，我们需要从 Broker 配置与 OS 内核两端进行防御性加固。

1. 开启 TransientStorePool 读写隔离

默认情况下，RocketMQ 的读写都操作同一个 MappedByteBuffer（即 PageCache）。在随机读风暴下，写操作极易被阻塞。对于采用异步刷盘（ASYNC_FLUSH）的集群，必须开启 transientStorePoolEnable。

修改 broker.conf：

# 开启堆外内存池
transientStorePoolEnable=true
# 异步刷盘模式
flushDiskType=ASYNC_FLUSH

底层原理：开启后，RocketMQ 预分配一块 DirectByteBuffer 池。消息写入时直接进入 DirectByteBuffer（纯内存操作，无锁无缺页中断），然后由后台线程异步 commit 到 MappedByteBuffer 并 flush 到磁盘。消费时的读取仍走 MappedByteBuffer。这样彻底解耦了写入链路与 PageCache，即使发生缺页风暴，也不会阻塞 putMessage。

2. 强制冷数据读取下沉至 Slave

既然无法避免业务重试带来的冷读，就要把冷读的爆炸半径控制在从节点。通过调优内存水位阈值，强制拉取冷数据请求重定向给 Slave。

# 允许从 Slave 读取数据
slaveReadEnable=true
# 当物理内存中消息容量占比超过 30% 时，认为读取的是冷数据，重定向至 Slave
accessMessageInMemoryMaxRatio=30

判定逻辑：在 DefaultMessageStore#getMessage 中，Broker 会计算当前读取的 MaxOffset 与被拉取 Offset 的差值。如果差值对应的物理文件大小超过了系统可用物理内存的 30%（即预估该数据不在 PageCache 中），就会给客户端返回 PullResult.SUGGEST_PULL_FROM_SLAVE。客户端下一次 Pull 会自动路由到同 Broker Name 的 Slave 节点，从而保护 Master 的 IO。

3. Linux 内核 PageCache 防御性参数调优

默认的 Linux 内核参数对高吞吐的数据库/中间件极不友好，必须调整脏页回写与内存分配策略，防止内核在缺页中断时发生长时间停顿。

编辑 /etc/sysctl.conf：

# 提高后台异步刷盘触发时机，平滑 IO 突刺
vm.dirty_background_ratio = 5
# 降低同步刷盘阈值，防止一次性刷入海量脏页卡死系统
vm.dirty_ratio = 15
# 增加保留空闲内存，防止发生直接内存回收（Direct Reclaim）导致的严重卡顿
vm.min_free_kbytes = 1048576
# 倾向于回收文件缓存而不是 swap anonymous pages
vm.swappiness = 1
# 禁用 Zone Reclaim 模式，防止 NUMA 架构下无谓的内存回收
vm.zone_reclaim_mode = 0

执行 sysctl -p 生效。通过提高 min_free_kbytes 到 1GB，可以给内核缓冲更多时间进行 kswapd 异步回收，避免触发代价极其高昂的同步回收。

常见问题 (FAQ)

Q1：开启 transientStorePoolEnable 会导致数据丢失吗？ 会增加一定的风险。普通异步刷盘时，数据只要写入 PageCache，即便 JVM 崩溃（进程死亡），只要 OS 不宕机数据依然存在。但开启 transientStorePoolEnable 后，最新数据暂存在 DirectByteBuffer（JVM 进程空间），一旦 Broker 进程 OOM 或被 kill -9 强杀，未 commit 到 PageCache 的数据将会丢失。因此它仅适用于容忍极端情况下微量数据丢失且追求极致吞吐的业务。

Q2：出现 [TIMEOUT_CLEAN_QUEUE] broker busy 和 [PCBUSY_CLEAN_QUEUE] 有什么区别？ 两者都是由于 Broker 处理慢触发了自我保护。TIMEOUT_CLEAN_QUEUE 表示请求在 Broker 的 SendThreadPool 队列中排队等待处理的时间超过了设定的阈值（默认 200ms）。而 PCBUSY 则是指实际执行 CommitLog.putMessage 时，获取互斥锁的耗时超过了 1000ms（往往是底层 IO 卡顿导致）。前者是队列积压，后者是底层引擎阻塞。

Q3：RocketMQ 5.x 的 Tiered Storage（分级存储）能解决这个问题吗？ 能从根本上解决。RocketMQ 5.x 引入了冷热数据分离的架构。当数据超过一定时间后，会自动上传到 S3 或低成本 HDD 集群。客户端拉取冷数据（如延时重试消息）时，Broker 直接通过底层分级存储接口提供服务，不再读取本地 CommitLog，彻底切断了冷数据对热点 PageCache 的污染路径。

更多文章