HDUO Lab

标签： sched_autogroup_enabled

  • 深入 CFS 调度陷阱排查：sched_autogroup_enabled 引发的线程池饥饿与 P99 延迟毛刺实战

    某次核心网关集群的性能抖动排查，生动诠释了什么叫“服务器瞎开桌面级优化，全链路跟着火葬场”。

    故障背景与最终结论： 一个承担 3 万 QPS 的 Go 编写的 API 网关服务（部署在 32C128G 的物理机上），在特定时间段 P99 延迟会毫无征兆地从 2ms 暴涨到 300ms 以上，甚至引发下游微服务的限流与重试风暴。诡异的是，监控面板上的 CPU 使用率仅在 60% 左右波动，系统 Load Average 也没有超过 CPU 核数，网络和磁盘 IO 更是平稳得像一条直线。 最终结论： 罪魁祸首是 Linux 内核的 sched_autogroup_enabled 特性（在部分发行版中默认开启）。一个定时执行的单线程本地日志打包脚本（tar -czf），触发了 CFS（完全公平调度器）的 Autogroup 逻辑，导致拥有数百个 Goroutine 线程的网关进程，与单线程的 tar 进程获得了同等权重的 CPU 时间片，进而引发网关线程池出现大面积的 CPU 调度饥饿（Runqueue Wait）。 一秒解决： sysctl -w kernel.sched_autogroup_enabled=0。

    案发现场：被误导的排查方向

    刚接手这个问题时，业务侧和网络团队已经拉扯了几天。开发看监控觉得 CPU 没打满，坚称是宿主机网络丢包；网络侧拿 tcpdump 抓包证明是应用侧处理慢，ACK 回得迟。

    我切到线上机器，直接抓了一波抖动期间的现场。既然资源使用率没到瓶颈，但延迟飙升，第一反应必须是调度延迟（Scheduling Latency）。 直接掏出 perf 看看 CPU 在等什么：

    # 采样10秒的调度事件
perf sched record -- sleep 10
# 分析调度延迟
perf sched latency --sort max

    结果一出来，极其刺眼：

     ---------------------------------------------------------------------------------------
  Task                  |   Runtime ms  | Switches | Average delay ms | Maximum delay ms |
 ---------------------------------------------------------------------------------------
  gateway-api:29314     |   1234.567 ms |    8432  |      18.453 ms   |     245.672 ms   |
  gateway-api:29315     |   1210.123 ms |    8110  |      19.123 ms   |     238.102 ms   |
  tar:4102              |    890.334 ms |     150  |       0.012 ms   |       0.105 ms   |
 ---------------------------------------------------------------------------------------

    网关进程（gateway-api）的线程，最大调度延迟（Maximum delay）竟然飙到了 245ms！这意味着一个就绪的线程在 Runqueue 里干等了四分之一秒才被分配到 CPU 执行。而那个跑在后台的 tar 进程，平均延迟只有 0.012ms，几乎是想什么时候跑就什么时候跑。

    为什么拥有几百个活跃线程的重负载核心进程，会被一个单线程的普通打包脚本“欺负”成这样？

    底层原理：当服务器内核操着桌面系统的心

    这就不得不提 Linux 内核历史上的一个著名补丁——2010 年内核开发者 Mike Galbraith 提交的针对桌面环境优化的补丁，即后来的 sched_autogroup_enabled 特性。

    在默认的 CFS（Completely Fair Scheduler）中，调度的基本单位是 Task（线程/进程）。如果没有 Autogroup，500 个网关线程和 1 个 tar 线程，总共 501 个 Task，CFS 会大致均分 CPU 时间，网关进程拿到 500/501 的算力，tar 拿到 1/501。这在服务器上非常合理。

    但开启 sched_autogroup_enabled=1 后，游戏规则变了。 为了提升桌面用户的交互体验（比如你在开着几十个线程编译内核的同时，依然能流畅地拖动浏览器窗口），内核会自动按 Session ID (SID) 或 TTY 将进程分组（Task Group）。CFS 会先在 Autogroup 之间公平分配 CPU 时间，然后再在组内的 Task 之间分配。

    你可以通过这个命令看看系统里的 Autogroup 状态：

    cat /proc/sched_debug | grep -A 5 "cfs_rq"

    在案发机器上，因为网关服务是通过 Systemd 启动的，属于一个 Session；而定时任务 Crontab 拉起的 tar 脚本属于另一个 Session。 于是，内核调度器做出了极其荒谬的“公平”裁决：

    • Group A（网关进程及 500 个线程）：获得 50% CPU 时间份额。

    • Group B（tar 进程及 1 个线程）：获得 50% CPU 时间份额。

    这也就是为什么在整体 CPU 使用率只有 60% 的情况下，tar 进程吃满了它能吃到的单核资源，而网关的 500 个线程却在一个缩水的 CPU 时间池里疯狂争抢排队，导致 vruntime（虚拟运行时间）失衡，Runqueue 等待时间剧增，宏观表现就是 P99 延迟呈现断崖式恶化。

    致命连环：为什么不可原谅？

    这是一个极其低级但隐蔽的运维坑。之所以说它不可原谅，是因为它违背了服务端架构的基础防线：

    1. 基础环境未做服务端标准化收敛：CentOS 7/8 和部分 Ubuntu 版本默认是开启这个参数的。把带有强烈桌面属性的调度策略原封不动搬到高并发服务器上，暴露出系统初始化压根没有经过内核层面的 Tuning 审核。

    2. 后台任务缺乏资源隔离（Cgroup）：在宿主机上跑定时脚本，居然不套 nice，也不做 systemd-run 的 CPUQuota 限制。一个不受控的后台脚本能撼动核心网关的调度，这种“裸奔”操作在生产环境是灾难性的。

    破局与防御性配置

    弄清楚了原理，修复就是敲几下键盘的事，但更重要的是后续的防御性加固。

    1. 全局禁用 Autogroup 直接在 sysctl.conf 中封杀此特性，服务器不需要这种“桌面级关怀”：

    echo "kernel.sched_autogroup_enabled = 0" >> /etc/sysctl.d/99-sysctl.conf
sysctl -p /etc/sysctl.d/99-sysctl.conf

    执行完毕后，网关的 P99 延迟瞬间回落到 2ms 的常态平滑线。

    2. 剥夺后台脚本的调度特权 所有非核心业务的运维脚本，严禁直接丢进 Crontab。必须通过 systemd timer 触发，并强制声明 CPU 和 IO 优先级：

    # /etc/systemd/system/log-backup.service
[Service]
Type=oneshot
ExecStart=/opt/scripts/backup.sh
# 限制只能使用单核的20%
CPUQuota=20%
# 降低调度优先级 (默认0，19为最低)
Nice=19
# 降低 IO 优先级
IOSchedulingClass=idle

    3. 监控维度的升维 不要只盯着 node_cpu_seconds_total（CPU 使用率）。CPU 没打满不代表 CPU 资源不紧张。必须将调度队列长度纳入核心监控指标。 利用 eBPF 工具集（BCC）的 runqlen 或在 Prometheus 侧采集 /proc/stat 中的 procs_running 状态，一旦发现 Runqueue 长度持续大于物理核数，立即触发告警。

    同类问题速查清单 (Troubleshooting Checklist)

    1. 检查 Autogroup 开关状态：通过 sysctl kernel.sched_autogroup_enabled 确认是否开启，服务端强烈建议设为 0。

    2. 审查进程所属组：通过 cat /proc//autogroup 查看目标进程是否被错误降权分配到非预期的分组中。

    3. 排查微观调度延迟：使用 perf sched latency 或 BCC 工具集 runqlat.py，定位是否存在 CPU 占用率低但就绪队列等待时间过长的现象。

    4. 清理僵尸 Crontab 与后台脚本：排查宿主机是否有定时触发的重 CPU/IO 操作（如 gzip, tar, find），强制要求套用 nice -n 19 或转入受限的 cgroup 运行。

    5. 核对 systemd cgroup 策略：确认是否开启了 DefaultCPUAccounting=yes 导致 systemd 按 service 粒度强行隔离了 CPU 份额，避免多线程重负载服务被意外限流。