NAPI – HDUO Lab

近期排查了一起极其离谱的网关性能抖动问题。某业务核心 API 网关在正常流量下，99 线延迟突然从 2ms 飙升到 400ms，部分节点出现大量 TCP 丢包。排查结论先放在这里：安全团队在网关宿主机上热挂载了一个基于 XDP (eXpress Data Path) 的反 DDoS 统计程序，但由于缺乏内核并发编程常识，错误地使用了全局 BPF_MAP_TYPE_HASH 来统计 IP 访问频率。在网卡多队列并发下，多个 CPU 核心疯狂争抢同一个 Map 的自旋锁，引发严重的 Cache Line Bouncing（缓存行颠簸），直接耗尽了 NAPI 轮询的 budget（配额），导致 ksoftirqd 软中断被打满，真正的业务报文在网卡 Ring Buffer 中被静默丢弃。

解决方式很简单：将 eBPF 代码中的 BPF_MAP_TYPE_HASH 改为 BPF_MAP_TYPE_PERCPU_HASH，重新编译注入，延迟瞬间恢复 1ms。

不要以为用了 eBPF/XDP 就能原地起飞。XDP 是让你在网卡驱动层操作报文，这意味着你写下的每一行代码都在内核极为底层的中断上下文中运行。违背底层硬件常识的代码，不仅起不到加速效果，还会把网卡直接干挂。

现场还原与故障排查

当时网关集群报警，QPS 并没有明显增长，网络 PPS（每秒包数）大约在 80w 左右。对于一块现代 25G 网卡来说，这点 PPS 连塞牙缝都不够。但节点状态却非常诡异。

通过 mpstat -P ALL 1 观察，发现绑定了网卡 RX 队列的几个 CPU 核心，%soft (软中断) 使用率死死钉在 100%。

执行 ethtool -S eth0 | grep rx_missed_errors，发现硬件层面的丢包计数在疯狂增加：

rx_missed_errors: 4598212
rx_fifo_errors: 4598212

这说明网卡的 Ring Buffer 已经满了，CPU 处理不过来，导致后续报文直接被网卡丢弃。

进一步抓取 CPU 热点，直接用 perf top -a -g 探查，屏幕上霸榜的函数让人血压飙升：

  38.42%  [kernel]  [k] _raw_spin_lock_irqsave
  29.15%  [kernel]  [k] htab_map_update_elem
  12.03%  [bpf]     [k] bpf_prog_3a2b1c9d_xdp_ddos_filter

htab_map_update_elem 占用了近 30% 的 CPU，并引发了大量的锁自旋 _raw_spin_lock_irqsave。内核网络协议栈的正常函数（如 ip_rcv, tcp_v4_rcv）全被挤到了下面。

用 bpftool 查看当前加载的程序：

$ bpftool prog show
102: xdp  name xdp_ddos_filter  tag 3a2b1c9d  gpl
        loaded_at ...  uid 0
        xlated 528B  jited 284B  memlock 4096B  map_ids 15

真相大白，网卡 eth0 上挂了一个 XDP 程序，这玩意儿正在吞噬所有的 CPU 资源。

源码级剖析：为什么全局 Map 会引发灾难？

拉出肇事的 eBPF C 源码，核心逻辑如下：

// 灾难级别的 Map 定义
struct {
    __uint(type, BPF_MAP_TYPE_HASH); // 全局 Hash Map
    __uint(max_entries, 1000000);
    __type(key, __u32); // Source IP
    __type(value, __u64); // Packet Count
} ip_stats SEC(".maps");

SEC("xdp")
int xdp_ddos_filter(struct xdp_md *ctx) {
    // ... 解析以太网和IP头 ...
    __u32 src_ip = iph->saddr;
    __u64 *count, init_val = 1;

    count = bpf_map_lookup_elem(&ip_stats, &src_ip);
    if (count) {
        __sync_fetch_and_add(count, 1); // 原子加
    } else {
        bpf_map_update_elem(&ip_stats, &src_ip, &init_val, BPF_ANY);
    }
    return XDP_PASS;
}

代码看起来“逻辑通顺”，甚至还知道用 __sync_fetch_and_add 做原子操作。但这正是缺乏内核并发意识的典型表现。

NAPI 机制与多队列网卡：现代网卡都有多个 RX 队列（RX Queue），通常通过 RSS（Receive Side Scaling）根据 IP/Port 将报文打散到不同的队列。每个队列由一个专门的 CPU 核心通过软中断（ksoftirqd）以 NAPI 轮询的方式处理。
全局锁与 Cache Line Bouncing：当流量达到 80w PPS 时，分布在 16 个 CPU 核心上的 XDP 程序同时在执行。如果这些 IP 大量重合（例如几个高频源 IP），16 个核心都在并发试图修改同一个内存地址（count）。
性能黑洞：__sync_fetch_and_add 依赖底层的总线锁或缓存锁定机制。多核高频修改同一地址，导致 L3 Cache 中的这行数据在各个核心的 L1/L2 Cache 之间不断失效和同步（Cache Line Bouncing）。更糟糕的是，当出现新 IP 时，bpf_map_update_elem 对全局 BPF_MAP_TYPE_HASH 的操作会在内核底层触发自旋锁（Bucket Lock）。
软中断雪崩：锁争抢导致 CPU 耗费大量时钟周期在等待上，使得每个报文的处理时间被拉长。NAPI 的一次 poll 默认有 64 个 budget，因为处理太慢，budget 耗尽时 Ring Buffer 中的报文根本来不及被取走，进而引发 rx_missed_errors 丢包。

优雅的解法：Per-CPU Map 与空间换时间

在内核数据面上做统计，第一原则永远是避免跨核共享状态。

修复方案非常直接，将全局 Hash Map 替换为 Per-CPU Hash Map：

// 正确的 Map 定义
struct {
    __uint(type, BPF_MAP_TYPE_PERCPU_HASH); // Per-CPU Hash Map
    __uint(max_entries, 1000000);
    __type(key, __u32);
    __type(value, __u64);
} ip_stats SEC(".maps");

SEC("xdp")
int xdp_ddos_filter(struct xdp_md *ctx) {
    // ... 解析逻辑 ...
    __u32 src_ip = iph->saddr;
    __u64 *count, init_val = 1;

    count = bpf_map_lookup_elem(&ip_stats, &src_ip);
    if (count) {
        // 由于是当前 CPU 独占的内存，无需原子操作，直接累加！
        *count += 1;
    } else {
        bpf_map_update_elem(&ip_stats, &src_ip, &init_val, BPF_ANY);
    }
    return XDP_PASS;
}

为什么这样能解决问题？ BPF_MAP_TYPE_PERCPU_HASH 在内核层面为每个 CPU 核心分配了独立的 Value 内存空间。在 XDP 执行时（当前抢占已禁用，且绑定在固定的 CPU 核心上运行），操作的完全是当前 CPU 本地 Cache 的数据。没有任何锁竞争，没有任何 Cache Line 颠簸，报文处理速度达到真正的网卡线速。最终的总量统计，交给用户态程序（如 Go/Rust Agent）定期遍历所有的 Per-CPU 数据进行归并计算即可。这即是经典的“数据面无锁，控制面合并”架构。

同类问题排查清单（Troubleshooting Checklist）

XDP 性能影响定位：遇到网络收包延迟抖动，排查常规栈无果时，务必使用 bpftool prog show 和 bpftool net show 检查是否被偷偷注入了 eBPF/XDP 程序。
CPU 软中断被打满：使用 perf top 观察是否出现大量 bpf_prog_xxx 或 htab_map_xxx、_raw_spin_lock 函数。如果是，大概率是 eBPF Map 滥用导致锁竞争或 Cache Miss 严重。
网卡底层静默丢包：关注 ethtool -S 中的 rx_missed_errors 或 rx_fifo_errors。该指标上涨通常意味着 CPU 处理 NAPI poll 的速度跟不上网卡硬件收包的速度。
eBPF Map 选型红线：在 XDP/TC 等高频网络上下文中，只要涉及计数、累加等写入操作，绝对禁止使用全局 BPF_MAP_TYPE_HASH 或 BPF_MAP_TYPE_ARRAY。必须使用对应的 PERCPU 版本变体，将并发冲突转嫁到用户态去异步合并。

标签： NAPI

深入 eBPF/XDP 陷阱排查：滥用全局 Hash Map 引发的 NAPI 轮询饥饿与软中断雪崩实战

现场还原与故障排查

源码级剖析：为什么全局 Map 会引发灾难？

优雅的解法：Per-CPU Map 与空间换时间

同类问题排查清单（Troubleshooting Checklist）