标签: K8s网络

  • 深入 Netfilter 排查:海量 iptables 规则引发的 CPU SoftIRQ 暴涨与 nftables 匿名集合 O(1) 重构实战

    结论先行:将 5 万条 iptables 顺序拦截规则重构为原生 nftables 的匿名集合(Set/Map)后,宿主机网卡软中断(SoftIRQ)CPU 开销从 100% 暴降至 2%,网络 P99 延迟从 200ms 恢复至 2ms。在海量 IP 拦截与路由过滤场景下,彻底抛弃 iptables 的 O(N) 线性遍历,改用 nftables 基于红黑树与哈希表的 O(1) 匹配,才是现代网关防御的唯一出路。

    近期在排查某边缘网关集群性能问题时,发现部分节点在 PPS(每秒包数)仅 10 万左右时,Load Average 飙升至 40+,网络出现严重丢包。该节点主要承担流量清洗清洗和恶意 IP 封禁任务,安全组件会通过脚本动态下发拦截规则。

    案发现场:ksoftirqd 满载与 perf 剖析

    登录问题机器(Ubuntu 22.04, Kernel 5.15.0, iptables v1.8.7),通过 mpstat -P ALL 1 观察,发现多个 CPU 核心的 %soft 指标长期顶在 100%,而 %usr 和 %sys 极低。这说明 CPU 周期全部消耗在了内核态网络软中断处理上。

    直接挂载 perf 抓取热点函数:

    perf record -a -g -F 99 -- sleep 10
    perf report
    

    调用栈结果异常刺眼:

    -   78.42%     ksoftirqd/2  [kernel.kallsyms]   [k] nft_do_chain
       - 77.10% nft_do_chain
          - 68.32% nft_cmp_eval
          - 4.21% nft_counter_eval
    

    排查防火墙规则,发现安全组件通过 iptables -A INPUT -s -j DROP 累积下发了高达 5.2 万条黑名单规则。

    为什么 iptables-nft 包装层依然无法拯救 SoftIRQ 雪崩?

    很多人有个误区,认为在较新的 Linux 发行版中,iptables 已经默认切换到了 iptables-nft(即底层调用 nftables API),性能应该自动得到了优化。这是极其致命的错觉。

    iptables-nft 仅仅是一个语法翻译层。当你执行 5 万次 iptables -A INPUT -s IP -j DROP 时,翻译层会在 nftables 中原样生成 5 万条独立的规则。

    在内核 net/netfilter/nf_tables_core.c 的 nft_do_chain() 函数执行时,Netfilter 依然会像老版本一样,对数据包进行 O(N) 的线性遍历匹配。这意味着:

    1. 合法流量的深渊:正常用户的包如果不匹配任何黑名单,必须遍历完这 5.2 万条规则,直到命中链底部的默认 ACCEPT。

    2. SYN 洪水的放大器:虽然通常会在链表顶部配置 iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT,但对于新建连接(SYN)或恶意扫描包,Conntrack 无法命中,依然会陷入 5.2 万次 nft_cmp_eval 的循环对比中。

    单包处理时间的微秒级膨胀,在 10 万 PPS 的乘数效应下,瞬间抽干了 ksoftirqd 的处理能力,导致网卡 Ring Buffer 溢出,触发连环丢包。

    nftables 重构实战:利用 Set/Map 实现 O(1) 降维打击

    要解决这个问题,必须抛弃 iptables 的扁平化规则思维,改用 nftables(推荐版本 >= 1.0.2)原生的集合(Set)数据结构。内核会自动为集合选择合适的数据结构(针对离散 IP 默认使用 rhashtable,针对网段使用 pipapo)。

    1. 编写原生 nftables 配置

    清空旧的 iptables 规则,并加载优化的 nftables 配置:

    # file: /etc/nftables.conf
    flush ruleset
    
    table inet filter {
        # 预先定义一个巨大的哈希集合用于存放黑名单 IP
        set blacklist_ipv4 {
            type ipv4_addr
            flags interval
            auto-merge
            size 100000 # 预分配空间,避免频繁扩容引起的自旋锁竞争
        }
    
        chain input {
            type filter hook input priority filter; policy accept;
    
            # 1. 优先放行已建立的连接,跳过后续检查 (Conntrack 加速)
            ct state established,related accept
    
            # 2. 无效包直接丢弃
            ct state invalid drop
    
            # 3. O(1) 极速匹配黑名单,命中即丢弃
            ip saddr @blacklist_ipv4 drop
    
            # 4. 本地回环与 SSH 放行等常规规则...
            iifname "lo" accept
            tcp dport 22 accept
        }
    }
    

    2. 动态管理海量 IP 且不重载规则

    传统 iptables 增删规则时会对整个链表加锁(xtables_lock),并发极差。而在 nftables 中,向 set 添加元素是轻量级的原子操作,完全不会影响其他规则的执行:

    # 批量导入 5 万个黑名单 IP(执行耗时仅需几十毫秒)
    nft add element inet filter blacklist_ipv4 { 1.1.1.1, 2.2.2.0/24, 3.3.3.3 }
    
    # 删除特定 IP
    nft delete element inet filter blacklist_ipv4 { 1.1.1.1 }
    

    3. 性能验证

    重构上线后,再次压测 30 万 PPS 的新建连接风暴:

    • CPU %soft 消耗直接降至 2% ~ 3%。

    • perf top 中 nft_do_chain 的开销跌出前十。

    • 通过 nft list set inet filter blacklist_ipv4 查看,五万个 IP 被压缩在一次底层的哈希查找中,耗时几近于零。

    底层原理:Pipapo 与 rhashtable 的威力

    在 nftables 的源码实现中(net/netfilter/nft_set_hash.c),当你定义了一个不带 interval(网段)标志的独立 IP set 时,内核默认初始化 rhashtable(可动态扩容的哈希表)。查找复杂度为绝对的 O(1)。

    如果带有 interval 标志(例如混合了 CIDR 网段拦截),内核会使用 pipapo (PIle PAcket POlicies) 算法(net/netfilter/nft_set_pipapo.c)。这是一种针对多维范围匹配高度优化的算法,通过预构建位图(Bitmaps),将多级网段的匹配转换为内存连续的位运算操作,且对 CPU Cache 极其友好。这解释了为何无论黑名单是 5 千还是 5 万,单包处理时延的抖动曲线始终保持平滑。

    常见问题 (FAQ)

    Q1: 在向 nftables 的 Set 中大批量添加 IP 时,会阻塞现有的网络连接吗? 不会。nftables 底层通过 RCU (Read-Copy Update) 机制保障数据的并发读写。对于数据包匹配链路(读侧),RCU 提供了无锁访问能力;而在控制平面批量更新 Set 元素时(写侧),只会发生极短的锁竞争。这与传统 iptables 重载整个规则链引发的剧烈抖动有本质区别。

    Q2: 既然设置了 ct state established accept,为什么之前用 iptables 时,正常流量还是会感觉到高延迟? 因为网络环境并非绝对纯净。即使正常长连接被 Conntrack 放行,但在公网环境中,机器每秒都会遭受大量的垃圾扫描包、伪造包或恶意 SYN 包。这些无状态包无法命中 established,必定会落入后续的 5 万条 iptables 规则中进行线性遍历,进而抢占大量 CPU 资源,导致正常连接的软中断处理被系统调度延后,最终体现为 P99 延迟飙升。

    Q3: 如何将现有的业务脚本从 iptables 平滑迁移到 nftables? 千万不要依赖 iptables-nft 来容忍旧脚本。正确的做法是:

    1. 重写网关的基线规则,用 nft -f 加载带有 Set 的配置结构。

    2. 将现有的封禁/解封脚本,从 iptables -I INPUT -s $IP -j DROP 替换为 nft add element inet filter blacklist_ipv4 { $IP }。

    3. 如果依赖 fail2ban 等第三方工具,需将 action 配置修改为 nftables-multiport 或直接修改其默认的 backend 为 nftables。

  • 深入 Macvlan 广播风暴排查:CAM 表溢出引发的未知单播泛洪与 ksoftirqd 软中断打满实战

    某次接手一个号称为了“极致网络性能”而将 K8S CNI 从 VXLAN 模式改为纯 Macvlan 的生产集群。业务上线后,节点负载出现间歇性雪崩,核心接口 P99 延迟从正常的 20ms 飙升至 3s 甚至超时,节点 Load Average 狂飙。排查到底层的结论很直接:高密度 Pod 产生的离散 MAC 地址不仅打穿了单机网卡的硬件过滤表,更是直接打爆了 ToR 交换机的 CAM(MAC 地址表)。交换机被迫退化成 Hub,引发全网段“未知单播泛洪”(Unknown Unicast Flooding)。所有节点的 ksoftirqd 进程因处理海量非本机的垃圾报文将 CPU 软中断打满。盲目追求扁平网络而不评估物理网络和硬件容量,纯属给自己挖坑。

    案发现场与指标表现

    报警爆发时,业务端反馈连接池超时,但在容器内 ping 网关却时通时断。登录其中一台高负载节点排查,执行 mpstat -P ALL 1,发现部分 CPU 核心的 %soft(软中断)指标死死顶在 100%:

    10:14:01 AM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %idle
    10:14:02 AM    2    1.00    0.00    3.00    0.00    0.00  100.00    0.00    0.00   0.00
    10:14:02 AM    5    0.50    0.00    2.50    0.00    0.00  100.00    0.00    0.00   0.00
    

    查看 /proc/softirqs,NET_RX(网络接收软中断)的计数值在特定核上正在以每秒数十万的速率疯狂拉升。

    直接抓取网卡吞吐,sar -n DEV 1 显示物理网卡 eth0 的 rxpck/s(每秒接收包数)高达 40w+,但节点实际的业务 QPS 根本没有这么大,且大部分包被内核默默丢弃了(rxdrop/s 同样极高)。

    剥丝抽茧:谁在塞满接收队列?

    既然有海量不明报文涌入,直接祭出 tcpdump 在宿主机物理网卡上抓包分析。为了过滤掉正常的本机流量,明确指定抓取目的 MAC 不是本机的报文:

    tcpdump -i eth0 -n -e -c 1000 not ether dst $(cat /sys/class/net/eth0/address)
    

    抓包结果让人大跌眼镜:屏幕上疯狂滚动着目的 MAC 地址属于其他节点上运行的 Pod 的单播报文。

    正常情况下,交换机通过 CAM 表记录 MAC 地址与物理端口的映射,单播包应该精确转发到对应端口,为什么这些单播包会被广播到所有节点?

    结合 Macvlan 的底层机制,问题的技术逻辑链条浮出水面: Macvlan 的核心原理是为宿主机网卡创建多个子接口,每个子接口(即每个 Pod)分配一个独立的、真实的 MAC 地址。

    # Macvlan 底层创建逻辑示例
    ip link add link eth0 name macvlan0 type macvlan mode bridge
    

    第一层雪崩:物理网卡 UC Filter 被迫降级 普通的物理网卡(如 Intel X710 等)硬件支持的单播 MAC 地址过滤表(Unicast Filter Table)容量极其有限(通常在 128 到 512 个之间)。当单台宿主机上调度的 Pod 数量超过网卡硬件限制时,网卡驱动为了保证网络连通性,会直接放弃硬件过滤,强制将网卡设置为混杂模式(Promiscuous Mode)。 通过 dmesg | grep promiscuous 确认了这一点,系统日志中赫然躺着: eth0: entered promiscuous mode 这意味着网卡会将网络上收到的所有报文全部通过 DMA 拷贝到内存,并触发中断交由内核 ksoftirqd 处理。

    第二层雪崩:ToR 交换机 CAM 表溢出 集群规模约 100 台,每台节点平均 150 个 Pod,总计 15000+ 个 MAC 地址。而机架顶部的 ToR 交换机的 CAM 表容量上限仅为 8192。 当交换机学习到的 MAC 地址超过 8192 时,新来的 MAC 无法被记录,或者旧的活跃 MAC 被挤出。当交换机收到目的地址不在 CAM 表中的单播报文时,它的处理机制是:将该报文向 VLAN 内除源端口外的所有端口泛洪(Flooding)。

    两层雪崩叠加,灾难诞生了:交换机将海量的单播报文当成广播往全网段狂塞,而所有宿主机的物理网卡均因超过硬件过滤上限处于混杂模式,全盘接收这些垃圾报文。内核网络栈被迫对这每秒数十万的包进行解析、路由判断并最终丢弃,直接耗尽了 CPU 的软中断处理能力,导致正常的业务报文排队超时,业务被一波带走。

    破局与架构避坑

    不要一听到 VXLAN 的封包解包开销,就急着上 Macvlan。扁平网络带来的不仅是性能,还有对二层物理网络的巨大冲击。

    对于这种问题,除了临时扩容交换机 CAM 表(如果硬件支持的话)或降低 Pod 密度外,根本的技术解法是抛弃 Macvlan,转向 IPVLAN (L2 模式)。

    IPVLAN 与 Macvlan 类似,都能提供直接接入 Underlay 网络的低损耗,但 IPVLAN 的核心区别在于:所有 Pod 共享宿主机物理网卡的 MAC 地址。

    # IPVLAN 底层创建逻辑示例
    ip link add link eth0 name ipvlan0 type ipvlan mode l2
    

    使用 IPVLAN 后:

    1. ToR 交换机解脱:无论节点上跑 10 个还是 1000 个 Pod,交换机在对应端口上只看到 1 个宿主机的 MAC,彻底根绝 CAM 表溢出风险。

    2. 物理网卡解脱:无需占用网卡硬件 MAC 过滤表,网卡无需开启混杂模式,异常泛洪报文在网卡硬件层即被丢弃。

    3. 内核分发:报文到达内核后,IPVLAN 驱动根据网络层的 IP 地址(而不是 MAC)将流量精准分发到对应的 Pod 网络命名空间。

    同类问题速查排查清单

    1. NET_RX 软中断飙升定性:遇到网络高延迟,第一时间 mpstat -P ALL 1 查看 %soft,并用 cat /proc/softirqs 确认是否为 NET_RX 引起。若单核被打满,往往伴随网卡多队列未开启或哈希不均(RSS 配置问题)。

    2. 未知单播泛洪检测:使用 tcpdump -i eth0 -n -e not ether dst <本机MAC> 抓包。如果抓到大量不属于本机且非广播/多播的报文,立即检查交换机 MAC 学习表是否溢出或未学习到对应路由。

    3. 网卡混杂模式暗坑排查:高密度容器场景下,通过 dmesg | grep promiscuous 或 ip link show 检查物理网卡是否处于 PROMISC 状态。如果是且非主动开启(如抓包),需警惕硬件 MAC 过滤表已满。

    4. Macvlan 宿主机互通死角:如果开发反馈 Macvlan 模式下 Pod 无法 ping 通所在的宿主机(常导致 Kubelet 健康检查失败),这是 Macvlan 规范限制。必须在宿主机额外创建一个 Macvlan 虚接口,并将宿主机 IP 移至该虚接口并配置对应路由才能绕过此隔离限制。