标签: Kubernetes安全

  • 深入 K8S 容器提权排查:hostPath 逃逸引发的 Node 接管与 Pod Security Admission 拦截实战

    排查某次 Node 被恶意接管事件发现,业务线侧漏的 ServiceAccount 凭据被利用,通过创建挂载宿主机根目录的特权 Pod 实现了 chroot 逃逸。本文直击 K8S 权限管控盲区,彻底解析从 RBAC 最小权限到 Pod Security Admission (PSA) 拦截,再到 OPA Gatekeeper 细粒度校验的防御链路。

    事故现场:一条 yaml 引发的宿主机沦陷

    某次排查集群异常高负载时,监控显示 Node node-192-168-10-55 上的 sshd 进程出现异常登录,sys CPU 持续飙升。登录审计日志(/var/log/audit/audit.log)追踪,发现该节点上被下发了一个未知的 Pod。

    还原攻击者留下的 Payload,这是一个典型的 hostPath 逃逸模型:

    apiVersion: v1
    kind: Pod
    metadata:
      name: debug-helper
      namespace: dev-team-a
    spec:
      hostNetwork: true
      hostPID: true
      containers:
      - name: root-shell
        image: alpine:3.18
        securityContext:
          privileged: true
        command: ["nsenter", "-t", "1", "-m", "-u", "-n", "-i", "sh", "-c", "echo 'ssh-rsa AAAAB3N...' >> /host/root/.ssh/authorized_keys && sleep infinity"]
        volumeMounts:
        - mountPath: /host
          name: host-root
      volumes:
      - name: host-root
        hostPath:
          path: /
          type: Directory
    

    该 Pod 利用 hostPIDnsenter 直接切入宿主机 1 号进程的 Namespace,并通过 hostPath 将恶意 SSH 公钥写入了 Node 节点的 /root/.ssh/authorized_keys。由于直接复用了宿主机网络(hostNetwork),攻击者绕过了所有的 CNI 隔离策略,直接通过 SSH 拿下了该 Node 的 Root 权限。

    为什么原生的 RBAC 拦不住 hostPath 逃逸?

    很多运维认为配好 RBAC 就能高枕无忧,这是对 K8S 认证授权机制最大的误解。

    查看涉事 Namespace 的 RBAC 配置:

    apiVersion: rbac.authorization.k8s.io/v1
    kind: Role
    metadata:
      name: dev-pod-manager
      namespace: dev-team-a
    rules:
    - apiGroups: [""]
      resources: ["pods", "pods/log", "pods/exec"]
      verbs: ["create", "get", "list", "delete"]
    

    RBAC (Role-Based Access Control) 的作用域在 API Server 请求生命周期的 Authz (授权) 阶段,它只校验“谁(Who)能对什么资源(What)执行什么动作(Verb)”。在这个案例中,开发账号确实拥有 create pods 的权限。

    但是,RBAC 无法解析资源的 Payload(负载内容)。它不关心你要创建的 Pod 是一个普通的 Nginx,还是一个挂载了宿主机 /etc 目录的特权核弹。要拦截恶意 Payload,必须在 API Server 的 Admission Control(准入控制) 阶段下功夫。

    实施第一道防线:Pod Security Admission (PSA)

    在 K8S v1.25+ 中,PodSecurityPolicy (PSP) 已被彻底移除,取而代之的是内置的 Pod Security Admission (PSA)。PSA 实现了官方定义的 Pod Security Standards (PSS),分为三个等级:PrivilegedBaselineRestricted

    要阻断上述逃逸,最快且最原生的方式是在 Namespace 级别强制启用 Restricted(严格)或 Baseline(基线)策略。

    执行以下命令为目标 Namespace 打上 PSA 标签:

    kubectl label namespace dev-team-a \
      pod-security.kubernetes.io/enforce=restricted \
      pod-security.kubernetes.io/enforce-version=latest \
      pod-security.kubernetes.io/audit=restricted \
      pod-security.kubernetes.io/audit-version=latest
    

    再次尝试下发之前的恶意 Pod,API Server 会在 Validating 阶段直接阻断并返回标准的 403 报错:

    Error from server (Forbidden): error when creating "evil-pod.yaml": pods "debug-helper" is forbidden: violates PodSecurity "restricted:latest": 
    privileged (container "root-shell" must not set securityContext.privileged=true), 
    host namespaces (hostNetwork=true, hostPID=true), 
    hostPath volumes (volume "host-root")
    

    底层机制:当请求到达 API Server,完成 RBAC 鉴权后,会进入 PodSecurity Admission Controller。它会读取所在 Namespace 的 labels,根据定义的 PSS 等级去校验 Pod Spec 中的 securityContextvolumes 等字段,一旦发现违规属性即刻拒绝写入 etcd。

    实施第二道防线:基于 OPA Gatekeeper 的细粒度准入

    PSA 的缺点在于颗粒度太粗。在真实业务场景中,某些特殊的 DaemonSet(如 Promtail 日志采集、CSI 存储插件)确实需要 hostPath。如果我们一刀切开启 Restricted,业务会大面积瘫痪。此时,我们需要基于 Webhook 的细粒度准入控制器(如 OPA Gatekeeper v3.14+)。

    通过 Rego 语言编写策略,我们可以实现:“禁止使用 hostPath,除非该 Pod 属于特定的 ServiceAccount 且挂载特定路径”。

    1. 部署 ConstraintTemplate (定义规则模板)

    apiVersion: templates.gatekeeper.sh/v1
    kind: ConstraintTemplate
    metadata:
      name: k8sblockhostpath
    spec:
      crd:
        spec:
          names:
            kind: K8sBlockHostPath
      targets:
        - target: admission.k8s.gatekeeper.sh
          rego: |
            package k8sblockhostpath
    
            violation[{"msg": msg}] {
              volume := input.review.object.spec.volumes[_]
              has_key(volume, "hostPath")
              not is_exempt(input.review)
              msg := sprintf("HostPath volume is forbidden: %v", [volume.name])
            }
    
            has_key(obj, k) {
              _ = obj[k]
            }
    
            # 允许 kube-system 命名空间下的请求豁免
            is_exempt(review) {
              review.object.metadata.namespace == "kube-system"
            }
    

    2. 下发 Constraint (绑定策略)

    apiVersion: constraints.gatekeeper.sh/v1beta1
    kind: K8sBlockHostPath
    metadata:
      name: block-hostpath-all-namespaces
    spec:
      match:
        kinds:
          - apiGroups: [""]
            kinds: ["Pod"]
    

    原理剖析:Gatekeeper 以 ValidatingWebhookConfiguration 注册到集群。当 API Server 处理 Pod 创建请求时,会发起 HTTPS POST 请求将 AdmissionReview 结构体发送给 Gatekeeper。Gatekeeper 将 JSON 数据喂给内部的 OPA 引擎执行 Rego 脚本校验,如果 violation 规则命中,则向 API Server 返回 Allowed: false 并附带 msg

    防御性加固最佳实践

    在 20 年的架构和排障经历中,我见过太多因权限配置不当引发的集群雪崩和安全事故。针对 K8S 安全,请将以下几条刻在运维基线上:

    1. AutomountServiceAccountToken = false:默认禁止 Pod 自动挂载 SA Token。90% 的业务 Pod 根本不需要和 API Server 通信,直接在 Pod/ServiceAccount 层级关闭它: yaml apiVersion: v1 kind: ServiceAccount metadata: name: default automountServiceAccountToken: false
    2. AppArmor/Seccomp 默认开启:在 kubelet 层面或 Pod SecurityContext 中强制开启 RuntimeDefault seccomp profile,从内核层面阉割非必要的 Syscall。

    3. No-Root 运行:强制要求开发将镜像内的用户改为普通用户,并在 Pod 的 securityContext 中强制声明 runAsNonRoot: true,结合 allowPrivilegeEscalation: false 锁死提权路径。

    常见问题

    Q1: PSS restricted 模式导致合法的基础设施组件(如 Promtail, CSI Node)无法启动怎么办? A1: 基础设施组件通常部署在独立的 Namespace(如 monitoring, kube-system)。PSA 策略是基于 Namespace 打标的,你可以为这些特定的 Namespace 设置 pod-security.kubernetes.io/enforce=privileged,并在集群层级通过 RBAC 严格限制谁有权限在这些特权 Namespace 中创建资源。

    Q2: 如何在不影响现有业务的情况下,平滑推行 PSS 策略? A2: 使用 PSA 的 auditwarn 模式,而不是直接 enforcekubectl label ns dev pod-security.kubernetes.io/warn=restricted pod-security.kubernetes.io/audit=restricted 这样违规的 Pod 依然可以创建,但会在 kube-apiserver 的 Audit Log 中产生告警,并在客户端 kubectl 抛出 Warning。通过聚合分析 Audit Log,揪出不合规的业务端,推动改造后再切为 enforce

    Q3: 为什么配置了 Mutating Webhook 给 Pod 注入 runAsNonRoot: true,但 Pod 依然以 Root 运行? A3: 这通常是因为镜像 Dockerfile 的 USER 指令依然是 root(UID 0)。runAsNonRoot: true 只是一个校验指令,它在 Kubelet 启动容器前会检查 UID,如果是 0 就会直接报错启动失败(Error: container has runAsNonRoot and image will run as root)。要真正改变运行用户,你的 Mutating Webhook 应该注入具体的 runAsUser: 1000,强制覆盖镜像原有的设定。

  • Exit Code 159 连环暴雷:一份“原汁原味”的 Seccomp 配置是如何干碎生产集群的

    排查某核心计费链路故障时,处理了一起令人血压飙升的 P0 事故。现象很简单:核心服务在一次例行发布后陷入无限 CrashLoopBackOff,容器退出码清一色是 159。而真正引发雪崩的,是研发为了绕过报错,随手加上的一句 privileged: true,直接触发了节点级 Falco 规则引擎的“死亡螺旋”,导致整台宿主机 Load Average 飙升至 80+,最终 OOM。

    结论先行:Exit Code 159 意味着进程收到了 SIGSYS (128 + 31) 信号,触发了 Seccomp 机制的系统调用拦截。 事故的根本原因是业务团队为了应付安全合规扫描,从几年前的博客上盲目抄了一份 Seccomp 白名单配置,漏掉了新版 glibc 强依赖的 clone3 系统调用。更不可原谅的是,面对拦截,他们没有去审计日志补齐规则,而是选择直接裸奔,进而引爆了底层的安全监控器。

    防御性编程的底线在于:不要用更大的错误,去掩盖一个你没看懂的报错。 接下来,我们把事故现场扒开,看看底层到底发生了什么。

    现场复原:神秘的 159 退出码与“消失的线程”

    服务起不来,查看 Pod 状态:

    $ kubectl get pods -n billing
    NAME                              READY   STATUS             RESTARTS   AGE
    billing-svc-7f8b9d4c-x9j2k        0/1     CrashLoopBackOff   12         3m
    

    看一眼容器退出日志,没有任何 Java 异常栈,只有一句冰冷的提示:Pod the container terminated with exit code 159.

    遇到 159,老鸟的直觉应该立刻指向 Seccomp(Secure Computing Mode)。登录所在 Node,直接翻内核审计日志:

    $ dmesg -T | grep audit | grep "sig=31"
    [Mon ...] audit: type=1326 audit(1690000000.123:45): auid=4294967295 uid=1000 gid=1000 ses=4294967295 pid=14321 comm="java" exe="/opt/java/bin/java" sig=31 arch=c000003e syscall=435 compat=0 ip=0x7f8a9b8c2d4e code=0x80000000
    

    这是一条标准的 Seccomp 拦截日志。拆解一下核心字段:

    • sig=31:触发了 SIGSYS 信号,内核直接 Kill 了该线程。

    • arch=c000003e:代表 x86_64 架构。

    • syscall=435:重点来了,在 x86_64 下,系统调用号 435 对应的是 clone3

    • code=0x80000000:对应 SECCOMP_RET_KILL_THREAD

    为什么会突然拦截 clone3?排查后发现,业务基础镜像最近升级到了基于 Ubuntu 22.04(内置 glibc 2.34+),而新版 glibc 在创建线程时默认优先使用 clone3。但业务提交的那份陈年 Seccomp 白名单(Default Profile)里,压根没有 435 这个系统调用!

    灾难升级:当“掩耳盗铃”遇上 Falco 规则引擎

    按照正常的逻辑,拿到 syscall=435,去 Seccomp Profile 的 syscalls 列表里加上 clone3 就完事了。但研发团队为了快速恢复,做了一个极其愚蠢的操作:直接在 YAML 里移除了 Seccomp 限制,甚至为了“保险起见”,加了特权模式:

    securityContext:
      privileged: true # 罪恶之源
      # seccompProfile:
      #   type: Localhost
      #   localhostProfile: "strict-profile.json"
    

    Pod 确实跑起来了,但集群的噩梦才刚刚开始。监控大屏上,该 Node 的 CPU 使用率瞬间打满,Falco(容器安全监控系统)的 Pod 疯狂重启。

    抓取 Node 的 top 和 eBPF 性能指标,发现 Falco 正在被按在地上摩擦。为什么?

    因为集群的安全团队在 Falco 中配置了这样一条规则,用于监控特权容器内的可疑命令执行:

    - rule: Privileged Container Exec
      desc: Detect any execve in a privileged container
      condition: >
        evt.type = execve and container
        and container.privileged = true
        and proc.cmdline pmatch ( "sh", "bash", "curl", "wget" )
      output: "Privileged execve (user=%user.name container_id=%container.id command=%proc.cmdline)"
      priority: WARNING
    

    注意那个 pmatch(正则前缀匹配)。业务 Pod 配置了 livenessProbe,每 5 秒执行一次 sh -c "curl -s http://localhost:8080/health"。 由于改成了特权容器,探针的每一次执行都会命中这条 Falco 规则。更要命的是,正则表达式是非常消耗 CPU 的操作。在高并发场景下,海量的 sys_enter_execve 事件涌入 Falco 的 eBPF Ring Buffer,导致 Falco 陷入重度计算,大量事件 Drop:

    # 查看 Falco drop 统计
    $ curl -s http://localhost:8765/metrics | grep falco_stats_drop_count
    falco_stats_drop_count 4589212
    

    最终,Falco 因处理不过来吃光了内存,被宿主机的 OOM Killer 无情干掉,整个节点短暂处于监控盲区。

    技术结论与正规军玩法

    解决这类问题,靠的不是拍脑袋加权限,而是建立正确的安全配置基线和调试方法。

    1. 永远不要用 SECCOMP_RET_KILL 作为默认动作调试 在生产环境引入自定义 Seccomp 前,正确的做法是先将 default action 设置为 SCMP_ACT_LOG。这样内核只会记录审计日志,而不会杀死进程:

    {
      "defaultAction": "SCMP_ACT_LOG",
      "syscalls": [
        {
          "names": ["clone", "clone3", "epoll_pwait", "futex"],
          "action": "SCMP_ACT_ALLOW"
        }
      ]
    }
    

    跑几天后,提取 /var/log/audit/audit.log 里的记录,分析出业务实际需要的 syscall 集合,再切回 SCMP_ACT_ERRNOSCMP_ACT_KILL

    2. 使用 SPO(Security Profiles Operator)自动化录制 不要手工猜系统调用。K8s 官方提供的 Security Profiles Operator 支持 LogEnricher 机制,可以在 Staging 环境跑一遍完整的回归测试,SPO 会自动帮你生成精确到业务级别的 Seccomp/AppArmor Profile。

    3. Falco 规则的防御性优化 Falco 规则引擎极度依赖条件短路(Short-circuit evaluation)。

    • 将高频过滤条件(如 evt.type = execve)放在最前面。

    • 尽量用 in= 替代正则 pmatchregex

    • 必须对 K8s 探针做白名单豁免,绝不能让健康检查触发报警逻辑。

    排查清单:容器运行时安全拦截速查

    遇到容器莫名其妙死亡、无日志退出、或权限拒绝时,请直接核对以下三步:

    1. 核对 Exit Code 159 (Seccomp拦截)

      • 现象:容器 CrashLoopBackOff,退出码 159
      • 命令:dmesg | grep -i seccompjournalctl -k | grep "sig=31"
      • 动作:提取 syscall= 后面的数字,去查阅 ausyscall x86_64 ,确认被拦截的调用(常见如 clone3=435, rseq=334)。
    2. 核对 AppArmor 拦截 (EPERM / Permission Denied)

      • 现象:代码里抛出 EPERM,或者 open/mkdir 报错,但文件权限明明是 777。
      • 命令:dmesg | grep -i apparmor | grep DENIED
      • 动作:检查 profile= 字段,确认是否使用了过于严苛的 AppArmor 模板限制了特定目录的写权限。
    3. 核对 Falco 性能瓶颈 (节点 Load 飙升 / 事件丢弃)

      • 现象:部署 Falco 后宿主机 CPU 升高,应用延迟抖动。
      • 命令:检查监控指标 falco_stats_drop_count
      • 动作:排查是否有规则使用了高昂的 regex,或者审计了太高频的 open / read 等系统调用,务必加上 container.name 的白名单豁免。