HDUO Lab

深入 K8S 供应链安全陷阱排查：大体积镜像 SBOM 解析 OOM 与 Cosign 验签超时引发的 Admission Webhook 阻塞实战

作者：

ningniu

在

核心结论：在 CI/CD 中直接对巨型单体镜像执行全层级 SBOM 扫描极易引发 Syft 进程 OOM。同时，K8S 集群中集成 Cosign 准入控制时，若未开启本地缓存，验签阶段高频的公网 OCI 注册表请求延迟会导致 Admission Webhook 超时（默认3秒），最终引发集群 Pod 创建大面积失败。需通过调整扫描作用域（Scope）与开启准入控制器验签缓存来彻底根治。

某次排查过程中，我们落地完整的供应链安全体系（SBOM 生成 -> 镜像签名 -> 准入控制 -> SCA 漏洞分析）。架构上线后，不仅 CI 构建节点频繁告警内存耗尽，生产 K8S 集群甚至出现了常规业务 Pod 扩容大面积处于 ContainerCreating 或直接被 API Server 拒绝的情况。

这绝不是简单的工具堆砌问题，而是深层次的资源隔离与 OCI 协议交互延迟导致的系统级瓶颈。

陷阱一：单体镜像 SBOM 生成引发的 CI 节点 OOM

我们在 GitLab Runner（4C8G 配置）中使用 Syft (v1.3.0) 对业务镜像生成 SBOM。对于基础的 Go/Python 服务毫无波澜，但当扫描到一个 2.5GB 包含大量嵌合 JAR 包的 Java 遗留单体应用时，Pipeline 直接以 Exit Code 137 崩溃。

查看系统日志直击现场：

dmesg -T | grep -i oom
# [Mon Oct 16 10:23:45 2023] syft invoked oom-killer: gfp_mask=0x100cca(GFP_HIGHUSER_MOVABLE), order=0, oom_score_adj=0
# [Mon Oct 16 10:23:45 2023] Memory cgroup out of memory: Killed process 14592 (syft) total-vm:9854320kB, anon-rss:8388608kB, file-rss:0kB, shmem-rss:0kB

Syft 吃掉了整整 8GB 内存。底层原因在于默认配置下，Syft 的扫描机制极其激进：

  1. 全层级解包 (All-Layers)：默认行为下，Syft 会遍历镜像的每一层（Layer）。如果业务在 Dockerfile 中有大量 RUN 和 COPY 操作，Syft 会在内存中重建整个文件系统的历史状态。

  2. 深度递归 Cataloger：针对 java-archive-cataloger，它会递归解压嵌套的 .jar、.war、.ear 文件（Fat JAR 往往嵌套多层），导致内存中维护的包依赖抽象语法树（AST）呈指数级膨胀。

防雷与修复配置： 放弃毫无意义的全层级历史扫描，改为仅扫描最终态（Squashed），并限制部分高开销但不必要的解析器。

# 优化前的致命命令
syft packages docker:registry.local/my-app:v1.2.3 -o cyclonedx-json > sbom.json

# 优化后的防御性配置命令
syft packages docker:registry.local/my-app:v1.2.3 \
  --scope squashed \
  --catalogers -javascript-lockfile,-python-package-cataloger \
  -o cyclonedx-json > sbom.json

注：--scope squashed 仅评估镜像的最终可见层，这使得内存消耗直接从 8GB 暴降至 600MB 左右。

为什么 Cosign 验签会导致 K8S Admission Webhook 级联超时？

这是整个防御体系中最容易翻车的一环。我们在 K8S 中部署了 Kyverno (v1.11.4) 作为 Admission Controller，配合 Cosign (v2.2.3) 实现拦截未签名镜像。

上线后，发现高并发发布时，Pod 经常卡在调度阶段，API Server 的日志中狂刷：

E1016 14:05:22.123456 1 dispatcher.go:180] failed calling webhook "mutate.kyverno.svc-fail": failed to call webhook: Post "https://kyverno-svc.kyverno.system.svc:443/mutate?timeout=3s": context deadline exceeded

底层原理剖析： 当你使用 cosign sign 对镜像签名后，Cosign 并不会修改原有镜像的内容（这也保证了 digest 不变），而是将签名数据作为一个特殊的 OCI Artifact 推送到同一个 Registry。签名 Tag 的命名规范是 sha256-.sig。

当 K8S API Server 收到创建 Pod 的请求时：

  1. API Server 暂停创建，调用 Kyverno Webhook。

  2. Kyverno 提取 Pod 镜像地址，利用内部集成的 Cosign 库，向镜像仓库（如 Harbor）发起网络请求。

  3. 查询 .sig，并拉取签名公钥进行密码学校验。

  4. K8S 默认 Webhook 超时时间只有 3秒！

如果此时发生以下任一情况：Registry 负载突增导致响应慢、DNS 解析抖动、或者 Harbor 的 Rate Limit 触发，请求耗时超过 3 秒，API Server 就会无情切断连接（context deadline exceeded），并在默认 FailurePolicy=Fail 的配置下，直接拒绝创建 Pod。这就是所谓“安全插件阻塞了主干道”。

高可用落地改造：

1. 开启本地缓存与控制并发 不要让 Webhook 每次都去请求 Registry。在 Kyverno 中必须显式启用验签缓存，并调大 K8S 原生的 Webhook Timeout。

修改 Kyverno 部署参数与策略配置：

# K8S MutatingWebhookConfiguration/ValidatingWebhookConfiguration 
# 建议将 timeoutSeconds 从默认的 3 调整为 10 或 15，给网络抖动留出余地
timeoutSeconds: 10

# Kyverno ClusterPolicy 配置片段
apiVersion: kyverno.io/v1
kind: ClusterPolicy
metadata:
  name: check-image-signature
spec:
  webhookTimeoutSeconds: 10
  rules:
    - name: check-signature
      match:
        resources:
          kinds:
            - Pod
      verifyImages:
        - imageReferences:
            - "registry.local/my-biz/*"
          mutateDigest: true
          verifyDigest: true
          # 核心参数：开启验签结果缓存，基于 Image Digest，缓存命中极大降低 Registry 压力
          cacheEnabled: true
          key: |-
            -----BEGIN PUBLIC KEY-----
            MFkwEwYHKoZIzj0CAQYIKoZIzj0DAQcDQgAElxyz...
            -----END PUBLIC KEY-----

2. 镜像拉取与签名校验在同一个网络域 尽量确保 K8S 节点所在的网络到 Registry 之间没有经过多层低性能的 NAT 或防火墙，避免验签过程在 TCP 握手和 TLS 协商上浪费掉宝贵的几百毫秒。

软件成分分析 (SCA)：Trivy 误报阻断流水线的防御性实践

SBOM 生成完后，不可避免要将其喂给 Trivy (v0.49.1) 这类 SCA 工具进行 CVE 扫描。如果你在 CI/CD 中设置了 trivy sbom ./sbom.json --exit-code 1 --severity CRITICAL，那么你的流水线大概率会立刻瘫痪。

在实战中，SCA 扫描器常对间接依赖给出大量极高危 CVE，但实际上代码执行路径根本触碰不到漏洞函数。作为运维与安全架构师，我们绝不能生硬地充当“阻塞者”，而需要提供一套优雅的豁免（VEX）与基线管理机制。

Trivy 防御性配置最佳实践： 利用 .trivyignore 文件进行 CVE 基线化管理，结合 ignore-unfixed 参数（过滤尚未有官方修复方案的漏洞，逼迫研发修复是无效操作）。

trivy sbom ./sbom.json \
  --ignore-unfixed \
  --ignorefile ./.trivyignore \
  --severity HIGH,CRITICAL \
  --exit-code 1 \
  --format table

.trivyignore 文件应当存放在业务代码库的根目录，实施“谁豁免，谁负责，需审计”的原则，上面注明豁免的 CVE ID 及原因注释。

常见问题 (FAQ)

Q1: 使用 Cosign 对容器镜像签名后，镜像原本的 sha256 Digest 会发生变化吗？会导致现有的 GitOps (ArgoCD) 同步失败吗？ 不会变。Cosign 采用的是 Detached Signature（分离签名）机制。签名本身作为独立的 OCI 对象存在 Registry 中。它并没有修改原镜像的 Manifest 数据结构，所以原镜像的 Digest 和计算出的 Hash 完全一致，对 GitOps 工具层绝对透明。

Q2: 业务基础镜像（如 alpine 或 debian）经常被 SCA 扫出几十个系统级 CVE，研发表示无能为力，如何处理这种僵局？ 不要试图让业务研发去修复 OS 层的包漏洞。正确做法是：基础设施团队提供经过安全加固和漏洞清理的统一 Base Image。CI/CD 流水线中，SCA 扫描应该区分 OS 包和应用语言包（通过 --vuln-type library 仅扫描代码级依赖），系统级的 CVE 应由基础架构侧在根镜像环节收口闭环。

Q3: SPDX 和 CycloneDX 两种 SBOM 格式，在企业落地时到底选哪个？ 实战建议选 CycloneDX。虽然 SPDX 背后有 Linux 基金会背书，但在云原生与应用安全领域（尤其是和漏洞管理、VEX 漏洞可利用性交换结合时），OWASP 主导的 CycloneDX 生态工具链更为完善。其 JSON 结构的易读性以及对现代 CI/CD 解析工具（如 Dependency-Track）的原生支持度显著高于 SPDX。

更多文章