Controller分片 – HDUO Lab

结论先行：当 Argo CD 纳管数千个 Application 且开启默认的强一致性漂移检测时，极易因 K8s API 抖动或大体积 Monorepo 变更引发调谐（Reconciliation）风暴。破局核心在于：对 argocd-application-controller 开启分片（Sharding）、将全局 timeout.reconciliation 延长至 10 分钟以上并强依赖 Git Webhook、全面开启 Server-Side Apply (SSA) 卸载客户端 Patch 计算压力。这套组合拳可将 Controller 工作队列堆积降低 90% 以上。

故障现场：App Sync 队列假死与 99线飙升

某次排查过程中，生产环境一组集中式部署的 Argo CD（版本 v2.10.4）出现大面积交付停滞。业务反馈通过 CI 推送变更到 Git 仓库后，Argo CD UI 上的应用状态迟迟不更新，长时间卡在 Unknown 或 OutOfSync，手动点 Sync 直接超时报错。

登录运维终端，直接拉取 Prometheus 监控指标，现场惨不忍睹：

argocd_app_reconcile_duration_seconds_bucket 99线从平时的 0.2s 飙升到 150s 甚至触达超时阈值。
argocd_app_controller_workqueue_depth（控制器工作队列深度）长期维持在 4000+ 且呈上涨趋势。
argocd-application-controller Pod 的 CPU 持续打满（Limit 设为 4C，实际 Throttling 极为严重），Redis 内存飙升导致频繁 Eviction。

查看 Controller 核心报错日志：

# kubectl logs -n argocd -l app.kubernetes.io/name=argocd-application-controller --tail=100 | grep warning
time="202X-XX-XXT08:12:30Z" level=warning msg="Reconciliation timeout" application=billing-service dest-namespace=prod dest-server="https://10.x.x.x:443"
time="202X-XX-XXT08:12:32Z" level=warning msg="Failed to cache app state" application=payment-gateway error="dial tcp 10.y.y.y:6379: i/o timeout"

这种现象是典型的“调谐风暴”导致的控制平面拥塞。Argo CD 的核心引擎正在被海量的状态比对任务拖垮。

为什么频繁的配置漂移检测会压垮 Application Controller？

Argo CD 的核心哲学是 GitOps 声明式对齐。为此，application-controller 内部运行着一个重度消耗资源的控制循环。

默认情况下，Argo CD 每隔 3 分钟（timeout.reconciliation: 3m）就会对所有 Application 执行一次完整的状态同步与漂移检测。这个过程的底层逻辑如下：

获取 Target State：通过 gRPC 调用 argocd-repo-server，解析 Git 仓库中的 Helm/Kustomize 清单。
获取 Live State：通过 K8s Informer 机制获取目标集群中资源的实际运行状态。
计算 Diff（罪魁祸首）：默认采用 Client-Side Apply 逻辑，Controller 需要在内存中执行复杂的 3-way merge（三方合并），对比 Git 期望状态、K8s 实际状态以及 Last Applied Configuration。

当集群达到 2000+ Application 的量级，且存在大量被 Mutating Webhook（如 Istio 注入、Kyverno 策略、VPA）动态修改的资源时，K8s 侧的 Live State 会频繁发生微小变更（配置漂移）。这会导致：

Controller 频繁被触发调谐，将大量 App 塞入 workqueue。
Client 侧巨大的 JSON Patch 计算消耗极其恐怖的 CPU 周期。
最终 CPU 节流（Throttling）拖慢了单次 Reconcile 耗时，入队速度远大于出队速度，队列雪崩。

破局与调优：Controller 分片与 SSA 机制落地

要彻底解决这种架构级别的瓶颈，单纯扩容 Controller 的 CPU Limit 是徒劳的。必须从并发模型和计算下推两个维度进行改造。

1. 开启 Controller 动态分片 (Sharding)

Argo CD 支持按目标集群（Cluster）对 Application Controller 进行分片，从而实现水平扩展。在 argocd-cmd-params-cm 中配置分片参数：

apiVersion: v1
kind: ConfigMap
metadata:
  name: argocd-cmd-params-cm
  namespace: argocd
data:
  # 开启按集群的动态分片算法
  controller.sharding.algorithm: "round-robin"
  # 允许 Controller 自动根据集群数量动态调整分片
  controller.dynamic.cluster.distribution.enabled: "true"

接着，将 Controller 的 StatefulSet 副本数（或 Deployment）扩容至 3 个以上。这样每个 Pod 只需要处理 1/3 的集群，Workqueue 的堆积压力被瞬间摊薄。

2. 阻断无效轮询：延长调谐周期并依赖 Webhook

既然代码变更推送有 GitLab/GitHub Webhook 通知 argocd-server 主动触发同步，就不需要维持激进的 3 分钟兜底轮询。在 argocd-cm 中将默认轮询周期大幅延长：

apiVersion: v1
kind: ConfigMap
metadata:
  name: argocd-cm
  namespace: argocd
data:
  # 将默认漂移检测周期从 3 分钟延长至 15 分钟
  timeout.reconciliation: 15m

注：对于极其庞大的集群，甚至可以设置为 0（完全禁用兜底轮询），完全依靠 Webhook 和主动触发，但这要求你的 Webhook 投递链路必须具备 100% 可靠性。

3. 计算下推：全面启用 Server-Side Apply (SSA)

这是降低 Argo CD CPU 开销的终极武器。将资源的合并计算从 Argo CD（客户端）下推到 K8s API Server（服务端）。K8s API Server 原生支持结构化合并机制，效率远高于客户端的 3-way merge。

可以在具体的 Application 中配置 ServerSideApply=true，或者作为全局默认选项。

apiVersion: argoproj.io/v1alpha1
kind: Application
metadata:
  name: core-payment-service
spec:
  syncPolicy:
    syncOptions:
    - ServerSideApply=true  # 开启服务端应用
    - FailOnSharedResource=true

4. 消除“伪漂移”：精准配置 ignoreDifferences

很多时候，队列拥塞是被无意义的字段变更触发的（例如 HPA 自动更新了 Deployment 的 replicas）。通过在 Application 级别（或系统级 ConfigMap）忽略这些已知变动，可以避免不必要的调谐。

spec:
  ignoreDifferences:
  - group: apps
    kind: Deployment
    jsonPointers:
    - /spec/replicas
  - group: ""
    kind: Service
    jsonPointers:
    - /spec/clusterIP

完成上述调整后，重新观察 argocd_app_controller_workqueue_depth 监控图表，队列深度在 5 分钟内断崖式下跌并稳定在 0~10 的健康区间，99线延迟回落至 500ms 内，系统恢复丝滑。

常见问题

Q1：配置了 Git Webhook，为什么 Argo CD 的 UI 还是每隔 3 分钟自动刷新一次状态？ 因为 Webhook 只是触发了 Git Repo 到 API Server 的变更拉取通知。对于 K8s 侧由于人为修改或 Operator 修改造成的“配置漂移”，Argo CD 依然依赖 timeout.reconciliation（默认 3 分钟）进行兜底扫描。如果确认不需要高频漂移检测，必须显式修改 argocd-cm 中的 timeout.reconciliation 参数。

Q2：大规模使用 Argo CD 时，Redis 为什么经常 OOM？ Argo CD 的 Redis 缓存了庞大的 repo-server 清单解析结果和 application-controller 的 Live State（K8s 资源状态）。当 Application 数量上千时，全量缓存轻易超过 2GB。建议：1. 剥离 Redis 独立部署集群或使用云厂商托管 Redis；2. 在 argocd-cm 中调低 controller.status.cache.expiration 以加速旧状态淘汰。

Q3：删除 Application 时，状态一直卡在 “Deleting” 无法彻底删除怎么排查？ 通常是 Finalizer 阻塞。Argo CD 在删除 App 时会清理目标集群资源。如果目标集群不可达、鉴权失败，或者子资源本身存在死锁（例如 PVC 被占用无法删除），Argo CD 就会一直等。急救方案：直接 kubectl patch app -p '{"metadata": {"finalizers": null}}' --type merge 强行移除 Finalizer，但需手动去目标集群清理残留遗留物。

Q4：Server-Side Apply (SSA) 有没有副作用？ 有。如果你的资源最初是通过 Client-Side Apply（如 kubectl apply 或旧版 Argo CD）创建的，直接切到 SSA 可能会遇到 field ownership（字段归属权）冲突报错。解决方式是在 Sync Options 中同时配置 Replace=true 或在遇到冲突时强制接管字段所有权（Force Conflicts）。

标签： Controller分片

深入 Argo CD 陷阱排查：大规模配置漂移检测引发的控制平面拥塞与 Controller 分片调优实战