Tail-Based Sampling

核心结论：分布式追踪的最大谎言是“已接入 OTel”，实则因 Head-Based 采样丢弃了大部分异常链路，且异步线程未透传 MDC 导致日志与 Trace 断层。本文通过在 Collector 层引入 Tail-Based 采样精准捕获全量异常与慢请求，并重构 Java 异步上下文透传机制，彻底打通 Trace 与 Log 的 100% 关联。

排查过程中，业务线频繁反馈极其割裂的现象：网关监控显示 p99 耗时飙升甚至出现大量 500 报错，但研发在 Jaeger / SkyWalking 中通过 TraceID 搜索时，却查不到任何链路数据；同时，ELK 中的应用日志虽然打印了具体的报错堆栈，却丢失了 trace_id，导致根本无法回溯请求的完整生命周期。

这种“看得见报错，找不到现场”的现象，本质上是可观测性架构设计在采样策略与线程边界上的双重失效。

为什么 Head-Based 采样注定会漏掉致命异常？

原生 OTel SDK 默认采用 Head-Based 采样策略（例如 ParentBased(TraceIdRatioBased(0.1))）。它的决策发生在 Root Span 创建的瞬间。这种机制在吞吐量巨大的系统中能有效控制 Agent 内存消耗和网络带宽，但具有致命缺陷：决策时无法预知链路后续是否会发生异常或超时。

当请求到达入口时，SDK 掷骰子决定丢弃该链路（90%概率）。随后该请求在调用下游数据库时发生了 SQLTimeoutException。此时应用虽然打印了 Error 日志，但由于 Root Span 已经决定不采样，整个链路数据不会被推送到 Collector，直接导致我们在排查严重故障时面临“永远缺少关键证据”的尴尬局面。

解法：将采样决策后置到 Collector 层（Tail-Based Sampling）。

Tail-Based 采样的核心逻辑是：Collector 会在内存中缓存（Buffer）收到的所有 Span，直到整个 Trace 结束（或达到超时时间），再基于整条链路的特征（如是否包含 Error Span、总耗时是否超过阈值）来决定是丢弃还是全量导出。

在 otelcol-contrib (v0.88.0+) 中，配置 tail_sampling Processor 的核心代码段如下：

processors:
  tail_sampling:
    decision_wait: 10s # 必须大于系统中绝大多数请求的耗时
    num_traces: 50000  # 内存中允许缓存的最大 Trace 数量，需根据内存压测调整
    expected_new_traces_per_sec: 1000
    policies:
      # 策略1：只要链路中出现任何 Error 状态的 Span，100% 采样
      [
        {
          name: errors-policy,
          type: status_code,
          status_code: {status_codes: [ERROR]}
        },
        # 策略2：链路总耗时超过 1000ms，100% 采样
        {
          name: slow-traces-policy,
          type: latency,
          latency: {threshold_ms: 1000}
        },
        # 策略3：其余正常请求，按 5% 概率兜底采样
        {
          name: randomized-policy,
          type: probabilistic,
          probabilistic: {sampling_percentage: 5}
        }
      ]

避坑指南：一旦启用 Tail-Based 采样，OTel Collector 将变成重状态服务。如果是集群部署，必须在 SDK 侧或 Gateway Collector 层引入 loadbalancing exporter，并基于 trace_id 进行一致性哈希路由。否则同一个 Trace 的不同 Span 会落到不同的 Collector 节点，导致 Tail-Based 判定条件失效并引发严重的内存泄漏。

exporters:
  loadbalancing:
    protocol: otlp
    resolver:
      static:
        hostnames:
          - collector-tail-1:4317
          - collector-tail-2:4317
    routing_key: "traceID" # 严格要求按 TraceID 路由

异步线程池 Trace 上下文丢失的底层机制与修复方案

解决了采样问题后，下一个痛点是日志关联。在 Java 体系中，OTel Agent (v1.31.0) 默认会将 trace_id 和 span_id 注入到 SLF4J/Logback 的 MDC 中。

正常请求链路的日志格式如下： 2023-10-xx 14:00:00 [INFO] [trace_id=xxx, span_id=yyy] [http-nio-8080-exec-1] - Processing user request

但一旦业务代码中使用了自定义的 ThreadPoolExecutor 或 @Async 异步提交任务，日志立马“裸奔”： 2023-10-xx 14:00:01 [INFO] [trace_id=, span_id=] [pool-1-thread-1] - Async background task started

底层原理：MDC（Mapped Diagnostic Context）和 OTel 的 Context 在 Java 中都依赖 ThreadLocal 传递。当主线程把 Runnable 提交给异步线程池时，跨越了线程边界，ThreadLocal 中的数据并不会自动被子线程继承（即便使用 InheritableThreadLocal，在池化线程复用的场景下也会发生上下文污染）。

OTel Java Agent 虽然内置了对常见 Executor 的增强（Instrumentation），但对于部分被高度封装的自定义线程池或特定版本的类库，增强往往会失效。防御性编程的做法是：在框架层手动显式包装 Context，绝不信任黑盒 Agent 的魔法。

通过 OTel API，我们可以编写一个全局安全的 TaskWrapper，强制在任务提交和执行期间接管 Context 生命周期：

import io.opentelemetry.context.Context;
import org.slf4j.MDC;

public class OTelContextAwareRunnable implements Runnable {
    private final Runnable delegate;
    private final Context otelContext;
    private final Map<String, String> mdcContext;

    public OTelContextAwareRunnable(Runnable delegate) {
        this.delegate = delegate;
        // 捕获提交任务时主线程的 OTel Context 与 MDC Context
        this.otelContext = Context.current();
        this.mdcContext = MDC.getCopyOfContextMap();
    }

    @Override
    public void run() {
        // 在异步线程执行前，挂载 Context
        try (Scope scope = otelContext.makeCurrent()) {
            if (mdcContext != null) {
                MDC.setContextMap(mdcContext);
            }
            delegate.run();
        } finally {
            // Scope close 会自动恢复原始 Context，防止线程池复用导致的污染
            MDC.clear(); 
        }
    }
}

在重写自定义线程池时，覆盖 execute 或 submit 方法：

public class TraceableThreadPoolExecutor extends ThreadPoolExecutor {
    // ... 构造函数省略

    @Override
    public void execute(Runnable command) {
        super.execute(new OTelContextAwareRunnable(command));
    }
}

配合 Logback 侧的标准配置，彻底锁死日志追踪闭环：

<appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
    <encoder>
        <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level [trace_id=%X{trace_id:-}, span_id=%X{span_id:-}] %logger{36} - %msg%n</pattern>
    </encoder>
</appender>

经过这两套组合拳（Collector Tail 采样 + 跨线程 Context 显式传递），我们在面临生产级别雪崩时，可以直接根据任意一条 ERROR 级日志中的 trace_id，在全链路平台中秒级拔出与之对应的全量调用树，精准定位是哪个 DB 节点在拖死整个微服务。

常见问题

Q1：开启 Tail-Based Sampling 后，Collector 内存暴涨频繁 OOM，如何处理？ 内存暴涨是因为所有未完成的 Trace 都驻留在 Collector 内存中。必须做两步操作：

缩小 decision_wait，如果你的系统 99% 的请求在 2 秒内完成，设为 3s 到 5s 即可，不要设置无意义的 30s。
强绑定 memory_limiter processor，作为 Pipeline 的第一层屏障。

processors:
  memory_limiter:
    check_interval: 1s
    limit_mib: 4000      # 绝对硬限制
    spike_limit_mib: 800 # 预留缓冲，当内存到达 (4000-800=3200) 时开始强杀丢弃数据，防止 OOM

Q2：Nginx 层生成的 X-Request-Id 如何作为 OTel 的 TraceID 从而贯穿全链路？ OTel 的 TraceID 严格遵循 W3C Trace Context 规范（16 字节 / 32 位 hex）。如果 Nginx 生成的 ID 符合该格式，可以在网关/微服务入口通过 TextMapPropagator 强制提取并替换 Context。如果不符合规范，最佳实践是不要强行覆盖 TraceID，而是将 X-Request-Id 作为一个 Span Attribute (http.request.id)，并在全链路检索后台（如 Jaeger / Tempo）通过建立 Attribute 索引来实现双向映射查询。

Q3：部分 Kafka 消费者链路断层，显示为两个独立的 Trace，怎么修复？ 这是由于 Kafka Message Headers 未能正确透传 Trace Context 所致。OTel 默认支持 Spring Kafka 等常见框架，但在使用原生 KafkaProducer / KafkaConsumer 或非标封装时，必须手动干预：在 Produce 阶段将 Context.current() 序列化并注入 ProducerRecord headers；在 Consume 阶段，从 ConsumerRecord headers 中提取并反序列化生成新的 Context，再执行 Context.makeCurrent()。

标签： Tail-Based Sampling

深入 OpenTelemetry 陷阱排查：Head-Based 采样漏抓异常与异步线程 Trace 丢失引发的可观测性盲区实战

为什么 Head-Based 采样注定会漏掉致命异常？

异步线程池 Trace 上下文丢失的底层机制与修复方案

常见问题