# K8s集群部署K8s DaemonSet注入追踪实操技术栈Kubernetes v1.32.13 Rocky Linux 8.6 OpenTelemetry Operator Java Agent Sidecar/Init Container操作环境 / 对接原理 / 详细步骤 / 完整命令 / 配置文件 / 验证流程 / 排错方案# K8s集群部署K8s DaemonSet注入追踪实操## 操作环境- K8s 集群版本 v1.32.13应用部署于 default 命名空间- 链路追踪后端 Jaeger v1.55.x OpenTelemetry Collector部署于 observability- 容器运行时 Containerd 1.7.xDocker 镜像- 接入方式Init Container 挂载 Agent、Sidecar 采集、环境变量注入、Admission Webhook 自动注入- 多语言Java字节码增强、Go/Node.js/Python/.NETSDK 埋点- Agent 版本OpenTelemetry Java Agent v2.1.0、SkyWalking Agent v9.7.0、Pinpoint Agent v2.5.3## 对接原理容器应用追踪适配是将链路追踪 Agent/SDK 集成到 K8s 容器化应用中的一系列技术方案。核心接入方式包括Init Container初始化容器下载并挂载 Agent 到共享卷应用容器通过 -javaagent 加载、Sidecar边车容器运行采集器通过共享卷或网络与应用通信、环境变量注入通过 JAVA_TOOL_OPTIONS/OTEL_* 环境变量自动激活 Agent、Admission WebhookMutatingWebhook 自动为 Pod 注入 Init Container/Agent/环境变量无需修改应用配置。Java 应用通过字节码增强Java Agent实现无侵入埋点自动拦截 Spring/Tomcat/DB/Cache/MQ 等组件。Go/Node.js/Python/.NET 应用通过 OpenTelemetry SDK 手动或半自动埋点。多容器 Pod 需确保 Agent 挂载到正确容器TraceID 在容器间通过共享卷或网络传递。K8s 中通过 ConfigMap 管理 Agent 配置Secret 管理追踪后端凭据Resource 限制控制 Agent 资源开销。## 详细步骤**1. 环境变量自动注入 Agent**bash# 通过 ConfigMap 统一管理环境变量cat otel-env-configmap.yaml EOFapiVersion: v1kind: ConfigMapmetadata:name: otel-common-envdata:OTEL_EXPORTER_OTLP_ENDPOINT: http://jaeger-collector.observability:4317OTEL_TRACES_SAMPLER: traceidratioOTEL_TRACES_SAMPLER_ARG: 0.1OTEL_PROPAGATORS: tracecontext,baggage,b3OTEL_METRICS_EXPORTER: otlpOTEL_LOGS_EXPORTER: otlpJAVA_TOOL_OPTIONS: -javaagent:/otel/opentelemetry-javaagent.jarEOFkubectl apply -f otel-env-configmap.yaml# Deployment 引用 ConfigMap 环境变量cat env-from-deploy.yaml EOFapiVersion: apps/v1kind: Deploymentmetadata:name: order-servicespec:template:spec:initContainers:- name: otel-agent-initimage: otel/javaagent:2.1.0command: [cp, /opentelemetry-javaagent.jar, /otel/]volumeMounts:- name: otel-agentmountPath: /otelcontainers:- name: order-serviceimage: order-service:v1envFrom:- configMapRef:name: otel-common-envenv:- name: OTEL_SERVICE_NAMEvalue: order-service # 每个服务单独设置volumeMounts:- name: otel-agentmountPath: /otelvolumes:- name: otel-agentemptyDir: {}EOFkubectl apply -f env-from-deploy.yaml# 验证环境变量kubectl exec deployment/order-service -- env | grep -E OTEL|JAVA_TOOL# 批量为所有 Deployment 注入使用 kubectl patch# for deploy in $(kubectl get deploy -o name); do# kubectl patch $deploy --typejson -p[# {op:add,path:/spec/template/spec/initContainers,value:[...]},# {op:add,path:/spec/template/spec/containers/0/envFrom,value:[{configMapRef:{name:otel-common-env}}]}# ]# done## 验证流程bash# 1. 验证 Agent 注入kubectl get pod -l apporder-service -o jsonpath{.items[*].spec.initContainers[*].name}# 显示 Agent Init Container 名称# 2. 验证 Agent 加载kubectl logs deployment/order-service | grep -iE opentelemetry|skywalking|pinpoint|agent# 显示 Agent 启动日志# 3. 验证环境变量kubectl exec deployment/order-service -- env | grep -E OTEL|SW_|PINPOINT|JAVA_TOOL | sort# 显示追踪相关环境变量# 4. 验证 Trace 上报curl http://order-service:8080/api/test# Jaeger/SkyWalking/Zipkin UI 搜索 order-service有 Trace 数据# 5. 验证跨服务调用链# 调用入口服务检查完整调用链包含所有服务# 6. 验证资源使用kubectl top pod -l apporder-service# Agent 开销在合理范围内CPU5%, 内存200MB## 排错方案- Agent 不加载检查 JAVA_TOOL_OPTIONS 环境变量Agent jar 是否正确挂载到共享卷Init Container 是否成功执行应用启动命令是否覆盖 JAVA_TOOL_OPTIONS- 应用启动失败检查 Agent 版本与 JDK 版本兼容性Agent 与其他 Java Agent 冲突如 Arthas/JRebel增加启动超时时间查看启动错误日志- OOM 内存溢出增加容器内存 limits限制 Agent JVM 内存OTEL_JAVAAGENT_JVM_ARGS降低采样率减少 Span 标签禁用 Metrics/Logs 导出- Trace 不上报检查 OTEL_EXPORTER_OTLP_ENDPOINT/SW_AGENT_COLLECTOR_BACKEND_SERVICES 地址网络是否可达kubectl exec curl 测试Collector/后端是否正常采样率是否为0- Init Container 失败检查 Agent 镜像是否可拉取cp 命令路径是否正确共享卷挂载路径是否一致Init Container 资源是否充足- Sidecar 端口冲突检查 Sidecar 容器端口是否与主应用冲突修改 Collector 配置端口检查 Pod 内 localhost 通信- 自动注入不生效检查命名空间/Pod 注解是否正确Operator 是否正常运行MutatingWebhookConfiguration 是否存在Pod 是否在注入后创建需重启- 性能开销大降低采样率使用异步批量上报禁用不需要的插件限制 Agent 资源使用 DaemonSet Collector 聚合减少连接按需启用 Metrics/Logs
# K8s集群部署K8s DaemonSet注入追踪实操技术栈Kubernetes v1.32.13 Rocky Linux 8.6 OpenTelemetry Operator Java Agent Sidecar/Init Container操作环境 / 对接原理 / 详细步骤 / 完整命令 / 配置文件 / 验证流程 / 排错方案# K8s集群部署K8s DaemonSet注入追踪实操## 操作环境- K8s 集群版本 v1.32.13应用部署于 default 命名空间- 链路追踪后端 Jaeger v1.55.x OpenTelemetry Collector部署于 observability- 容器运行时 Containerd 1.7.xDocker 镜像- 接入方式Init Container 挂载 Agent、Sidecar 采集、环境变量注入、Admission Webhook 自动注入- 多语言Java字节码增强、Go/Node.js/Python/.NETSDK 埋点- Agent 版本OpenTelemetry Java Agent v2.1.0、SkyWalking Agent v9.7.0、Pinpoint Agent v2.5.3## 对接原理容器应用追踪适配是将链路追踪 Agent/SDK 集成到 K8s 容器化应用中的一系列技术方案。核心接入方式包括Init Container初始化容器下载并挂载 Agent 到共享卷应用容器通过 -javaagent 加载、Sidecar边车容器运行采集器通过共享卷或网络与应用通信、环境变量注入通过 JAVA_TOOL_OPTIONS/OTEL_* 环境变量自动激活 Agent、Admission WebhookMutatingWebhook 自动为 Pod 注入 Init Container/Agent/环境变量无需修改应用配置。Java 应用通过字节码增强Java Agent实现无侵入埋点自动拦截 Spring/Tomcat/DB/Cache/MQ 等组件。Go/Node.js/Python/.NET 应用通过 OpenTelemetry SDK 手动或半自动埋点。多容器 Pod 需确保 Agent 挂载到正确容器TraceID 在容器间通过共享卷或网络传递。K8s 中通过 ConfigMap 管理 Agent 配置Secret 管理追踪后端凭据Resource 限制控制 Agent 资源开销。## 详细步骤**1. 环境变量自动注入 Agent**bash# 通过 ConfigMap 统一管理环境变量cat otel-env-configmap.yaml EOFapiVersion: v1kind: ConfigMapmetadata:name: otel-common-envdata:OTEL_EXPORTER_OTLP_ENDPOINT: http://jaeger-collector.observability:4317OTEL_TRACES_SAMPLER: traceidratioOTEL_TRACES_SAMPLER_ARG: 0.1OTEL_PROPAGATORS: tracecontext,baggage,b3OTEL_METRICS_EXPORTER: otlpOTEL_LOGS_EXPORTER: otlpJAVA_TOOL_OPTIONS: -javaagent:/otel/opentelemetry-javaagent.jarEOFkubectl apply -f otel-env-configmap.yaml# Deployment 引用 ConfigMap 环境变量cat env-from-deploy.yaml EOFapiVersion: apps/v1kind: Deploymentmetadata:name: order-servicespec:template:spec:initContainers:- name: otel-agent-initimage: otel/javaagent:2.1.0command: [cp, /opentelemetry-javaagent.jar, /otel/]volumeMounts:- name: otel-agentmountPath: /otelcontainers:- name: order-serviceimage: order-service:v1envFrom:- configMapRef:name: otel-common-envenv:- name: OTEL_SERVICE_NAMEvalue: order-service # 每个服务单独设置volumeMounts:- name: otel-agentmountPath: /otelvolumes:- name: otel-agentemptyDir: {}EOFkubectl apply -f env-from-deploy.yaml# 验证环境变量kubectl exec deployment/order-service -- env | grep -E OTEL|JAVA_TOOL# 批量为所有 Deployment 注入使用 kubectl patch# for deploy in $(kubectl get deploy -o name); do# kubectl patch $deploy --typejson -p[# {op:add,path:/spec/template/spec/initContainers,value:[...]},# {op:add,path:/spec/template/spec/containers/0/envFrom,value:[{configMapRef:{name:otel-common-env}}]}# ]# done## 验证流程bash# 1. 验证 Agent 注入kubectl get pod -l apporder-service -o jsonpath{.items[*].spec.initContainers[*].name}# 显示 Agent Init Container 名称# 2. 验证 Agent 加载kubectl logs deployment/order-service | grep -iE opentelemetry|skywalking|pinpoint|agent# 显示 Agent 启动日志# 3. 验证环境变量kubectl exec deployment/order-service -- env | grep -E OTEL|SW_|PINPOINT|JAVA_TOOL | sort# 显示追踪相关环境变量# 4. 验证 Trace 上报curl http://order-service:8080/api/test# Jaeger/SkyWalking/Zipkin UI 搜索 order-service有 Trace 数据# 5. 验证跨服务调用链# 调用入口服务检查完整调用链包含所有服务# 6. 验证资源使用kubectl top pod -l apporder-service# Agent 开销在合理范围内CPU5%, 内存200MB## 排错方案- Agent 不加载检查 JAVA_TOOL_OPTIONS 环境变量Agent jar 是否正确挂载到共享卷Init Container 是否成功执行应用启动命令是否覆盖 JAVA_TOOL_OPTIONS- 应用启动失败检查 Agent 版本与 JDK 版本兼容性Agent 与其他 Java Agent 冲突如 Arthas/JRebel增加启动超时时间查看启动错误日志- OOM 内存溢出增加容器内存 limits限制 Agent JVM 内存OTEL_JAVAAGENT_JVM_ARGS降低采样率减少 Span 标签禁用 Metrics/Logs 导出- Trace 不上报检查 OTEL_EXPORTER_OTLP_ENDPOINT/SW_AGENT_COLLECTOR_BACKEND_SERVICES 地址网络是否可达kubectl exec curl 测试Collector/后端是否正常采样率是否为0- Init Container 失败检查 Agent 镜像是否可拉取cp 命令路径是否正确共享卷挂载路径是否一致Init Container 资源是否充足- Sidecar 端口冲突检查 Sidecar 容器端口是否与主应用冲突修改 Collector 配置端口检查 Pod 内 localhost 通信- 自动注入不生效检查命名空间/Pod 注解是否正确Operator 是否正常运行MutatingWebhookConfiguration 是否存在Pod 是否在注入后创建需重启- 性能开销大降低采样率使用异步批量上报禁用不需要的插件限制 Agent 资源使用 DaemonSet Collector 聚合减少连接按需启用 Metrics/Logs
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
