K8s集群排查K8s容器存储追踪运维实操

K8s集群排查K8s容器存储追踪运维实操技术栈Kubernetes v1.32.13 Rocky Linux 8.6 OpenTelemetry Operator Java Agent Sidecar/Init Container操作环境 / 对接原理 / 详细步骤 / 完整命令 / 配置文件 / 验证流程 / 排错方案K8s集群排查K8s容器存储追踪运维实操操作环境K8s 集群版本 v1.32.13应用部署于 default 命名空间链路追踪后端 Jaeger v1.55.x OpenTelemetry Collector部署于 observability容器运行时 Containerd 1.7.xDocker 镜像接入方式Init Container 挂载 Agent、Sidecar 采集、环境变量注入、Admission Webhook 自动注入多语言Java字节码增强、Go/Node.js/Python/.NETSDK 埋点Agent 版本OpenTelemetry Java Agent v2.1.0、SkyWalking Agent v9.7.0、Pinpoint Agent v2.5.3对接原理容器应用追踪适配是将链路追踪 Agent/SDK 集成到 K8s 容器化应用中的一系列技术方案。核心接入方式包括Init Container初始化容器下载并挂载 Agent 到共享卷应用容器通过 -javaagent 加载、Sidecar边车容器运行采集器通过共享卷或网络与应用通信、环境变量注入通过 JAVA_TOOL_OPTIONS/OTEL_* 环境变量自动激活 Agent、Admission WebhookMutatingWebhook 自动为 Pod 注入 Init Container/Agent/环境变量无需修改应用配置。Java 应用通过字节码增强Java Agent实现无侵入埋点自动拦截 Spring/Tomcat/DB/Cache/MQ 等组件。Go/Node.js/Python/.NET 应用通过 OpenTelemetry SDK 手动或半自动埋点。多容器 Pod 需确保 Agent 挂载到正确容器TraceID 在容器间通过共享卷或网络传递。K8s 中通过 ConfigMap 管理 Agent 配置Secret 管理追踪后端凭据Resource 限制控制 Agent 资源开销。详细步骤1. 容器追踪基础接入# 最简方式OpenTelemetry Operator 自动注入 kubectl label namespace default instrumentation.opentelemetry.io/inject-javatrue # 部署应用无需修改 kubectl apply -f order-service.yaml # 验证 kubectl logs deployment/order-service | grep -i opentelemetry2. 容器追踪验证# 检查 Pod 注入情况 kubectl get pod -l apporder-service -o yaml | grep -A10 initContainers # 检查环境变量 kubectl exec deployment/order-service -- env | grep OTEL | sort # 发送请求 curl http://order-service:8080/api/test # Jaeger UI 查看 Trace验证流程# 1. 验证 Agent 注入 kubectl get pod -l apporder-service -o jsonpath{.items[*].spec.initContainers[*].name} # 显示 Agent Init Container 名称 ​ # 2. 验证 Agent 加载 kubectl logs deployment/order-service | grep -iE opentelemetry|skywalking|pinpoint|agent # 显示 Agent 启动日志 ​ # 3. 验证环境变量 kubectl exec deployment/order-service -- env | grep -E OTEL|SW_|PINPOINT|JAVA_TOOL | sort # 显示追踪相关环境变量 ​ # 4. 验证 Trace 上报 curl http://order-service:8080/api/test # Jaeger/SkyWalking/Zipkin UI 搜索 order-service有 Trace 数据 ​ # 5. 验证跨服务调用链 # 调用入口服务检查完整调用链包含所有服务 ​ # 6. 验证资源使用 kubectl top pod -l apporder-service # Agent 开销在合理范围内CPU5%, 内存200MB排错方案Agent 不加载检查 JAVA_TOOL_OPTIONS 环境变量Agent jar 是否正确挂载到共享卷Init Container 是否成功执行应用启动命令是否覆盖 JAVA_TOOL_OPTIONS应用启动失败检查 Agent 版本与 JDK 版本兼容性Agent 与其他 Java Agent 冲突如 Arthas/JRebel增加启动超时时间查看启动错误日志OOM 内存溢出增加容器内存 limits限制 Agent JVM 内存OTEL_JAVAAGENT_JVM_ARGS降低采样率减少 Span 标签禁用 Metrics/Logs 导出Trace 不上报检查 OTEL_EXPORTER_OTLP_ENDPOINT/SW_AGENT_COLLECTOR_BACKEND_SERVICES 地址网络是否可达kubectl exec curl 测试Collector/后端是否正常采样率是否为0Init Container 失败检查 Agent 镜像是否可拉取cp 命令路径是否正确共享卷挂载路径是否一致Init Container 资源是否充足Sidecar 端口冲突检查 Sidecar 容器端口是否与主应用冲突修改 Collector 配置端口检查 Pod 内 localhost 通信自动注入不生效检查命名空间/Pod 注解是否正确Operator 是否正常运行MutatingWebhookConfiguration 是否存在Pod 是否在注入后创建需重启性能开销大降低采样率使用异步批量上报禁用不需要的插件限制 Agent 资源使用 DaemonSet Collector 聚合减少连接按需启用 Metrics/Logs