OpenTelemetry、Jaeger、Prometheus 和 Grafana 是云原生可观测性领域的核心工具组，各自解决不同维度的问题，又能协作形成完整的监控体系。以下是它们的详细关系和功能说明：
1. OpenTelemetry
定位：统一的遥测数据标准（支持 Traces、Metrics、Logs）
核心作用：
• 数据采集与标准化：代码自动注入（API/SDK）收集应用性能数据（如 Span、指标、日志）
• 数据格式统一化：将不同格式的观测数据标准化为 OpenTelemetry Protocol (OTLP)
• 灵活导出：通过 Exporter 将数据发送到任何后端系统（如 Jaeger、Prometheus）
典型工作流：
应用代码 → OpenTelemetry SDK → OTLP 协议 → Exporter → Jaeger/Prometheus/其他存储
2. Jaeger
定位：分布式追踪系统（专注于 Traces）
核心作用：
• 轨迹可视化：展示请求在分布式系统中的调用链（Span 层级关系与时间线）
• 故障诊断：分析跨服务调用的延迟问题、错误原因
• 数据存储：持久化存储追踪数据（支持内存、Cassandra、Elasticsearch 等）
与 OpenTelemetry 的协作：
App → OpenTelemetry Collector → Jaeger Collector → Jaeger UI（可视化）
3. Prometheus
定位：时间序列指标监控系统（专注于 Metrics）
核心作用：
• 指标采集：定期拉取应用的指标数据（如 CPU、内存、QPS、错误率）
• 时序存储：高效存储时间序列数据（本地或远程存储）
• 告警规则：定义阈值触发报警（与 Alertmanager 结合）
• 查询语言：通过 PromQL 灵活分析指标趋势
支持 OpenTelemetry 指标导出：
// 示例：导出 Prometheus 格式的指标
exporter, _ := prometheus.New()
provider := metric.NewMeterProvider(metric.WithReader(metric.NewPeriodicReader(exporter)),
)
4. Grafana
定位：统一的可视化平台（展示 Metrics、Traces、Logs）
核心作用：
• 数据聚合展示：通过插件支持多种数据源（Prometheus、Jaeger、Loki 等）
• 仪表盘定制：创建丰富的实时监控视图和报表
• 全链路关联：跳转查看与指标相关的 Trace 或日志
核心组合功能：
| 数据源 | 用途 |
|---|---|
| Prometheus | 展示实时指标（如 CPU 占用曲线） |
| Jaeger | 内嵌 Trace 查询界面 |
| Loki | 关联日志分析 |
全景协作关系
完整的可观测性链路示例：
- 采集
• OpenTelemetry SDK 自动收集应用中的Traces和Metrics - 传输
• OpenTelemetry Collector 接收并处理数据（过滤、转换） - 存储
• Traces → 发送到 Jaeger 存储
• Metrics → 发送到 Prometheus 存储 - 展示与告警
• Grafana 从 Jaeger 查 Trace，从 Prometheus 查 Metrics
• 配置仪表盘与告警规则
各工具典型用途示例
场景：API 接口响应变慢分析
- Grafana 发现指标异常
• 查看 Prometheus 的 HTTP 请求延迟（95 分位数突增） - 关联查询相关 Trace
• 通过 Grafana 的 Explore 功能跳转到 Jaeger 界面 - 分析 Span 调用链
• 发现某个微服务的数据库查询时间过长 - 进一步验证
• 在 Prometheus 中查询该服务的数据库连接池使用率（发现瓶颈）
最佳实践建议
- 统一数据采集标准
• 使用 OpenTelemetry 代替各类 Agent（如 Jaeger Client、Prometheus SDK） - 协议一致性
• 优先使用 OTLP 协议传输数据，而非后端特定格式 - 精简指标采集
# OpenTelemetry 指标过滤配置示例（避免数据爆炸） processors:metric:# 只包含重要的指标include:match_type: strictmetrics: ["http.server.duration", "system.cpu.usage"] - 监控全链路关联
• 在 Grafana 中通过traceID实现 Metrics/Traces/Logs 的联动
总结表格
| 工具 | 核心功能 | 数据维度 | 部署角色 |
|---|---|---|---|
| OpenTelemetry | 数据采集标准化与协议转换 | Traces/Metrics/Logs | 客户端/中间件 |
| Jaeger | 分布式追踪分析与可视化 | Traces | 服务端 |
| Prometheus | 指标采集、存储与告警 | Metrics | 服务端（含拉取器） |
| Grafana | 多数据源可视化与联动分析 | All | 展示层 |
这四个工具协作形成了云原生时代的可观测性「黄金组合」，共同解决系统的 性能监控、故障诊断、资源优化 三大核心问题。