使用 Loki Overrides Exporter 监控租户限额:将多租户 Limits 暴露为 Prometheus 指标

发布时间:2026/11/13 9:26:38

使用 Loki Overrides Exporter 监控租户限额:将多租户 Limits 暴露为 Prometheus 指标 使用 Loki Overrides Exporter 监控租户限额将多租户 Limits 暴露为 Prometheus 指标【免费下载链接】lokiLike Prometheus, but for logs.项目地址: https://gitcode.com/GitHub_Trending/lok/lokiLoki 是一个支持多租户multi-tenant的日志系统通过为每个租户tenant施加资源限额limits来实现资源管理与隔离。overrides-exporter是 Loki 内置的一个模块它把这些租户限额以 Prometheus 指标loki_overrides、loki_overrides_defaults的形式暴露出来帮助运维人员直观掌握每个租户的配额配置与使用余量。读完本文你将掌握如何启用该模块、解读其指标含义并基于这些指标建立限额预警机制。Context为什么需要暴露租户限额Loki 的租户限额limits可以通过runtime_config特性在不重启 Loki 的情况下动态更新这对于在线调整租户配额非常方便。但动态配置也带来了新的运维挑战限额分散在配置文件中缺少一个统一的观测视角——哪些租户被设置了哪些覆盖项覆盖值与默认值相差多少哪些租户已经逼近限额上限overrides-exporter正是为解决这个问题而设计它把每个租户的限额覆盖项以及全局限额默认值转换成 Prometheus gauge 指标使运维人员可以通过 Prometheus 查询、可视化并在限额被突破之前收到告警。overrides-exporter 模块是什么从源码角度看overrides-exporter是 Loki 的一个独立 target模块定义于 pkg/loki/modules.goOverridesExporter overrides-exporter它的核心实现位于 pkg/validation/exporter.go其中定义了OverridesExporter结构与两个指标描述符loki_overrides标签为limit_name、user语义为 Resource limit overrides applied to tenants即每个租户实际被覆盖的限额项loki_overrides_defaults标签为limit_name语义为 Default values for resource limit overrides applied to tenants即加载 Loki 配置后各限额字段的默认值。模块初始化与前置条件在 pkg/loki/modules.go 的initOverridesExporter中可以看到启用该模块的关键逻辑func (t *Loki) initOverridesExporter() (services.Service, error) { if t.Cfg.isTarget(OverridesExporter) t.TenantLimits nil || t.Overrides nil { return nil, errors.New(overrides-exporter has been enabled, but no runtime configuration file was configured) } exporter : validation.NewOverridesExporter(t.Overrides) prometheus.MustRegister(exporter) // The overrides-exporter has no state and reads overrides for runtime configuration each time it // is collected so there is no need to return any service. return nil, nil }这里有几点值得注意该 target 默认不启用它不属于默认的 all target 集合需要显式指定-targetoverrides-exporter必须配置运行时配置文件如果启用该模块却没有配置runtime-config.file启动会直接报错 overrides-exporter has been enabled, but no runtime configuration file was configured无状态设计exporter 不维护任何运行状态每次被 Prometheus 抓取collect时都会实时读取 runtime configuration 中的最新覆盖值因此配置热更新后无需重启或重载 exporterexporter 通过prometheus.MustRegister注册到全局注册表随 Loki 的/metrics端点一同暴露。指标生成原理基于反射的字段遍历OverridesExporter的Collect方法见 pkg/validation/exporter.go是整个模块的“心脏”其实现思路如下使用 Go 的reflect包反射遍历Limits结构体的所有字段通过extract辅助函数将字段值统一转换为float64int、time.Duration、model.Duration、uint、flagext.ByteSize、float64直接转换bool转换为0.0/1.0其余无法转换的字段类型如字符串、切片则跳过指标标签名取自字段的yamltag即配置文件中对应的字段名例如ingestion_rate_mb、max_streams_per_user默认值指标遍历所有字段因此loki_overrides_defaults的序列数量等于Limits结构中全部标量字段的数量租户覆盖指标则遍历AllByUserID()返回的每个租户的限额并且仅当该字段与默认值不同时才输出见if !ok || rv.Field(i).Interface() defs.Field(i).Interface()的判断从而保证loki_overrides只包含“真正被覆盖”的项控制指标基数。测试用例佐证pkg/validation/exporter_test.go 中有两个直接相关的测试TestOverridesExporter_noConfig没有任何租户覆盖时loki_overrides指标数量为 0而loki_overrides_defaults数量大于 0TestOverridesExporter_withConfig为tenant-a设置MaxQueriersPerTenant: 5和BloomCreationEnabled: true两个覆盖项后loki_overrides指标数量恰为 2。这两个用例验证了“只为差异字段输出覆盖指标”与“默认值全量输出”的核心行为。启用与启动示例overrides-exporter模块默认关闭。官方建议每个集群只运行单个实例以避免指标基数cardinality问题——因为每个租户的每个差异字段都会产生一条独立的时序序列。以一个runtime.yaml为例overrides: tenant_1: ingestion_rate_mb: 10 max_streams_per_user: 100000 max_chunks_per_query: 100000启动一个overrides-exporter实例loki -targetoverrides-exporter -runtime-config.fileruntime.yaml -config.filebasic_schema_config.yaml -server.http-listen-port8080参数说明参数作用-targetoverrides-exporter以 overrides-exporter 模式运行仅启动该模块及其依赖-runtime-config.fileruntime.yaml指定运行时配置文件路径租户覆盖项从此文件加载支持热更新-config.filebasic_schema_config.yaml指定 Loki 主配置文件路径其中包含limits_config等基础配置用于确定默认值-server.http-listen-port8080指定 HTTP 监听端口用于暴露/metrics注意runtime-config.file是启用该模块的硬性前置条件如initOverridesExporter中的错误分支所示config.file中的limits_config则决定了loki_overrides_defaults的默认值来源。查看租户限额覆盖指标启动后通过 curl 抓取指标并过滤override关键字$ curl -sq localhost:8080/metrics | grep override # HELP loki_overrides Resource limit overrides applied to tenants # TYPE loki_overrides gauge loki_overrides{limit_nameingestion_rate_mb,usertenant_1} 10 loki_overrides{limit_namemax_chunks_per_query,usertenant_1} 100000 loki_overrides{limit_namemax_streams_per_user,usertenant_1} 100000 # HELP loki_overrides_defaults Default values for resource limit overrides applied to tenants # TYPE loki_overrides_defaults gauge loki_overrides_defaults{limit_nameblock_ingestion_status_code} 260 loki_overrides_defaults{limit_namecardinality_limit} 100000 loki_overrides_defaults{limit_namecreation_grace_period} 6e11 loki_overrides_defaults{limit_nameingestion_burst_size_mb} 6 loki_overrides_defaults{limit_nameingestion_rate_mb} 4 loki_overrides_defaults{limit_namemax_cache_freshness_per_query} 6e11 loki_overrides_defaults{limit_namemax_chunks_per_query} 2e06 loki_overrides_defaults{limit_namemax_concurrent_tail_requests} 10 loki_overrides_defaults{limit_namemax_entries_limit_per_query} 5000 loki_overrides_defaults{limit_namemax_global_streams_per_user} 5000 loki_overrides_defaults{limit_namemax_label_name_length} 1024 loki_overrides_defaults{limit_namemax_label_names_per_series} 15 loki_overrides_defaults{limit_namemax_label_value_length} 2048 loki_overrides_defaults{limit_namemax_line_size} 262144 loki_overrides_defaults{limit_namemax_metadata_cache_freshness} 8.64e13 loki_overrides_defaults{limit_namemax_queriers_per_tenant} 0 loki_overrides_defaults{limit_namemax_query_capacity} 0 loki_overrides_defaults{limit_namemax_query_length} 2.5956e15 loki_overrides_defaults{limit_namemax_query_lookback} 0 loki_overrides_defaults{limit_namemax_query_parallelism} 32 loki_overrides_defaults{limit_namemax_query_series} 500 loki_overrides_defaults{limit_namemax_streams_matchers_per_query} 1000 loki_overrides_defaults{limit_namemax_streams_per_user} 0 loki_overrides_defaults{limit_namemax_structured_metadata_size} 65536 loki_overrides_defaults{limit_namemin_sharding_lookback} 0 loki_overrides_defaults{limit_nameper_stream_rate_limit} 3.145728e06 loki_overrides_defaults{limit_nameper_stream_rate_limit_burst} 1.572864e07 loki_overrides_defaults{limit_nameper_tenant_override_period} 1e10 loki_overrides_defaults{limit_namequery_timeout} 6e10 loki_overrides_defaults{limit_namereject_old_samples_max_age} 6.048e14 loki_overrides_defaults{limit_nameretention_period} 0 loki_overrides_defaults{limit_nameruler_max_rule_groups_per_tenant} 0 loki_overrides_defaults{limit_nameruler_max_rules_per_rule_group} 0 loki_overrides_defaults{limit_nameruler_remote_write_queue_batch_send_deadline} 0 loki_overrides_defaults{limit_nameruler_remote_write_queue_capacity} 0 loki_overrides_defaults{limit_nameruler_remote_write_queue_max_backoff} 0 loki_overrides_defaults{limit_nameruler_remote_write_queue_max_samples_per_send} 0 loki_overrides_defaults{limit_nameruler_remote_write_queue_max_shards} 0 loki_overrides_defaults{limit_nameruler_remote_write_queue_min_backoff} 0 loki_overrides_defaults{limit_nameruler_remote_write_queue_min_shards} 0 loki_overrides_defaults{limit_nameruler_remote_write_timeout} 0 loki_overrides_defaults{limit_namesplit_queries_by_interval} 3.6e12 loki_overrides_defaults{limit_nametsdb_max_bytes_per_shard} 6.291456e08 loki_overrides_defaults{limit_nametsdb_max_query_parallelism} 128 loki_overrides_defaults{limit_namevolume_enabled} 1 loki_overrides_defaults{limit_namevolume_max_series} 1000输出解读loki_overrides的每条序列都带user标签如tenant_1表示该租户显式覆盖了某个限额字段且只输出与默认值不同的字段——这与Collect方法中的差异比较逻辑一致loki_overrides_defaults不区分租户为全局限额默认值指标数量等于Limits结构中所有标量字段的总数数值单位遵循对应配置字段的定义时长类字段如creation_grace_period、query_timeout以纳秒计如6e11纳秒即 10 分钟字节类字段如max_line_size以字节计速率类字段如ingestion_rate_mb以 MB/s 计布尔类字段映射为 0/1如volume_enabled。注意以上输出仅为部分示例。loki_overrides_defaults的指标集合取决于你的 Loki 版本——limits_config配置块会随每个版本发布而不断扩充字段因此指标序列也会随之增加。请以你自己的实例/metrics端点返回的实际列表为准不要依赖固定示例。基于指标建立限额告警overrides-exporter的最终价值在于告警。基于这些 gauge 指标可以建立 Prometheus 告警规则当租户接近其限额上限时通知运维人员从而在限额被突破之前及时扩容或调高配额。一个典型的告警思路是将loki_overrides或默认值中的限额项与实际的租户用量指标做比值例如对max_streams_per_user与当前租户流数量做对比当使用率超过阈值如 80%时触发告警groups: - name: loki-tenant-limits rules: - alert: TenantCloseToStreamLimit expr: | loki_overrides{limit_namemax_streams_per_user} / 100 0.8 or (loki_overrides_defaults{limit_namemax_streams_per_user} 0 and on() loki_overrides{limit_namemax_streams_per_user} 0) 0 for: 15m labels: severity: warning annotations: summary: Tenant {{ $labels.user }} is close to its stream limit实际告警表达式的编写需要结合你所在集群暴露的租户用量指标如 ingester 上报的 per-tenant 流数量一起设计这里仅示意数据来源与思路。运维注意事项与最佳实践单实例运行官方明确建议每个集群只运行一个overrides-exporter实例多个实例会重复暴露相同的指标放大基数与存储成本指标基数控制loki_overrides的序列数 租户数 × 每个租户被覆盖的差异字段数。字段覆盖得越细、租户越多基数越大因此应避免为大量租户无意义地覆盖大量字段必须配置 runtime config该模块依赖runtime-config.file提供租户覆盖数据未配置时无法启动参见 pkg/loki/modules.go 的报错逻辑实时反映配置变更由于Collect每次抓取时实时读取运行时配置源码注释明确 reads overrides for runtime configuration each time it is collected通过runtime_config热更新的限额会立即反映在指标中无需重启无独立运行状态该模块不是常驻服务initOverridesExporter返回nilservice它只是向 Loki 的 Prometheus 注册表注册了一个 collector因此以-targetoverrides-exporter启动的进程实际上是一个轻量级指标导出器。参考与延伸阅读本文档原文docs/sources/operations/overrides-exporter.md模块注册与初始化逻辑pkg/loki/modules.go指标导出核心实现反射遍历、默认值比较pkg/validation/exporter.go导出行为测试用例pkg/validation/exporter_test.go租户限额定义与Overrides结构pkg/validation/limits.go运行时配置runtime_config说明docs/sources/configure/_index.md【免费下载链接】lokiLike Prometheus, but for logs.项目地址: https://gitcode.com/GitHub_Trending/lok/loki创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
延伸阅读

更多相关文章

2026/11/13 9:26:38

医疗实体识别与知识图谱驱动的智能医生推荐系统实践

简介:一套融合领域知识图谱与医疗实体识别的医生推荐系统完整工程文件,面向自然语言处理、知识图谱方向的学习者与医疗信息化开发者,解决医疗实体识别、知识抽取及智能问答落地问题。资源采用BERTCRFBiLSTM实现医疗实体识别,并构建…

2026/11/6 2:29:58

AI Agent全栈开发指南:从基础原理到生产级项目实战

1. 先弄清楚 AI Agent 到底在解决什么问题去年这个时候,还有人在群里问 AI Agent 是不是又一个概念泡沫。到了 2026 年,这个问题基本没人问了——招聘平台上挂着「agent 开发」字样的岗位翻了不止一倍,面试里开始出现「你怎么设计一个多智能体…

2026/11/13 9:23:11

兖州去哪里学电工证通过率揭秘:别再被中介坑了

兖州去哪里学电工证通过率揭秘:别再被中介坑了 你是不是也遇到过这种情况:想考电工证,但不知道去哪报名,担心被中介骗钱、被坑掉时间和钱?别急,今天就来帮你揭开【兖州去哪里学电工证】的真相, 通过率揭秘 都在这了,看完你就知道该怎么做了。…

2026/11/13 9:23:11

夏邑县电工证培训真实经历:证书过期了不知道怎么复审延期怎么办

夏邑县电工证培训真实经历:证书过期了不知道怎么复审延期怎么办 证书过期了不知道怎么复审延期,这不是个例,是很多电工从业者的真实经历。特别是在夏邑县,很多施工企业负责人和一线电工在操作证到期后,才意识到这个问题,结果耽误了工作安排,甚至影响项…

2026/11/13 9:23:11

赣榆考电工证哪里报名官方回应外省证能否转过来

赣榆考电工证哪里报名官方回应外省证能否转过来 之前考的证在外省能不能转过来?这是很多从事电工行业的朋友最关心的问题。特别是像在赣榆地区工作的施工企业负责人,经常会遇到这种情况:以前在外地考的电工证,现在想在本地继续使用,是否需要重新办理?答…

2026/11/13 9:23:11

河南特种工杨老师特种作业证多少钱怎么考

河南特种工杨老师特种作业证多少钱怎么考 你现在急需特种作业证才能上岗找工作,但对河南特种工杨老师那边的费用和流程一无所知,这种焦虑感很多人都有,别急,我来帮你理清楚。 为什么特种作业证这么重要?…

2026/11/13 9:23:11

河南特种工杨老师在哪考?学历不高也能轻松拿下

河南特种工杨老师在哪考?学历不高也能轻松拿下 你是不是也担心自己学历不高, 报名特种作业证 会被拒?其实,只要你符合年龄、身体条件和基本的培训要求, 河南特种工杨老师 这边就能帮你顺利报名,而且流程并不复杂。今天就从 在哪考…

2026/11/13 9:18:08

襄阳建筑电工证多少钱在哪考 工地太忙根本没时间复习考试

襄阳建筑电工证多少钱在哪考 工地太忙根本没时间复习考试 工地太忙根本没时间复习考试?襄阳建筑电工证多少钱?这些问题,是很多一线施工人员的真实写照。特别是像我们这类劳务班组负责人,天天忙得脚不沾地,根本顾不上考试和复习,但 襄阳建筑电工证…

2026/11/12 20:35:13

电工证丢失还能补吗?千万别踩坑,丢了证等于失业

电工证丢失还能补吗?千万别踩坑,丢了证等于失业 你正在找工作,但手里的电工证突然丢了,这下怎么办?别急,先别慌, 电工证丢失还能补吗 ?答案是肯定的,但 千万别踩坑 ,补办流程如果不了解,可能会耽误你上岗、甚至影响到你的收入。…

2026/11/13 0:01:06

办上海高压电工证良心建议:别被中介坑了,自己看这篇就够了

办上海高压电工证良心建议:别被中介坑了,自己看这篇就够了 你是不是也像我一样,第一次听说“高压电工证”这个名词,就感觉一头雾水?其实很多人都跟我一样,不知道去哪报名、怕被中介坑,结果花了冤枉钱还考不上。今天我就从一个在商丘培训过的学员角度,…

2026/11/13 0:01:06

黎里考电工证在哪里值不值得考

黎里考电工证在哪里值不值得考 之前考的证在外省能不能转过来?这是很多在外地工作、准备回老家发展的朋友最关心的问题。特别是在黎里地区,很多从事电力相关工作的朋友,都面临这样一个难题: 外省的电工证能否在本地使用?值不值得考?…

2026/11/13 0:01:06

毕节哪里考电工证 怎么报名学历不高也能上手

毕节哪里考电工证 怎么报名学历不高也能上手 你是不是也和我一样,学历不高,想着考个电工证,但又担心自己条件不够,怕报不上名?其实不然,只要符合条件,学历不高也能考电工证。今天就来聊聊【毕节哪里考电工证】这个问题,还有怎么报名,让你一步到位不…

2026/11/12 22:10:13

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

在智慧养宠时代,基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而,与配合度高的人类不同,宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态,更无法控制光照环境。实际应用中,我们常…

2026/11/12 9:51:42

SSM电子书店源码全解析:结构、原理、部署与排错实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑