在超大规模互联网基础设施的运维语境中一个根本性的矛盾长期存在系统的复杂度在持续上升而人对复杂系统的理解带宽是有限的。当一次请求可能穿越数十个微服务、上百个中间件实例和多个异构基础设施组件时故障的根因往往不在某一个孤立的节点上而是藏在组件之间的交互关系、时序依赖和因果链条之中。传统的运维范式依赖专家经验和规则引擎靠人海战术和告警堆叠来对抗系统的熵增这种模式在小规模场景中尚可维持但当业务峰值达到千万级QPS、大促期间的系统行为超出任何静态规则的覆盖范围时它的边际效用会迅速衰减。京东云在过去数年间完成的AIOps体系化落地本质上是在回答一个问题当运维的对象从单台机器、单个应用演变为一张由万级应用和百万级实例构成的动态网络时运维的决策权应该如何在人、算法和大模型之间重新分配。这个问题的答案不是简单地用AI替换人也不是让算法接管一切而是构建一套从数据感知、异常识别、根因定位到行动执行的完整链路让每一层都做自己最擅长的事同时在层的交界处设计清晰的交接与兜底机制。本文沿着这条链路的工程逻辑展开。文章先拆解传统运维模式在超大规模场景下的结构性瓶颈然后逐层分析京东云在可观测底座、无阈值异常检测、日志语义理解、根因定位和智能体协同上的技术选择接着讨论大模型在运维场景中的能力边界与大小模型协同的设计原则最后回到工程落地的现实条件包括知识沉淀、人机分工和从被动响应向主动预判的演进路径。第一章 超大规模运维的结构性瓶颈1.1 告警风暴与信噪比坍塌传统运维监控的核心机制是阈值告警为每一个指标设定一个上限或下限当指标越过边界时触发告警。这套机制在指标数量有限、系统行为稳定的年代是有效的但在万级应用、百万级实例的规模下它会产生一个结构性的副作用告警的数量随监控覆盖面的扩大而线性增长而告警中真正指向故障的比例却在下降。一个典型的故障场景可能同时触发数百条甚至数千条告警数据库连接池耗尽会引发应用层的超时告警应用超时会引发网关的5xx告警网关异常会引发上游业务的成功率告警而这些告警在时间上的密集出现又会触发容量和资源相关的告警。运维人员面对的不是信息的匮乏而是信息的过载。在告警风暴中真正根因所在的信号往往被淹没在大量的衍生告警和噪声告警之中定位的时间成本随告警数量非线性上升。信噪比坍塌的更深层原因在于静态阈值无法表征时间序列的动态特征。同一个指标在业务高峰期和低谷期的正常范围完全不同一条在凌晨平稳的曲线在上午十点可能因为正常的业务爬坡而越过阈值而一条真正异常的曲线可能因为基线本身在漂移而始终没有触发告警。固定阈值的设定过程本身就是一项高成本、低迁移性的工作每一个指标、每一个业务场景都需要单独调参而调参的结果往往只适用于特定的时间段和特定的负载条件。1.2 根因定位的维度爆炸当告警被触发之后下一个问题是根因在哪里。在一个由微服务构成的系统中一个用户请求的失败可能源于应用代码的缺陷、中间件的配置错误、数据库的慢查询、网络的丢包、容器的资源争抢或者基础设施的硬件退化。每一种可能性又包含多个维度如果是数据库问题是连接数、锁等待、执行计划还是磁盘IO如果是网络问题是丢包、延迟、DNS解析还是负载均衡策略。传统的根因定位依赖运维人员的经验和手工排查。一个熟练的SRE可能能够在数十分钟内从一个告警出发沿着调用链和服务依赖关系逐步缩小范围最终锁定根因。但这种依赖个人经验的模式存在两个瓶颈。第一经验的积累速度跟不上系统复杂度的增长速度一个新人需要数年时间才能达到独立定位复杂故障的水平。第二经验的分布是不均匀的当故障涉及多个专业领域时单一专家的知识边界会成为定位的瓶颈。根因定位的维度爆炸还有一个隐含的代价在定位过程中运维人员需要反复切换监控面板、查询日志、比对指标、查看调用链。每一次切换都消耗认知资源而认知资源的消耗在故障压力下会被进一步放大。一个在平时需要十分钟的排查在凌晨三点的告警声中可能需要半小时。1.3 知识沉淀的断裂运维知识有一个特殊性质它的很大一部分是隐性的。一个经验丰富的SRE知道某个服务在特定负载下会出现什么样的抖动知道某条告警在多数情况下是噪声、但在特定组合下是真实故障的前兆知道某个中间件的某个参数调整曾经解决过什么类型的问题。这些知识没有写在任何文档里它们存在于人的记忆中随着人员的流动而流失。知识的断裂在组织层面表现为每一次故障复盘都会产出改进措施但改进措施往往停留在流程和工具的层面没有转化为下一次故障发生时可以直接调用的判断依据。新入职的运维人员需要重新经历一遍前辈已经经历过的试错过程组织没有因为做过一百次故障复盘而变得更聪明。AIOps要解决的不仅是算法层面的自动化还包括如何把隐性的运维知识显性化、结构化使之成为算法和智能体可以调用的资产。第二章 从指标采集到全链路穿透2.1 四层穿透式观测的设计逻辑京东云JoyOps的可观测底座不是一套简单的监控工具集合而是一个按照用户体验、业务流、应用服务和基础设施四个层次组织的观测体系。四个层次之间不是并列关系而是穿透关系从一个层次的异常可以向下追溯到支撑它的下一层也可以向上追溯到它影响的业务结果。用户体验层关注的是最终用户感知到的质量包括页面加载时间、接口响应时间、交互成功率。业务流层关注的是业务流程的完成情况例如下单链路的各环节转化率、支付链路的成功率。应用服务层关注的是单个服务实例的运行状态包括请求量、错误率、延迟分布和资源消耗。基础设施层关注的是支撑应用运行的底层资源包括容器、虚拟机、网络、存储和数据库。这种分层设计的工程意义在于它把故障的影响面和根因位置分离开了。当一个用户投诉页面卡顿时用户体验层的指标会显示异常但根因可能在应用服务层的某个慢查询也可能在基础设施层的网络抖动。四层穿透让运维人员可以从任何一个层次的异常出发沿着预定义的关联关系快速跳转到相关的层次而不需要在多个独立的监控系统之间手工切换。秒级千节点拓扑自动发现是支撑穿透观测的关键能力。在动态调度的容器环境中服务实例的IP和端口随时可能变化静态的拓扑图很快就会失效。自动发现机制通过持续采集服务注册信息和调用链数据实时重建服务之间的依赖关系使故障影响面的判断能够在秒级完成。2.2 多模态运维数据的统一治理可观测底座的另一项基础工作是数据的统一治理。运维数据包括指标、日志、调用链、事件和拓扑关系五种模态它们来自不同的采集 Agent、存储在不同的系统中、使用不同的查询语言。如果没有统一的治理这五种数据就是五座孤岛跨模态的关联分析无法进行。JoyOps的做法是把五种模态的数据在采集层做标准化在存储层做统一索引在查询层做关联映射。标准化使不同来源的数据具有一致的标签体系和时间戳语义。统一索引使跨模态的查询可以在一次请求中完成。关联映射使一个服务实例的指标异常可以自动关联到该实例的日志、调用链和宿主资源信息。这种治理的成本是显著的它需要在数据接入阶段投入大量的工程工作来定义和校验数据规范。但它的收益也是显著的当根因定位需要同时查看指标趋势、日志异常和调用链断裂时运维人员不需要在三个系统之间手工拼凑证据系统会自动把相关的数据聚合到同一个分析视图中。2.3 从监控到观测的范式转变监控和观测的区别经常被混淆。监控回答的是系统是否在预期范围内运行的问题它的前提是你已经知道什么指标重要、什么范围是正常的。观测回答的是系统正在发生什么以及为什么发生的问题它不预设你知道答案而是提供足够的数据和关联关系让问题可以被探索和发现。在超大规模系统中未知的未知比已知的已知更多。一个新的业务逻辑可能引入一种从未见过的性能退化模式一个新的基础设施变更可能触发一条从未被记录过的级联故障路径。监控的阈值体系对这些未知模式是无能为力的因为阈值本身就是基于对已知模式的归纳。观测的价值在于它保留了原始数据的完整性和关联性使运维人员可以在事后回溯时从任何一个线索出发还原出故障发生时的完整上下文。JoyOps的可观测底座在设计上偏向观测而不是监控。它不仅仅采集聚合后的指标还保留了调用链的原始路径、日志的原始文本和拓扑的原始关系。这些原始数据在故障定位时的价值远高于聚合指标因为聚合会丢失维度信息而维度信息往往是根因所在。第三章 从静态边界到动态基线3.1 固定阈值的结构性缺陷京东云在异常检测上的技术选择核心是不使用固定阈值。这个选择的背后是对固定阈值缺陷的系统性判断。固定阈值的第一个缺陷是无法适应时间序列的内在动态性。一个电商系统的订单量指标在工作日和周末有不同的基线在大促期间和平时有不同的量级在新品上线和稳定运营阶段有不同的增长斜率。为这样的指标设定一个静态的上限或下限要么在低谷期产生大量误报要么在高峰期漏报真实异常。第二个缺陷是迁移性差。每一个指标都需要单独的阈值调参而调参的过程依赖对历史数据的观察和对业务的理解。当指标数量达到数千个甚至上万个时人工调参的成本变得不可承受而调参的质量参差不齐部分指标的阈值可能从未被认真校准过。第三个缺陷是它无法表达异常的形状。一个指标缓慢爬升然后突然跳变和另一个指标瞬间跳变然后恢复在静态阈值下可能被同等对待但它们的故障含义完全不同。固定阈值只关心是否越界不关心越界的幅度、速度和持续时间而这些时间维度上的特征恰恰是区分真实故障和噪声的关键。3.2 LnB与UnD的双模块协同京东云的无阈值异常检测由两个并行模块构成基于LSTM网络的基线模块和无监督检测模块。LnB的职责是为时间序列生成一条动态基线。它使用LSTM网络学习指标的历史行为模式引入长短周期识别方法来捕捉日周期、周周期和更长时间尺度上的规律并通过纠正机制在预测偏离实际值时进行调整。生成的基线不是一条固定的线而是一条随时间动态变化的参考线它反映了在当前时间点和当前业务阶段下该指标应该处于什么水平。检测的判据是指标实际值与基线之间的偏离程度而不是指标绝对值是否越过某个数字。UnD的职责是从另一个角度检测异常。它组合了深度神经网络和多种传统机器学习算法通过投票机制对时间序列的正常性做出判断。UnD的优势在于对周期性不明确、历史数据不足或者行为模式复杂的指标具有更强的鲁棒性。它不依赖于对长期趋势的准确建模而是从多个算法的共识中提取异常信号。两个模块的关系是互补而非竞争。LnB擅长处理具有清晰周期性形态的指标它能够准确区分正常的周期性波动和超出周期规律的异常。UnD擅长处理不确定性高、周期性弱的指标它在数据不足时仍然能够给出合理的判断。任何一个模块检测到异常系统就判定为异常这种逻辑或的关系保证了检测的召回率而两个模块的不同视角则降低了单一模块的误报风险。3.3 无阈值方法的工程价值无阈值方法的价值不仅在于检测准确率更在于它把运维人员从阈值调参的劳动中解放出来。在一个拥有上万个监控指标的环境中阈值调参是一项持续消耗人力的工作而且调参的质量很难被系统性地验证。无阈值方法将这部分工作转化为模型的训练和校准模型在历史数据上学习基线在新数据上自动适应运维人员只需要关注模型输出的异常信号而不是为每一个指标设定和维护阈值。这种转变的更深层意义在于它改变了异常检测的粒度。固定阈值只能回答是否越界无阈值方法可以回答偏离了多少、偏离的速度有多快、偏离持续了多久。这些时间维度的信息在故障分级和根因判断中至关重要。一个指标在十秒内偏离基线三倍和在一小时内缓慢偏离基线百分之二十指向的是完全不同的故障类型和处理策略。第四章 从文本洪流到结构化信号4.1 日志异常检测的独特挑战日志与指标是两种性质不同的运维数据。指标是数值化的、结构化的、按固定间隔采集的。日志是文本化的、半结构化的、按事件触发产生的。指标的异常检测可以用统计学和时序模型来处理日志的异常检测则需要解决文本语义的理解问题。日志异常检测的挑战在于日志的多样性和非结构化。同一个服务在不同版本的代码中可能输出格式不同的日志。同一个错误在不同上下文中可能有不同的表述。日志中混杂着正常的业务记录、调试信息、警告和错误异常的日志事件可能只是大量正常日志中的一小部分。如果依靠关键词匹配或者正则表达式来识别异常日志规则的维护成本会随日志种类的增长而急剧上升。4.2 词性与命名实体识别的引入京东云的日志异常检测模型在特征提取步骤上做了针对性的改进核心是引入词性标注和命名实体识别技术。传统日志模板提取方法通常依赖日志中的固定分隔符和占位符来识别模板例如把包含变量部分的日志行抽象为模板然后统计模板的出现频率。这种方法的局限在于它把日志中的词视为同等重要的符号没有区分不同类型词的语义权重。词性标注为日志中的每一个词标注其在句子中的语法角色例如名词、动词、形容词、数字和标点。命名实体识别则进一步识别出日志中具有特定语义类别的实体例如IP地址、文件路径、错误码、服务名和用户标识。这两个技术的引入使日志模板向量的构建不再依赖于人工定义的关键词列表而是基于语法和语义结构自动判断哪些词是模板的稳定组成部分哪些词是随请求变化的变量部分。这种改进的直接收益是减少了人工标注成本。在一个拥有数百种日志格式的系统中人工为每一种格式定义模板规则是一项巨大的工程。词性和命名实体识别使模型能够以更少的监督信号完成模板的泛化新的日志格式可以在不需要人工干预的情况下被自动解析和归类。4.3 日志聚类与异常信号的提取在模板提取的基础上日志异常检测的下一步是将日志事件转化为可比较的信号。京东云的做法是通过日志聚类将语义相似的日志归为一类然后以类的粒度为单位监测异常。日志聚类的价值在于降维。一个服务每分钟可能产生数万条日志但其中绝大多数属于少数几个模板。聚类把这些日志压缩为模板级别的频率分布使异常的检测从逐条判断转变为检测模板频率的偏移。当某个原本低频的错误模板突然出现频率飙升或者某个正常模板的频率骤降这些变化就是异常的信号。日志语义理解与指标异常检测的协同是完整运维感知的关键。指标告诉你系统的某个量化维度出现了异常日志告诉你系统在异常发生时正在做什么、遇到了什么错误。两者的时间对齐和实体关联使运维人员能够从一个抽象的指标异常快速跳转到具体的代码路径和错误上下文。第五章 从维度爆炸到确定性收敛5.1 多维实时根因定位的算法体系根因定位是AIOps链条中技术难度最高的环节。京东科技从2017年开始建设智能运维在根因定位上积累了一套以算法学件为核心的体系自研通用化根因定位算法学件多种能够自动触发多维实时根因定位从上万个维度属性值中定位到根因维度。从上万维度中定位根因这个表述需要被认真对待。在一个复杂的微服务调用中一次失败的请求涉及的属性包括发起请求的用户标识、请求的参数、经过的网关节点、调用的服务实例、每个实例的版本、宿主机的资源状态、依赖的中间件配置、数据库的执行计划、网络的链路质量。这些属性的组合构成了一个高维空间根因可能位于其中任何一个维度或维度的组合上。穷举所有维度的成本是不可接受的而依赖人工经验选择维度的方式又受限于专家的知识边界。多维实时根因定位的算法思路通常包括几个层次基于调用链的拓扑分析识别故障传播的路径和可能的源头节点基于指标相关性的分析识别哪些指标在故障时间窗口内发生了同步变化从而推断它们之间的因果关系基于知识图谱的语义搜索利用运维知识中已经沉淀的组件依赖和故障模式缩小候选根因的范围。5.2 调用链与知识图谱的协同调用链提供了故障传播的路径证据。当一个请求在服务A中失败时调用链可以显示这个请求是否经过了服务B、服务C以及在哪个环节开始出现延迟或错误。调用链的拓扑结构使根因定位可以从哪个指标异常推进到哪个服务节点是异常传播的源头。但调用链本身不足以完成根因定位。调用链告诉你请求经过了哪些节点但不告诉你每个节点内部的运行状态也不告诉你节点之间的依赖关系是否健康。知识图谱在这里承担了补充的角色。京东的运维知识图谱涵盖了超过30万个节点以应用为中心向外延伸出的图谱关系达到90万条以上这些关系包括服务之间的调用依赖、服务与中间件的绑定关系、中间件与基础设施的部署关系以及历史故障中沉淀的故障传播模式。知识图谱的价值在于它提供了调用链之外的上下文。当一个服务实例出现异常时图谱可以快速关联到该实例所在的宿主机、该宿主机上的其他实例、该实例依赖的数据库和缓存以及历史上该宿主机或该数据库是否出现过类似的问题。这种关联使根因定位从一个孤立的异常信号出发沿着图谱的关系边扩展到一个有界的候选集合而不是在无限的维度空间中漫游。5.3 根因定位准确率的工程含义京东云公开的数据显示其根因定位准确率超过85%故障处理提速超过50%。这两个数字需要放在工程语境中理解。85%的准确率意味着在100次根因定位中有85次系统给出的根因是正确或接近正确的。剩下的15%中可能包含系统给出了错误的根因、给出了多个候选但未排序正确、或者因为数据不足而无法给出结论。这个准确率的意义不在于它有多完美而在于它已经足够让运维人员把系统给出的根因作为第一手参考而不是从零开始排查。故障处理提速超过50%的含义是从故障发生到恢复的时间MTTR被压缩了一半以上。这个压缩来自多个环节的叠加发现时间从人工巡检变为自动检测定位时间从手工排查变为算法推荐行动时间从人工操作变为部分自动化。每一个环节的改善可能只有百分之几十但叠加在一起就产生了显著的MTTR下降。第六章 从工具调用到多Agent编排6.1 运维智能体的能力层次京东云JoyOps在智能体层面的设计区分了几个能力层次。第一层是感知能力。智能体能够访问指标、链路、日志等多种类型的运维数据并具备跨系统、多目标的协同规划能力可以综合多个系统的任务要求制定统一的处理方案。第二层是知识管理能力。智能体能够对接不同系统查询运维相关数据并能够从各类运维工具中自动获取知识例如从监控系统获取告警规则、从CMDB获取配置项信息。这种自动化的知识获取使智能体不依赖于预先硬编码的知识而是能够从现有的运维基础设施中动态学习。第三层是根因定位能力。智能体可以基于MCP协议的工具调用能力主动调用诊断分析工具和流程执行工具并支持多智能体协同工作完成根因定位任务。MCP协议在这里的作用是标准化的工具接入接口使智能体能够以统一的方式调用不同来源的诊断工具而不需要为每一个工具单独开发适配层。6.2 多Agent协同排查的架构多Agent协同排查是JoyOps在智能体设计上的核心创新。传统的智能体设计倾向于用一个全能Agent处理所有任务但在运维场景中不同类型的故障需要不同的专业知识和不同的工具链。一个负责数据库问题的Agent和一个负责网络问题的Agent它们需要的诊断工具、知识库和推理策略完全不同。多Agent协同的架构让每个Agent专注于自己擅长的领域由一个协调层负责任务的拆解、分发和结果汇总。当一个故障发生时协调Agent首先根据告警信息和拓扑关系判断故障可能涉及的领域然后将排查任务分发给对应的专业Agent专业Agent使用各自的工具完成诊断并返回结论协调Agent汇总多个来源的结论给出综合的根因判断。这种架构的优势在于它模仿了人类运维团队的工作方式。在人类团队中一个复杂故障往往需要数据库专家、网络专家和应用专家共同排查每个人从自己的专业视角给出判断团队负责人综合这些判断做出决策。多Agent协同把这个协作过程自动化了同时避免了单一Agent在面对跨领域问题时的知识不足。6.3 大模型在运维场景中的Token瓶颈与解法大模型在运维场景中面临一个现实的工程约束运维数据的体量远超大模型的上下文窗口。一个故障涉及的日志可能有数万条调用链可能有数千个Span指标数据可能有数万个时间点。把这些原始数据全部塞进大模型的上下文既超出了Token上限也引入了大量噪声。JoyOps的解法是大小模型结合把时间序列数据转化为自然语言描述把日志中的关键信息提取出来再将压缩后的结构化描述送入大模型进行推理。小模型轻量化时序模型、文本理解模型负责海量数据的粗筛和压缩大模型负责在压缩后的信息上进行深度的因果推理和决策生成。这种分工使大模型的处理能力不被数据量所淹没同时保留了小模型在特定任务上的效率和准确性。这种设计反映了一个更普遍的原则在AIOps中大模型的价值不在于它能处理多少数据而在于它能在信息被充分提炼之后做出多好的判断。把原始数据直接喂给大模型是一种偷懒的做法它把数据清洗和特征提取的工作推给了模型而模型在这方面的能力远不如专门设计的算法。大小模型协同的本质是让每一层做自己最擅长的事在层的交界处设计好信息的压缩和传递格式。第七章 从被动响应到主动预判的工程实践7.1 大促与跨晚场景的验证京东云AIOps的能力在618、11.11和跨年晚会等极端场景中得到了验证。在跨晚保障中京东云通过将AI技术应用于保障全流程实现了整体成本降低70%的量化结果。这个数字背后是多个环节的协同优化。流量预测环节大模型分析历史数据并结合过去两年的跨晚保障经验基于数千个数据维度对流量进行评估和预测预测准确率超过95%。准确的流量预测使资源的预分配和弹性调度有了可靠的输入避免了过度预留造成的浪费和预留不足造成的风险。算力供给环节混合多云操作系统云舰对资源进行综合调度秒级调度超过1000万核资源以超高弹性应对流量洪峰。这种调度能力依赖于对流量模式的准确预判和对资源状态的实时感知两者缺一不可。运维保障环节工程师在准备阶段模拟线上可能出现的故障对高并发大流量场景进行数智分析和监控预测主动发现潜在风险保证活动期间一旦出现问题能够在分钟级内发现问题、定位根因并修复。7.2 从硬抗到智抗的范式转变跨晚保障成本降低57%到70%的数据被京东云概括为从硬抗到智抗的数智进化。这个表述指向一个关键的范式转变。硬抗模式的逻辑是为了应对峰值流量预先准备数倍于日常的资源在峰值期间全部拉起峰值过后再释放。这种模式的成本与峰值流量成正比而峰值流量往往只持续数小时大量的资源在大部分时间里处于闲置状态。智抗模式的逻辑是通过准确的流量预测和实时的资源调度使资源的供给曲线与流量的需求曲线尽可能贴合。这需要三个能力的支撑预测能力知道流量什么时候来、来多少调度能力能够在秒级完成资源的分配和释放感知能力实时监测系统的状态并在偏离预测时快速调整。AIOps在这三个能力上都提供了支撑预测由大模型和时序分析完成调度由云舰的弹性能力完成感知由可观测底座完成。7.3 智能巡检与硬件故障预测除了大促场景AIOps在日常运维中的价值还体现在智能巡检和硬件故障预测上。京东云的数据中心运维团队开发的机房故障定位功能模块通过逻辑树和专家系统等算法实现故障过滤、故障筛选和故障定位使廊坊和宿迁自建数据中心的主要EOP跑位时间缩短到7分钟以内。AI巡检机器人实现24小时无人巡检从自动巡检、故障定位到自动修复减少了运维人员20%以上的重复工作。硬件故障预测是AIOps从被动响应走向主动预判的另一个标志性能力。硬盘、内存、电源和网卡等硬件在完全失效之前通常会在性能指标和错误日志中留下前兆信号。通过对这些信号的持续监测和模式识别系统可以在硬件真正故障之前发出预警安排预防性更换从而避免非计划停机和数据丢失。京东科技在硬件故障预测上已经实现了场景落地将硬件故障从不可预测的突发事件转变为可以被提前管理的风险。第八章 工程落地的现实条件与边界8.1 知识沉淀是AIOps的隐形地基JoyOps的能力建立在一个常被低估的基础上10万条以上的运维知识。这些知识不是算法的附属品而是算法能够做出有效判断的前提。运维知识库的内容包括历史故障的现象描述、根因分析和处理方案各类组件在特定负载和特定配置下的行为特征告警之间的关联规则和噪声特征变更操作的风险评估和历史影响记录。这些知识一部分来自故障复盘的结构化沉淀一部分来自运维专家在日常工作中的经验积累一部分来自大促和重大活动保障中的专项总结。知识库的价值在于它缩短了算法从数据到判断的距离。一个纯粹的机器学习模型需要从大量的标注数据中学习故障模式而知识库提供了先验的、经过人工验证的故障模式使模型不需要从零开始学习。当一个新的告警出现时系统可以首先在知识库中检索相似的历史案例将历史案例的处理方案作为候选再用算法对候选进行排序和验证。这种检索增强的推理方式比纯粹依赖模型参数记忆的方式更可解释、更可更新。8.2 人机分工的边界AIOps的落地不是要消除人的角色而是要重新定义人的角色。在JoyOps的能力体系中人和系统的分工遵循一个原则系统负责广度、速度和一致性人负责深度、判断和责任。系统擅长的是覆盖大量的监控对象、在海量数据中发现模式、在毫秒级完成初步的异常判断、对每一个告警执行一致的关联和聚合规则。这些工作如果交给人类会因为注意力有限和疲劳而出现遗漏和不一致。人擅长的是处理系统从未见过的异常模式、在信息不完整的情况下做出判断、评估行动的风险和后果、承担决策的责任。当一个故障的根因超出了知识库和算法的覆盖范围时人的经验和直觉是不可替代的。当一个自动化修复操作可能产生不可逆的副作用时人的确认是必要的安全阀。JoyOps的设计中智能体可以自动完成大部分常见故障的检测和修复覆盖超过90%的故障场景准确率达到80%以上。但剩余的10%场景以及所有涉及高风险操作的场景仍然需要人的介入。这种人机分工不是技术能力不足的妥协而是一种审慎的工程选择在自动化带来的效率提升和不可控风险之间保持平衡。8.3 AIOps不适合解决什么问题承认AIOps的边界比夸大它的能力更有工程价值。AIOps不解决架构设计的问题。如果一个系统本身的架构存在单点故障、循环依赖或者容量规划的缺陷再先进的运维算法也只能在故障发生后加速恢复不能阻止故障的发生。架构的健壮性是设计和开发阶段的责任AIOps是在架构既定前提下的运维效率工具。AIOps不解决数据质量的问题。如果监控数据的采集本身存在遗漏、延迟或者错误基于这些数据的异常检测和根因定位就失去了可靠的基础。数据治理是AIOps的前置条件而不是AIOps能够自动解决的问题。AIOps不替代领域专家的深度判断。在涉及业务语义、合规约束和跨系统权衡的复杂场景中算法和大模型可以提供信息和候选方案但最终的决策仍然需要理解业务上下文的人来完成。AIOps的目标是让专家把时间花在真正需要专业判断的地方而不是花在数据收集和初步筛选中。结语京东云AIOps的落地实践本质上是在超大规模系统的复杂度面前重新设计运维的认知分工。可观测底座解决了“看得见”的问题把万级应用和百万级实例的状态压缩到四层穿透的视图中。无阈值异常检测解决了“看得准”的问题用动态基线替代静态阈值让异常判断适应时间序列的内在变化。日志语义理解和知识图谱解决了“看得深”的问题把非结构化的文本信号和分散的组件关系组织成可查询、可推理的结构。多智能体协同和大模型推理解决了“想得快”的问题把根因定位从人工排查的线性过程压缩到算法推荐的收敛过程。这些能力叠加在一起产生的不只是效率数字的提升而是一种运维范式的位移从故障发生后的被动响应转向故障发生前的主动预判和故障发生中的快速收敛。跨晚保障成本降低70%、故障平均解决时间减少50%、根因定位准确率超过85%、千万级QPS下可用率维持99.99%这些数字是范式位移的可观测证据。但AIOps的边界同样清晰。它建立在知识沉淀、数据治理和架构健壮性的基础之上它不替代人的深度判断和责任承担它的价值在于让人从信息过载和重复劳动中解放出来把精力集中在真正需要人类智慧的地方。在一个系统复杂度持续上升的时代运维的终极目标不是让机器取代人而是让人和机器各自做自己最擅长的事在协作中把系统的稳定性和效率推向一个新的水平。
在超大规模互联网基础设施的运维语境中一个根本性的矛盾长期存在系统的复杂度在持续上升而人对复杂系统的理解带宽是有限的。当一次请求可能穿越数十个微服务、上百个中间件实例和多个异构基础设施组件时故障的根因往往不在某一个孤立的节点上而是藏在组件之间的交互关系、时序依赖和因果链条之中。传统的运维范式依赖专家经验和规则引擎靠人海战术和告警堆叠来对抗系统的熵增这种模式在小规模场景中尚可维持但当业务峰值达到千万级QPS、大促期间的系统行为超出任何静态规则的覆盖范围时它的边际效用会迅速衰减。京东云在过去数年间完成的AIOps体系化落地本质上是在回答一个问题当运维的对象从单台机器、单个应用演变为一张由万级应用和百万级实例构成的动态网络时运维的决策权应该如何在人、算法和大模型之间重新分配。这个问题的答案不是简单地用AI替换人也不是让算法接管一切而是构建一套从数据感知、异常识别、根因定位到行动执行的完整链路让每一层都做自己最擅长的事同时在层的交界处设计清晰的交接与兜底机制。本文沿着这条链路的工程逻辑展开。文章先拆解传统运维模式在超大规模场景下的结构性瓶颈然后逐层分析京东云在可观测底座、无阈值异常检测、日志语义理解、根因定位和智能体协同上的技术选择接着讨论大模型在运维场景中的能力边界与大小模型协同的设计原则最后回到工程落地的现实条件包括知识沉淀、人机分工和从被动响应向主动预判的演进路径。第一章 超大规模运维的结构性瓶颈1.1 告警风暴与信噪比坍塌传统运维监控的核心机制是阈值告警为每一个指标设定一个上限或下限当指标越过边界时触发告警。这套机制在指标数量有限、系统行为稳定的年代是有效的但在万级应用、百万级实例的规模下它会产生一个结构性的副作用告警的数量随监控覆盖面的扩大而线性增长而告警中真正指向故障的比例却在下降。一个典型的故障场景可能同时触发数百条甚至数千条告警数据库连接池耗尽会引发应用层的超时告警应用超时会引发网关的5xx告警网关异常会引发上游业务的成功率告警而这些告警在时间上的密集出现又会触发容量和资源相关的告警。运维人员面对的不是信息的匮乏而是信息的过载。在告警风暴中真正根因所在的信号往往被淹没在大量的衍生告警和噪声告警之中定位的时间成本随告警数量非线性上升。信噪比坍塌的更深层原因在于静态阈值无法表征时间序列的动态特征。同一个指标在业务高峰期和低谷期的正常范围完全不同一条在凌晨平稳的曲线在上午十点可能因为正常的业务爬坡而越过阈值而一条真正异常的曲线可能因为基线本身在漂移而始终没有触发告警。固定阈值的设定过程本身就是一项高成本、低迁移性的工作每一个指标、每一个业务场景都需要单独调参而调参的结果往往只适用于特定的时间段和特定的负载条件。1.2 根因定位的维度爆炸当告警被触发之后下一个问题是根因在哪里。在一个由微服务构成的系统中一个用户请求的失败可能源于应用代码的缺陷、中间件的配置错误、数据库的慢查询、网络的丢包、容器的资源争抢或者基础设施的硬件退化。每一种可能性又包含多个维度如果是数据库问题是连接数、锁等待、执行计划还是磁盘IO如果是网络问题是丢包、延迟、DNS解析还是负载均衡策略。传统的根因定位依赖运维人员的经验和手工排查。一个熟练的SRE可能能够在数十分钟内从一个告警出发沿着调用链和服务依赖关系逐步缩小范围最终锁定根因。但这种依赖个人经验的模式存在两个瓶颈。第一经验的积累速度跟不上系统复杂度的增长速度一个新人需要数年时间才能达到独立定位复杂故障的水平。第二经验的分布是不均匀的当故障涉及多个专业领域时单一专家的知识边界会成为定位的瓶颈。根因定位的维度爆炸还有一个隐含的代价在定位过程中运维人员需要反复切换监控面板、查询日志、比对指标、查看调用链。每一次切换都消耗认知资源而认知资源的消耗在故障压力下会被进一步放大。一个在平时需要十分钟的排查在凌晨三点的告警声中可能需要半小时。1.3 知识沉淀的断裂运维知识有一个特殊性质它的很大一部分是隐性的。一个经验丰富的SRE知道某个服务在特定负载下会出现什么样的抖动知道某条告警在多数情况下是噪声、但在特定组合下是真实故障的前兆知道某个中间件的某个参数调整曾经解决过什么类型的问题。这些知识没有写在任何文档里它们存在于人的记忆中随着人员的流动而流失。知识的断裂在组织层面表现为每一次故障复盘都会产出改进措施但改进措施往往停留在流程和工具的层面没有转化为下一次故障发生时可以直接调用的判断依据。新入职的运维人员需要重新经历一遍前辈已经经历过的试错过程组织没有因为做过一百次故障复盘而变得更聪明。AIOps要解决的不仅是算法层面的自动化还包括如何把隐性的运维知识显性化、结构化使之成为算法和智能体可以调用的资产。第二章 从指标采集到全链路穿透2.1 四层穿透式观测的设计逻辑京东云JoyOps的可观测底座不是一套简单的监控工具集合而是一个按照用户体验、业务流、应用服务和基础设施四个层次组织的观测体系。四个层次之间不是并列关系而是穿透关系从一个层次的异常可以向下追溯到支撑它的下一层也可以向上追溯到它影响的业务结果。用户体验层关注的是最终用户感知到的质量包括页面加载时间、接口响应时间、交互成功率。业务流层关注的是业务流程的完成情况例如下单链路的各环节转化率、支付链路的成功率。应用服务层关注的是单个服务实例的运行状态包括请求量、错误率、延迟分布和资源消耗。基础设施层关注的是支撑应用运行的底层资源包括容器、虚拟机、网络、存储和数据库。这种分层设计的工程意义在于它把故障的影响面和根因位置分离开了。当一个用户投诉页面卡顿时用户体验层的指标会显示异常但根因可能在应用服务层的某个慢查询也可能在基础设施层的网络抖动。四层穿透让运维人员可以从任何一个层次的异常出发沿着预定义的关联关系快速跳转到相关的层次而不需要在多个独立的监控系统之间手工切换。秒级千节点拓扑自动发现是支撑穿透观测的关键能力。在动态调度的容器环境中服务实例的IP和端口随时可能变化静态的拓扑图很快就会失效。自动发现机制通过持续采集服务注册信息和调用链数据实时重建服务之间的依赖关系使故障影响面的判断能够在秒级完成。2.2 多模态运维数据的统一治理可观测底座的另一项基础工作是数据的统一治理。运维数据包括指标、日志、调用链、事件和拓扑关系五种模态它们来自不同的采集 Agent、存储在不同的系统中、使用不同的查询语言。如果没有统一的治理这五种数据就是五座孤岛跨模态的关联分析无法进行。JoyOps的做法是把五种模态的数据在采集层做标准化在存储层做统一索引在查询层做关联映射。标准化使不同来源的数据具有一致的标签体系和时间戳语义。统一索引使跨模态的查询可以在一次请求中完成。关联映射使一个服务实例的指标异常可以自动关联到该实例的日志、调用链和宿主资源信息。这种治理的成本是显著的它需要在数据接入阶段投入大量的工程工作来定义和校验数据规范。但它的收益也是显著的当根因定位需要同时查看指标趋势、日志异常和调用链断裂时运维人员不需要在三个系统之间手工拼凑证据系统会自动把相关的数据聚合到同一个分析视图中。2.3 从监控到观测的范式转变监控和观测的区别经常被混淆。监控回答的是系统是否在预期范围内运行的问题它的前提是你已经知道什么指标重要、什么范围是正常的。观测回答的是系统正在发生什么以及为什么发生的问题它不预设你知道答案而是提供足够的数据和关联关系让问题可以被探索和发现。在超大规模系统中未知的未知比已知的已知更多。一个新的业务逻辑可能引入一种从未见过的性能退化模式一个新的基础设施变更可能触发一条从未被记录过的级联故障路径。监控的阈值体系对这些未知模式是无能为力的因为阈值本身就是基于对已知模式的归纳。观测的价值在于它保留了原始数据的完整性和关联性使运维人员可以在事后回溯时从任何一个线索出发还原出故障发生时的完整上下文。JoyOps的可观测底座在设计上偏向观测而不是监控。它不仅仅采集聚合后的指标还保留了调用链的原始路径、日志的原始文本和拓扑的原始关系。这些原始数据在故障定位时的价值远高于聚合指标因为聚合会丢失维度信息而维度信息往往是根因所在。第三章 从静态边界到动态基线3.1 固定阈值的结构性缺陷京东云在异常检测上的技术选择核心是不使用固定阈值。这个选择的背后是对固定阈值缺陷的系统性判断。固定阈值的第一个缺陷是无法适应时间序列的内在动态性。一个电商系统的订单量指标在工作日和周末有不同的基线在大促期间和平时有不同的量级在新品上线和稳定运营阶段有不同的增长斜率。为这样的指标设定一个静态的上限或下限要么在低谷期产生大量误报要么在高峰期漏报真实异常。第二个缺陷是迁移性差。每一个指标都需要单独的阈值调参而调参的过程依赖对历史数据的观察和对业务的理解。当指标数量达到数千个甚至上万个时人工调参的成本变得不可承受而调参的质量参差不齐部分指标的阈值可能从未被认真校准过。第三个缺陷是它无法表达异常的形状。一个指标缓慢爬升然后突然跳变和另一个指标瞬间跳变然后恢复在静态阈值下可能被同等对待但它们的故障含义完全不同。固定阈值只关心是否越界不关心越界的幅度、速度和持续时间而这些时间维度上的特征恰恰是区分真实故障和噪声的关键。3.2 LnB与UnD的双模块协同京东云的无阈值异常检测由两个并行模块构成基于LSTM网络的基线模块和无监督检测模块。LnB的职责是为时间序列生成一条动态基线。它使用LSTM网络学习指标的历史行为模式引入长短周期识别方法来捕捉日周期、周周期和更长时间尺度上的规律并通过纠正机制在预测偏离实际值时进行调整。生成的基线不是一条固定的线而是一条随时间动态变化的参考线它反映了在当前时间点和当前业务阶段下该指标应该处于什么水平。检测的判据是指标实际值与基线之间的偏离程度而不是指标绝对值是否越过某个数字。UnD的职责是从另一个角度检测异常。它组合了深度神经网络和多种传统机器学习算法通过投票机制对时间序列的正常性做出判断。UnD的优势在于对周期性不明确、历史数据不足或者行为模式复杂的指标具有更强的鲁棒性。它不依赖于对长期趋势的准确建模而是从多个算法的共识中提取异常信号。两个模块的关系是互补而非竞争。LnB擅长处理具有清晰周期性形态的指标它能够准确区分正常的周期性波动和超出周期规律的异常。UnD擅长处理不确定性高、周期性弱的指标它在数据不足时仍然能够给出合理的判断。任何一个模块检测到异常系统就判定为异常这种逻辑或的关系保证了检测的召回率而两个模块的不同视角则降低了单一模块的误报风险。3.3 无阈值方法的工程价值无阈值方法的价值不仅在于检测准确率更在于它把运维人员从阈值调参的劳动中解放出来。在一个拥有上万个监控指标的环境中阈值调参是一项持续消耗人力的工作而且调参的质量很难被系统性地验证。无阈值方法将这部分工作转化为模型的训练和校准模型在历史数据上学习基线在新数据上自动适应运维人员只需要关注模型输出的异常信号而不是为每一个指标设定和维护阈值。这种转变的更深层意义在于它改变了异常检测的粒度。固定阈值只能回答是否越界无阈值方法可以回答偏离了多少、偏离的速度有多快、偏离持续了多久。这些时间维度的信息在故障分级和根因判断中至关重要。一个指标在十秒内偏离基线三倍和在一小时内缓慢偏离基线百分之二十指向的是完全不同的故障类型和处理策略。第四章 从文本洪流到结构化信号4.1 日志异常检测的独特挑战日志与指标是两种性质不同的运维数据。指标是数值化的、结构化的、按固定间隔采集的。日志是文本化的、半结构化的、按事件触发产生的。指标的异常检测可以用统计学和时序模型来处理日志的异常检测则需要解决文本语义的理解问题。日志异常检测的挑战在于日志的多样性和非结构化。同一个服务在不同版本的代码中可能输出格式不同的日志。同一个错误在不同上下文中可能有不同的表述。日志中混杂着正常的业务记录、调试信息、警告和错误异常的日志事件可能只是大量正常日志中的一小部分。如果依靠关键词匹配或者正则表达式来识别异常日志规则的维护成本会随日志种类的增长而急剧上升。4.2 词性与命名实体识别的引入京东云的日志异常检测模型在特征提取步骤上做了针对性的改进核心是引入词性标注和命名实体识别技术。传统日志模板提取方法通常依赖日志中的固定分隔符和占位符来识别模板例如把包含变量部分的日志行抽象为模板然后统计模板的出现频率。这种方法的局限在于它把日志中的词视为同等重要的符号没有区分不同类型词的语义权重。词性标注为日志中的每一个词标注其在句子中的语法角色例如名词、动词、形容词、数字和标点。命名实体识别则进一步识别出日志中具有特定语义类别的实体例如IP地址、文件路径、错误码、服务名和用户标识。这两个技术的引入使日志模板向量的构建不再依赖于人工定义的关键词列表而是基于语法和语义结构自动判断哪些词是模板的稳定组成部分哪些词是随请求变化的变量部分。这种改进的直接收益是减少了人工标注成本。在一个拥有数百种日志格式的系统中人工为每一种格式定义模板规则是一项巨大的工程。词性和命名实体识别使模型能够以更少的监督信号完成模板的泛化新的日志格式可以在不需要人工干预的情况下被自动解析和归类。4.3 日志聚类与异常信号的提取在模板提取的基础上日志异常检测的下一步是将日志事件转化为可比较的信号。京东云的做法是通过日志聚类将语义相似的日志归为一类然后以类的粒度为单位监测异常。日志聚类的价值在于降维。一个服务每分钟可能产生数万条日志但其中绝大多数属于少数几个模板。聚类把这些日志压缩为模板级别的频率分布使异常的检测从逐条判断转变为检测模板频率的偏移。当某个原本低频的错误模板突然出现频率飙升或者某个正常模板的频率骤降这些变化就是异常的信号。日志语义理解与指标异常检测的协同是完整运维感知的关键。指标告诉你系统的某个量化维度出现了异常日志告诉你系统在异常发生时正在做什么、遇到了什么错误。两者的时间对齐和实体关联使运维人员能够从一个抽象的指标异常快速跳转到具体的代码路径和错误上下文。第五章 从维度爆炸到确定性收敛5.1 多维实时根因定位的算法体系根因定位是AIOps链条中技术难度最高的环节。京东科技从2017年开始建设智能运维在根因定位上积累了一套以算法学件为核心的体系自研通用化根因定位算法学件多种能够自动触发多维实时根因定位从上万个维度属性值中定位到根因维度。从上万维度中定位根因这个表述需要被认真对待。在一个复杂的微服务调用中一次失败的请求涉及的属性包括发起请求的用户标识、请求的参数、经过的网关节点、调用的服务实例、每个实例的版本、宿主机的资源状态、依赖的中间件配置、数据库的执行计划、网络的链路质量。这些属性的组合构成了一个高维空间根因可能位于其中任何一个维度或维度的组合上。穷举所有维度的成本是不可接受的而依赖人工经验选择维度的方式又受限于专家的知识边界。多维实时根因定位的算法思路通常包括几个层次基于调用链的拓扑分析识别故障传播的路径和可能的源头节点基于指标相关性的分析识别哪些指标在故障时间窗口内发生了同步变化从而推断它们之间的因果关系基于知识图谱的语义搜索利用运维知识中已经沉淀的组件依赖和故障模式缩小候选根因的范围。5.2 调用链与知识图谱的协同调用链提供了故障传播的路径证据。当一个请求在服务A中失败时调用链可以显示这个请求是否经过了服务B、服务C以及在哪个环节开始出现延迟或错误。调用链的拓扑结构使根因定位可以从哪个指标异常推进到哪个服务节点是异常传播的源头。但调用链本身不足以完成根因定位。调用链告诉你请求经过了哪些节点但不告诉你每个节点内部的运行状态也不告诉你节点之间的依赖关系是否健康。知识图谱在这里承担了补充的角色。京东的运维知识图谱涵盖了超过30万个节点以应用为中心向外延伸出的图谱关系达到90万条以上这些关系包括服务之间的调用依赖、服务与中间件的绑定关系、中间件与基础设施的部署关系以及历史故障中沉淀的故障传播模式。知识图谱的价值在于它提供了调用链之外的上下文。当一个服务实例出现异常时图谱可以快速关联到该实例所在的宿主机、该宿主机上的其他实例、该实例依赖的数据库和缓存以及历史上该宿主机或该数据库是否出现过类似的问题。这种关联使根因定位从一个孤立的异常信号出发沿着图谱的关系边扩展到一个有界的候选集合而不是在无限的维度空间中漫游。5.3 根因定位准确率的工程含义京东云公开的数据显示其根因定位准确率超过85%故障处理提速超过50%。这两个数字需要放在工程语境中理解。85%的准确率意味着在100次根因定位中有85次系统给出的根因是正确或接近正确的。剩下的15%中可能包含系统给出了错误的根因、给出了多个候选但未排序正确、或者因为数据不足而无法给出结论。这个准确率的意义不在于它有多完美而在于它已经足够让运维人员把系统给出的根因作为第一手参考而不是从零开始排查。故障处理提速超过50%的含义是从故障发生到恢复的时间MTTR被压缩了一半以上。这个压缩来自多个环节的叠加发现时间从人工巡检变为自动检测定位时间从手工排查变为算法推荐行动时间从人工操作变为部分自动化。每一个环节的改善可能只有百分之几十但叠加在一起就产生了显著的MTTR下降。第六章 从工具调用到多Agent编排6.1 运维智能体的能力层次京东云JoyOps在智能体层面的设计区分了几个能力层次。第一层是感知能力。智能体能够访问指标、链路、日志等多种类型的运维数据并具备跨系统、多目标的协同规划能力可以综合多个系统的任务要求制定统一的处理方案。第二层是知识管理能力。智能体能够对接不同系统查询运维相关数据并能够从各类运维工具中自动获取知识例如从监控系统获取告警规则、从CMDB获取配置项信息。这种自动化的知识获取使智能体不依赖于预先硬编码的知识而是能够从现有的运维基础设施中动态学习。第三层是根因定位能力。智能体可以基于MCP协议的工具调用能力主动调用诊断分析工具和流程执行工具并支持多智能体协同工作完成根因定位任务。MCP协议在这里的作用是标准化的工具接入接口使智能体能够以统一的方式调用不同来源的诊断工具而不需要为每一个工具单独开发适配层。6.2 多Agent协同排查的架构多Agent协同排查是JoyOps在智能体设计上的核心创新。传统的智能体设计倾向于用一个全能Agent处理所有任务但在运维场景中不同类型的故障需要不同的专业知识和不同的工具链。一个负责数据库问题的Agent和一个负责网络问题的Agent它们需要的诊断工具、知识库和推理策略完全不同。多Agent协同的架构让每个Agent专注于自己擅长的领域由一个协调层负责任务的拆解、分发和结果汇总。当一个故障发生时协调Agent首先根据告警信息和拓扑关系判断故障可能涉及的领域然后将排查任务分发给对应的专业Agent专业Agent使用各自的工具完成诊断并返回结论协调Agent汇总多个来源的结论给出综合的根因判断。这种架构的优势在于它模仿了人类运维团队的工作方式。在人类团队中一个复杂故障往往需要数据库专家、网络专家和应用专家共同排查每个人从自己的专业视角给出判断团队负责人综合这些判断做出决策。多Agent协同把这个协作过程自动化了同时避免了单一Agent在面对跨领域问题时的知识不足。6.3 大模型在运维场景中的Token瓶颈与解法大模型在运维场景中面临一个现实的工程约束运维数据的体量远超大模型的上下文窗口。一个故障涉及的日志可能有数万条调用链可能有数千个Span指标数据可能有数万个时间点。把这些原始数据全部塞进大模型的上下文既超出了Token上限也引入了大量噪声。JoyOps的解法是大小模型结合把时间序列数据转化为自然语言描述把日志中的关键信息提取出来再将压缩后的结构化描述送入大模型进行推理。小模型轻量化时序模型、文本理解模型负责海量数据的粗筛和压缩大模型负责在压缩后的信息上进行深度的因果推理和决策生成。这种分工使大模型的处理能力不被数据量所淹没同时保留了小模型在特定任务上的效率和准确性。这种设计反映了一个更普遍的原则在AIOps中大模型的价值不在于它能处理多少数据而在于它能在信息被充分提炼之后做出多好的判断。把原始数据直接喂给大模型是一种偷懒的做法它把数据清洗和特征提取的工作推给了模型而模型在这方面的能力远不如专门设计的算法。大小模型协同的本质是让每一层做自己最擅长的事在层的交界处设计好信息的压缩和传递格式。第七章 从被动响应到主动预判的工程实践7.1 大促与跨晚场景的验证京东云AIOps的能力在618、11.11和跨年晚会等极端场景中得到了验证。在跨晚保障中京东云通过将AI技术应用于保障全流程实现了整体成本降低70%的量化结果。这个数字背后是多个环节的协同优化。流量预测环节大模型分析历史数据并结合过去两年的跨晚保障经验基于数千个数据维度对流量进行评估和预测预测准确率超过95%。准确的流量预测使资源的预分配和弹性调度有了可靠的输入避免了过度预留造成的浪费和预留不足造成的风险。算力供给环节混合多云操作系统云舰对资源进行综合调度秒级调度超过1000万核资源以超高弹性应对流量洪峰。这种调度能力依赖于对流量模式的准确预判和对资源状态的实时感知两者缺一不可。运维保障环节工程师在准备阶段模拟线上可能出现的故障对高并发大流量场景进行数智分析和监控预测主动发现潜在风险保证活动期间一旦出现问题能够在分钟级内发现问题、定位根因并修复。7.2 从硬抗到智抗的范式转变跨晚保障成本降低57%到70%的数据被京东云概括为从硬抗到智抗的数智进化。这个表述指向一个关键的范式转变。硬抗模式的逻辑是为了应对峰值流量预先准备数倍于日常的资源在峰值期间全部拉起峰值过后再释放。这种模式的成本与峰值流量成正比而峰值流量往往只持续数小时大量的资源在大部分时间里处于闲置状态。智抗模式的逻辑是通过准确的流量预测和实时的资源调度使资源的供给曲线与流量的需求曲线尽可能贴合。这需要三个能力的支撑预测能力知道流量什么时候来、来多少调度能力能够在秒级完成资源的分配和释放感知能力实时监测系统的状态并在偏离预测时快速调整。AIOps在这三个能力上都提供了支撑预测由大模型和时序分析完成调度由云舰的弹性能力完成感知由可观测底座完成。7.3 智能巡检与硬件故障预测除了大促场景AIOps在日常运维中的价值还体现在智能巡检和硬件故障预测上。京东云的数据中心运维团队开发的机房故障定位功能模块通过逻辑树和专家系统等算法实现故障过滤、故障筛选和故障定位使廊坊和宿迁自建数据中心的主要EOP跑位时间缩短到7分钟以内。AI巡检机器人实现24小时无人巡检从自动巡检、故障定位到自动修复减少了运维人员20%以上的重复工作。硬件故障预测是AIOps从被动响应走向主动预判的另一个标志性能力。硬盘、内存、电源和网卡等硬件在完全失效之前通常会在性能指标和错误日志中留下前兆信号。通过对这些信号的持续监测和模式识别系统可以在硬件真正故障之前发出预警安排预防性更换从而避免非计划停机和数据丢失。京东科技在硬件故障预测上已经实现了场景落地将硬件故障从不可预测的突发事件转变为可以被提前管理的风险。第八章 工程落地的现实条件与边界8.1 知识沉淀是AIOps的隐形地基JoyOps的能力建立在一个常被低估的基础上10万条以上的运维知识。这些知识不是算法的附属品而是算法能够做出有效判断的前提。运维知识库的内容包括历史故障的现象描述、根因分析和处理方案各类组件在特定负载和特定配置下的行为特征告警之间的关联规则和噪声特征变更操作的风险评估和历史影响记录。这些知识一部分来自故障复盘的结构化沉淀一部分来自运维专家在日常工作中的经验积累一部分来自大促和重大活动保障中的专项总结。知识库的价值在于它缩短了算法从数据到判断的距离。一个纯粹的机器学习模型需要从大量的标注数据中学习故障模式而知识库提供了先验的、经过人工验证的故障模式使模型不需要从零开始学习。当一个新的告警出现时系统可以首先在知识库中检索相似的历史案例将历史案例的处理方案作为候选再用算法对候选进行排序和验证。这种检索增强的推理方式比纯粹依赖模型参数记忆的方式更可解释、更可更新。8.2 人机分工的边界AIOps的落地不是要消除人的角色而是要重新定义人的角色。在JoyOps的能力体系中人和系统的分工遵循一个原则系统负责广度、速度和一致性人负责深度、判断和责任。系统擅长的是覆盖大量的监控对象、在海量数据中发现模式、在毫秒级完成初步的异常判断、对每一个告警执行一致的关联和聚合规则。这些工作如果交给人类会因为注意力有限和疲劳而出现遗漏和不一致。人擅长的是处理系统从未见过的异常模式、在信息不完整的情况下做出判断、评估行动的风险和后果、承担决策的责任。当一个故障的根因超出了知识库和算法的覆盖范围时人的经验和直觉是不可替代的。当一个自动化修复操作可能产生不可逆的副作用时人的确认是必要的安全阀。JoyOps的设计中智能体可以自动完成大部分常见故障的检测和修复覆盖超过90%的故障场景准确率达到80%以上。但剩余的10%场景以及所有涉及高风险操作的场景仍然需要人的介入。这种人机分工不是技术能力不足的妥协而是一种审慎的工程选择在自动化带来的效率提升和不可控风险之间保持平衡。8.3 AIOps不适合解决什么问题承认AIOps的边界比夸大它的能力更有工程价值。AIOps不解决架构设计的问题。如果一个系统本身的架构存在单点故障、循环依赖或者容量规划的缺陷再先进的运维算法也只能在故障发生后加速恢复不能阻止故障的发生。架构的健壮性是设计和开发阶段的责任AIOps是在架构既定前提下的运维效率工具。AIOps不解决数据质量的问题。如果监控数据的采集本身存在遗漏、延迟或者错误基于这些数据的异常检测和根因定位就失去了可靠的基础。数据治理是AIOps的前置条件而不是AIOps能够自动解决的问题。AIOps不替代领域专家的深度判断。在涉及业务语义、合规约束和跨系统权衡的复杂场景中算法和大模型可以提供信息和候选方案但最终的决策仍然需要理解业务上下文的人来完成。AIOps的目标是让专家把时间花在真正需要专业判断的地方而不是花在数据收集和初步筛选中。结语京东云AIOps的落地实践本质上是在超大规模系统的复杂度面前重新设计运维的认知分工。可观测底座解决了“看得见”的问题把万级应用和百万级实例的状态压缩到四层穿透的视图中。无阈值异常检测解决了“看得准”的问题用动态基线替代静态阈值让异常判断适应时间序列的内在变化。日志语义理解和知识图谱解决了“看得深”的问题把非结构化的文本信号和分散的组件关系组织成可查询、可推理的结构。多智能体协同和大模型推理解决了“想得快”的问题把根因定位从人工排查的线性过程压缩到算法推荐的收敛过程。这些能力叠加在一起产生的不只是效率数字的提升而是一种运维范式的位移从故障发生后的被动响应转向故障发生前的主动预判和故障发生中的快速收敛。跨晚保障成本降低70%、故障平均解决时间减少50%、根因定位准确率超过85%、千万级QPS下可用率维持99.99%这些数字是范式位移的可观测证据。但AIOps的边界同样清晰。它建立在知识沉淀、数据治理和架构健壮性的基础之上它不替代人的深度判断和责任承担它的价值在于让人从信息过载和重复劳动中解放出来把精力集中在真正需要人类智慧的地方。在一个系统复杂度持续上升的时代运维的终极目标不是让机器取代人而是让人和机器各自做自己最擅长的事在协作中把系统的稳定性和效率推向一个新的水平。
