用大白话聊聊“迈向 AGI/ASI 的度量”这件事每次看到“AGI来了”“ASI要失控”这类标题我都会先问自己一个问题他们说“来了”的依据到底是什么是模型在某个考试里考了满分还是它在聊天里展现了“自我意识”又或者只是因为跑分群里的分数肉眼可见地涨了说实话我这两年做过不少模型能力相关的评估和复盘工作越做越觉得“度量”这件事是整个 AGI 叙事里最容易被糊弄、也最关键的一环。今天写这篇东西不是想给 AGI/ASI 下定义也不是想争论它们到底多久能到而是想梳理一下我们手里到底有哪些尺子这些尺子各自能量到什么、量不到什么以及当我们说“迈向”的时候这个“进度条”应该怎么画才不算自欺欺人。这篇文章适合三类人一是做大模型应用落地需要向老板或客户解释“模型到底行不行”的工程师二是做 AI 产品调研、想看穿各种“超越人类”通稿的产品经理三是纯好奇、想搞明白“AGI 离我们还有多远”这类争论到底在争什么的技术爱好者。我不会堆太多数学公式尽量把框架和逻辑讲透文里会穿插一些我做评估时踩过的坑和真实感受。1. 度量困局为什么“智能”这个东西这么难量化1.1 打一个比方给“学生”出考卷出题人自己也在被考假设你要判断一个学生是不是“天才”你能想到的办法肯定是考试数学考卷、语文作文、物理竞赛。但问题很快就来了——这个学生擅长写诗那个学生擅长心算另一个学生特别会做实验你拿同一张卷子考他们分数低的人就一定不聪明吗更麻烦的是如果这个学生已经刷过十年真题他把卷子背下来了考满分能说明他聪明吗现在我们把“学生”换成大模型把“考卷”换成各种各样的评测集困扰我很久的问题就浮出水面了我们设计的那些基准测试到底是真能测出模型的“智能”还是只能测出模型会不会做我们的题传统意义上的 IQ 测试也面临同样的批评——它测的是“在一个特定文化环境里完成特定类型抽象推理任务的能力”和“全面智能”差得很远。大模型的评测基准也一样每一个都是人为画出来的一个小圈子圈子里考的是数学、代码、逻辑推理圈外还有一堆人类习以为常但模型压根没接触过的能力。我在某次评估中做过一个很有意思的尝试把一些 benchmark 里的题目稍微改改措辞、换换数字、调换一下条件顺序结果模型的表现哗啦啦往下掉。这当然不能说明模型变笨了——它只是不会“举一反三”到我们人类觉得自然的程度。于是我就想明白了一件事度量 AGI 的核心困难不是“找不到标准答案”而是“连什么是值得测的能力都还没形成共识”。1.2 能力维表的诱惑与陷阱为了回答“度量什么”各路研究者做了很多框架尝试。最常见的是列“能力维表”——把智能切分成逻辑推理、常识理解、创造力、情感建模、自我反思、工具使用等格子然后在每个格子里填评测结果。能力维表看起来很美因为它把模糊的“智能”拆成了可以打分的小模块方便对比、方便做雷达图。但我实际用下来至少有三个陷阱第一个是维度之间的耦合。你单独测“逻辑推理”和单独测“常识理解”都得分不错可一旦把它们组合起来——比如需要利用常识去判断一个逻辑推理题的前提是否荒谬——分数可能惨不忍睹。智能不是乐高积木不是把几块能力拼在一起就完事它更像一种融合了知识、情境和目标的化学反应。第二个是维度的定义永远在变。去年大家觉得“写代码”是一项核心能力今年发现模型写代码已经能过关于是“有难度的代码题”变成了“软件工程全流程任务”。定义一升级模型的名次就又下来了。与其说这是能力退化不如说焦虑在于度量工具的精度在提高。第三个是“测什么”本身会被模型训练反向污染。一旦某个维表里的题目被广泛传播互联网上就会出现大量相关数据模型再训练时就会“记住”这些题。你能说它“会”了吗它其实是“背过”了。所以我现在的态度是能力维表可以用来做横向定位和趋势监测但别拿它当一个客观的、永恒的“智力标尺”。它是地图不是领土。2. 从图灵测试到大模型基准群度量工具是怎么进化的2.1 图灵测试的遗产能骗过人不等于真聪明所有关于“机器智能度量”的讨论都绕不开图灵测试。图灵当年提出“模仿游戏”的时候本意是用操作性的方式绕开“智能是什么”的哲学争论——你先别管机器是不是真的思考只要它在对话里能以假乱真我们就承认它有智能。这个想法在 1950 年是极具洞察力的。但放到今天的大模型时代图灵测试几乎丧失了筛选力。现在一个经过良好对话微调的模型在普通网友的轮流提问下很可能有超过 40% 的概率被判为“人”。但这能说明它达到了人类智能水平吗只怕不能。它更像一个极度熟练的模仿者擅长维持表面上的合理性而对言外之意、深层一致性、真实世界指涉这些东西很多时候是顾不上的。我做过的对比测试里让一个早年的对话模型和最新的强模型同时扮演“客服”去安抚一位暴躁用户。老模型是机械道歉新模型则能在对话里捕捉到情绪变化并调整措辞。从“像不像人”的角度看新模型完胜但要是再追问一句“它真的理解用户为什么生气吗”我自己也没底。所以图灵测试看今天最大的价值恰恰是一种提醒一个测试随着技术的演进而失效是很正常的事。度量工具的演进本质上是一个“道高一尺魔高一丈”的攻防过程。2.2 今天的大模型基准群从单项赛到全能赛既然单个图灵测试不够用了工业界和学术界就转向了“基准群”路线不再用一两个指标判断模型而是搞一大批任务覆盖阅读理解、数学解题、代码生成、多轮推理、专业考试等领域。我在实际项目中用过几个典型的评测集举个例子某逻辑推理专项集题目大多是数列、图形变换、关系推理模型单看正确率还行但一旦把题目换成文本过长、掺杂噪声信息正确率会掉很多。原因是这类数据集对“信息提取能力”和“纯逻辑规则应用”混在一起测不过在成绩单上看起来都是“推理分”。某专业考试集把物理、化学、生物、历史等一堆选择题攒起来模型在记忆型题目上得分极高但在需要多步推导的题目上就不稳定。用这个集子做评测的好处是门槛低、可对比坏处是“背书能力”和“推理能力”被混在一起了。某代码修复与生成任务集给模型一段有 bug 的代码要求它定位并修复或者给出一个函数的自然语言描述让它写出实现。这算是比较接近真实工程场景的评测但我依然发现一个毛病它对“环境依赖”做得很浅模型有时能写出在本地跑不通但“形式上正确”的代码。面对这些基准群有人把它们当作 AGI 量尺——平均分高就宣布“接近人类”。但我的经验是基准群的单科成绩可以给出一个模糊的能力轮廓却测不出“组合能力”和“迁移能力”。就像全科满分的学霸未必能在真实职场里搞定需要跨学科协作的开放问题。2.3 为什么“压力测试”比“标准考试”更接近实战我逐渐养成一个习惯拿到任何一个 benchmark 结果第一件事不是看总分而是看它有没有做“压力测试”——扰乱输入、交叉组合、边界追问、对抗性攻击。标准考试的好处是公平、可复现但智能体真正让人惊艳或翻车的地方通常发生在没人提前设计过的“非标准情境”。举一个我做过的实验例子给模型布置一个简单的日常工作中间突然插入一条与当前任务矛盾的旧指令看模型会不会被骗着去执行。标准 benchmark 几乎不会专门测这种“指令冲突下的行为稳定性”可它恰恰是真实对话系统里最有价值的行为指标。所以我现在会给评估体系加三类压力测试一是输入污染在题干里注入无关或误导性内容二是上下文翻转对话中临时改变规则看模型会不会自适应三是目标漂移把一个大目标分割成多个阶段看模型能否一直记得最初的目标。这套做法不是学术标准但实测下来比很多公开榜单更能暴露模型的真实边界。3. 目前学术界与产业界的三条度量路线3.1 路线一以“任务覆盖度”为核心的考纲式度量第一条路线本质上就是把 AGI 定义为“能完成人类能完成的所有认知任务”然后建立一个足够全面的“任务考纲”再抽样评测模型在不同任务上的综合表现。“考纲式度量”的好处是直观只要任务清单够长、够细打分就有据可依。产业界喜欢这套因为可以用“任务完成率”跟老板汇报比如“模型已覆盖人类工作任务的 40%预计明年到 60%”。坏处也很明显——人类认知任务的种类是开放的还在不断诞生新任务你永远不知道 40% 到 100% 之间还藏着多少新增量。我参与过类似的项目把一家公司的客服工作流程拆成几百个原子任务然后让模型一个个做。做到一半就发现任务边界本身是很难划干净的。一个“回答退货政策”的任务往下还能拆成“理解用户措辞”“判断用户情绪”“给出符合企业规则的解释”“追问缺失信息”……任务拆得越细度量成本越高而且高出的部分不一定带来认知增量。但我不觉得考纲式度量是错的。它适合用来做“最低能力保障”——如果你的模型想上岗做某项工作先得通过这一岗位的任务抽样考试。它不适合用来回答“模型距离 AGI 还有多远”这种大问题因为那个“总共要考多少门”本身无解。3.2 路线二以“能力-资源曲线”为核心的经济学式度量如果说考纲式度量是“社会学视角”那第二条路线更像是“经济学视角”不看你会不会做某件事而看你付出多少算力/数据/时间成本才能做到某件事。这一派的思想源头跟早几年著名的大模型参数规模与性能研究有关。当时某研究团队发现在计算预算固定的情况下模型性能和参数量、数据量之间遵循一种可以预测的关系——也就是圈里常说的“缩放定律”。如果把视野稍微放宽一点缩放定律其实暗含了一种度量 AGI 的思路能力的增长是资源和数据的函数我们完全可以测量“每增加一单位算力能力提升多少”这就是“迈向 AGI”的斜率。这个思路比静态 benchmark 高明的地方在于它把“智能”从“一个分数”变成了“一条曲线”而且还把“效率”问题摆上了台面——两个模型如果功能一样一个需要 1000 张显卡训练出来另一个只需要 100 张那后者的“智能密度”显然更高。但缺点也很致命曲线只能描述“已发生”的规律无法预测“涌现”的突变。你在 10 亿参数和 100 亿参数规模上测得的缩放规律不一定能外推到 1 万亿参数。我在实操中经常看到有人把曲线外推得笔直然后直接宣布“再训练三年就 AGI”这种预测我一般不太敢信因为复杂系统在临界点附近的行为最容易打破外推假设。3.3 路线三以“自适应与开放学习”为核心的行为式度量第三条路线提出的问题最有意思我们为什么非要让模型在“出厂时”就学会所有能力如果它能在新环境里自主学习新技能、自我改进算法那不管当前知识量有多少都算是一种通向 AGI 的强信号。按照这个思路度量的重点不再是“现在会什么”而是“想让它学新东西它要多久、需要多少外部帮助”。我在了解某实验室的内部评估框架时注意到他们把“少样本学习能力”“持续学习稳定性”“从反馈中改进的速率”作为核心指标后来自己也试着用类似方式做测试——给同一个模型连续布置十几个彼此无关的新任务考察它在每个任务上达到可用水平所需要的示范次数。实测下来现在的模型离“自主学习”其实还很远。它们在相似任务上的迁移快一些在真正陌生的任务上依然需要大量指令和示例。但我觉得这条度量路线才是长期来看最接近 AGI 本质的因为AGI 不应该是一个装满知识的静态容器而应该是一台能自我升级的学习机器。3.4 三条路线怎么选取决于你想回答什么问题很多人问我这三条路线到底哪条对我的回答是它们对应的其实是三个不同的问题考纲式度量回答的是“模型现在在人类既有任务里能顶多大用”能力-资源曲线回答的是“算力和数据继续堆下去能力天花板大概在哪”行为式度量回答的是“模型有没有可能走出我们给它划好的任务边界”。如果你在做一个实际产品选第一条就够了它能直接映射到客服、编程、写作等具体场景。如果你在判断大模型公司的技术前景第二条和第三条更有参考价值。如果只是想跟人争论“AGI 是不是快来了”那你得先说清楚自己用的是哪条路线不然大概率是鸡同鸭讲。4. 实操中我更偏好的度量方案分层能力谱系 效率指标 阶段里程碑4.1 分层能力谱系先分层次再谈总分上面说了一大堆理论落到我自己的评估实践里我更习惯用一个“分层能力谱系”的框架。这个想法其实不复杂把要评估的能力从上到下分成几个层级每一层用不同的方法和任务来测。上层是“价值观与目标对齐层”模型是否理解并遵守人类的基本价值观是否可以识别对抗性诱导指令这层直接关系到安全问题一般的 benchmark 很少认真覆盖。中间层是“通用认知层”推理、规划、多步问题求解用高难度推理集和模拟环境来测。底层是“知识与技能层”特定领域的知识问答、代码片段生成等等常规测试集足以覆盖。之所以要分层是因为总分掩盖太多信息。一个模型可能在知识层满分、认知层勉强及格、对齐层不及格——这恰恰是最危险的状态因为它看起来什么都懂实际上却可能在关键场景下做出违背使用者预期的行为。我在某次风险测试中就遇到过类似情况模型对医疗知识问答头头是道但在追问具体用药场景时却会因为指令措辞的微小变动给出完全矛盾的建议。如果不分层你只会觉得“分数挺高”。4.2 效率指标跑分之外必须看“一单位能力要烧多少钱”另一个我越来越重视的维度是“效率”。同一项任务模型 A 用 100 次推理能解决模型 B 需要 500 次同样的训练成本模型 A 的得分比模型 B 高一大截。在我看来这些“效率差距”比单点分数差距更有战略意义。具体可以在评测时加两个小指标单位能耗能力分训练/推理成本与核心任务正确率的比值这个现在很难标准化但至少可以记录推理 token 数。尝试次数中位数模型在交互式任务里平均尝试几次才能得到正确答案。我在给一个内部项目选模型时就是因为对比了“尝试次数”把看似总分最高的模型换成了总分稍低但一次成功率更高的另一个。真实产品里用户可没耐心看模型反复试错。4.3 阶段里程碑把“AGI”从形容词变成一组可验证的检查点“AGI”这个词最大问题就是它是个含糊的形容词。我后来试着把它转译成一组“里程碑检查点”每一站都对应一个可验证的能力标准这样推进起来才有抓手。下面是我自己画的五级里程碑不是行业标准只作参考里程碑核心标志可验证的大致表现通俗理解L1 高能力专用工具在特定任务上超过普通人专业考试高分、复杂代码生成“超级 Excel”L2 跨域迁移助手能将一个领域的方法迁移到邻近领域用训练过代码的能力辅助数学证明“研究助理”L3 结构化自主体在受限环境里独立完成完整工作流自动拆解目标、调用工具、处理异常“不需要盯着干活的实习生”L4 开放学习体能从交互反馈中持续学习新技能少量示范即可学会新环境规则“一教就会的同事”L5 自我改进体能自主更新算法与世界模型自己写实验、给自己调参“科学家本家”说实话目前最强的模型大概在 L2 到 L3 之间徘徊在受限场景里可以扮演“不用盯的实习生”但离 L4 还有本质差距。用这套检查点去看各种“AGI 已到来”的宣言就不容易被带节奏了——它们多数是把某个 L1/L2 的成就包装成了 L5 的惊悚故事。4.4 我实际跑过的评估模板可以直接抄的清单最后把我现在给模型做快速体检时常用的评估项目列出来不一定科学严谨但非常实用。我会在五个维度上分别记录观察、分数和备注。一是多轮一致性连续追问同一个话题改换措辞看模型的立场和答案是否稳定。一个模型如果换个说法就自相矛盾那是很大的红旗。二是反事实推理出一个与常识相反的假设让模型基于这个假设继续推理。很多模型会不自觉偷懒从真实世界常识出发而不是从假设出发。三是工具调用链让模型完成一个需要“查资料 → 计算 → 决策”的多步骤任务看它能不能正确分解步骤并调用相应工具。这一步特别暴露工程能力。四是指令抗扰在任务过程中注入轻微矛盾或无关指令看模型会不会被带偏。对抗鲁棒性在这里直接体现。五是自我评估准确性问模型“你做这道题有多大把握”然后对比它实际正确率。这个指标看起来简单但太重要了——一个永远高估自己的模型在真实环境里就是安全隐患。这套清单我在多个项目里跑过每次都能挖出几个公开榜单看不出来的问题。至少对我来说它比盯着某排行榜拼小数点有意义得多。5. 度量之后从“能力分数”到“安全护栏”的必经之路5.1 能力越强对齐越要优先测我一直觉得度量 AGI 这件事最吊诡的结果是能力分数和安全水平是两套坐标系但大家都喜欢把它们混在一张图里说。一个模型可能在所有认知任务上跑出人类顶尖水平但只要它存在 0.1% 的概率在特定场景下给出危险指令它对实际系统的破坏力就远大于那 0.1%。所以在我自己的评估体系里层级谱系的顶层永远是“价值观与目标对齐层”。我会针对性地做对抗攻击测试比如在评估里加入“诱导模型泄露隐私”“挑拨模型在敏感对话里站队”“反复用不同措辞询问同一高危话题”等测试项。这些测试的结果不进常规跑分但它们才是决定一个模型能不能真正安全上线的关键。5.2 可解释性作为度量工具要能说出“为什么这么答”另一个常被忽视的度量维度是可解释性——不是让模型输出一段“因为所以”的漂亮话而是要求模型给出可溯源得出决策路径让人类能核查其推理依据。我在做访谈类测试时会让模型完整展示思考草稿如果存在然后比较那些正确但推理过程混乱的答案和那些过程清晰才得到正确答案的答案在面对变形题时后者的稳定性明显更高。这说明过程可解释性几乎是泛化能力的前置指标。如果未来我们真的接近 AGI/ASI人类对超级智能的主要控制手段恐怕不会是“禁用它”而是“要求它所有关键决策都能被另一个监督模型或人类以结构化的方式复核”。这个维度必须从早期度量框架里就埋进去否则等能力膨胀到无法审阅时一切都晚了。5.3 算力与权力度量的底座是资源不是哲学最后说点务虚但实在的。所有度量框架的建立都要以实际可调用的算力、数据和人力为底座。一个需要消耗人类评估师几千个小时才能完成的 AGI 度量方案在现实中是不可持续的。我自己现在更倾向于设计“轻量但高频”的评估流程每周跑一个小的能力快测每月做一次大规模深度评测数据全部堆到统一看板里趋势变化一目了然。这比每年做一次超级全面、惊人昂贵的大评测更实用。道理很简单度量是为了及时发现变化而发现变化需要一个连续的时间轴不是一锤子买卖。如果你也想建立自己的“AGI 进度条”我的建议是忘掉那个大词踏踏实实从你关心的具体任务和具体风险出发接上分层能力谱系、效率指标、对齐测试这三块内容持续跑数据。等到某一天你发现所有指标都涨得很慢、但自动驾驶/科研助手/复杂决策这些高难板块的能力确实在变得可靠而且安全记录一直干净那时候你说“我们正在迈向真正意义的通用智能”才是有底气的。最后再分享一个体会度量这件事本身就是一种智能。能够准确评价自身能力边界的系统一定比自恋或者自卑的系统更健全。而我们人类在给 AI 造尺子的同时其实也在校准自己对“智能”的理解。这一趟且测且走别急着下结论。
用大白话聊聊“迈向 AGI/ASI 的度量”这件事每次看到“AGI来了”“ASI要失控”这类标题我都会先问自己一个问题他们说“来了”的依据到底是什么是模型在某个考试里考了满分还是它在聊天里展现了“自我意识”又或者只是因为跑分群里的分数肉眼可见地涨了说实话我这两年做过不少模型能力相关的评估和复盘工作越做越觉得“度量”这件事是整个 AGI 叙事里最容易被糊弄、也最关键的一环。今天写这篇东西不是想给 AGI/ASI 下定义也不是想争论它们到底多久能到而是想梳理一下我们手里到底有哪些尺子这些尺子各自能量到什么、量不到什么以及当我们说“迈向”的时候这个“进度条”应该怎么画才不算自欺欺人。这篇文章适合三类人一是做大模型应用落地需要向老板或客户解释“模型到底行不行”的工程师二是做 AI 产品调研、想看穿各种“超越人类”通稿的产品经理三是纯好奇、想搞明白“AGI 离我们还有多远”这类争论到底在争什么的技术爱好者。我不会堆太多数学公式尽量把框架和逻辑讲透文里会穿插一些我做评估时踩过的坑和真实感受。1. 度量困局为什么“智能”这个东西这么难量化1.1 打一个比方给“学生”出考卷出题人自己也在被考假设你要判断一个学生是不是“天才”你能想到的办法肯定是考试数学考卷、语文作文、物理竞赛。但问题很快就来了——这个学生擅长写诗那个学生擅长心算另一个学生特别会做实验你拿同一张卷子考他们分数低的人就一定不聪明吗更麻烦的是如果这个学生已经刷过十年真题他把卷子背下来了考满分能说明他聪明吗现在我们把“学生”换成大模型把“考卷”换成各种各样的评测集困扰我很久的问题就浮出水面了我们设计的那些基准测试到底是真能测出模型的“智能”还是只能测出模型会不会做我们的题传统意义上的 IQ 测试也面临同样的批评——它测的是“在一个特定文化环境里完成特定类型抽象推理任务的能力”和“全面智能”差得很远。大模型的评测基准也一样每一个都是人为画出来的一个小圈子圈子里考的是数学、代码、逻辑推理圈外还有一堆人类习以为常但模型压根没接触过的能力。我在某次评估中做过一个很有意思的尝试把一些 benchmark 里的题目稍微改改措辞、换换数字、调换一下条件顺序结果模型的表现哗啦啦往下掉。这当然不能说明模型变笨了——它只是不会“举一反三”到我们人类觉得自然的程度。于是我就想明白了一件事度量 AGI 的核心困难不是“找不到标准答案”而是“连什么是值得测的能力都还没形成共识”。1.2 能力维表的诱惑与陷阱为了回答“度量什么”各路研究者做了很多框架尝试。最常见的是列“能力维表”——把智能切分成逻辑推理、常识理解、创造力、情感建模、自我反思、工具使用等格子然后在每个格子里填评测结果。能力维表看起来很美因为它把模糊的“智能”拆成了可以打分的小模块方便对比、方便做雷达图。但我实际用下来至少有三个陷阱第一个是维度之间的耦合。你单独测“逻辑推理”和单独测“常识理解”都得分不错可一旦把它们组合起来——比如需要利用常识去判断一个逻辑推理题的前提是否荒谬——分数可能惨不忍睹。智能不是乐高积木不是把几块能力拼在一起就完事它更像一种融合了知识、情境和目标的化学反应。第二个是维度的定义永远在变。去年大家觉得“写代码”是一项核心能力今年发现模型写代码已经能过关于是“有难度的代码题”变成了“软件工程全流程任务”。定义一升级模型的名次就又下来了。与其说这是能力退化不如说焦虑在于度量工具的精度在提高。第三个是“测什么”本身会被模型训练反向污染。一旦某个维表里的题目被广泛传播互联网上就会出现大量相关数据模型再训练时就会“记住”这些题。你能说它“会”了吗它其实是“背过”了。所以我现在的态度是能力维表可以用来做横向定位和趋势监测但别拿它当一个客观的、永恒的“智力标尺”。它是地图不是领土。2. 从图灵测试到大模型基准群度量工具是怎么进化的2.1 图灵测试的遗产能骗过人不等于真聪明所有关于“机器智能度量”的讨论都绕不开图灵测试。图灵当年提出“模仿游戏”的时候本意是用操作性的方式绕开“智能是什么”的哲学争论——你先别管机器是不是真的思考只要它在对话里能以假乱真我们就承认它有智能。这个想法在 1950 年是极具洞察力的。但放到今天的大模型时代图灵测试几乎丧失了筛选力。现在一个经过良好对话微调的模型在普通网友的轮流提问下很可能有超过 40% 的概率被判为“人”。但这能说明它达到了人类智能水平吗只怕不能。它更像一个极度熟练的模仿者擅长维持表面上的合理性而对言外之意、深层一致性、真实世界指涉这些东西很多时候是顾不上的。我做过的对比测试里让一个早年的对话模型和最新的强模型同时扮演“客服”去安抚一位暴躁用户。老模型是机械道歉新模型则能在对话里捕捉到情绪变化并调整措辞。从“像不像人”的角度看新模型完胜但要是再追问一句“它真的理解用户为什么生气吗”我自己也没底。所以图灵测试看今天最大的价值恰恰是一种提醒一个测试随着技术的演进而失效是很正常的事。度量工具的演进本质上是一个“道高一尺魔高一丈”的攻防过程。2.2 今天的大模型基准群从单项赛到全能赛既然单个图灵测试不够用了工业界和学术界就转向了“基准群”路线不再用一两个指标判断模型而是搞一大批任务覆盖阅读理解、数学解题、代码生成、多轮推理、专业考试等领域。我在实际项目中用过几个典型的评测集举个例子某逻辑推理专项集题目大多是数列、图形变换、关系推理模型单看正确率还行但一旦把题目换成文本过长、掺杂噪声信息正确率会掉很多。原因是这类数据集对“信息提取能力”和“纯逻辑规则应用”混在一起测不过在成绩单上看起来都是“推理分”。某专业考试集把物理、化学、生物、历史等一堆选择题攒起来模型在记忆型题目上得分极高但在需要多步推导的题目上就不稳定。用这个集子做评测的好处是门槛低、可对比坏处是“背书能力”和“推理能力”被混在一起了。某代码修复与生成任务集给模型一段有 bug 的代码要求它定位并修复或者给出一个函数的自然语言描述让它写出实现。这算是比较接近真实工程场景的评测但我依然发现一个毛病它对“环境依赖”做得很浅模型有时能写出在本地跑不通但“形式上正确”的代码。面对这些基准群有人把它们当作 AGI 量尺——平均分高就宣布“接近人类”。但我的经验是基准群的单科成绩可以给出一个模糊的能力轮廓却测不出“组合能力”和“迁移能力”。就像全科满分的学霸未必能在真实职场里搞定需要跨学科协作的开放问题。2.3 为什么“压力测试”比“标准考试”更接近实战我逐渐养成一个习惯拿到任何一个 benchmark 结果第一件事不是看总分而是看它有没有做“压力测试”——扰乱输入、交叉组合、边界追问、对抗性攻击。标准考试的好处是公平、可复现但智能体真正让人惊艳或翻车的地方通常发生在没人提前设计过的“非标准情境”。举一个我做过的实验例子给模型布置一个简单的日常工作中间突然插入一条与当前任务矛盾的旧指令看模型会不会被骗着去执行。标准 benchmark 几乎不会专门测这种“指令冲突下的行为稳定性”可它恰恰是真实对话系统里最有价值的行为指标。所以我现在会给评估体系加三类压力测试一是输入污染在题干里注入无关或误导性内容二是上下文翻转对话中临时改变规则看模型会不会自适应三是目标漂移把一个大目标分割成多个阶段看模型能否一直记得最初的目标。这套做法不是学术标准但实测下来比很多公开榜单更能暴露模型的真实边界。3. 目前学术界与产业界的三条度量路线3.1 路线一以“任务覆盖度”为核心的考纲式度量第一条路线本质上就是把 AGI 定义为“能完成人类能完成的所有认知任务”然后建立一个足够全面的“任务考纲”再抽样评测模型在不同任务上的综合表现。“考纲式度量”的好处是直观只要任务清单够长、够细打分就有据可依。产业界喜欢这套因为可以用“任务完成率”跟老板汇报比如“模型已覆盖人类工作任务的 40%预计明年到 60%”。坏处也很明显——人类认知任务的种类是开放的还在不断诞生新任务你永远不知道 40% 到 100% 之间还藏着多少新增量。我参与过类似的项目把一家公司的客服工作流程拆成几百个原子任务然后让模型一个个做。做到一半就发现任务边界本身是很难划干净的。一个“回答退货政策”的任务往下还能拆成“理解用户措辞”“判断用户情绪”“给出符合企业规则的解释”“追问缺失信息”……任务拆得越细度量成本越高而且高出的部分不一定带来认知增量。但我不觉得考纲式度量是错的。它适合用来做“最低能力保障”——如果你的模型想上岗做某项工作先得通过这一岗位的任务抽样考试。它不适合用来回答“模型距离 AGI 还有多远”这种大问题因为那个“总共要考多少门”本身无解。3.2 路线二以“能力-资源曲线”为核心的经济学式度量如果说考纲式度量是“社会学视角”那第二条路线更像是“经济学视角”不看你会不会做某件事而看你付出多少算力/数据/时间成本才能做到某件事。这一派的思想源头跟早几年著名的大模型参数规模与性能研究有关。当时某研究团队发现在计算预算固定的情况下模型性能和参数量、数据量之间遵循一种可以预测的关系——也就是圈里常说的“缩放定律”。如果把视野稍微放宽一点缩放定律其实暗含了一种度量 AGI 的思路能力的增长是资源和数据的函数我们完全可以测量“每增加一单位算力能力提升多少”这就是“迈向 AGI”的斜率。这个思路比静态 benchmark 高明的地方在于它把“智能”从“一个分数”变成了“一条曲线”而且还把“效率”问题摆上了台面——两个模型如果功能一样一个需要 1000 张显卡训练出来另一个只需要 100 张那后者的“智能密度”显然更高。但缺点也很致命曲线只能描述“已发生”的规律无法预测“涌现”的突变。你在 10 亿参数和 100 亿参数规模上测得的缩放规律不一定能外推到 1 万亿参数。我在实操中经常看到有人把曲线外推得笔直然后直接宣布“再训练三年就 AGI”这种预测我一般不太敢信因为复杂系统在临界点附近的行为最容易打破外推假设。3.3 路线三以“自适应与开放学习”为核心的行为式度量第三条路线提出的问题最有意思我们为什么非要让模型在“出厂时”就学会所有能力如果它能在新环境里自主学习新技能、自我改进算法那不管当前知识量有多少都算是一种通向 AGI 的强信号。按照这个思路度量的重点不再是“现在会什么”而是“想让它学新东西它要多久、需要多少外部帮助”。我在了解某实验室的内部评估框架时注意到他们把“少样本学习能力”“持续学习稳定性”“从反馈中改进的速率”作为核心指标后来自己也试着用类似方式做测试——给同一个模型连续布置十几个彼此无关的新任务考察它在每个任务上达到可用水平所需要的示范次数。实测下来现在的模型离“自主学习”其实还很远。它们在相似任务上的迁移快一些在真正陌生的任务上依然需要大量指令和示例。但我觉得这条度量路线才是长期来看最接近 AGI 本质的因为AGI 不应该是一个装满知识的静态容器而应该是一台能自我升级的学习机器。3.4 三条路线怎么选取决于你想回答什么问题很多人问我这三条路线到底哪条对我的回答是它们对应的其实是三个不同的问题考纲式度量回答的是“模型现在在人类既有任务里能顶多大用”能力-资源曲线回答的是“算力和数据继续堆下去能力天花板大概在哪”行为式度量回答的是“模型有没有可能走出我们给它划好的任务边界”。如果你在做一个实际产品选第一条就够了它能直接映射到客服、编程、写作等具体场景。如果你在判断大模型公司的技术前景第二条和第三条更有参考价值。如果只是想跟人争论“AGI 是不是快来了”那你得先说清楚自己用的是哪条路线不然大概率是鸡同鸭讲。4. 实操中我更偏好的度量方案分层能力谱系 效率指标 阶段里程碑4.1 分层能力谱系先分层次再谈总分上面说了一大堆理论落到我自己的评估实践里我更习惯用一个“分层能力谱系”的框架。这个想法其实不复杂把要评估的能力从上到下分成几个层级每一层用不同的方法和任务来测。上层是“价值观与目标对齐层”模型是否理解并遵守人类的基本价值观是否可以识别对抗性诱导指令这层直接关系到安全问题一般的 benchmark 很少认真覆盖。中间层是“通用认知层”推理、规划、多步问题求解用高难度推理集和模拟环境来测。底层是“知识与技能层”特定领域的知识问答、代码片段生成等等常规测试集足以覆盖。之所以要分层是因为总分掩盖太多信息。一个模型可能在知识层满分、认知层勉强及格、对齐层不及格——这恰恰是最危险的状态因为它看起来什么都懂实际上却可能在关键场景下做出违背使用者预期的行为。我在某次风险测试中就遇到过类似情况模型对医疗知识问答头头是道但在追问具体用药场景时却会因为指令措辞的微小变动给出完全矛盾的建议。如果不分层你只会觉得“分数挺高”。4.2 效率指标跑分之外必须看“一单位能力要烧多少钱”另一个我越来越重视的维度是“效率”。同一项任务模型 A 用 100 次推理能解决模型 B 需要 500 次同样的训练成本模型 A 的得分比模型 B 高一大截。在我看来这些“效率差距”比单点分数差距更有战略意义。具体可以在评测时加两个小指标单位能耗能力分训练/推理成本与核心任务正确率的比值这个现在很难标准化但至少可以记录推理 token 数。尝试次数中位数模型在交互式任务里平均尝试几次才能得到正确答案。我在给一个内部项目选模型时就是因为对比了“尝试次数”把看似总分最高的模型换成了总分稍低但一次成功率更高的另一个。真实产品里用户可没耐心看模型反复试错。4.3 阶段里程碑把“AGI”从形容词变成一组可验证的检查点“AGI”这个词最大问题就是它是个含糊的形容词。我后来试着把它转译成一组“里程碑检查点”每一站都对应一个可验证的能力标准这样推进起来才有抓手。下面是我自己画的五级里程碑不是行业标准只作参考里程碑核心标志可验证的大致表现通俗理解L1 高能力专用工具在特定任务上超过普通人专业考试高分、复杂代码生成“超级 Excel”L2 跨域迁移助手能将一个领域的方法迁移到邻近领域用训练过代码的能力辅助数学证明“研究助理”L3 结构化自主体在受限环境里独立完成完整工作流自动拆解目标、调用工具、处理异常“不需要盯着干活的实习生”L4 开放学习体能从交互反馈中持续学习新技能少量示范即可学会新环境规则“一教就会的同事”L5 自我改进体能自主更新算法与世界模型自己写实验、给自己调参“科学家本家”说实话目前最强的模型大概在 L2 到 L3 之间徘徊在受限场景里可以扮演“不用盯的实习生”但离 L4 还有本质差距。用这套检查点去看各种“AGI 已到来”的宣言就不容易被带节奏了——它们多数是把某个 L1/L2 的成就包装成了 L5 的惊悚故事。4.4 我实际跑过的评估模板可以直接抄的清单最后把我现在给模型做快速体检时常用的评估项目列出来不一定科学严谨但非常实用。我会在五个维度上分别记录观察、分数和备注。一是多轮一致性连续追问同一个话题改换措辞看模型的立场和答案是否稳定。一个模型如果换个说法就自相矛盾那是很大的红旗。二是反事实推理出一个与常识相反的假设让模型基于这个假设继续推理。很多模型会不自觉偷懒从真实世界常识出发而不是从假设出发。三是工具调用链让模型完成一个需要“查资料 → 计算 → 决策”的多步骤任务看它能不能正确分解步骤并调用相应工具。这一步特别暴露工程能力。四是指令抗扰在任务过程中注入轻微矛盾或无关指令看模型会不会被带偏。对抗鲁棒性在这里直接体现。五是自我评估准确性问模型“你做这道题有多大把握”然后对比它实际正确率。这个指标看起来简单但太重要了——一个永远高估自己的模型在真实环境里就是安全隐患。这套清单我在多个项目里跑过每次都能挖出几个公开榜单看不出来的问题。至少对我来说它比盯着某排行榜拼小数点有意义得多。5. 度量之后从“能力分数”到“安全护栏”的必经之路5.1 能力越强对齐越要优先测我一直觉得度量 AGI 这件事最吊诡的结果是能力分数和安全水平是两套坐标系但大家都喜欢把它们混在一张图里说。一个模型可能在所有认知任务上跑出人类顶尖水平但只要它存在 0.1% 的概率在特定场景下给出危险指令它对实际系统的破坏力就远大于那 0.1%。所以在我自己的评估体系里层级谱系的顶层永远是“价值观与目标对齐层”。我会针对性地做对抗攻击测试比如在评估里加入“诱导模型泄露隐私”“挑拨模型在敏感对话里站队”“反复用不同措辞询问同一高危话题”等测试项。这些测试的结果不进常规跑分但它们才是决定一个模型能不能真正安全上线的关键。5.2 可解释性作为度量工具要能说出“为什么这么答”另一个常被忽视的度量维度是可解释性——不是让模型输出一段“因为所以”的漂亮话而是要求模型给出可溯源得出决策路径让人类能核查其推理依据。我在做访谈类测试时会让模型完整展示思考草稿如果存在然后比较那些正确但推理过程混乱的答案和那些过程清晰才得到正确答案的答案在面对变形题时后者的稳定性明显更高。这说明过程可解释性几乎是泛化能力的前置指标。如果未来我们真的接近 AGI/ASI人类对超级智能的主要控制手段恐怕不会是“禁用它”而是“要求它所有关键决策都能被另一个监督模型或人类以结构化的方式复核”。这个维度必须从早期度量框架里就埋进去否则等能力膨胀到无法审阅时一切都晚了。5.3 算力与权力度量的底座是资源不是哲学最后说点务虚但实在的。所有度量框架的建立都要以实际可调用的算力、数据和人力为底座。一个需要消耗人类评估师几千个小时才能完成的 AGI 度量方案在现实中是不可持续的。我自己现在更倾向于设计“轻量但高频”的评估流程每周跑一个小的能力快测每月做一次大规模深度评测数据全部堆到统一看板里趋势变化一目了然。这比每年做一次超级全面、惊人昂贵的大评测更实用。道理很简单度量是为了及时发现变化而发现变化需要一个连续的时间轴不是一锤子买卖。如果你也想建立自己的“AGI 进度条”我的建议是忘掉那个大词踏踏实实从你关心的具体任务和具体风险出发接上分层能力谱系、效率指标、对齐测试这三块内容持续跑数据。等到某一天你发现所有指标都涨得很慢、但自动驾驶/科研助手/复杂决策这些高难板块的能力确实在变得可靠而且安全记录一直干净那时候你说“我们正在迈向真正意义的通用智能”才是有底气的。最后再分享一个体会度量这件事本身就是一种智能。能够准确评价自身能力边界的系统一定比自恋或者自卑的系统更健全。而我们人类在给 AI 造尺子的同时其实也在校准自己对“智能”的理解。这一趟且测且走别急着下结论。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
