卡内基梅隆大学的研究者们想到了一个聪明的“以小博大“方法

这项由卡内基梅隆大学语言技术研究所Language Technologies Institute与Salesforce AI Research联合开展的研究于2026年7月2日以预印本形式公开发布论文编号为arXiv:2607.02032。感兴趣的读者可以通过该编号在arXiv平台上查阅完整原文。**评估一个AI代理为什么会让研究团队头疼不已**假设你是一家公司的HR需要招聘一名员工。最可靠的办法当然是给他们安排一次完整的实习让他们在真实工作环境中磨砺几个月然后再做决定。然而这种方式的代价极高——你要为这名实习生提供薪资、工位和时间而在最终决定录用之前公司已经付出了巨额成本。如果你同时需要评估100名候选人情况就更加棘手了。AI研究领域正面临着类似的困境。如今的大型语言模型Large Language Model简称LLM可以把它理解为一种能够理解和生成语言的超大型AI系统不仅仅被用来回答问题它们越来越多地被部署为能够自主完成复杂任务的AI代理Agent。这类代理能够操作电脑、浏览网页、修复代码漏洞甚至可以规划一系列多步骤的行动来完成用户交代的复杂目标。评估这类AI代理的表现需要用到专门设计的代理基准测试Agentic Benchmark。这些测试就像前文提到的实习场景一样需要为AI搭建完整的工作环境让它真实地去完成任务再判断结果是否正确。以业内知名的SWE-Bench专门测试AI修复真实软件漏洞能力的测试和GAIA测试AI综合解决问题能力的测试为例评估单个AI模型在这类测试上的表现成本动辄高达数千美元耗时长达数天还需要复杂的基础设施支持。于是一个自然而然的问题浮现了能不能用一套便宜又快速的小测验来准确预测AI在那些昂贵大考中的表现卡内基梅隆大学的研究团队给出了肯定的答案并将他们的方法命名为PACE即代理能力评估代理Proxy for Agentic Capability Evaluation。一、AI评估界的高考与月考之争在正式介绍PACE之前需要先理解AI评估领域里存在的两类截然不同的测试。第一类是非代理基准测试Non-Agentic Benchmark也就是那些便宜、快速的月考。这类测试每道题目独立存在只需要AI进行一次作答就能立刻判分。比如给AI出一道数学题它回答42系统立刻比对答案是否正确。这类测试涵盖知识记忆、数学推理、代码编写、指令理解等各种单项能力。每道题的评估成本极低往往只需几美分甚至更少。第二类就是那些昂贵的代理基准测试也就是真正的高考。这类测试要求AI像真正的工作人员一样在一个真实的工作环境中完成多步骤的复杂任务。修复一个软件BugAI需要理解代码库的整体结构、找到问题所在、编写修复方案、然后运行测试来验证自己的修复是否有效——整个过程可能需要AI进行数十次甚至上百次的工具调用耗费大量时间和计算资源。研究团队注意到一个有趣的现象AI代理之所以能在那些昂贵的高考中取得好成绩根本上依赖的是一些基础能力——理解指令的能力、制定计划的能力、调用工具的能力、推理思考的能力等等。而这些基础能力恰恰是那些便宜的月考已经在测量的东西。这就好比说高考语文成绩出色的学生往往在平时的阅读理解、作文练习中也表现不俗。如果我们掌握了一个学生在各类平时测验中的详细数据是否就能合理预测他的高考成绩PACE的核心思路正是如此。研究团队为此整理了一张详细的能力地图。他们将AI代理所需的核心能力归纳为11个维度遵从指令的能力、整合长篇信息的能力、从错误中恢复的能力、制定计划的能力、生成代码的能力、检索信息的能力、搜索代码库的能力、调用工具的能力、推理思考的能力、理解图像等多模态信息的能力以及验证和测试输出结果的能力。这11种能力就构成了PACE方法选题的基础。二、PACE的选题委员会如何从海量题目中挑出最有预测价值的100道题现在回到那个HR类比。你作为HR想要预测候选人的实际工作表现但预算有限只能给每位候选人安排几次有限的面试或笔试。问题的关键就在于你该设计哪些面试题目一个随便拼凑的题库显然不够好用。你需要的是那些最能区分候选人真实工作能力的题目——既要覆盖工作所需的关键技能又不能彼此重复。PACE的实例选择Instance Selection机制就是在解决这个问题。研究团队从19个非代理基准测试中构建了一个候选题库这19个测试覆盖了前文提到的全部11种AI核心能力。这个候选题库规模庞大总计包含数万道题目。PACE的任务就是从这数万道题目中精准筛选出区区100道题使得这100道题的综合得分能够最准确地预测AI在那些昂贵代理基准测试上的表现。为了实现这个目标PACE采用了两种互补的筛选策略可以把它们理解为选题委员会里的两位具有不同专业视角的专家。第一位专家叫做局部选择Local Selection她的原则是与目标高度相关。她会计算每一道候选题目与目标高考成绩之间的斯皮尔曼等级相关系数Spearman Rank Correlation可以理解为一种衡量两件事情变化趋势是否一致的指标。简单来说她会观察当某道题的得分高低发生变化时AI在目标高考中的得分是否也会随之同步变化相关性越高这道题就越有价值。这位专家只关心与高考最直接相关的题目。第二位专家叫做全局选择Global Selection他的原则是捕捉整体结构中的关键信息。他采用了一种叫做SVD奇异值分解可以把它理解为一种能从大量数据中提炼出最核心结构的数学工具的方法计算每道题目在整个候选题库中的杠杆分数Leverage Score。那些在整个题库中最具代表性、信息量最丰富的题目会获得较高的杠杆分数。这位专家不只盯着高考相关性还关心题目是否能覆盖那些AI能力的不同侧面避免选出一堆实质上测量同一种能力的重复题目。PACE的最终选题是将这两位专家各自推荐的题目合并取其并集共同组成一个100道题的代理基准测试PACE-BENCH。如果两位专家推荐了同一道题那就从各自的推荐名单中继续往下选直到凑足100道为止。最终PACE给两位专家的推荐各分配一定比例的权重这个比例由数据自动优化确定并将两者的预测结果进行加权融合。三、预测机器如何从月考成绩推算高考分数选好了100道题之后PACE还需要一套机制来完成从月考分数到高考分数的推算。这套机制分为两个目标可以分别对应两种不同的实际需求。第一个目标叫做绝对分数预测Performance Prediction给定一个AI模型在这100道月考题上的得分预测它在目标高考上的具体分数。这里使用的工具是线性最小二乘回归通俗来说就是找到一条最佳拟合直线或者多维空间中的超平面使得月考得分能够最准确地映射到高考得分上。这个系数向量回归权重通过在一批已知高考成绩的AI模型称为校准集上训练得到。第二个目标叫做排名预测Pairwise Preference Prediction给定两个AI模型预测哪个在高考上的表现更好。这里使用的是一种叫做逻辑回归的工具可以把它理解为一个裁判——它接受两位选手之间的月考得分差异作为输入输出一个判断究竟谁更强这背后隐含了一种叫做Bradley-Terry模型的思想在体育赛事的排名预测中也常用到类似原理。这里还有一个聪明的技巧值得关注叫做自举法Bootstrap目标实例重采样。高考题库本身也只有几百道题而参与校准的AI模型也只有十几个这都是很小的样本量。在样本量这么小的情况下直接用原始高考分数来训练预测器容易产生过拟合——也就是预测器过于依赖这批校准数据的特殊性对新模型的预测就会失准。为了解决这个问题研究团队在训练时反复对高考题库进行随机重采样有放回地抽取产生大量略有差异的高考得分估计让预测器学会应对高考题目采样带来的不确定性。通过后续实验证明这个技巧在每一个目标高考上都有所帮助——平均绝对误差降低了约0.77个百分点斯皮尔曼相关系数提升了约0.15。四、实验设计如何严格检验PACE的预测能力研究团队选用了14个不同的AI模型作为实验对象涵盖了业界最前沿的各类模型包括GPT 5.2、Gemini 3 Pro、Claude Opus 4.5、DeepSeek V3.2、GLM 4.7、Kimi K2等等既有商业闭源模型也有开源模型模型能力分布较广。四个目标高考代理基准测试分别是GAIA一个测试AI综合问答能力的基准要求AI能使用网络搜索、推理和多模态理解来回答真实世界的问题、SWE-Bench Verified一个测试AI能否修复真实GitHub代码仓库中的Bug的基准包含500个经过人工验证的高质量问题、SWE-Bench MultimodalSWE-Bench的多模态扩展版Issue描述中包含截图、原型图等视觉信息、以及SWT-Bench一个测试AI能否为真实Bug生成有效测试用例的基准。所有代理基准测试的结果都通过OpenHands这个统一的AI代理框架获取确保跨模型比较的公平性。月考题库由19个非代理基准测试构成研究团队通过lm-evaluation-harness这套评估工具获取各模型的月考成绩。评估方式采用了留一法交叉验证Leave-One-Out Cross-ValidationLOOCV这是一种极为严格的验证方式每次将14个模型中的一个藏起来用剩余13个模型的数据来训练PACE的选题和预测机制然后用这套机制来预测被藏起来的那个模型的高考成绩。如此循环14次让每一个模型都有机会充当考生最终汇总所有被预测模型的预测误差。这种方式能够严格衡量PACE对全新、未见过的AI模型的预测能力而非仅仅衡量它在已知数据上的拟合能力。五、实验结果一张令人惊喜的成绩单实验结果相当鼓舞人心。在只使用100道月考题目的情况下PACE在四个高考目标上的平均预测精度如下绝对误差MAE衡量预测分数与真实分数之间的平均偏差仅为3.80%这意味着如果一个AI的真实高考成绩是60分PACE预测的分数平均误差不超过3.8分。斯皮尔曼相关系数达到0.81满分为1表示完美的排名一致性0表示毫无关联意味着PACE预测出的模型排名与真实排名高度吻合。在哪个模型更强的两两比较中PACE的准确率平均达到84.37%远远高于随机猜测的50%基准。不同目标高考的预测精度略有差异。在SWE-Bench Verified上PACE的绝对误差最低仅为2.09%在SWE-Bench Multimodal上斯皮尔曼相关系数最高达到0.89在SWT-Bench上两两比较准确率最高达到90.11%。GAIA和SWT-Bench的绝对误差相对较大分别为5.77%和5.12%但两者在排名预测上依然保持较强的表现斯皮尔曼系数分别为0.79和0.89。更重要的是成本对比。完整运行一套代理基准测试每个模型的成本从几十美元到几百美元不等加之复杂的环境搭建总体评估成本极高。而PACE的100道月考题评估一个模型的成本极低——以Claude Sonnet 4.5为参考整套PACE-BENCH的评估成本不超过全套代理基准测试成本的1%。研究团队将PACE与一个随机从高考题库中抽取若干题的基准方法进行了对比结果显示在相同的预测质量下PACE所需的成本约为后者的1/100。换句话说花同样少的钱PACE能给你远比随机抽题更准确的预测结果。六、PACE挑选出来的题目揭示了什么秘密PACE不仅仅是一个预测工具它的选题结果本身也具有很强的解释价值。通过观察PACE为不同目标高考选出的100道题各自属于哪类能力研究团队得以窥见每个代理基准测试背后真正依赖的核心技能。在PACE为所有四个目标高考选出的100道题中遵从指令和推理思考这两类能力的题目都被选满了各达到100道的上限。这是因为几乎每一个月考基准测试都覆盖了这两种能力所以无论哪个高考目标这两类能力的题目都能被选中。然而其余9种能力的题目数量在四个高考目标之间呈现出了显著的差异这正是最有价值的信息所在。针对GAIA的选题除指令遵从和推理之外被大量选入的能力是验证与测试49道和规划36道。这与GAIA的任务特点高度吻合GAIA的每道题都会给出详细的答案格式要求AI必须严格遵循指令格式并自我检验答案是否满足所有条件同时还需要规划多步骤的信息搜集和整合过程。针对SWE-Bench Verified的选题被重点选中的能力是规划54道、验证与测试58道、代码生成27道和错误恢复24道。这恰好对应了修复真实Bug所需的完整工作流程先规划修复方案再生成代码补丁运行测试用例来验证修复效果遇到测试失败时还需要从错误中恢复并重试。针对SWE-Bench Multimodal的选题长篇信息整合能力的题目数量特别突出47道。这与该测试的任务特点密切相关Multimodal版本的Bug描述往往包含大量的代码、截图和文档AI需要将这些跨越多种形式的信息整合在一起才能理解问题所在。有意思的是纯粹的多模态理解即处理图片的能力在选题中并不突出仅15道研究团队分析认为这是因为许多Multimodal版本的Bug即便不依赖图片仅凭文字描述也能解决视觉信息更多是辅助性的。针对SWT-Bench的选题则是最为集中的100道题中有高达84道来自规划能力外加验证与测试相关的题目。SWT-Bench的任务是让AI编写能够暴露Bug的测试用例——这需要AI非常深入地理解Bug的预期行为规划出一套能精准触发该Bug的测试步骤并仔细设计每个断言测试检查点以验证Bug确实被测试到了。高度依赖规划与验证能力这一选题结果与任务要求完全吻合。通过对月考题库中具体来源的分析研究团队还发现了一个贯穿所有高考目标的共同底座PlanBench一个专门测试AI规划能力的基准是四个目标中被选中数量最多的单一来源在GAIA中34道SWE-Bench Verified中31道SWE-Bench Multimodal中22道SWT-Bench中更是多达84道。此外VisualPuzzles测试多模态推理的基准、BFCL测试工具调用能力的基准和MMMU测试多模态理解的基准也在四个目标中均有出现。这说明规划能力是AI代理通用能力的核心而多模态推理和工具调用能力能够帮助区分前沿AI模型之间的差异即便目标任务本身并非以多模态为主。七、与暴力抽题和正则化回归的对比研究团队还对PACE的设计选择进行了多个方向的验证确认其有效性并非来自某些偶然因素。首先是与随机从高考题库抽题方法的对比即图1中的红色曲线。随机从高考题库中抽取若干道题来评估模型本质上也是一种降低成本的策略而且直接使用的是高考题目本身逻辑上似乎更为直接。然而实验结果清晰地表明在任何给定成本水平下PACE都显著优于这种随机抽题策略在同等预测精度下PACE所需的成本约为后者的1/100或者换个角度花同等的钱PACE的预测精度远远更高。其次是与正则化回归方法Lasso和Ridge的对比。研究团队尝试了直接用Lasso一种通过惩罚冗余特征来筛选关键变量的方法和Ridge一种通过收缩系数来防止过拟合的方法在全部候选题目上进行回归以回归权重的大小作为选题依据。实验表明这两种方法在训练集上表现完美几乎拟合误差为零但在留一法交叉验证这种严格设置下急剧失准——这正是经典的过拟合现象在样本量14个模型远小于特征数量数万道题目的情况下不可避免地发生。PACE通过将选题与回归解耦的设计策略——先独立评分每道题目的价值再在选出的小规模题目上进行回归——有效规避了这一陷阱实现了远更稳健的跨模型泛化性。八、预算弹性从25道题到500道题效果如何变化研究团队还系统地检验了不同月考题目数量预算C对预测精度的影响C从25道一直扩展到500道。结果呈现出一条清晰的学习曲线随着题目数量的增加绝对误差逐渐下降排名准确率逐渐提升。在极少的25道题时平均绝对误差已经仅为4.02%斯皮尔曼相关系数达到0.832两两比较准确率为83.98%——这已经是相当不错的预测精度了。随着题目增加精度持续提升但边际收益递减。绝对误差在C400时触底3.30%之后略有回升C500时为3.44%表明在当前的14个模型校准集规模下过多题目反而会带来轻微的过拟合。两两比较准确率则一路持续提升至C50089.27%说明排名预测相比绝对分数预测能从更多题目中获益。研究团队将C100定为推荐的实用甜蜜点在成本与精度之间取得了良好平衡。九、局限性坦诚说明方法的边界研究团队对PACE的局限性保持了坦率的态度。首先存在代理博弈的潜在风险一旦PACE的具体题目集公开模型开发者可能会专门针对这100道题进行优化从而在代理基准上刷出虚高的分数而不提升真实能力。缓解措施包括定期更新题目集、在评估前保密、或每次评估时随机抽取新子集。其次14个模型的校准集相对于100维的特征空间而言仍然偏小回归权重在解释单道题目的重要性时并不可靠更适合作为集成信号来理解。第三目前的四个代理基准测试都使用了同一个代理框架OpenHandsPACE能否推广到使用不同工具链和评估协议的代理基准例如浏览器操作代理或具身机器人代理尚待研究。最后如果某个代理基准测试所需的能力完全不在19个月考基准覆盖的范围之内PACE就无能为力——代理基准的可预测性根本上受限于月考题库的能力覆盖广度。归根结底PACE做的事情可以用一句话来概括它找到了一批最聪明的面试题这些题目虽然数量少、成本低但它们的答案能够综合反映出一个AI模型在真实复杂任务中的表现潜力。对于AI研究者和工程师而言这意味着他们在决定花大价钱进行完整代理评估之前可以先用PACE进行快速筛查以极低的成本判断哪些模型值得进一步测试。对于整个AI研究生态而言这意味着能力较弱、资源有限的研究团队也能以更低门槛追踪自己模型的代理能力而不必将严格评估的权利拱手让给财力雄厚的大机构。这项研究让我们意识到在AI评估这件事上多花钱与了解真相之间的鸿沟或许并没有我们以为的那么宽。花100美元买来的答案和花10000美元买来的答案在很多时候指向的是同一个方向。有兴趣的读者可以通过arXiv编号2607.02032查阅完整原文或者访问论文配套的GitHub代码库neulab/pace和数据集neulab/pace-bench进行进一步探索。QAQ1PACE方法用100道题预测AI代理表现的准确率能达到多少A在严格的留一法交叉验证下PACE用100道非代理题目预测AI代理基准测试成绩的平均绝对误差仅为3.80%斯皮尔曼相关系数达到0.81两两模型排名比较的准确率平均为84.37%且评估成本不到完整代理测试的1%。Q2PACE如何从数万道候选题目中选出最有价值的100道题APACE同时使用两种互补策略。局部选择根据每道题与目标代理基准得分之间的斯皮尔曼相关性筛选最相关的题目全局选择则通过SVD奇异值分解计算每道题在整个题库中的信息代表性综合两种信号再通过数据自动确定最优权重比例。Q3PACE的预测能力会随着题目预算增加而一直提升吗A不会无限提升。实验表明随着题目数量从25增加到400绝对误差从4.02%下降到3.30%但超过400道题后精度略有下降说明在当前14个模型的校准集规模下存在轻微过拟合。两两排名比较的准确率则持续提升至500道题89.27%。