今年ACL 2025的杰出论文里有一篇关于“能力显著向量”的工作让我印象很深。大模型越来越多评测贵得离谱大家都在问同一个问题候选模型这么多到底该选哪一个逐个跑下游任务benchmark又不现实。这篇论文用一套向量投影的方法把“预测模型下游任务性能”这件事的准确率拉高了一大截而且整个过程不需要在新模型上做任何有监督标注。我把论文核心思路和技术实现拆开讲一遍再结合我自己做模型选型和评估的实践体会尽量说人话。这篇内容适合三类人看一是做大模型应用选型的朋友想在十几个开源模型里快速筛出最合适的那个二是做模型评测和基准测试的同学想降低评测成本、提高迭代效率三是对大模型可解释性和内部表征感兴趣的研究者。不管哪一类读完你都能明白这个方法为什么有效、边界在哪、怎么落地到自己的流程里。1. 性能预测为什么突然成了绕不开的课题1.1 大模型评估成本已经高到不能“全部跑一遍”两三年前我们评估一个模型跑个困惑度指标就差不多了。现在不行了。一个像样的评估流程可能要在一个模型上跑十几个公开基准每个基准里少则几百、多则几千道题。遇到推理任务模型还要逐字输出速度和成本都让人肉疼。如果候选模型有十个八个全部跑一遍的话光是API费用和机时账单就够喝一壶。更麻烦的是很多下游任务根本没有公开基准而是业务自己的数据标注。比如要给某个垂直领域做一个信息抽取模型候选模型有五个每个都要人工标注一批验证集去测效果。这种情况下“先跑一遍再选”几乎不可能因为标注成本早就超过了模型本身的调用费用。我自己的感受是大模型时代的评测已经从“验证模型好不好”变成了“帮我在一堆好模型里挑一个适合我任务的”。前者的评估对象是模型后者要评估的是模型与任务的匹配度。两者的成本模型完全不一样后者对“轻量级预测方法”的需求更迫切。1.2 参数规模和困惑度这些传统指标为什么靠不住你可能觉得选模型看参数量不就行了吗同一个系列里7B和70B当然选70B。但跨系列呢不同厂商、不同训练配方出来的7B模型能力差距可以非常大。参数规模只是一个粗糙的上界不能反映真实表现。困惑度就更微妙了。它衡量的是语言建模能力但下游任务需要的往往不只是“流畅生成”。一个做数学推理的模型可能在困惑度上和通用模型差不多但实际解题能力天差地别。换句话说语言建模能力与任务能力之间存在一个我们没完全搞清楚的映射直接用ppl去推测下游任务表现误差很大。还有一个常见思路是看模型在已有开源benchmark上的分数比如拿一个模型在某个综合基准上的分去推断它在你业务任务上的表现。这种方法的问题是已知benchmark和未知任务之间的能力相关性不稳定而且模型在公开榜上可能存在过拟合风险。榜单分数越高反而越不能说明它在没见过的任务上好用。1.3 零样本性能预测只摸一下模型就能排序所以真正有价值的问题是能不能在下游任务一个样本都不标注的情况下通过模型本身的内部信号预测出它在任意未知任务上的相对表现这个问题有个专门的名字叫零样本性能预测。这个方向过去有一些尝试比如用模型对输入文本的置信度、内部表示的距离、甚至参数子空间的某些统计量来做预测。但这些方法多半只在同一个模型家族内部有效一跨家族性能就崩。原因是不同模型做同一件事时内部表征的“坐标系”并不同简单拿距离或熵去比可比性很差。于是就有了这篇ACL 2025杰出论文的思路能不能先找到一组能跨模型家族对齐的“能力方向”然后让新模型往这个方向上投影用投影得到的标量值来打分排序这个思路最吸引我的地方在于它把“评估模型”从“跑任务”变成了“测方向”相当于给模型照了一张快照不需要出题、判题只需要一张照片就能估计它的能力轮廓。2. 能力显著向量在激活空间中找“能力方向”2.1 一个直觉类比从指纹到信号方向先打个比方。假设你要判断一群人的编程能力但你没法让他们当场写代码。有没有别的办法你可能会观察他们平时怎么思考问题、怎么写文档、怎么拆解任务。这些行为里有一些共性的“方向”比如结构化思维强的人表达也往往更清晰。如果你能找到一个稳定的“结构化思维方向”那只要测一下某个人在这个方向上的倾向就能大致预估他写代码的水平。能力显著向量的思路类似。Transformer模型处理文本时每一层都会产生一个激活向量。这个向量高维、庞大看起来像一团乱麻。但如果你在大量任务上观察不同模型的激活会发现这些高维向量里其实存在少数几个方向它们与“模型在下游任务上的表现”高度相关。把这些方向找出来就相当于在模型的“思维空间”里标出了“能力坐标轴”。以后来了一个新模型不需要它做任何下游任务只要看它在这个坐标轴上的投影值就能估计它的能力水平。2.2 方法整体流程两个阶段两次前向从流程上看这套方法分成两个阶段。第一阶段是构造能力显著向量。论文用了一批带有标注的种子任务也就是小规模的有监督数据集让多个不同的模型在这些种子任务上跑一些前向计算收集中间层激活。然后对这批激活拼接得到的矩阵做主成分分析提取出解释方差最大的若干主成分。这些主成分中的关键方向就是所谓的“能力显著向量”。第二阶段是在目标模型上做预测。对于任意一个待评估的新模型只需要给你一段普通文本让它跑一次前向把对应层的激活取出来投影到第一阶段得到的显著向量上。投影长度或者经过归一化处理后的余弦相似度就是该模型的能力得分。拿这个得分去和模型在真实下游任务上的准确率做相关分析就能验证预测准不准。整个过程走完新模型只需要一次无标注前向。不需要标签、不需要训练、不需要逐步生成。成本比跑任何一个完整benchmark都低一个量级以上。2.3 与线性探针的本质区别到底需不需要目标任务标签很多朋友看到“激活向量投影”第一反应是这不就是linear probe吗还真不是。线性探针的做法是在模型的激活上训练一个线性分类器来做预测它需要目标任务的标注数据来拟合分类器属于有监督方法无法在未知任务上泛化。能力显著向量的思路则完全不同显著方向是在种子任务集合上构造出来的它捕捉的是“任务表现差异的公共结构”而不是某个特定任务的判别模式。在预测阶段目标模型、目标任务都是全新的不需要任何目标任务的标注。换句话说线性探针是在问“这个激活属于哪个类”而能力显著向量是在问“这个激活朝哪个能力方向偏”。前者是判别后者是测量。这个差异决定了前者只能在见过的任务上做工而后者可以迁移到没见过的任务上。从实现角度还有一个容易被忽略的区别线性探针通常在单层激活上操作而显著向量的构造可以是跨层的甚至可以把多层投影结果拼接起来。这使得它更容易捕捉不同抽象层次上的能力信号——下层可能偏句法上层可能偏语义与推理综合起来信息更完整。3. 构造显著向量的关键步骤与实现细节3.1 种子任务怎么选多样性比数量更重要显着方向上不上得去第一个关键变量是种子任务集的质量。论文的实验里用了一批有监督任务作为种子集具体数量在十几个到几十个不等。我的理解是种子任务不需要多到覆盖所有可能的任务类型但一定要覆盖几种核心能力维度。比如至少要有知识问答类任务考察记忆与事实提取、推理类任务考察逻辑链、分类/情感类任务考察语义理解、抽取类任务考察结构化输出。如果种子任务全是问答构造出来的方向很可能只代表“聊天机器人的活跃程度”而不是通用能力方向。我自己的经验是种子任务的数量一般控制在10到20个之间比较合适。太少主成分不稳定换个模型家族方向就漂了太多收集激活、算PCA的成本上去了但提升并不明显。每个种子任务的样本量也没必要追求上万几百到几千个样本足够让激活分布稳定下来。3.2 激活从哪一层取深层的语义信号更值钱Transformer每一层的激活含义不同。浅层激活更多编码词法、句法特征中层开始出现语义信息深层激活则和任务相关的抽象推理联系更紧密。显着方向如果建立在浅层大概率只捕获到表面的风格差异和真实任务能力的相关性会低很多。论文中比较合理的选择是取最后几层。我自己的实践也验证了这一点只取倒数第二层或最后四层的均值比把所有层都拼起来效果更好。原因很朴素——深层语义信息是能力信号的富集区而浅层信息是噪声的重灾区。采样方式上CLS位置的向量和全序列平均池化向量都有人用。我的建议是优先用平均池化。原因有两个一是不同任务、不同文本长度下平均池化对输入长度的鲁棒性更好二是CLS向量在多代模型上的语义集中度不一平均池化至少在语义覆盖上更全面。3.3 PCA与归一化方向对齐才是跨家族泛化的关键说到PCA这里有个容易踩的坑。不同模型家族的激活值绝对值尺度可能差很多。同一个模型不同层之间激活值的分布范围也可能差好几倍。如果你直接拿原始激活矩阵去算余弦相似度尺度过大的分量会直接主导结果方向算出来全被少数几个高方差特征带偏。所以PCA之前先做标准化。论文的思路是先对整个激活矩阵做一次按特征的标准化再跑PCA或者等价的SVD。做完PCA之后得到的主成分向量还要做一次归一化让向量模长为1。这样后续和任意新模型的激活做点积时得到的结果才是纯粹的方向相似度不会被模长干扰。归一化这一点业内做表征分析的老手一般都会默认做但新手特别容易漏。漏掉的后果就是跨模型家族比较时分数被模型本身激活的scale差主导能力信号被淹没。可以说归一化这步直接决定了方法能不能跨家族泛化是整个流程里性价比最高的一步优化。3.4 一个可复现的构造流程示例下面给出一段简化的PyTorch风格伪代码展示完整流程的骨架。实际工程中还需要处理数据加载、多卡并行等细节这里只保留算法主线import torch import torch.nn.functional as F from transformers import AutoTokenizer, AutoModel # 假设已经有了seed_tasks: List[Dataset]每个Dataset包含若干样本 def collect_activations(model, tokenizer, tasks: list, layer_idx: list): model.eval() collected [] with torch.no_grad(): for task in tasks: # 这里简化实际需要按batch处理 inputs tokenizer(task.texts, return_tensorspt, paddingTrue, truncationTrue, max_length512) outputs model(**inputs, output_hidden_statesTrue) hidden outputs.hidden_states # tuple of layers # 取指定层的均值池化向量 vecs [] for idx in layer_idx: h hidden[idx] # (batch, seq_len, hidden_dim) # 只取非padding位的均值 mask inputs[attention_mask].unsqueeze(-1) pooled (h * mask).sum(1) / mask.sum(1) vecs.append(pooled) collected.append(torch.cat(vecs, dim-1)) return torch.cat(collected, dim0) # (num_samples, feature_dim) # 1. 收集多个种子模型/种子任务的激活矩阵 # act_matrix [] # for model in candidate_pool: # for task in seed_tasks: # act_matrix.append(collect_activations(model, tokenizer, task, layer_idx[-1, -2])) # act_matrix torch.cat(act_matrix, dim0) # 2. 标准化 SVD def compute_sig_vector(act_matrix: torch.Tensor, n_components64): mean act_matrix.mean(dim0, keepdimTrue) std act_matrix.std(dim0, keepdimTrue) 1e-8 normalized (act_matrix - mean) / std # 用SVD代替PCA对数值稳定性更友好 _, _, vh torch.linalg.svd(normalized, full_matricesFalse) sig_vec vh[:n_components] # (k, feature_dim) # 归一化保证方向纯正 sig_vec F.normalize(sig_vec, p2, dim-1) return mean, std, sig_vec # 3. 对新模型打分 def score_model(model, tokenizer, corpus, mean, std, sig_vec): vec collect_activations(model, tokenizer, [corpus], layer_idx[-1, -2]) vec (vec - mean) / std scores torch.mm(vec, sig_vec.transpose(0, 1)) # (num_samples, k) return scores.mean(dim0) # 多个方向取平均即可代码里有个细节值得说明SVD之后取前k个主成分k一般取32到128之间。这个数值不用太纠结论文里使用的数量级也在这个范围。k太小会丢掉有用信号k太大则会把噪声方向也收进来。实际使用时可以先在验证集上快速扫一下k的取值找到平台期即可。3.5 关键参数速查我把几个关键参数和推荐范围整理成一个表方便直接对照使用参数推荐范围说明种子任务数10-20个多样性优先覆盖多种能力维度每个任务样本量500-2000条够让激活分布稳定即可激活层选取最后2-6层深层语义信号更强池化方式平均池化对长度和文本类型更鲁棒PCA主成分数 k32-128取到方差解释率达到平台期为止相似度度量余弦相似度需要先对方向和激活向量做归一化预测相关性指标Spearman秩相关关注排序能力不关注绝对分数4. 实验验证与结果解读4.1 验证口径排序能力比绝对分数更重要方法有效与否关键看它能不能把模型的相对顺序排对。论文里通常用Spearman秩相关系数来衡量预测得分与真实下游任务分数之间的排序一致性。有时候也会用Kendall tau或者“Top-1选准率”来评估——这里Top-1选准率指的是给定一堆候选模型方法能不能正确挑出真实表现最好的那一个。选这个口径是有现实考虑的。在模型选型场景里你要的是“哪个模型最好”而不是“这个模型能考多少分”。分数本身的绝对值没有意义因为不同任务之间难度不同真正决定你能不能做决策的是排序。4.2 跨模型家族泛化论文最亮眼的实验过去统计类方法最大的敌人是模型家族差异。一个在A系列模型上拟合得很好的指标换到B系列模型上往往完全失效。原因在于不同系列的训练数据、对齐策略、词表设计都不同内部表征的空间结构也各自为政。这篇工作做得比较好的地方在于它在更大范围的模型集合上做验证涵盖了好几个主流开源系列的多个尺寸。结果显示基于能力显著向量的预测分数与真实下游任务准确率之间的秩相关普遍高于传统的无监督启发式指标。这个结果的意义在于方法不再依赖“同类模型的内部相似性”而是找到了一条跨家族仍然稳定的能力信号通道。4.3 哪些任务预测得最好哪些预测不好仔细分解的话预测效果和任务类型高度相关。在我看到的结果模式里以下几类任务表现最好知识密集型任务模型知道什么激活里会留下清晰的线索。常见分类任务情感、主题分类这类任务和通用语义表征的重合度高。中等难度的推理任务需要多步但步骤不太长的推理激活差异显著。以下几类任务预测偏差明显更大代码生成类任务对上下文结构、语言模式极度敏感通用语料激活很难捕捉到代码特有信号。需要外部工具或检索的任务能力依赖于模型与工具链的配合单靠模型内部激活无法覆盖。超长文本任务512长度截断会丢掉关键信息激活表征失真。这个结果给了我一个重要提醒能力显著向量擅长衡量“模型脑子里固有知识”的强弱但不擅长预测“模型能不能和环境很好互动”的能力。如果你的应用场景高度依赖外挂工具、RAG或者长文档理解这个方法只能作为初筛不能作为唯一的评估依据。4.4 什么时候会失效三个边界条件第一当候选模型之间的能力差距非常小的时候预测结果会变得不稳定。差距越小排序越依赖细节信号局部微小的激活噪声都可能导致排序翻转。第二当目标任务极度窄众和种子任务集合没有能力交集时预测效果会退化。比如种子任务全是英文任务你突然要预测一个古汉语标点恢复模型的表现显然不靠谱。本质上是能力空间覆盖不足。第三当模型采用非常激进的对齐训练时激活空间可能发生较大扭曲预测置信度会明显下降。说直白一点对齐过度的模型其激活信号与能力表现的映射关系会发生改变。5. 从论文到实战落地路径与应用边界5.1 最小可行流程四步完成候选模型初筛如果你想把这篇论文的方法落到自己的选型流程里我建议先跑一个最小可行版本第一步挑种子任务。从自己业务附近挑10个左右有标注的小数据集比如通用分类、情感分析、抽取式QA、常识问答。不用多但能力类型要分散。第二步构造能力显著向量。找几个你已经信任的模型作为基准池在种子任务上跑前向收集最后几层激活做标准化、SVD、归一化得到能力方向。第三步给候选模型打分。每个候选模型只需要在统一的无标注语料上跑一次前向投影到方向上算得分。无标注语料可以就用种子任务的文本部分但要保证模型“没练过”——严格说是保证你没跑过它的benchmark结果。第四步排序与抽检。按得分排序取Top-2做完整评测验证确认选型结果。这一步不能省。预测只是压缩成本不能完全替代验证。5.2 场景边界什么情况值得用什么情况不划算场景是否推荐原因候选模型≥5个全量评测成本高强烈推荐一次前向换排序性价比极高只有1-2个模型跑全量评测不贵不推荐省不了多少还多一步PCA流程业务任务和种子任务能力覆盖重合推荐预测置信度有保障业务任务高度依赖外部工具/RAG谨慎只能做初筛别单独依赖模型家族跨度极大且无种子模型覆盖谨慎方向对齐可能不稳定任务非常窄众且没有任何代表性种子任务不推荐能力空间覆盖不到5.3 工程实现的小建议工程上做这件事有几处细节要处理好。激活收集的IO开销很容易被低估。几十个模型、每个模型跑一万条文本hidden state存下来可能是几十甚至上百个G。建议不要一次性把所有激活都放内存可以边跑边做增量的均值、方差统计最后统一做SVD。另外要注意数值精度。半精度推理下激活矩阵的数值范围可能和全精度有差异。如果构造方向和预测投影用的是不同精度方向向量和新模型激活之间会出现系统性偏差。稳妥的做法是构造阶段和预测阶段都统一用同样的精度。代码层面建议把“构造方向”和“打分”封装成两个独立函数。前者不常跑后者要经常面对新模型。接口设计得好后面自动化选型时能省不少事。6. 读完这篇ACL 2025论文之后我的思考6.1 学术上的启示模型能力第一次被“压缩”成了方向这篇工作给我最大的启发是模型能力不是一个抽象概念而是可以在激活空间里被压缩成若干个方向的实体。这在过去大多停留在哲学讨论层面但这篇论文给出了可操作的定义和验证框架。一旦你能把一个方向和一个能力绑定很多原来的问题就会变成几何问题。比如能力冲突本质上可以看成两个方向的夹角的良性能力增强可以看成在该方向上的投影变长。虽然这个简化视角不一定能描述所有情况但至少它给了我们一个可以计算的抓手。6.2 顺着这个思路能扩展出好几个方向我最想看到的是把能力显著向量用到训练和监控上。比如在继续预训练或微调过程中每隔一定步数计算一次模型在某个能力方向上的投影就可以实时监控这个能力是涨了还是跌了。这比每次用benchmark验证快得多而且可以及时发现灾难性遗忘。另一个方向是把这组方向和模型编辑结合。既然能力对应的是特定方向那么是否可以通过在激活空间里做方向层面的干预来定向增强某一类能力论文没有回答这个问题但顺着同一个逻辑这会是后续研究一个很自然的延伸。还有一个更实际的方向用于数据配比搜索。搜索数据配比的时候往往要反复评测模型效果成本极高。如果用能力方向得分作为反馈信号优化器可以直接在低维空间里做搜索效率会提升几个量级。6.3 给想复现这篇工作的朋友一些实话我的实操体会是论文逻辑看着通顺但复现时最花时间的不是算法主体而是激活数据的组织与清洗。种子任务格式不统一、文本长度差异大、tokenizer行为不一致这些问题会比PCA本身多耗几倍的调试时间。建议你一开始就把数据标准化做好宁可多花点时间在前处理上。还有一点别高看相关性结果。这类论文报告的相关性系数通常是在特定模型池子、特定任务集合上取得的。换一个分布数字往下掉是正常的。我这里提个经验值参考一般能在跨家族池子上做到0.6到0.8的秩相关就已经很有使用价值了不必追求接近1的完美相关。真到0.9以上反而要怀疑是不是数据泄漏了。在做数据拆分的时分要注意别把构造方向用到的目标模型的激活信息泄漏进预测流程。最后给你一个马上能上手的小建议。别一上来就复现完整的论文实验先在自己的业务场景里做一个最小闭环3个种子任务、2个基准模型、5个候选模型、一个下游任务跑通排序流程感受一下这种方法在各种细节上的敏感度。然后在你自己最关注的那个下游任务上定量对比一下CSV排序和真实评测排序相差多少。如果效果对得起成本再逐步扩大模型池子和种子任务集。这样一步步来比照搬论文配置要实在得多。
今年ACL 2025的杰出论文里有一篇关于“能力显著向量”的工作让我印象很深。大模型越来越多评测贵得离谱大家都在问同一个问题候选模型这么多到底该选哪一个逐个跑下游任务benchmark又不现实。这篇论文用一套向量投影的方法把“预测模型下游任务性能”这件事的准确率拉高了一大截而且整个过程不需要在新模型上做任何有监督标注。我把论文核心思路和技术实现拆开讲一遍再结合我自己做模型选型和评估的实践体会尽量说人话。这篇内容适合三类人看一是做大模型应用选型的朋友想在十几个开源模型里快速筛出最合适的那个二是做模型评测和基准测试的同学想降低评测成本、提高迭代效率三是对大模型可解释性和内部表征感兴趣的研究者。不管哪一类读完你都能明白这个方法为什么有效、边界在哪、怎么落地到自己的流程里。1. 性能预测为什么突然成了绕不开的课题1.1 大模型评估成本已经高到不能“全部跑一遍”两三年前我们评估一个模型跑个困惑度指标就差不多了。现在不行了。一个像样的评估流程可能要在一个模型上跑十几个公开基准每个基准里少则几百、多则几千道题。遇到推理任务模型还要逐字输出速度和成本都让人肉疼。如果候选模型有十个八个全部跑一遍的话光是API费用和机时账单就够喝一壶。更麻烦的是很多下游任务根本没有公开基准而是业务自己的数据标注。比如要给某个垂直领域做一个信息抽取模型候选模型有五个每个都要人工标注一批验证集去测效果。这种情况下“先跑一遍再选”几乎不可能因为标注成本早就超过了模型本身的调用费用。我自己的感受是大模型时代的评测已经从“验证模型好不好”变成了“帮我在一堆好模型里挑一个适合我任务的”。前者的评估对象是模型后者要评估的是模型与任务的匹配度。两者的成本模型完全不一样后者对“轻量级预测方法”的需求更迫切。1.2 参数规模和困惑度这些传统指标为什么靠不住你可能觉得选模型看参数量不就行了吗同一个系列里7B和70B当然选70B。但跨系列呢不同厂商、不同训练配方出来的7B模型能力差距可以非常大。参数规模只是一个粗糙的上界不能反映真实表现。困惑度就更微妙了。它衡量的是语言建模能力但下游任务需要的往往不只是“流畅生成”。一个做数学推理的模型可能在困惑度上和通用模型差不多但实际解题能力天差地别。换句话说语言建模能力与任务能力之间存在一个我们没完全搞清楚的映射直接用ppl去推测下游任务表现误差很大。还有一个常见思路是看模型在已有开源benchmark上的分数比如拿一个模型在某个综合基准上的分去推断它在你业务任务上的表现。这种方法的问题是已知benchmark和未知任务之间的能力相关性不稳定而且模型在公开榜上可能存在过拟合风险。榜单分数越高反而越不能说明它在没见过的任务上好用。1.3 零样本性能预测只摸一下模型就能排序所以真正有价值的问题是能不能在下游任务一个样本都不标注的情况下通过模型本身的内部信号预测出它在任意未知任务上的相对表现这个问题有个专门的名字叫零样本性能预测。这个方向过去有一些尝试比如用模型对输入文本的置信度、内部表示的距离、甚至参数子空间的某些统计量来做预测。但这些方法多半只在同一个模型家族内部有效一跨家族性能就崩。原因是不同模型做同一件事时内部表征的“坐标系”并不同简单拿距离或熵去比可比性很差。于是就有了这篇ACL 2025杰出论文的思路能不能先找到一组能跨模型家族对齐的“能力方向”然后让新模型往这个方向上投影用投影得到的标量值来打分排序这个思路最吸引我的地方在于它把“评估模型”从“跑任务”变成了“测方向”相当于给模型照了一张快照不需要出题、判题只需要一张照片就能估计它的能力轮廓。2. 能力显著向量在激活空间中找“能力方向”2.1 一个直觉类比从指纹到信号方向先打个比方。假设你要判断一群人的编程能力但你没法让他们当场写代码。有没有别的办法你可能会观察他们平时怎么思考问题、怎么写文档、怎么拆解任务。这些行为里有一些共性的“方向”比如结构化思维强的人表达也往往更清晰。如果你能找到一个稳定的“结构化思维方向”那只要测一下某个人在这个方向上的倾向就能大致预估他写代码的水平。能力显著向量的思路类似。Transformer模型处理文本时每一层都会产生一个激活向量。这个向量高维、庞大看起来像一团乱麻。但如果你在大量任务上观察不同模型的激活会发现这些高维向量里其实存在少数几个方向它们与“模型在下游任务上的表现”高度相关。把这些方向找出来就相当于在模型的“思维空间”里标出了“能力坐标轴”。以后来了一个新模型不需要它做任何下游任务只要看它在这个坐标轴上的投影值就能估计它的能力水平。2.2 方法整体流程两个阶段两次前向从流程上看这套方法分成两个阶段。第一阶段是构造能力显著向量。论文用了一批带有标注的种子任务也就是小规模的有监督数据集让多个不同的模型在这些种子任务上跑一些前向计算收集中间层激活。然后对这批激活拼接得到的矩阵做主成分分析提取出解释方差最大的若干主成分。这些主成分中的关键方向就是所谓的“能力显著向量”。第二阶段是在目标模型上做预测。对于任意一个待评估的新模型只需要给你一段普通文本让它跑一次前向把对应层的激活取出来投影到第一阶段得到的显著向量上。投影长度或者经过归一化处理后的余弦相似度就是该模型的能力得分。拿这个得分去和模型在真实下游任务上的准确率做相关分析就能验证预测准不准。整个过程走完新模型只需要一次无标注前向。不需要标签、不需要训练、不需要逐步生成。成本比跑任何一个完整benchmark都低一个量级以上。2.3 与线性探针的本质区别到底需不需要目标任务标签很多朋友看到“激活向量投影”第一反应是这不就是linear probe吗还真不是。线性探针的做法是在模型的激活上训练一个线性分类器来做预测它需要目标任务的标注数据来拟合分类器属于有监督方法无法在未知任务上泛化。能力显著向量的思路则完全不同显著方向是在种子任务集合上构造出来的它捕捉的是“任务表现差异的公共结构”而不是某个特定任务的判别模式。在预测阶段目标模型、目标任务都是全新的不需要任何目标任务的标注。换句话说线性探针是在问“这个激活属于哪个类”而能力显著向量是在问“这个激活朝哪个能力方向偏”。前者是判别后者是测量。这个差异决定了前者只能在见过的任务上做工而后者可以迁移到没见过的任务上。从实现角度还有一个容易被忽略的区别线性探针通常在单层激活上操作而显著向量的构造可以是跨层的甚至可以把多层投影结果拼接起来。这使得它更容易捕捉不同抽象层次上的能力信号——下层可能偏句法上层可能偏语义与推理综合起来信息更完整。3. 构造显著向量的关键步骤与实现细节3.1 种子任务怎么选多样性比数量更重要显着方向上不上得去第一个关键变量是种子任务集的质量。论文的实验里用了一批有监督任务作为种子集具体数量在十几个到几十个不等。我的理解是种子任务不需要多到覆盖所有可能的任务类型但一定要覆盖几种核心能力维度。比如至少要有知识问答类任务考察记忆与事实提取、推理类任务考察逻辑链、分类/情感类任务考察语义理解、抽取类任务考察结构化输出。如果种子任务全是问答构造出来的方向很可能只代表“聊天机器人的活跃程度”而不是通用能力方向。我自己的经验是种子任务的数量一般控制在10到20个之间比较合适。太少主成分不稳定换个模型家族方向就漂了太多收集激活、算PCA的成本上去了但提升并不明显。每个种子任务的样本量也没必要追求上万几百到几千个样本足够让激活分布稳定下来。3.2 激活从哪一层取深层的语义信号更值钱Transformer每一层的激活含义不同。浅层激活更多编码词法、句法特征中层开始出现语义信息深层激活则和任务相关的抽象推理联系更紧密。显着方向如果建立在浅层大概率只捕获到表面的风格差异和真实任务能力的相关性会低很多。论文中比较合理的选择是取最后几层。我自己的实践也验证了这一点只取倒数第二层或最后四层的均值比把所有层都拼起来效果更好。原因很朴素——深层语义信息是能力信号的富集区而浅层信息是噪声的重灾区。采样方式上CLS位置的向量和全序列平均池化向量都有人用。我的建议是优先用平均池化。原因有两个一是不同任务、不同文本长度下平均池化对输入长度的鲁棒性更好二是CLS向量在多代模型上的语义集中度不一平均池化至少在语义覆盖上更全面。3.3 PCA与归一化方向对齐才是跨家族泛化的关键说到PCA这里有个容易踩的坑。不同模型家族的激活值绝对值尺度可能差很多。同一个模型不同层之间激活值的分布范围也可能差好几倍。如果你直接拿原始激活矩阵去算余弦相似度尺度过大的分量会直接主导结果方向算出来全被少数几个高方差特征带偏。所以PCA之前先做标准化。论文的思路是先对整个激活矩阵做一次按特征的标准化再跑PCA或者等价的SVD。做完PCA之后得到的主成分向量还要做一次归一化让向量模长为1。这样后续和任意新模型的激活做点积时得到的结果才是纯粹的方向相似度不会被模长干扰。归一化这一点业内做表征分析的老手一般都会默认做但新手特别容易漏。漏掉的后果就是跨模型家族比较时分数被模型本身激活的scale差主导能力信号被淹没。可以说归一化这步直接决定了方法能不能跨家族泛化是整个流程里性价比最高的一步优化。3.4 一个可复现的构造流程示例下面给出一段简化的PyTorch风格伪代码展示完整流程的骨架。实际工程中还需要处理数据加载、多卡并行等细节这里只保留算法主线import torch import torch.nn.functional as F from transformers import AutoTokenizer, AutoModel # 假设已经有了seed_tasks: List[Dataset]每个Dataset包含若干样本 def collect_activations(model, tokenizer, tasks: list, layer_idx: list): model.eval() collected [] with torch.no_grad(): for task in tasks: # 这里简化实际需要按batch处理 inputs tokenizer(task.texts, return_tensorspt, paddingTrue, truncationTrue, max_length512) outputs model(**inputs, output_hidden_statesTrue) hidden outputs.hidden_states # tuple of layers # 取指定层的均值池化向量 vecs [] for idx in layer_idx: h hidden[idx] # (batch, seq_len, hidden_dim) # 只取非padding位的均值 mask inputs[attention_mask].unsqueeze(-1) pooled (h * mask).sum(1) / mask.sum(1) vecs.append(pooled) collected.append(torch.cat(vecs, dim-1)) return torch.cat(collected, dim0) # (num_samples, feature_dim) # 1. 收集多个种子模型/种子任务的激活矩阵 # act_matrix [] # for model in candidate_pool: # for task in seed_tasks: # act_matrix.append(collect_activations(model, tokenizer, task, layer_idx[-1, -2])) # act_matrix torch.cat(act_matrix, dim0) # 2. 标准化 SVD def compute_sig_vector(act_matrix: torch.Tensor, n_components64): mean act_matrix.mean(dim0, keepdimTrue) std act_matrix.std(dim0, keepdimTrue) 1e-8 normalized (act_matrix - mean) / std # 用SVD代替PCA对数值稳定性更友好 _, _, vh torch.linalg.svd(normalized, full_matricesFalse) sig_vec vh[:n_components] # (k, feature_dim) # 归一化保证方向纯正 sig_vec F.normalize(sig_vec, p2, dim-1) return mean, std, sig_vec # 3. 对新模型打分 def score_model(model, tokenizer, corpus, mean, std, sig_vec): vec collect_activations(model, tokenizer, [corpus], layer_idx[-1, -2]) vec (vec - mean) / std scores torch.mm(vec, sig_vec.transpose(0, 1)) # (num_samples, k) return scores.mean(dim0) # 多个方向取平均即可代码里有个细节值得说明SVD之后取前k个主成分k一般取32到128之间。这个数值不用太纠结论文里使用的数量级也在这个范围。k太小会丢掉有用信号k太大则会把噪声方向也收进来。实际使用时可以先在验证集上快速扫一下k的取值找到平台期即可。3.5 关键参数速查我把几个关键参数和推荐范围整理成一个表方便直接对照使用参数推荐范围说明种子任务数10-20个多样性优先覆盖多种能力维度每个任务样本量500-2000条够让激活分布稳定即可激活层选取最后2-6层深层语义信号更强池化方式平均池化对长度和文本类型更鲁棒PCA主成分数 k32-128取到方差解释率达到平台期为止相似度度量余弦相似度需要先对方向和激活向量做归一化预测相关性指标Spearman秩相关关注排序能力不关注绝对分数4. 实验验证与结果解读4.1 验证口径排序能力比绝对分数更重要方法有效与否关键看它能不能把模型的相对顺序排对。论文里通常用Spearman秩相关系数来衡量预测得分与真实下游任务分数之间的排序一致性。有时候也会用Kendall tau或者“Top-1选准率”来评估——这里Top-1选准率指的是给定一堆候选模型方法能不能正确挑出真实表现最好的那一个。选这个口径是有现实考虑的。在模型选型场景里你要的是“哪个模型最好”而不是“这个模型能考多少分”。分数本身的绝对值没有意义因为不同任务之间难度不同真正决定你能不能做决策的是排序。4.2 跨模型家族泛化论文最亮眼的实验过去统计类方法最大的敌人是模型家族差异。一个在A系列模型上拟合得很好的指标换到B系列模型上往往完全失效。原因在于不同系列的训练数据、对齐策略、词表设计都不同内部表征的空间结构也各自为政。这篇工作做得比较好的地方在于它在更大范围的模型集合上做验证涵盖了好几个主流开源系列的多个尺寸。结果显示基于能力显著向量的预测分数与真实下游任务准确率之间的秩相关普遍高于传统的无监督启发式指标。这个结果的意义在于方法不再依赖“同类模型的内部相似性”而是找到了一条跨家族仍然稳定的能力信号通道。4.3 哪些任务预测得最好哪些预测不好仔细分解的话预测效果和任务类型高度相关。在我看到的结果模式里以下几类任务表现最好知识密集型任务模型知道什么激活里会留下清晰的线索。常见分类任务情感、主题分类这类任务和通用语义表征的重合度高。中等难度的推理任务需要多步但步骤不太长的推理激活差异显著。以下几类任务预测偏差明显更大代码生成类任务对上下文结构、语言模式极度敏感通用语料激活很难捕捉到代码特有信号。需要外部工具或检索的任务能力依赖于模型与工具链的配合单靠模型内部激活无法覆盖。超长文本任务512长度截断会丢掉关键信息激活表征失真。这个结果给了我一个重要提醒能力显著向量擅长衡量“模型脑子里固有知识”的强弱但不擅长预测“模型能不能和环境很好互动”的能力。如果你的应用场景高度依赖外挂工具、RAG或者长文档理解这个方法只能作为初筛不能作为唯一的评估依据。4.4 什么时候会失效三个边界条件第一当候选模型之间的能力差距非常小的时候预测结果会变得不稳定。差距越小排序越依赖细节信号局部微小的激活噪声都可能导致排序翻转。第二当目标任务极度窄众和种子任务集合没有能力交集时预测效果会退化。比如种子任务全是英文任务你突然要预测一个古汉语标点恢复模型的表现显然不靠谱。本质上是能力空间覆盖不足。第三当模型采用非常激进的对齐训练时激活空间可能发生较大扭曲预测置信度会明显下降。说直白一点对齐过度的模型其激活信号与能力表现的映射关系会发生改变。5. 从论文到实战落地路径与应用边界5.1 最小可行流程四步完成候选模型初筛如果你想把这篇论文的方法落到自己的选型流程里我建议先跑一个最小可行版本第一步挑种子任务。从自己业务附近挑10个左右有标注的小数据集比如通用分类、情感分析、抽取式QA、常识问答。不用多但能力类型要分散。第二步构造能力显著向量。找几个你已经信任的模型作为基准池在种子任务上跑前向收集最后几层激活做标准化、SVD、归一化得到能力方向。第三步给候选模型打分。每个候选模型只需要在统一的无标注语料上跑一次前向投影到方向上算得分。无标注语料可以就用种子任务的文本部分但要保证模型“没练过”——严格说是保证你没跑过它的benchmark结果。第四步排序与抽检。按得分排序取Top-2做完整评测验证确认选型结果。这一步不能省。预测只是压缩成本不能完全替代验证。5.2 场景边界什么情况值得用什么情况不划算场景是否推荐原因候选模型≥5个全量评测成本高强烈推荐一次前向换排序性价比极高只有1-2个模型跑全量评测不贵不推荐省不了多少还多一步PCA流程业务任务和种子任务能力覆盖重合推荐预测置信度有保障业务任务高度依赖外部工具/RAG谨慎只能做初筛别单独依赖模型家族跨度极大且无种子模型覆盖谨慎方向对齐可能不稳定任务非常窄众且没有任何代表性种子任务不推荐能力空间覆盖不到5.3 工程实现的小建议工程上做这件事有几处细节要处理好。激活收集的IO开销很容易被低估。几十个模型、每个模型跑一万条文本hidden state存下来可能是几十甚至上百个G。建议不要一次性把所有激活都放内存可以边跑边做增量的均值、方差统计最后统一做SVD。另外要注意数值精度。半精度推理下激活矩阵的数值范围可能和全精度有差异。如果构造方向和预测投影用的是不同精度方向向量和新模型激活之间会出现系统性偏差。稳妥的做法是构造阶段和预测阶段都统一用同样的精度。代码层面建议把“构造方向”和“打分”封装成两个独立函数。前者不常跑后者要经常面对新模型。接口设计得好后面自动化选型时能省不少事。6. 读完这篇ACL 2025论文之后我的思考6.1 学术上的启示模型能力第一次被“压缩”成了方向这篇工作给我最大的启发是模型能力不是一个抽象概念而是可以在激活空间里被压缩成若干个方向的实体。这在过去大多停留在哲学讨论层面但这篇论文给出了可操作的定义和验证框架。一旦你能把一个方向和一个能力绑定很多原来的问题就会变成几何问题。比如能力冲突本质上可以看成两个方向的夹角的良性能力增强可以看成在该方向上的投影变长。虽然这个简化视角不一定能描述所有情况但至少它给了我们一个可以计算的抓手。6.2 顺着这个思路能扩展出好几个方向我最想看到的是把能力显著向量用到训练和监控上。比如在继续预训练或微调过程中每隔一定步数计算一次模型在某个能力方向上的投影就可以实时监控这个能力是涨了还是跌了。这比每次用benchmark验证快得多而且可以及时发现灾难性遗忘。另一个方向是把这组方向和模型编辑结合。既然能力对应的是特定方向那么是否可以通过在激活空间里做方向层面的干预来定向增强某一类能力论文没有回答这个问题但顺着同一个逻辑这会是后续研究一个很自然的延伸。还有一个更实际的方向用于数据配比搜索。搜索数据配比的时候往往要反复评测模型效果成本极高。如果用能力方向得分作为反馈信号优化器可以直接在低维空间里做搜索效率会提升几个量级。6.3 给想复现这篇工作的朋友一些实话我的实操体会是论文逻辑看着通顺但复现时最花时间的不是算法主体而是激活数据的组织与清洗。种子任务格式不统一、文本长度差异大、tokenizer行为不一致这些问题会比PCA本身多耗几倍的调试时间。建议你一开始就把数据标准化做好宁可多花点时间在前处理上。还有一点别高看相关性结果。这类论文报告的相关性系数通常是在特定模型池子、特定任务集合上取得的。换一个分布数字往下掉是正常的。我这里提个经验值参考一般能在跨家族池子上做到0.6到0.8的秩相关就已经很有使用价值了不必追求接近1的完美相关。真到0.9以上反而要怀疑是不是数据泄漏了。在做数据拆分的时分要注意别把构造方向用到的目标模型的激活信息泄漏进预测流程。最后给你一个马上能上手的小建议。别一上来就复现完整的论文实验先在自己的业务场景里做一个最小闭环3个种子任务、2个基准模型、5个候选模型、一个下游任务跑通排序流程感受一下这种方法在各种细节上的敏感度。然后在你自己最关注的那个下游任务上定量对比一下CSV排序和真实评测排序相差多少。如果效果对得起成本再逐步扩大模型池子和种子任务集。这样一步步来比照搬论文配置要实在得多。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
