Beyond Neural Incompatibility: Easing Cross-Scale Knowledge Transfer in Large Language Models thr...

文章总结与翻译一、主要内容本文聚焦大型语言模型（LLMs）跨尺度参数知识迁移（PKT）问题，核心解决不同规模LLM因架构和参数差异导致的“神经不兼容性”难题。文章提出以 latent 语义对齐为跨尺度知识迁移的核心前提，设计了名为 SEMALIGN 的语义优先迁移方法，具体包括三个关键步骤：层归因与配对：通过层梯度×激活值的归因算法定位教师模型（大模型）中承载任务相关信号的关键层，并基于深度感知映射策略将其与学生模型（小模型）的兼容层配对；** latent 语义对齐**：将教师模型配对层的隐藏状态分解为语义组件，在学生模型空间中重组为监督隐藏状态，实现语义保留的跨空间映射；表示引导优化：仅更新学生模型的配对层参数，通过余弦对齐损失使学生层输出逼近对齐后的监督信号，最终实现模型行为的跨尺度对齐。实验基于 Llama 2 系列模型，在 MMLU（专业知识）、GSM8K（数学推理）、HumanEval 和 MBPP（代码生成）四大基准测试中验证，SEMALIGN 相比 Seeking 和 LaTen 等现有方法，在跨尺度迁移效果、稳定性和效率上均有显著提升，平均缩小了学生模型与教师模型的性能差距。二、创新点迁移介质革新：摒弃直接复用层参数的传统思路，以层输出（激活值）为知识迁移介质，从根源上缓解神经不兼容性；语义优先框架：提出