Restoring Pruned Large Language Models via Lost Component Compensation

文章核心内容总结该研究针对大语言模型（LLMs）剪枝后性能下降的问题，提出了一种名为RestoreLCC的目标恢复策略。核心思路是通过捕捉剪枝过程中丢失的关键信息并补偿回模型，在不牺牲剪枝模型稀疏性和推理效率的前提下，恢复其性能。研究验证了剪枝导致的信息损失会体现在注意力头激活中，通过对比探测筛选关键注意力头，并提取丢失的成分向量进行补偿，可有效缩小剪枝模型与稠密模型的性能差距。实验表明，RestoreLCC在结构化、半结构化和非结构化剪枝场景下，均优于LoRA、DoRA等主流参数高效微调（PEFT）方法，且在通用恢复和任务特定恢复任务中表现稳定。主要创新点核心洞察：发现剪枝造成的信息损失可通过注意力头激活反映，选择性恢复这些丢失的关键成分能显著提升模型性能，且次要成分可能包含重要判别信息。对比探测机制：通过激活编辑构建对比样本对，将注意力头重要性识别转化为自然语言推理任务，精准筛选对恢复关键的注意力头。丢失成分补偿（LCC）：通过奇异值分解（SVD）提取丢失信息的方向向量，学习其权重并引入偏置向量，针对性注入剪枝模型，实现高效补偿。兼容性与高效性：适配三种剪枝方案，仅引入可忽略的参数开销（0.05%），不降低推理速度，且适用于不同规模、不同类型的LLMs及量化模型。翻译部分（Markdown格式）