文章主要内容和创新点主要内容本文是一项关于大型语言模型（LLMs）处理事实与反事实信息竞争机制的可复现性研究，重点探究注意力头在这一过程中的作用。研究旨在复现并整合Ortu等人、Yu等人及McDougall等人的三项近期研究成果，通过机械可解释性工具分析模型习得事实与矛盾上下文信息的竞争关系，具体包括：验证注意力头强度与事实输出比例的关联性；评估关于注意力头抑制机制的两种竞争假设（选择性反事实抑制vs.一般性复制抑制）；探究注意力头行为的领域特异性。研究使用GPT-2和Pythia-6.9B模型，基于CounterFact数据集设计实验，通过logit归因、注意力修改、SVD分析等技术发现：促进事实输出的注意力头通过一般性复制抑制（而非选择性反事实抑制）发挥作用，且其行为具有领域依赖性，更大的模型表现出更专业化、对类别更敏感的模式。创新点明确抑制机制类型：首次通过实验证实，支持事实输出的注意力头并非选择性抑制反事实信息，而是通过抑制“归纳效应”（即复制上下文内容的倾向）实现作用，增强这些注意力头甚至会抑制正确事实的复制。揭示领域特异性与模型大小的关联：发现注意力头的作用因知识领域（如地理位置、语言、组织）而异，且更大的模型（如Pythia-6.9B相较于GPT-2）的注意力头表现出更强的领域专业化特征。整合与复现前人研究：通过复现三
文章主要内容和创新点主要内容本文是一项关于大型语言模型（LLMs）处理事实与反事实信息竞争机制的可复现性研究，重点探究注意力头在这一过程中的作用。研究旨在复现并整合Ortu等人、Yu等人及McDougall等人的三项近期研究成果，通过机械可解释性工具分析模型习得事实与矛盾上下文信息的竞争关系，具体包括：验证注意力头强度与事实输出比例的关联性；评估关于注意力头抑制机制的两种竞争假设（选择性反事实抑制vs.一般性复制抑制）；探究注意力头行为的领域特异性。研究使用GPT-2和Pythia-6.9B模型，基于CounterFact数据集设计实验，通过logit归因、注意力修改、SVD分析等技术发现：促进事实输出的注意力头通过一般性复制抑制（而非选择性反事实抑制）发挥作用，且其行为具有领域依赖性，更大的模型表现出更专业化、对类别更敏感的模式。创新点明确抑制机制类型：首次通过实验证实，支持事实输出的注意力头并非选择性抑制反事实信息，而是通过抑制“归纳效应”（即复制上下文内容的倾向）实现作用，增强这些注意力头甚至会抑制正确事实的复制。揭示领域特异性与模型大小的关联：发现注意力头的作用因知识领域（如地理位置、语言、组织）而异，且更大的模型（如Pythia-6.9B相较于GPT-2）的注意力头表现出更强的领域专业化特征。整合与复现前人研究：通过复现三
优化到O(n log n))
