标题Beyond Rephrasing: Book-Level Organization Improves Synthetic Textbook Data for Mid-Training来源arXiv, 2607.28109v1️文章简介研究问题在合成教科书数据用于大模型中期训练时除了内容质量和局部重写风格外将相关内容组织成连贯的书本级文档结构是否能带来额外的性能提升主要贡献论文提出了一种可扩展的检索增强型教科书合成流水线并通过受控实验证明了保持书本级组织结构对提升模型下游任务性能具有显著价值。重点思路构建五阶段合成流水线基于覆盖15,000多个学科的分类体系从预训练语料中检索相关文档通过聚类和主题总结形成知识单元规划分层目录TOC并生成基于源材料的章节内容最终组装成完整书籍。设计多重受控对照实验为了分离组织结构的影响设置了Split内容相同但章节独立、RandomConcat随机拼接以匹配长度和Rephrase仅局部重写无全局规划三种对照组与完整的Full设置进行对比。实施严格的质量控制在目录规划阶段引入LLM裁判进行质量过滤剔除结构不合理或偏离主题的规划在生成阶段采用基于检索证据的逐节生成确保内容的事实性和 groundedness。分析总结书本级组织显著提升性能在3B参数MoE模型上使用完整书本结构的Full设置比自然书籍基线平均提升1.09分比内容相同的Split设置提升1.02分证明了文档连续性的重要性。结构化合成优于局部重写Full设置在28个基准测试中有25项优于Rephrase设置提升1.17分表明全局的聚类、目录规划和书籍组装带来的增益远超单纯的文本润色。跨架构验证有效性在Llama3-8B模型上的迁移实验显示Full设置同样优于随机拼接和自然书籍证实了书本级组织作为一种数据设计维度的通用有效性。组件消融揭示互补作用检索 grounding 主要提升具体性和事实准确性而基于聚类的目录规划则显著改善结构和受众适配度两者结合才能产生高质量的长文本数据。个人观点论文突破了以往合成数据研究仅关注内容质量或局部风格的局限提出的检索增强与层次化规划相结合的流水线不仅解决了长文本生成的幻觉问题更通过保留语义连贯性优化了模型的注意力机制学习。
标题Beyond Rephrasing: Book-Level Organization Improves Synthetic Textbook Data for Mid-Training来源arXiv, 2607.28109v1️文章简介研究问题在合成教科书数据用于大模型中期训练时除了内容质量和局部重写风格外将相关内容组织成连贯的书本级文档结构是否能带来额外的性能提升主要贡献论文提出了一种可扩展的检索增强型教科书合成流水线并通过受控实验证明了保持书本级组织结构对提升模型下游任务性能具有显著价值。重点思路构建五阶段合成流水线基于覆盖15,000多个学科的分类体系从预训练语料中检索相关文档通过聚类和主题总结形成知识单元规划分层目录TOC并生成基于源材料的章节内容最终组装成完整书籍。设计多重受控对照实验为了分离组织结构的影响设置了Split内容相同但章节独立、RandomConcat随机拼接以匹配长度和Rephrase仅局部重写无全局规划三种对照组与完整的Full设置进行对比。实施严格的质量控制在目录规划阶段引入LLM裁判进行质量过滤剔除结构不合理或偏离主题的规划在生成阶段采用基于检索证据的逐节生成确保内容的事实性和 groundedness。分析总结书本级组织显著提升性能在3B参数MoE模型上使用完整书本结构的Full设置比自然书籍基线平均提升1.09分比内容相同的Split设置提升1.02分证明了文档连续性的重要性。结构化合成优于局部重写Full设置在28个基准测试中有25项优于Rephrase设置提升1.17分表明全局的聚类、目录规划和书籍组装带来的增益远超单纯的文本润色。跨架构验证有效性在Llama3-8B模型上的迁移实验显示Full设置同样优于随机拼接和自然书籍证实了书本级组织作为一种数据设计维度的通用有效性。组件消融揭示互补作用检索 grounding 主要提升具体性和事实准确性而基于聚类的目录规划则显著改善结构和受众适配度两者结合才能产生高质量的长文本数据。个人观点论文突破了以往合成数据研究仅关注内容质量或局部风格的局限提出的检索增强与层次化规划相结合的流水线不仅解决了长文本生成的幻觉问题更通过保留语义连贯性优化了模型的注意力机制学习。
