1. 从上百篇谜题题解里发现的“教学素材”共性我平时有两件看起来不太搭边的事写谜题题解和折腾便宜LLM。谜题题解我写了上百篇每篇都在做同一件事——把一道题从拿到手、列线索、立假设、推几步、撞墙、换假设到最终豁然开朗的完整过程原原本本记录下来。便宜LLM则是那些7B、8B级别的小模型比如Qwen2.5-7B、Llama-3.1-8B一张消费级显卡就能跑起来走API的话价格低到可以忽略不计。有一天我写完一篇密码锁类题目的题解顺手把开头的“线索整理”和中间的“假设验证”两段贴给一个便宜模型问它能不能照着这个思路去解一道类似的新题。结果它做对了而我之前直接问它同一道题时它明明是错的。就这么一个偶然的小测试让我认真追问了标题里那句话Can My Puzzle Write-Ups Lift Cheap LLMs题解文本能不能把廉价模型的推理成绩实实在在地抬高一段如果能怎么抬最有效这两个追问背后的直觉其实和我们常说的“像教学生一样教LLM”是同一件事。我写题解的时候面对的读者是人类所以我必须把每一步为什么要这样走、验证为什么失败讲清楚这正好对应人类教学里经过精心批注的“示范例题”worked example。教育心理学里有一大批研究证明示范例题对学习迁移的作用远大于单纯刷题尤其是对新手。小模型某种程度上就是推理新手给它一堆答案不如给它几条带完整推理过程的示范。再加上最近被反复讨论的“结构感知的知识注入”——这里的“知识”不仅指事实更指一种解题的程序性结构线索怎么分解、假设怎么生成、冲突怎么回溯。谜题题解恰好是这种程序性结构最密集的文本体裁。于是我就设计了一组实验覆盖三条注入路线、四类推理任务断断续续跑了一个多月。这篇文章就是完整的实验记录包括数据怎么准备、提示词长什么样、微调样本怎么造、哪些做法翻车了以及最后总结出的几条可复用经验。如果你手里也有一批写得很细的文档不管谜题、代码复盘还是故障处理报告这套方法论应该都能平移过去。2. 三条注入路线上下文灌、LoRA微调、结构感知检索先把话说在前面我为什么同时试三条路线。市面上给模型灌知识的常见做法无非三种塞进上下文、微调进权重、检索后动态注入。它们成本不同见效方式也不同盲目选一种很容易被某个阶段的假象骗过去。把谜题解析分别用这三种方式处理横向对比才有说服力。2.1 路线A把题解当few-shot示例直接塞进上下文最朴素的做法也是我那次偶然测试的正式版。我定义了一个统一的“题解块”结构无论什么谜题都拆成五个部分[线索清单] - 规则1... - 规则2... [假设] - 先假设A成立因为... [推理链] 1. 若A成立则... 2. 结合规则2可知... 3. 此时出现矛盾因为... [回溯] - 排除A改设B得到... [结论与反思] - 答案B - 关键启发遇到自相矛盾时优先回头检查最近的假设而不是硬推下去整个题解块被当作一个few-shot示例放在新问题的前面。第一次对比时我也试过直接把原始博客正文粘进去——标题、段落、甚至“后记”都在效果明显更差。这里有个值得注意的细节不能把“反思”放在“结论”后面就不管了。模型从few-shot里学到的不仅是内容还有顺序。你希望它在推理过程中遇到矛盾时主动回头就需要在示例里把“回溯”单独作为一环并且放在结论之前。顺序对了模型输出时也会先回溯再结论顺序一旦乱掉它就会把反思当成解题步骤写进答案里。2.2 路线B把题解转成训练样本做LoRA微调第二条路线是把题解变成指令微调数据。我选了一条相对轻量的路径在Qwen2.5-7B-Instruct上做LoRA微调rank16alpha32dropout0.05训练3个epoch学习率2e-4。数据格式统一成这样{ instruction: 解出下面的谜题并给出完整推理过程。推理过程按「线索整理、假设、推导、验证、结论」五个步骤组织。, input: 谜题描述..., output: 线索整理...\n假设...\n推导...\n验证...\n结论... }这里最关键的是数据清洗。我最初直接把题解的Markdown拆分后丢进去效果很差因为博客里大量内容属于“写给读者的话”比如“我当时卡在这里很久”这些情绪化叙事对模型来说是纯噪声。后来我写了个脚本只保留五个结构块标题下的正文把叙述性文字全部过滤掉。清洗前后同样是500条样本评测分差出将近10个百分点。这算是我在这个项目里踩得最深的一个坑。提示清洗原始题解时只保留“线索、假设、推理、验证、结论”五个结构块下的正文其余文字一律过滤收益立竿见影。另外数据规模不用贪多。几百条经过认真结构化的样本胜过几千条从网上乱抓的原始题解。便宜模型容量有限塞进去什么它就模仿什么噪声一大等于把教学节奏全打乱了。2.3 路线C结构感知的检索引擎注入第三条路线介于A和B之间平时不加载任何题解遇到问题时先检索最相似的历史题解把检索到的题解按结构块重新切分再用“结构化摘要”的方式注入上下文。具体做法是把所有题解按[线索清单][假设][推理链][回溯][结论与反思]切成块每块做embedding查询时按当前任务的类型标签比如“回溯类”“传递推理类”“约束冲突类”加权召回。召回后不是把整篇原始文本丢进去而是把多个题解的“同结构块”合并——比如只合并所有“回溯”块再连同新问题一起拼进上下文。这样做的动机来自一个观察不同谜题的具体线索千差万别但“冲突发生时怎么处理”这类策略块却高度相似。按结构聚合检索相当于给人手一套分题型错题本而不是把一整本习题集甩过去让它自己翻。2.4 为什么“结构感知”值得单独拿出来强调三条路线有个共同内核保留题解的内在结构而不是把内容当纯文本对待。我对比过同样一批题解一份用普通段落拼接一份用上面五个结构块加标签组织其他条件完全一致。在约束求解任务上结构化版本比非结构化版本高出9到16个百分点。原因我倾向于这样解释小模型本身组织长文本的能力弱给它一堵墙式的文字它很难判断哪些是前提、哪些是推导、哪些是结论。结构标签相当于给每个句子贴上了功能身份模型在做注意力加权的时候能被引导去关注“推理链”和“回溯”这两个高信息量区域而不是平均用力。这和我们看书先看目录、看题先找“已知条件”是一个道理。3. 评测方案我不关心“答对率”我更关心“推理是否可迁移”如果只拿“答对率”来衡量实验很容易被记忆效应骗过去——模型可能见过近似题直接背出答案这跟推理能力的提升是两码事。所以评测方案被我拆成三块任务集、指标集、控制组配置。3.1 四类推理任务每个任务都特意做成了和谜题相似的结构但保证具体内容不在我的题解库里这样测的才是迁移能力而不是记忆。任务类别样本数典型特征对应谜题能力逻辑链追踪405到8步的传递推理结论藏在中间线索串联多步算术应用题40两步以上的列式与交叉检验状态更新约束求解题40多条件冲突需要回溯换假设假设-验证-回溯代码追踪题40跟踪变量在循环里的连续变化分步状态跟踪四类任务都有唯一答案自动判分稳定不依赖人工。3.2 三个指标缺一个都会误判最终正确率答案全对才给分不接受“思路对了结果错”。步骤完整度把模型输出切分成关键步骤集合与标准推理链做覆盖率比对。这个指标专防“碰巧蒙对”。稳定率同一问题温度设为0.7跑5次看正确率方差。便宜模型经常一次对一次错稳定率比单次正确率更能说明“推理路线是否真的建立起来了”。我后来发现稳定率是个特别诚实的指标。有些配置看起来正确率不错但5次里只有2次答对说明模型还在靠运气不是靠程序性的推理路径而真正被结构化题解“教过”的模型答对的次数通常稳定在4次以上。3.3 控制组怎么设为了让“lift”这个结论干净我在同一批基座模型上跑了四组基线组只有通用提示词无任何题解。原始灌入组把完整博客正文塞进上下文。结构化注入组使用路线A的结构块few-shot。微调组使用路线B的LoRA模型推理时不额外给题解。所有组用同一评测脚本、同一温度设置、同一最大生成长度避免变量互相污染。这个设计逼着我接受一个现实想同时比较“内容效果”和“结构效果”就必须把结构做隔离处理。也正是到这一步我才真正理解为什么“结构感知”这个词最近会被反复提及——它不是一个修辞性的概念而是一个可以量化检验的变量。4. 实测结果lift是有的但升得最明显的地方很反直觉结果比我预想的更有意思。整体方向是对的题解确实能“抬”起便宜模型的推理表现但不同路线、不同任务之间的差异大得离谱而且最亮眼的成绩出现在我最没押注的地方。4.1 我自己小样本上的成绩单先给总表。样本量不大纯属个人实验看趋势就好别抠绝对数值路线逻辑链追踪多步算术约束求解代码追踪基线组52%46%38%40%原始灌入组56%48%45%42%结构化注入组68%52%61%49%LoRA微调组72%55%66%53%每一列从基线到微调组几乎都是单调上升这让我确认了一件事谜题题解作为教学素材价值是真的不是偶然波动。结构化注入组的收益整体高于原始灌入组——同内容不同结构差了5到16个百分点结构的力量比我预想的大得多。4.2 收益最大的不是“更难”的任务而是“更结构化”的任务我原以为多步算术会受益最多毕竟题解里的“推理链”和算术最像结果涨幅最大的是约束求解从38%到61%直接升了23个百分点。事后想想其实合理约束求解题和谜题的结构同构度最高——都有多条件冲突、都有“行不通就回头换假设”的回溯机制。题解里的“回溯”块对这类任务的指导作用最直接。而多步算术只涨了6到9个百分点。原因我也大致猜到了算术题的难在数值运算的精确性便宜模型经常是“步骤全对最后一位算错”题解教的推理框架救不了计算精度。这说明题解这类素材lift的是推理程序不是算术引擎。4.3 翻车案例模型把“反思块”当成了标准答案最有教育意义的是失败案例。我有一条约束求解题标准答案是“D”题解里的“结论与反思”部分写的是“答案是D。关键启发是当两个约束互相打架时优先怀疑最后加入的那个假设。”结果LoRA微调后的模型在回答一道全新题时输出变成了“答案是需要反思当两个约束互相打架时……”——它直接把整段反思当成答案复述了出来。注意如果模型输出里出现大段复述题解原文的情况优先检查结构标签是否把“结论”和“反思”安排得太近、边界是否清晰。这个现象很典型便宜模型对“哪一部分才是最终答案”的判断能力弱微调数据里如果“反思”和“结论”靠得太近它就分不清边界。修复方法很简单我把训练样本里的“结论”提到“反思”前面并在结论行用“最终答案”做明确标记。改完再测这类复述式错误基本消失。这个坑值得所有想拿题解类文本去喂模型的人记一笔结构标签不是给模型赏心悦目的是帮它画清功能边界的。边界模糊一点输出就乱一大截。4.4 微调路线的“得与失”LoRA微调组总分最高但我不建议所有人无脑选这条路线。它的代价在另外两个地方一是脆模型在我写过的谜题风格高度相似的题目上表现很好一旦题型漂移比如从文字谜题变成图表题掉分速度比结构化注入组快得多二是样本一致性要求高只要训练集里混入几条没清洗干净的博客文字所有指标都会往下拖。结构化注入组虽然总分略低但部署几乎零成本改提示词就行而且方便随时替换题解库。完整跑完这一轮之后我在实际工作里常驻的反而是路线C微调版只在固定领域场景下使用。5. 把便宜模型当学生带四条真正起作用的“教学法”跑完上面三轮对比我最大的收获已经不是“哪个路线分高”而是“把模型当学生教”这套类比竟然能推导出几条可迁移的操作经验。下面这四条是我在后续迭代中反复验证过的按有效性排序。5.1 课程顺序比内容本身更能决定迁移效果我一开始微调时把所有题解随机打乱喂进去效果平平。后来改成按难度递进排列先放单线索、单假设的简单题再放需要一次回溯的题最后放多线索纠缠的难题。同样数据量、同样超参迁移正确率凭空涨了5到7个百分点。这和人类学习里的“脚手架”逻辑是一样的新手需要先建立最基本的解题程序再在简单程序上叠加“回溯”这类更高级的操作。模型虽然在训练时看的是全批数据但训练过程中的loss下降轨迹受数据顺序影响尽早接触高难度样本容易让模型学成“跳过步骤直接猜答案”的坏习惯。5.2 逼模型“自我解释”比只给推理链更管用我对比过两种输出格式一种只写“第1步、第2步”的干巴推理链另一种在每个关键步骤后加一句“这一步为什么成立因为它排除了X、确认了Y”。后者在步骤完整度和稳定率上全面胜出。原因倒不神秘谜题的每一步推导都依赖上一步成立模型需要学会“为自己的每一步找依据”。当题解示例里包含自我解释的时候模型输出的推理链会更自洽因为它模仿的不仅是步骤还有步骤之间的论证关系。这条经验后来也被我平移到了所有非谜题领域的prompt设计里效果同样明显。5.3 评测错误的反馈循环让题解库“活”起来静态的题解库用几次就不涨分了。我在每一轮评测后都做错误分析把模型答错的题目找出来看是哪一步断的是线索没整理全回溯太早放弃还是结论格式错了然后针对性地补一道结构完全相同的新题解加进注入库或训练集。这相当于把“批改作业”的环节搬了进来。人类学生做完题需要老师讲评模型评测完也需要“讲师”把缺口补上。这一条给我带来的收益很大第二轮补完回溯类样本后约束求解任务又涨了6个百分点。5.4 千万别让“结论”和“反思”抢同一个生态位这条在前面翻车案例里已经具体讲过这里只给操作建议在题解格式里固定信息层级结论是结论、反思是反思中间用明确分隔符隔开并且让结论成为唯一答案出口。模型是无比诚实的模仿者你给的样本里“答案”出现在什么位置它就会倾向于在那个位置输出答案。格式设计不是排版问题是教学内容的边界管理问题。6. 成本账、能力边界和下一轮想做的事最后交代一下现实层面这条路到底多贵、能走到哪、我接下来打算做什么。给打算复现的朋友省点试错时间。6.1 三种路线的成本对比路线主要成本我的实测参考适用规模上下文注入token费、上下文长度几乎可忽略受窗口限制最多2-3个题解块结构感知检索建embedding库加检索半天搭建之后接近纯推理成本题解库可无限扩容LoRA微调GPU时长加数据清洗7B模型消费级显卡约一整晚A100约2-3小时数据控制在几百到一千条如果只是验证想法强烈建议先走结构化注入如果已经有固定领域场景再上LoRA。一上来就微调试错成本太高而且容易把精力浪费在跟推理无关的数据工程上。6.2 便宜模型能被“lift”到什么程度我看到的上限大概是这样题解能把推理程序的规范性和稳定性提上来但补不了模型底层的知识缺口和数值计算弱点。结构感知注入本质上是给模型装了一套“解题习惯”解决的是“会做但做不对”里的“做不对”不解决“完全不会”里的“不会”。想清楚这个边界很重要。我在后续测试里试过拿题解去教模型解它完全不熟悉的学科题几乎无效但拿题解去教它把已经知道的知识按步骤组织起来效果立竿见影。所以挑选注入对象时标准应该是“这个模型是否具备碎片化知识、但缺乏组织能力”而不是“它是否一无所知”。6.3 下一轮计划题解库产品化与评测harness我现在已经积累了几百条按统一结构清洗过的谜题题解下一步准备做两件事一是把这批数据整理成开放的任务格式instruction-input-output三元组顺带把“线索/假设/推理/验证/结论”的标签体系固化下来方便大家直接用二是把这轮评测用的脚本整理成一个小harness指标就是上面说的正确率、步骤完整度、稳定率这三件套。之所以想做这两个基础设施是因为我发现这个方向上“数据质量”比“模型大小”更稀缺。网上好的谜题和题解非常多但能被模型直接利用的、带清晰结构的少得可怜。稍微花点功夫做结构清洗收益可能比直接换更大的模型更明显。写这篇记录的时候我又回看了最初那个偶然测试我随手把两段题解贴给一个7B模型它答对了原本答错的新题。一个月过去我能确认的不只是“Can”这个问题的答案是Yes而是一个更麻烦但更有价值的结论——怎么教比教什么更重要。题解内容本身是糖结构化的组织方式才是把糖送进大脑的那套消化系统。如果你手里也有一批写得很细的文档不管谜题、代码复盘还是故障处理报告我建议先拿一小批按“线索-假设-推导-验证-反思”五段式洗一遍试试喂给一个便宜模型做同领域任务。我打赌你会看到和我类似的惊喜顺便也会撞上几个我一模一样踩过的坑。
1. 从上百篇谜题题解里发现的“教学素材”共性我平时有两件看起来不太搭边的事写谜题题解和折腾便宜LLM。谜题题解我写了上百篇每篇都在做同一件事——把一道题从拿到手、列线索、立假设、推几步、撞墙、换假设到最终豁然开朗的完整过程原原本本记录下来。便宜LLM则是那些7B、8B级别的小模型比如Qwen2.5-7B、Llama-3.1-8B一张消费级显卡就能跑起来走API的话价格低到可以忽略不计。有一天我写完一篇密码锁类题目的题解顺手把开头的“线索整理”和中间的“假设验证”两段贴给一个便宜模型问它能不能照着这个思路去解一道类似的新题。结果它做对了而我之前直接问它同一道题时它明明是错的。就这么一个偶然的小测试让我认真追问了标题里那句话Can My Puzzle Write-Ups Lift Cheap LLMs题解文本能不能把廉价模型的推理成绩实实在在地抬高一段如果能怎么抬最有效这两个追问背后的直觉其实和我们常说的“像教学生一样教LLM”是同一件事。我写题解的时候面对的读者是人类所以我必须把每一步为什么要这样走、验证为什么失败讲清楚这正好对应人类教学里经过精心批注的“示范例题”worked example。教育心理学里有一大批研究证明示范例题对学习迁移的作用远大于单纯刷题尤其是对新手。小模型某种程度上就是推理新手给它一堆答案不如给它几条带完整推理过程的示范。再加上最近被反复讨论的“结构感知的知识注入”——这里的“知识”不仅指事实更指一种解题的程序性结构线索怎么分解、假设怎么生成、冲突怎么回溯。谜题题解恰好是这种程序性结构最密集的文本体裁。于是我就设计了一组实验覆盖三条注入路线、四类推理任务断断续续跑了一个多月。这篇文章就是完整的实验记录包括数据怎么准备、提示词长什么样、微调样本怎么造、哪些做法翻车了以及最后总结出的几条可复用经验。如果你手里也有一批写得很细的文档不管谜题、代码复盘还是故障处理报告这套方法论应该都能平移过去。2. 三条注入路线上下文灌、LoRA微调、结构感知检索先把话说在前面我为什么同时试三条路线。市面上给模型灌知识的常见做法无非三种塞进上下文、微调进权重、检索后动态注入。它们成本不同见效方式也不同盲目选一种很容易被某个阶段的假象骗过去。把谜题解析分别用这三种方式处理横向对比才有说服力。2.1 路线A把题解当few-shot示例直接塞进上下文最朴素的做法也是我那次偶然测试的正式版。我定义了一个统一的“题解块”结构无论什么谜题都拆成五个部分[线索清单] - 规则1... - 规则2... [假设] - 先假设A成立因为... [推理链] 1. 若A成立则... 2. 结合规则2可知... 3. 此时出现矛盾因为... [回溯] - 排除A改设B得到... [结论与反思] - 答案B - 关键启发遇到自相矛盾时优先回头检查最近的假设而不是硬推下去整个题解块被当作一个few-shot示例放在新问题的前面。第一次对比时我也试过直接把原始博客正文粘进去——标题、段落、甚至“后记”都在效果明显更差。这里有个值得注意的细节不能把“反思”放在“结论”后面就不管了。模型从few-shot里学到的不仅是内容还有顺序。你希望它在推理过程中遇到矛盾时主动回头就需要在示例里把“回溯”单独作为一环并且放在结论之前。顺序对了模型输出时也会先回溯再结论顺序一旦乱掉它就会把反思当成解题步骤写进答案里。2.2 路线B把题解转成训练样本做LoRA微调第二条路线是把题解变成指令微调数据。我选了一条相对轻量的路径在Qwen2.5-7B-Instruct上做LoRA微调rank16alpha32dropout0.05训练3个epoch学习率2e-4。数据格式统一成这样{ instruction: 解出下面的谜题并给出完整推理过程。推理过程按「线索整理、假设、推导、验证、结论」五个步骤组织。, input: 谜题描述..., output: 线索整理...\n假设...\n推导...\n验证...\n结论... }这里最关键的是数据清洗。我最初直接把题解的Markdown拆分后丢进去效果很差因为博客里大量内容属于“写给读者的话”比如“我当时卡在这里很久”这些情绪化叙事对模型来说是纯噪声。后来我写了个脚本只保留五个结构块标题下的正文把叙述性文字全部过滤掉。清洗前后同样是500条样本评测分差出将近10个百分点。这算是我在这个项目里踩得最深的一个坑。提示清洗原始题解时只保留“线索、假设、推理、验证、结论”五个结构块下的正文其余文字一律过滤收益立竿见影。另外数据规模不用贪多。几百条经过认真结构化的样本胜过几千条从网上乱抓的原始题解。便宜模型容量有限塞进去什么它就模仿什么噪声一大等于把教学节奏全打乱了。2.3 路线C结构感知的检索引擎注入第三条路线介于A和B之间平时不加载任何题解遇到问题时先检索最相似的历史题解把检索到的题解按结构块重新切分再用“结构化摘要”的方式注入上下文。具体做法是把所有题解按[线索清单][假设][推理链][回溯][结论与反思]切成块每块做embedding查询时按当前任务的类型标签比如“回溯类”“传递推理类”“约束冲突类”加权召回。召回后不是把整篇原始文本丢进去而是把多个题解的“同结构块”合并——比如只合并所有“回溯”块再连同新问题一起拼进上下文。这样做的动机来自一个观察不同谜题的具体线索千差万别但“冲突发生时怎么处理”这类策略块却高度相似。按结构聚合检索相当于给人手一套分题型错题本而不是把一整本习题集甩过去让它自己翻。2.4 为什么“结构感知”值得单独拿出来强调三条路线有个共同内核保留题解的内在结构而不是把内容当纯文本对待。我对比过同样一批题解一份用普通段落拼接一份用上面五个结构块加标签组织其他条件完全一致。在约束求解任务上结构化版本比非结构化版本高出9到16个百分点。原因我倾向于这样解释小模型本身组织长文本的能力弱给它一堵墙式的文字它很难判断哪些是前提、哪些是推导、哪些是结论。结构标签相当于给每个句子贴上了功能身份模型在做注意力加权的时候能被引导去关注“推理链”和“回溯”这两个高信息量区域而不是平均用力。这和我们看书先看目录、看题先找“已知条件”是一个道理。3. 评测方案我不关心“答对率”我更关心“推理是否可迁移”如果只拿“答对率”来衡量实验很容易被记忆效应骗过去——模型可能见过近似题直接背出答案这跟推理能力的提升是两码事。所以评测方案被我拆成三块任务集、指标集、控制组配置。3.1 四类推理任务每个任务都特意做成了和谜题相似的结构但保证具体内容不在我的题解库里这样测的才是迁移能力而不是记忆。任务类别样本数典型特征对应谜题能力逻辑链追踪405到8步的传递推理结论藏在中间线索串联多步算术应用题40两步以上的列式与交叉检验状态更新约束求解题40多条件冲突需要回溯换假设假设-验证-回溯代码追踪题40跟踪变量在循环里的连续变化分步状态跟踪四类任务都有唯一答案自动判分稳定不依赖人工。3.2 三个指标缺一个都会误判最终正确率答案全对才给分不接受“思路对了结果错”。步骤完整度把模型输出切分成关键步骤集合与标准推理链做覆盖率比对。这个指标专防“碰巧蒙对”。稳定率同一问题温度设为0.7跑5次看正确率方差。便宜模型经常一次对一次错稳定率比单次正确率更能说明“推理路线是否真的建立起来了”。我后来发现稳定率是个特别诚实的指标。有些配置看起来正确率不错但5次里只有2次答对说明模型还在靠运气不是靠程序性的推理路径而真正被结构化题解“教过”的模型答对的次数通常稳定在4次以上。3.3 控制组怎么设为了让“lift”这个结论干净我在同一批基座模型上跑了四组基线组只有通用提示词无任何题解。原始灌入组把完整博客正文塞进上下文。结构化注入组使用路线A的结构块few-shot。微调组使用路线B的LoRA模型推理时不额外给题解。所有组用同一评测脚本、同一温度设置、同一最大生成长度避免变量互相污染。这个设计逼着我接受一个现实想同时比较“内容效果”和“结构效果”就必须把结构做隔离处理。也正是到这一步我才真正理解为什么“结构感知”这个词最近会被反复提及——它不是一个修辞性的概念而是一个可以量化检验的变量。4. 实测结果lift是有的但升得最明显的地方很反直觉结果比我预想的更有意思。整体方向是对的题解确实能“抬”起便宜模型的推理表现但不同路线、不同任务之间的差异大得离谱而且最亮眼的成绩出现在我最没押注的地方。4.1 我自己小样本上的成绩单先给总表。样本量不大纯属个人实验看趋势就好别抠绝对数值路线逻辑链追踪多步算术约束求解代码追踪基线组52%46%38%40%原始灌入组56%48%45%42%结构化注入组68%52%61%49%LoRA微调组72%55%66%53%每一列从基线到微调组几乎都是单调上升这让我确认了一件事谜题题解作为教学素材价值是真的不是偶然波动。结构化注入组的收益整体高于原始灌入组——同内容不同结构差了5到16个百分点结构的力量比我预想的大得多。4.2 收益最大的不是“更难”的任务而是“更结构化”的任务我原以为多步算术会受益最多毕竟题解里的“推理链”和算术最像结果涨幅最大的是约束求解从38%到61%直接升了23个百分点。事后想想其实合理约束求解题和谜题的结构同构度最高——都有多条件冲突、都有“行不通就回头换假设”的回溯机制。题解里的“回溯”块对这类任务的指导作用最直接。而多步算术只涨了6到9个百分点。原因我也大致猜到了算术题的难在数值运算的精确性便宜模型经常是“步骤全对最后一位算错”题解教的推理框架救不了计算精度。这说明题解这类素材lift的是推理程序不是算术引擎。4.3 翻车案例模型把“反思块”当成了标准答案最有教育意义的是失败案例。我有一条约束求解题标准答案是“D”题解里的“结论与反思”部分写的是“答案是D。关键启发是当两个约束互相打架时优先怀疑最后加入的那个假设。”结果LoRA微调后的模型在回答一道全新题时输出变成了“答案是需要反思当两个约束互相打架时……”——它直接把整段反思当成答案复述了出来。注意如果模型输出里出现大段复述题解原文的情况优先检查结构标签是否把“结论”和“反思”安排得太近、边界是否清晰。这个现象很典型便宜模型对“哪一部分才是最终答案”的判断能力弱微调数据里如果“反思”和“结论”靠得太近它就分不清边界。修复方法很简单我把训练样本里的“结论”提到“反思”前面并在结论行用“最终答案”做明确标记。改完再测这类复述式错误基本消失。这个坑值得所有想拿题解类文本去喂模型的人记一笔结构标签不是给模型赏心悦目的是帮它画清功能边界的。边界模糊一点输出就乱一大截。4.4 微调路线的“得与失”LoRA微调组总分最高但我不建议所有人无脑选这条路线。它的代价在另外两个地方一是脆模型在我写过的谜题风格高度相似的题目上表现很好一旦题型漂移比如从文字谜题变成图表题掉分速度比结构化注入组快得多二是样本一致性要求高只要训练集里混入几条没清洗干净的博客文字所有指标都会往下拖。结构化注入组虽然总分略低但部署几乎零成本改提示词就行而且方便随时替换题解库。完整跑完这一轮之后我在实际工作里常驻的反而是路线C微调版只在固定领域场景下使用。5. 把便宜模型当学生带四条真正起作用的“教学法”跑完上面三轮对比我最大的收获已经不是“哪个路线分高”而是“把模型当学生教”这套类比竟然能推导出几条可迁移的操作经验。下面这四条是我在后续迭代中反复验证过的按有效性排序。5.1 课程顺序比内容本身更能决定迁移效果我一开始微调时把所有题解随机打乱喂进去效果平平。后来改成按难度递进排列先放单线索、单假设的简单题再放需要一次回溯的题最后放多线索纠缠的难题。同样数据量、同样超参迁移正确率凭空涨了5到7个百分点。这和人类学习里的“脚手架”逻辑是一样的新手需要先建立最基本的解题程序再在简单程序上叠加“回溯”这类更高级的操作。模型虽然在训练时看的是全批数据但训练过程中的loss下降轨迹受数据顺序影响尽早接触高难度样本容易让模型学成“跳过步骤直接猜答案”的坏习惯。5.2 逼模型“自我解释”比只给推理链更管用我对比过两种输出格式一种只写“第1步、第2步”的干巴推理链另一种在每个关键步骤后加一句“这一步为什么成立因为它排除了X、确认了Y”。后者在步骤完整度和稳定率上全面胜出。原因倒不神秘谜题的每一步推导都依赖上一步成立模型需要学会“为自己的每一步找依据”。当题解示例里包含自我解释的时候模型输出的推理链会更自洽因为它模仿的不仅是步骤还有步骤之间的论证关系。这条经验后来也被我平移到了所有非谜题领域的prompt设计里效果同样明显。5.3 评测错误的反馈循环让题解库“活”起来静态的题解库用几次就不涨分了。我在每一轮评测后都做错误分析把模型答错的题目找出来看是哪一步断的是线索没整理全回溯太早放弃还是结论格式错了然后针对性地补一道结构完全相同的新题解加进注入库或训练集。这相当于把“批改作业”的环节搬了进来。人类学生做完题需要老师讲评模型评测完也需要“讲师”把缺口补上。这一条给我带来的收益很大第二轮补完回溯类样本后约束求解任务又涨了6个百分点。5.4 千万别让“结论”和“反思”抢同一个生态位这条在前面翻车案例里已经具体讲过这里只给操作建议在题解格式里固定信息层级结论是结论、反思是反思中间用明确分隔符隔开并且让结论成为唯一答案出口。模型是无比诚实的模仿者你给的样本里“答案”出现在什么位置它就会倾向于在那个位置输出答案。格式设计不是排版问题是教学内容的边界管理问题。6. 成本账、能力边界和下一轮想做的事最后交代一下现实层面这条路到底多贵、能走到哪、我接下来打算做什么。给打算复现的朋友省点试错时间。6.1 三种路线的成本对比路线主要成本我的实测参考适用规模上下文注入token费、上下文长度几乎可忽略受窗口限制最多2-3个题解块结构感知检索建embedding库加检索半天搭建之后接近纯推理成本题解库可无限扩容LoRA微调GPU时长加数据清洗7B模型消费级显卡约一整晚A100约2-3小时数据控制在几百到一千条如果只是验证想法强烈建议先走结构化注入如果已经有固定领域场景再上LoRA。一上来就微调试错成本太高而且容易把精力浪费在跟推理无关的数据工程上。6.2 便宜模型能被“lift”到什么程度我看到的上限大概是这样题解能把推理程序的规范性和稳定性提上来但补不了模型底层的知识缺口和数值计算弱点。结构感知注入本质上是给模型装了一套“解题习惯”解决的是“会做但做不对”里的“做不对”不解决“完全不会”里的“不会”。想清楚这个边界很重要。我在后续测试里试过拿题解去教模型解它完全不熟悉的学科题几乎无效但拿题解去教它把已经知道的知识按步骤组织起来效果立竿见影。所以挑选注入对象时标准应该是“这个模型是否具备碎片化知识、但缺乏组织能力”而不是“它是否一无所知”。6.3 下一轮计划题解库产品化与评测harness我现在已经积累了几百条按统一结构清洗过的谜题题解下一步准备做两件事一是把这批数据整理成开放的任务格式instruction-input-output三元组顺带把“线索/假设/推理/验证/结论”的标签体系固化下来方便大家直接用二是把这轮评测用的脚本整理成一个小harness指标就是上面说的正确率、步骤完整度、稳定率这三件套。之所以想做这两个基础设施是因为我发现这个方向上“数据质量”比“模型大小”更稀缺。网上好的谜题和题解非常多但能被模型直接利用的、带清晰结构的少得可怜。稍微花点功夫做结构清洗收益可能比直接换更大的模型更明显。写这篇记录的时候我又回看了最初那个偶然测试我随手把两段题解贴给一个7B模型它答对了原本答错的新题。一个月过去我能确认的不只是“Can”这个问题的答案是Yes而是一个更麻烦但更有价值的结论——怎么教比教什么更重要。题解内容本身是糖结构化的组织方式才是把糖送进大脑的那套消化系统。如果你手里也有一批写得很细的文档不管谜题、代码复盘还是故障处理报告我建议先拿一小批按“线索-假设-推导-验证-反思”五段式洗一遍试试喂给一个便宜模型做同领域任务。我打赌你会看到和我类似的惊喜顺便也会撞上几个我一模一样踩过的坑。
