1. 当日报变成一种自动化流水线我为什么要做这件事每天早上八点半我端着咖啡坐到工位第一件事不是看邮件而是打开十几个信息源把过去24小时里值得关注的AI动态扫一遍。这个动作我坚持了快两年直到某天我突然意识到我花在收集上的时间已经远远超过了消化的时间。更讽刺的是我收集来的内容里有将近六成是重复的、低质的、或者三天后就被证明毫无价值的噪音。这就是我做AI日报这个自动化项目的起点。它不是什么宏大叙事就是一个被信息过载逼到墙角的从业者决定用工程手段解决自己的信息焦虑。核心目标很朴素每天自动抓取、去重、筛选、摘要、排版最终产出一份可以直接阅读的日报把原来两小时的手工活压缩到十分钟的审阅。这个项目适合几类人参考一是和我一样每天需要跟踪特定领域动态的内容从业者、研究员、产品经理二是想学信息聚合系统搭建的开发者因为这套架构可以平移到任何垂直领域——金融早报、行业周报、竞品监控、舆情简报底层逻辑完全一致三是对自动化内容生产流水线感兴趣的人这里面的去重策略、摘要生成、质量打分都是可以复用的模块。需要提前说明的是我做的不是用大模型一键生成日报这种玩具级方案。真正跑起来之后你会发现难点根本不在生成环节而在信源管理、内容去重、质量过滤这三个脏活累活上。下面我把整套系统的设计思路、踩过的坑、以及最终稳定运行的方案完整拆一遍。2. 信源分层为什么多抓几个源是最危险的想法2.1 信源不是越多越好而是要分层管理我最初的做法很粗暴列了三十多个RSS源和网页全部丢给抓取器。结果第一周就崩了——每天抓回来两千多条原始条目去重后还剩八百条摘要生成跑一次要四十分钟而且里面充斥着大量营销软文、重复转载、以及标题党。后来我重新设计了信源分层模型把源分成三层层级定位数量控制处理策略核心层一手信息源权威且高频5-8个全量抓取优先展示扩展层优质二手解读、深度分析10-15个抓取后按质量分筛选观察层泛领域动态、趋势信号20个以内只保留高热度条目核心层的选择标准很明确信息首发、更新稳定、噪音低。比如某些官方技术博客、头部实验室的发布页、几个我长期跟踪的独立分析者。这些源的特点是它们发出来的东西大概率就是当天真正重要的事。扩展层是那些别人嚼过一遍的内容价值在于视角和解读但重复率高。观察层则是用来捕捉我可能没想到的方向比如某个冷门应用突然火了这种信号往往先出现在泛领域社区里。提示信源分层不是一次性的工作。我每个月会做一次信源体检统计每个源的有效产出率——即最终进入日报的条目数除以抓取总数。低于5%的源要么降级要么直接砍掉。2.2 抓取频率与时间窗口的取舍抓取频率我试过三种方案实时抓取、每小时抓取、每天两次批量抓取。实时抓取的问题是会触发目标站点的频率限制而且对日报这种日更产品来说实时性毫无意义。每小时抓取则会产生大量中间状态去重逻辑要处理同一条目在不同时间被抓到的情况复杂度陡增。最终我选了每天两次批量抓取凌晨两点一次覆盖前一天的全部更新早上七点一次补抓凌晨的突发内容。这个时间窗口的设计逻辑是日报的发布目标是早上九点前所以七点那次抓取必须留出足够的处理时间。两次抓取之间用内容指纹做增量合并避免重复处理。内容指纹我用的是标题归一化加正文前200字符的哈希。标题归一化包括去除标点、统一大小写、去掉常见的重磅独家等前缀词。这个细节很关键因为很多转载会把标题改得面目全非但正文开头往往一致。2.3 抓取器的容错设计抓取环节最容易出问题的不是网络而是页面结构变化。我遇到过好几次目标站点改版导致解析规则全部失效抓回来一堆空数据。我的应对方案是给每个源配置解析规则加健康检查。每次抓取后如果某个源返回的条目数为零或者条目中缺少关键字段比如标题为空、链接格式异常就触发告警并在日报末尾附上本次抓取异常源的提示。这样我能在第一时间发现规则失效而不是等到日报内容明显变少才后知后觉。另外抓取器必须设置超时和重试。我用的策略是单源超时15秒失败重试两次重试间隔指数退避。对于连续三天抓取失败的源自动标记为待检修暂停抓取避免浪费资源。3. 去重日报质量的分水岭3.1 为什么简单的标题去重完全不够用如果你只做标题精确匹配去重那日报里会出现大量同一件事的十种说法。比如某模型发布核心层源发的是官方公告扩展层源发的是XX模型震撼发布观察层源发的是又一巨头入局行业要变天。标题完全不同但说的是同一件事。我一开始用编辑距离做标题相似度阈值设0.8效果一般。因为中文标题的改写空间太大同义词替换、语序调整、加前缀后缀编辑距离很容易被拉低。后来我改成语义去重加实体去重的组合策略。语义去重是把标题和摘要拼接后做向量化计算余弦相似度超过0.85的归为一组。实体去重则是提取标题中的关键实体产品名、机构名、技术术语如果两个条目的核心实体集合重合度超过70%也归为一组。3.2 分组之后的代表条目选择去重不是简单删除而是分组后选代表。一组相似条目里我要选出一条作为代表进入日报其余作为相关报道折叠展示。代表条目的选择规则按优先级排序来源层级优先核心层 扩展层 观察层信息完整度正文长度、是否有明确时间地点人物发布时间越早越好因为首发往往信息最准标题质量避免标题党优先选择陈述性标题这个规则表是我迭代了五六版才定下来的。早期我只看来源层级结果选出来的代表条目经常是官方公告信息准确但可读性差。后来加入信息完整度和标题质量日报的阅读体验明显提升。3.3 跨天去重的处理日报是日更的但新闻不是。一条重要消息可能连续三天都有后续讨论。如果不做跨天去重日报会显得很重复。我的做法是维护一个近七天已发布条目库新抓取的条目先和这个库做一次相似度比对。如果相似度超过0.9说明是同一事件的延续就把它归入持续跟踪板块而不是当作新条目。如果相似度在0.7到0.9之间说明是相关但不同的进展正常展示但在条目末尾标注此前报道的链接。这个机制让日报有了连续性读者能看出一个事件的演进脉络而不是每天都是孤立的信息碎片。4. 质量过滤把噪音挡在摘要生成之前4.1 质量打分的四个维度摘要生成是要消耗算力的如果把八百条原始条目全部丢进去成本高且没必要。所以在摘要之前必须做一轮质量过滤。我设计了一个四维打分模型每个维度0到10分加权求和信息密度正文中有效信息数字、事实、观点的占比。营销软文往往形容词堆砌信息密度极低。来源可信度基于信源分层和历史准确率动态计算。时效性发布时间越接近当前越高分超过48小时的条目大幅降权。独特性与已选条目的差异度避免同一板块内信息重复。权重方面信息密度占35%来源可信度占30%时效性占20%独特性占15%。这个权重是我根据实际效果调的核心逻辑是内容本身的质量比来源更重要因为再权威的源也可能发水文。4.2 低质内容的典型特征与识别跑了一段时间后我总结出几类必须过滤的低质内容第一类是纯标题党标题惊悚但正文空洞通常正文长度不足200字或者正文全是套话。识别方法是计算正文的实词密度低于阈值的直接丢弃。第二类是旧闻重发把几个月前的内容改个日期重新发。识别方法是把正文和近三十天的已处理内容做相似度比对超过0.95的判定为旧闻。第三类是广告软文通篇介绍某个产品多好但没有实质信息。识别方法是检测正文中的营销词汇密度以及是否包含购买链接、优惠码等特征。第四类是情绪化内容只有观点没有论据或者充满攻击性表述。这类内容我选择直接过滤因为日报的定位是信息参考不是观点战场。注意质量过滤的阈值不要设得太激进。我早期把阈值调得很高结果日报每天只剩五六条虽然条条精品但失去了日报的覆盖面意义。后来我把阈值调低保证每天有15到25条再用排序把最重要的放前面效果更好。4.3 人工反馈闭环自动化打分再精细也会有误判。所以我加了一个人工反馈机制每天审阅日报时如果发现某条不该出现或者某条重要内容被漏掉就点一下降权或提权按钮。这些反馈会写入一个调整表影响后续同类条目的打分。这个闭环跑了一个月后质量过滤的准确率明显提升。因为模型学到了我的偏好——比如我对某个细分方向特别关注对某类营销内容特别反感这些偏好很难用规则写死但通过反馈可以慢慢校准。5. 摘要生成不是让模型自由发挥而是给它套上缰绳5.1 摘要的定位信息压缩而非内容创作很多人做自动摘要喜欢让模型自由发挥结果生成的内容要么太长要么加入原文没有的观点。我的原则很明确摘要只做信息压缩不做内容创作。具体来说摘要必须满足三个条件第一只使用原文中出现的事实第二长度控制在80到120字第三必须包含原文的核心实体和关键数字。为了实现这个目标我在提示词里做了严格约束。不是简单地说请总结以下内容而是给出结构化指令提取事件主体、核心动作、关键数据、影响范围然后用陈述句串联。同时明确禁止使用据悉业内人士称这类模糊表述禁止添加原文没有的推测。5.2 分板块的摘要策略日报的内容不是同质的不同板块需要不同的摘要策略。核心动态板块的条目最重要摘要要详细包含背景和影响。我会让模型生成一个主摘要加一个延伸阅读提示主摘要说清楚发生了什么延伸提示告诉读者为什么值得关注。扩展解读板块的条目往往是分析性的摘要要提炼核心观点而不是复述论证过程。这时候我会要求模型输出作者的核心判断是什么依据是什么。趋势信号板块的条目通常比较碎片化摘要要做的是归类——把相似信号合并指出这代表什么方向。这个板块我甚至不逐条摘要而是让模型把当天所有信号聚类后生成一段整体观察。5.3 摘要质量的自动校验生成完摘要后我会跑一个自动校验计算摘要和原文的实体重合度如果低于60%说明摘要可能偏离了原文计算摘要的长度超出范围的要重新生成检测摘要中是否包含原文没有的数字或专有名词如果有直接判定为幻觉丢弃重做。这个校验环节帮我拦下了不少问题。早期模型偶尔会脑补一些数据比如原文说增长了30%摘要写成增长了近三成达到历史新高后半句就是无中生有。有了实体校验和数字校验这类问题基本绝迹。6. 排版与分发让日报真正被读完6.1 信息层级的视觉设计内容再好排版糟糕也没人看。日报的排版我遵循一个原则三秒内让读者知道今天最重要的三件事。具体做法是日报开头有一个今日速览用三到五条一句话摘要把当天最核心的动态列出来。读者如果只有一分钟看完速览就够了。往下是分板块的详细内容每个板块有明确的标题和分隔。再往下是持续跟踪和数据观察等辅助板块。每条条目的排版也有讲究标题加粗来源和发布时间用灰色小字摘要正常字体相关链接折叠。这样读者扫一眼就能判断哪条值得细看。6.2 多端适配的坑我最初只做了网页版后来发现很多人习惯在手机上读于是加了移动端适配。这里踩过一个坑网页版用的表格在手机上会溢出必须改成卡片式布局。另一个坑是图片处理。有些条目配图很大直接嵌入会让日报加载缓慢。我的方案是图片统一压缩到宽度800像素并且加懒加载。对于确实重要的图表单独做一个图表区而不是混在文字里。6.3 分发渠道的选择日报做出来得让人看到。我试过几种分发方式邮件订阅、网页发布、以及推送到内部协作工具。邮件订阅适合深度读者但打开率不稳定。网页发布适合存档和分享但需要读者主动访问。推送到协作工具适合团队场景触达率高但容易被打扰。最终我选了组合方案每天早上九点日报网页版生成同时推送一条简短通知到协作工具附上网页链接。这样既保证了触达又不至于把长内容塞进聊天窗口。对于特别重要的日子我会额外发一封邮件把核心内容直接放在邮件正文里。7. 运行半年后我总结出的几条硬经验7.1 自动化不等于无人化这套系统跑起来之后我每天仍然要花十到十五分钟审阅。这不是系统不够好而是日报的定位决定的——它需要人的判断来把关。自动化负责的是把八百条变成二十条人负责的是这二十条里哪三条最重要。我见过一些人追求全自动结果日报质量忽高忽低读者很快就流失了。我的建议是把自动化定位成副驾驶而不是自动驾驶。人机结合才是可持续的方案。7.2 信源质量决定日报上限技术再优化如果信源本身质量差日报也好不到哪去。我花在信源筛选和体检上的时间比花在代码上的时间还多。每个月砍掉几个低效源补充几个新发现的优质源这个动作不能停。判断一个源是否值得保留我只看一个指标它过去一个月贡献了多少条最终进入日报的内容。如果连续两个月贡献为零不管它名气多大一律砍掉。7.3 摘要的人味来自约束而非自由很多人觉得让模型自由发挥摘要会更自然。我的实测结论恰恰相反约束越明确摘要越像人写的。因为人写摘要时脑子里是有结构的——先说什么事再说谁做的最后说有什么影响。模型自由发挥时反而容易跑偏加入无关信息或者遗漏关键点。所以我的提示词里结构约束占了很大篇幅。这些约束不是限制模型的能力而是给它一个写作框架让它在这个框架里发挥语言组织能力。7.4 日报的价值在于持续而非单期单期日报做得再漂亮如果三天打鱼两天晒网读者也不会养成阅读习惯。我坚持日更半年最大的收获不是技术上的而是读者信任的积累。当读者知道每天早上九点一定能看到一份稳定的日报时它就成了他们工作流的一部分。为了保障持续性我把整个流水线做成了故障可恢复的。任何环节出错都有降级方案抓取失败就用缓存摘要失败就用原文截断排版失败就发纯文本。宁可内容糙一点也不能断更。7.5 成本控制是长期运行的前提这套系统每天要调用模型做摘要和打分如果无节制地跑成本会很高。我的控制策略是质量过滤前置只对通过筛选的条目做摘要。这样每天实际调用模型的条目数从八百降到二十左右成本降低了97%。另外摘要生成我用的是小模型因为摘要任务相对简单小模型完全够用。质量打分用规则加轻量模型避免大材小用。只有在做趋势聚类这种复杂任务时才调用大模型。分层用模型是控制成本的关键。8. 如果你想复刻这套系统从哪开始8.1 最小可行版本的三天计划如果你不想一上来就搞复杂我建议先用三天做一个最小可行版本。第一天选三个核心信源写一个最简单的抓取脚本把标题和链接存到本地文件。不用考虑去重和摘要先跑通抓取这个动作。第二天加一个基于标题的简单去重再加一个按来源分组的展示。这时候你已经能看到一份粗糙但可读的列表了。第三天接入模型做摘要只对前十条做验证效果。如果摘要质量可以接受再逐步扩大范围。这个路径的好处是每一步都有可见产出不会因为一开始就追求完美而卡住。8.2 最容易卡住的三个点根据我的经验新手最容易在三个地方卡住。第一个是抓取规则。不同网站的页面结构差异很大写通用抓取器很难。我的建议是先用现成的抓取库针对每个源单独配置规则不要试图用一个规则打天下。第二个是去重阈值。阈值设高了重复内容漏网设低了不同内容被误合并。我的经验是先用0.85作为语义相似度阈值跑一周后根据实际效果微调。第三个是摘要提示词。这个需要反复迭代我改了十几版才稳定。建议每次只改一个变量观察效果变化不要一次改太多。8.3 可以复用的模块清单这套系统里有几个模块是高度可复用的换一个垂直领域基本不用大改信源分层管理模块改一下源列表就能用内容指纹与去重模块逻辑通用质量打分模块调整权重即可适配新领域摘要生成与校验模块改提示词模板排版与分发模块换主题样式真正需要重写的只有抓取规则和领域相关的实体词典。所以如果你想把日报扩展到新领域工作量比想象中小。9. 关于日报这件事我最后想说的做这个项目最大的收获不是技术上的而是对信息本身的重新理解。以前我觉得信息越多越好现在我知道信息的价值不在于数量而在于信噪比。一份好的日报不是把全世界的事都告诉你而是帮你过滤掉那些不重要的事让你把注意力留给真正值得关注的东西。这套系统我还在持续迭代最近在尝试的是个性化排序——根据读者的阅读行为动态调整条目的展示顺序。这个方向还在实验阶段等跑稳了再单独写一篇拆解。如果你也在做类似的信息聚合项目欢迎交流。这个领域没有标准答案每个人的信源、偏好、场景都不同但底层的工程思路是相通的。把脏活累活做扎实剩下的交给时间。
1. 当日报变成一种自动化流水线我为什么要做这件事每天早上八点半我端着咖啡坐到工位第一件事不是看邮件而是打开十几个信息源把过去24小时里值得关注的AI动态扫一遍。这个动作我坚持了快两年直到某天我突然意识到我花在收集上的时间已经远远超过了消化的时间。更讽刺的是我收集来的内容里有将近六成是重复的、低质的、或者三天后就被证明毫无价值的噪音。这就是我做AI日报这个自动化项目的起点。它不是什么宏大叙事就是一个被信息过载逼到墙角的从业者决定用工程手段解决自己的信息焦虑。核心目标很朴素每天自动抓取、去重、筛选、摘要、排版最终产出一份可以直接阅读的日报把原来两小时的手工活压缩到十分钟的审阅。这个项目适合几类人参考一是和我一样每天需要跟踪特定领域动态的内容从业者、研究员、产品经理二是想学信息聚合系统搭建的开发者因为这套架构可以平移到任何垂直领域——金融早报、行业周报、竞品监控、舆情简报底层逻辑完全一致三是对自动化内容生产流水线感兴趣的人这里面的去重策略、摘要生成、质量打分都是可以复用的模块。需要提前说明的是我做的不是用大模型一键生成日报这种玩具级方案。真正跑起来之后你会发现难点根本不在生成环节而在信源管理、内容去重、质量过滤这三个脏活累活上。下面我把整套系统的设计思路、踩过的坑、以及最终稳定运行的方案完整拆一遍。2. 信源分层为什么多抓几个源是最危险的想法2.1 信源不是越多越好而是要分层管理我最初的做法很粗暴列了三十多个RSS源和网页全部丢给抓取器。结果第一周就崩了——每天抓回来两千多条原始条目去重后还剩八百条摘要生成跑一次要四十分钟而且里面充斥着大量营销软文、重复转载、以及标题党。后来我重新设计了信源分层模型把源分成三层层级定位数量控制处理策略核心层一手信息源权威且高频5-8个全量抓取优先展示扩展层优质二手解读、深度分析10-15个抓取后按质量分筛选观察层泛领域动态、趋势信号20个以内只保留高热度条目核心层的选择标准很明确信息首发、更新稳定、噪音低。比如某些官方技术博客、头部实验室的发布页、几个我长期跟踪的独立分析者。这些源的特点是它们发出来的东西大概率就是当天真正重要的事。扩展层是那些别人嚼过一遍的内容价值在于视角和解读但重复率高。观察层则是用来捕捉我可能没想到的方向比如某个冷门应用突然火了这种信号往往先出现在泛领域社区里。提示信源分层不是一次性的工作。我每个月会做一次信源体检统计每个源的有效产出率——即最终进入日报的条目数除以抓取总数。低于5%的源要么降级要么直接砍掉。2.2 抓取频率与时间窗口的取舍抓取频率我试过三种方案实时抓取、每小时抓取、每天两次批量抓取。实时抓取的问题是会触发目标站点的频率限制而且对日报这种日更产品来说实时性毫无意义。每小时抓取则会产生大量中间状态去重逻辑要处理同一条目在不同时间被抓到的情况复杂度陡增。最终我选了每天两次批量抓取凌晨两点一次覆盖前一天的全部更新早上七点一次补抓凌晨的突发内容。这个时间窗口的设计逻辑是日报的发布目标是早上九点前所以七点那次抓取必须留出足够的处理时间。两次抓取之间用内容指纹做增量合并避免重复处理。内容指纹我用的是标题归一化加正文前200字符的哈希。标题归一化包括去除标点、统一大小写、去掉常见的重磅独家等前缀词。这个细节很关键因为很多转载会把标题改得面目全非但正文开头往往一致。2.3 抓取器的容错设计抓取环节最容易出问题的不是网络而是页面结构变化。我遇到过好几次目标站点改版导致解析规则全部失效抓回来一堆空数据。我的应对方案是给每个源配置解析规则加健康检查。每次抓取后如果某个源返回的条目数为零或者条目中缺少关键字段比如标题为空、链接格式异常就触发告警并在日报末尾附上本次抓取异常源的提示。这样我能在第一时间发现规则失效而不是等到日报内容明显变少才后知后觉。另外抓取器必须设置超时和重试。我用的策略是单源超时15秒失败重试两次重试间隔指数退避。对于连续三天抓取失败的源自动标记为待检修暂停抓取避免浪费资源。3. 去重日报质量的分水岭3.1 为什么简单的标题去重完全不够用如果你只做标题精确匹配去重那日报里会出现大量同一件事的十种说法。比如某模型发布核心层源发的是官方公告扩展层源发的是XX模型震撼发布观察层源发的是又一巨头入局行业要变天。标题完全不同但说的是同一件事。我一开始用编辑距离做标题相似度阈值设0.8效果一般。因为中文标题的改写空间太大同义词替换、语序调整、加前缀后缀编辑距离很容易被拉低。后来我改成语义去重加实体去重的组合策略。语义去重是把标题和摘要拼接后做向量化计算余弦相似度超过0.85的归为一组。实体去重则是提取标题中的关键实体产品名、机构名、技术术语如果两个条目的核心实体集合重合度超过70%也归为一组。3.2 分组之后的代表条目选择去重不是简单删除而是分组后选代表。一组相似条目里我要选出一条作为代表进入日报其余作为相关报道折叠展示。代表条目的选择规则按优先级排序来源层级优先核心层 扩展层 观察层信息完整度正文长度、是否有明确时间地点人物发布时间越早越好因为首发往往信息最准标题质量避免标题党优先选择陈述性标题这个规则表是我迭代了五六版才定下来的。早期我只看来源层级结果选出来的代表条目经常是官方公告信息准确但可读性差。后来加入信息完整度和标题质量日报的阅读体验明显提升。3.3 跨天去重的处理日报是日更的但新闻不是。一条重要消息可能连续三天都有后续讨论。如果不做跨天去重日报会显得很重复。我的做法是维护一个近七天已发布条目库新抓取的条目先和这个库做一次相似度比对。如果相似度超过0.9说明是同一事件的延续就把它归入持续跟踪板块而不是当作新条目。如果相似度在0.7到0.9之间说明是相关但不同的进展正常展示但在条目末尾标注此前报道的链接。这个机制让日报有了连续性读者能看出一个事件的演进脉络而不是每天都是孤立的信息碎片。4. 质量过滤把噪音挡在摘要生成之前4.1 质量打分的四个维度摘要生成是要消耗算力的如果把八百条原始条目全部丢进去成本高且没必要。所以在摘要之前必须做一轮质量过滤。我设计了一个四维打分模型每个维度0到10分加权求和信息密度正文中有效信息数字、事实、观点的占比。营销软文往往形容词堆砌信息密度极低。来源可信度基于信源分层和历史准确率动态计算。时效性发布时间越接近当前越高分超过48小时的条目大幅降权。独特性与已选条目的差异度避免同一板块内信息重复。权重方面信息密度占35%来源可信度占30%时效性占20%独特性占15%。这个权重是我根据实际效果调的核心逻辑是内容本身的质量比来源更重要因为再权威的源也可能发水文。4.2 低质内容的典型特征与识别跑了一段时间后我总结出几类必须过滤的低质内容第一类是纯标题党标题惊悚但正文空洞通常正文长度不足200字或者正文全是套话。识别方法是计算正文的实词密度低于阈值的直接丢弃。第二类是旧闻重发把几个月前的内容改个日期重新发。识别方法是把正文和近三十天的已处理内容做相似度比对超过0.95的判定为旧闻。第三类是广告软文通篇介绍某个产品多好但没有实质信息。识别方法是检测正文中的营销词汇密度以及是否包含购买链接、优惠码等特征。第四类是情绪化内容只有观点没有论据或者充满攻击性表述。这类内容我选择直接过滤因为日报的定位是信息参考不是观点战场。注意质量过滤的阈值不要设得太激进。我早期把阈值调得很高结果日报每天只剩五六条虽然条条精品但失去了日报的覆盖面意义。后来我把阈值调低保证每天有15到25条再用排序把最重要的放前面效果更好。4.3 人工反馈闭环自动化打分再精细也会有误判。所以我加了一个人工反馈机制每天审阅日报时如果发现某条不该出现或者某条重要内容被漏掉就点一下降权或提权按钮。这些反馈会写入一个调整表影响后续同类条目的打分。这个闭环跑了一个月后质量过滤的准确率明显提升。因为模型学到了我的偏好——比如我对某个细分方向特别关注对某类营销内容特别反感这些偏好很难用规则写死但通过反馈可以慢慢校准。5. 摘要生成不是让模型自由发挥而是给它套上缰绳5.1 摘要的定位信息压缩而非内容创作很多人做自动摘要喜欢让模型自由发挥结果生成的内容要么太长要么加入原文没有的观点。我的原则很明确摘要只做信息压缩不做内容创作。具体来说摘要必须满足三个条件第一只使用原文中出现的事实第二长度控制在80到120字第三必须包含原文的核心实体和关键数字。为了实现这个目标我在提示词里做了严格约束。不是简单地说请总结以下内容而是给出结构化指令提取事件主体、核心动作、关键数据、影响范围然后用陈述句串联。同时明确禁止使用据悉业内人士称这类模糊表述禁止添加原文没有的推测。5.2 分板块的摘要策略日报的内容不是同质的不同板块需要不同的摘要策略。核心动态板块的条目最重要摘要要详细包含背景和影响。我会让模型生成一个主摘要加一个延伸阅读提示主摘要说清楚发生了什么延伸提示告诉读者为什么值得关注。扩展解读板块的条目往往是分析性的摘要要提炼核心观点而不是复述论证过程。这时候我会要求模型输出作者的核心判断是什么依据是什么。趋势信号板块的条目通常比较碎片化摘要要做的是归类——把相似信号合并指出这代表什么方向。这个板块我甚至不逐条摘要而是让模型把当天所有信号聚类后生成一段整体观察。5.3 摘要质量的自动校验生成完摘要后我会跑一个自动校验计算摘要和原文的实体重合度如果低于60%说明摘要可能偏离了原文计算摘要的长度超出范围的要重新生成检测摘要中是否包含原文没有的数字或专有名词如果有直接判定为幻觉丢弃重做。这个校验环节帮我拦下了不少问题。早期模型偶尔会脑补一些数据比如原文说增长了30%摘要写成增长了近三成达到历史新高后半句就是无中生有。有了实体校验和数字校验这类问题基本绝迹。6. 排版与分发让日报真正被读完6.1 信息层级的视觉设计内容再好排版糟糕也没人看。日报的排版我遵循一个原则三秒内让读者知道今天最重要的三件事。具体做法是日报开头有一个今日速览用三到五条一句话摘要把当天最核心的动态列出来。读者如果只有一分钟看完速览就够了。往下是分板块的详细内容每个板块有明确的标题和分隔。再往下是持续跟踪和数据观察等辅助板块。每条条目的排版也有讲究标题加粗来源和发布时间用灰色小字摘要正常字体相关链接折叠。这样读者扫一眼就能判断哪条值得细看。6.2 多端适配的坑我最初只做了网页版后来发现很多人习惯在手机上读于是加了移动端适配。这里踩过一个坑网页版用的表格在手机上会溢出必须改成卡片式布局。另一个坑是图片处理。有些条目配图很大直接嵌入会让日报加载缓慢。我的方案是图片统一压缩到宽度800像素并且加懒加载。对于确实重要的图表单独做一个图表区而不是混在文字里。6.3 分发渠道的选择日报做出来得让人看到。我试过几种分发方式邮件订阅、网页发布、以及推送到内部协作工具。邮件订阅适合深度读者但打开率不稳定。网页发布适合存档和分享但需要读者主动访问。推送到协作工具适合团队场景触达率高但容易被打扰。最终我选了组合方案每天早上九点日报网页版生成同时推送一条简短通知到协作工具附上网页链接。这样既保证了触达又不至于把长内容塞进聊天窗口。对于特别重要的日子我会额外发一封邮件把核心内容直接放在邮件正文里。7. 运行半年后我总结出的几条硬经验7.1 自动化不等于无人化这套系统跑起来之后我每天仍然要花十到十五分钟审阅。这不是系统不够好而是日报的定位决定的——它需要人的判断来把关。自动化负责的是把八百条变成二十条人负责的是这二十条里哪三条最重要。我见过一些人追求全自动结果日报质量忽高忽低读者很快就流失了。我的建议是把自动化定位成副驾驶而不是自动驾驶。人机结合才是可持续的方案。7.2 信源质量决定日报上限技术再优化如果信源本身质量差日报也好不到哪去。我花在信源筛选和体检上的时间比花在代码上的时间还多。每个月砍掉几个低效源补充几个新发现的优质源这个动作不能停。判断一个源是否值得保留我只看一个指标它过去一个月贡献了多少条最终进入日报的内容。如果连续两个月贡献为零不管它名气多大一律砍掉。7.3 摘要的人味来自约束而非自由很多人觉得让模型自由发挥摘要会更自然。我的实测结论恰恰相反约束越明确摘要越像人写的。因为人写摘要时脑子里是有结构的——先说什么事再说谁做的最后说有什么影响。模型自由发挥时反而容易跑偏加入无关信息或者遗漏关键点。所以我的提示词里结构约束占了很大篇幅。这些约束不是限制模型的能力而是给它一个写作框架让它在这个框架里发挥语言组织能力。7.4 日报的价值在于持续而非单期单期日报做得再漂亮如果三天打鱼两天晒网读者也不会养成阅读习惯。我坚持日更半年最大的收获不是技术上的而是读者信任的积累。当读者知道每天早上九点一定能看到一份稳定的日报时它就成了他们工作流的一部分。为了保障持续性我把整个流水线做成了故障可恢复的。任何环节出错都有降级方案抓取失败就用缓存摘要失败就用原文截断排版失败就发纯文本。宁可内容糙一点也不能断更。7.5 成本控制是长期运行的前提这套系统每天要调用模型做摘要和打分如果无节制地跑成本会很高。我的控制策略是质量过滤前置只对通过筛选的条目做摘要。这样每天实际调用模型的条目数从八百降到二十左右成本降低了97%。另外摘要生成我用的是小模型因为摘要任务相对简单小模型完全够用。质量打分用规则加轻量模型避免大材小用。只有在做趋势聚类这种复杂任务时才调用大模型。分层用模型是控制成本的关键。8. 如果你想复刻这套系统从哪开始8.1 最小可行版本的三天计划如果你不想一上来就搞复杂我建议先用三天做一个最小可行版本。第一天选三个核心信源写一个最简单的抓取脚本把标题和链接存到本地文件。不用考虑去重和摘要先跑通抓取这个动作。第二天加一个基于标题的简单去重再加一个按来源分组的展示。这时候你已经能看到一份粗糙但可读的列表了。第三天接入模型做摘要只对前十条做验证效果。如果摘要质量可以接受再逐步扩大范围。这个路径的好处是每一步都有可见产出不会因为一开始就追求完美而卡住。8.2 最容易卡住的三个点根据我的经验新手最容易在三个地方卡住。第一个是抓取规则。不同网站的页面结构差异很大写通用抓取器很难。我的建议是先用现成的抓取库针对每个源单独配置规则不要试图用一个规则打天下。第二个是去重阈值。阈值设高了重复内容漏网设低了不同内容被误合并。我的经验是先用0.85作为语义相似度阈值跑一周后根据实际效果微调。第三个是摘要提示词。这个需要反复迭代我改了十几版才稳定。建议每次只改一个变量观察效果变化不要一次改太多。8.3 可以复用的模块清单这套系统里有几个模块是高度可复用的换一个垂直领域基本不用大改信源分层管理模块改一下源列表就能用内容指纹与去重模块逻辑通用质量打分模块调整权重即可适配新领域摘要生成与校验模块改提示词模板排版与分发模块换主题样式真正需要重写的只有抓取规则和领域相关的实体词典。所以如果你想把日报扩展到新领域工作量比想象中小。9. 关于日报这件事我最后想说的做这个项目最大的收获不是技术上的而是对信息本身的重新理解。以前我觉得信息越多越好现在我知道信息的价值不在于数量而在于信噪比。一份好的日报不是把全世界的事都告诉你而是帮你过滤掉那些不重要的事让你把注意力留给真正值得关注的东西。这套系统我还在持续迭代最近在尝试的是个性化排序——根据读者的阅读行为动态调整条目的展示顺序。这个方向还在实验阶段等跑稳了再单独写一篇拆解。如果你也在做类似的信息聚合项目欢迎交流。这个领域没有标准答案每个人的信源、偏好、场景都不同但底层的工程思路是相通的。把脏活累活做扎实剩下的交给时间。
