用AI Agent打造个人推荐流：从RSS到私人信息管道的实践

你在 B 站刷到的推荐有多少是你真正想看的很多人收藏夹里躺着几十个“下次再看”的视频可推荐流依然反复推送同一类内容。你关注某位技术博主半年平台却很少把他的新视频送到首页你查完一个旅行攻略接下来三天都会被旅游内容包围。平台推荐算法的目标不是让你高效获取信息而是让你停留更久、互动更多、刷到更多广告。这个矛盾不是 bug而是产品设计。GitHub 上恰好出现了一类很有意思的开源项目1500 Stars曾参加 B 站 AI 创造公开赛核心做法是用 AI Agent 把 B站、小红书、YouTube、Twitter 的推荐内容全部换成“你自己的推荐流”。第一次看到时我以为是噱头直到把这类项目的架构拆开才意识到它真正的价值不是“破解推荐算法”而是把推荐逻辑从平台中心搬到用户中心。这篇文章会用一套可落地的最小实现讲清楚这类项目是什么、能帮你解决什么问题、10 分钟怎么跑通、以及有哪些值得注意的坑。全程不依赖付费服务器只需要本机 Python 环境和一个支持 OpenAI 兼容接口的模型服务 Key。如果你想改善自己的信息获取质量而不是继续被动刷推荐页下面的内容可以直接照做。1. 为什么“换掉推荐流”是刚需先看一个常见场景。早上打开手机B 站首页推荐了三条一条影视解说、一条游戏实况、一条生活区视频。它们制作精良播放量很高但都不是你当下需要的。你真正想看的可能是某个开源框架的源码讲解或者某位作者刚更新的行业分析。于是你打开搜索框手动输入关键词再从搜索结果里挑出两三条。这个动作每天都在重复。这种体验背后是推荐目标的冲突平台想要停留时长、互动率、广告曝光用户想要内容相关性、信息增量、搜索效率AI Agent 能做的把你订阅的、信任的、感兴趣的内容主动抓取并排序。所以“换推荐流”并不是让你去对抗平台风控而是在平台之外建立一条属于你自己的内容管道。你依然可以用 B 站、小红书看社区互动但“看什么”的决策权可以交给自己写的 Agent而不是完全交给黑盒算法。再往深一层看这类项目之所以能在 GitHub 收获 1500 Star是因为它切中了一个非常普遍的痛算法推荐越来越精准但越来越不“懂我”。平台知道你点了什么却不知道你为什么点。Agent 则可以把你对内容的偏好写成一句清晰的话让模型持续按照同一套标准筛选内容。这是“猜你喜欢”和“我决定我喜欢什么”的本质区别。2. Agent 在这类项目里到底扮演什么角色很多人看到“AI Agent”就以为是一个聊天机器人。实际上在这类项目里Agent 是一套能拆解任务、调用工具、根据结果循环迭代的程序单元。用一个例子说清楚。假设你要手动整理今天的 B 站技术信息流程大概是打开几个 UP 主主页看有没有更新复制标题到笔记里点开觉得可能相关的视频如果内容太水就关掉最后把值得看的存下来。这套流程很机械但它天然适合 Agent 化——收集、筛选、判断、输出四个步骤都可以交给代码和模型完成。传统爬虫也能做内容采集但它只能按固定规则抓取。真正让它与普通爬虫不同的是 Agent 里的“理解”和“决策”环节内容理解不是看标题含不含某几个关键词而是让 LLM 根据你的兴趣描述判断“这篇内容值不值得看”内容去重不是简单比较 URL而是根据标题语义和内容摘要判断两篇内容是否重复内容排序不是按发布时间倒序而是按模型打出的相关度分数从高到低排列内容输出可以是 Markdown 文件、Atom/RSS 订阅源也可以是你自己写的网页。所以你需要澄清一个误区这类项目并不会偷偷修改你手机里的 B 站或小红书 App也不是“注入脚本篡改推荐接口”。它更像一个独立运行的“私人推荐引擎”把你感兴趣的内容从各平台取出来重新过滤排序再输出成你能消费的形式。3. 这类项目的整体架构拆解我个人总结下来的架构是四层数据源接入层、内容理解层、推荐决策层、输出分发层。每一层解决一个问题各层之间通过标准数据格式传递信息。层次核心职责常见实现关键产物数据源接入层获取内容RSS、开放 API、订阅列表、官方热门榜接口标准化的文章/视频条目内容理解层清洗和特征化LLM 摘要、标签提取、标题去重带摘要和标签的结构化数据推荐决策层打分与排序Prompt 打分、规则加权、向量相似度排序后的推荐列表输出分发层让结果可用JSON、Markdown、RSS、个人网页、Telegram Bot可直接阅读的推荐流在这四层里最关键的设计决策是第一层尽量使用 RSS而不是写爬虫去硬刚平台反爬。为什么因为 RSS 是平台或博客作者主动开放的内容出口稳定性高几乎不涉及违反服务条款的风险。B站的部分 UP 主、大量技术博客、YouTube 频道、很多新闻站都支持 RSS。如果你的目标平台没有输出 RSS再考虑使用官方开放 API 或自己维护白名单链接。一个典型运行链路是这样的定时任务触发 AgentAgent 读取你配置的 RSS 列表批量抓取最新条目对每一条内容调用 LLM生成摘要并打分按分数排序去掉与之前重复的高相似度内容把最终结果写入本地文件或发布成静态页面。这套链路的好处是每一层都可以替换。今天用 RSS明天可以接 API今天用 GPT 接口明天可以换成本地模型今天输出 Markdown明天可以输出成 Atom。架构不复杂但扩展性很好。4. 环境准备10 分钟跑通的前置条件开始动手前先确认你的开发环境满足下面几个条件。这里没有写死具体版本因为这类项目的版本更新很快以下只是通用要求。操作系统Windows / macOS / Linux 均可Python 版本建议 3.10 或更高一个支持 OpenAI 兼容接口的模型服务 Key或者本地可运行的 LLM能正常访问 GitHub 的网络环境可选的 GitHub Actions用于定时自动运行。“0 成本”需要解释一下避免产生误解。本地运行脚本不产生服务器费用模型调用可以选择有免费额度的服务也可以自己用 Ollama 等工具跑量化小模型如果使用 GitHub Actions个人仓库免费额度足够每天运行一次这种小任务但如果你要大规模抓取、长时间运行、高频调用模型成本不会为零。“10 分钟跑通”指的是搭建最小闭环不是完成生产级系统。省时间的诀窍是先用一个 RSS 源、一个模型服务、一次手动运行把链路跑通再逐步加平台。下面是一个推荐的项目目录结构personal-feed-agent/ ├── .env ├── .env.example ├── .github/ │ └── workflows/ │ └── feed.yml ├── personal_feed_agent.py ├── requirements.txt ├── output/ │ ├── recommend.json │ └── recommend.md └── README.md5. 最小可用示例用 Agent 构建个人推荐流这一节我们实现一个完整的“个人推荐 Agent”。它不依赖复杂框架核心就三个依赖feedparser解析 RSShttpx调用模型接口python-dotenv读取环境变量。先创建依赖文件。# 文件路径requirements.txt feedparser6.0 httpx0.27 python-dotenv1.0然后创建环境变量示例文件。# 文件路径.env.example # 支持 OpenAI 兼容接口的 Base URL OPENAI_BASE_URLhttps://api.openai.com/v1 OPENAI_API_KEYsk-your-key MODELgpt-4o-mini # 要抓取的 RSS 列表多个用英文逗号分隔 RSS_LISThttps://example.com/rss.xml,https://example.org/feed.xml # 一句话描述你的兴趣 INTEREST关注 AI 工程化、大模型应用、开源项目不喜欢标题党和纯营销内容 # 最终推荐条数 MAX_ITEMS10接下来写主程序。# 文件路径personal_feed_agent.py import hashlib import json import os from datetime import datetime, timezone import feedparser import httpx from dotenv import load_dotenv load_dotenv() OPENAI_BASE_URL os.getenv(OPENAI_BASE_URL, https://api.openai.com/v1) OPENAI_API_KEY os.getenv(OPENAI_API_KEY, ) MODEL os.getenv(MODEL, gpt-4o-mini) RSS_LIST [url.strip() for url in os.getenv(RSS_LIST, ).split(,) if url.strip()] INTEREST os.getenv(INTEREST, ) MAX_ITEMS int(os.getenv(MAX_ITEMS, 10)) def fetch_articles(): 从多个 RSS 源拉取文章条目尽量保留原文链接和摘要。 articles [] for rss_url in RSS_LIST: feed feedparser.parse(rss_url) for entry in feed.entries[:20]: articles.append({ title: entry.get(title, ).strip(), link: entry.get(link, ).strip(), summary: entry.get(summary, ).strip(), source: rss_url, }) return articles def score_article(article: dict) - dict: 调用 LLM输出 JSON包含相关度打分和推荐理由。 prompt f 你是一个个人推荐算法引擎。我的兴趣是 {INTEREST} 请判断下面这条内容是否符合我的兴趣返回 JSON格式如下 {{ score: 0-100 之间的整数, reason: 一句话说明推荐理由 }} 内容标题{article[title]} 内容链接{article[link]} 内容摘要{article[summary][:800]} 只返回 JSON不要返回其他文字。 try: with httpx.Client(timeout30) as client: resp client.post( f{OPENAI_BASE_URL}/chat/completions, headers{ Authorization: fBearer {OPENAI_API_KEY}, Content-Type: application/json, }, json{ model: MODEL, messages: [{role: user, content: prompt}], temperature: 0.2, }, ) resp.raise_for_status() content resp.json()[choices][0][message][content].strip() # 防止模型输出带 json 标记 if content.startswith(): content content.strip() if content.startswith(json\n): content content[5:] parsed json.loads(content) article[score] int(parsed.get(score, 0)) article[reason] parsed.get(reason, ) except Exception as e: print(f[WARN] 打分失败: {e}, 标题: {article[title]}) article[score] 0 article[reason] 模型调用失败默认不推荐 return article def deduplicate(articles): 用标题的 hash 做第一层去重避免同一个源重复抓取。 seen set() result [] for article in articles: key article[title].strip().lower() if not key: continue digest hashlib.md5(key.encode(utf-8)).hexdigest() if digest in seen: continue seen.add(digest) result.append(article) return result def save_output(articles): 把结果保存成 JSON 和 Markdown方便后续消费。 os.makedirs(output, exist_okTrue) with open(output/recommend.json, w, encodingutf-8) as f: json.dump(articles, f, ensure_asciiFalse, indent2) lines [# 我的每日推荐\n] for i, article in enumerate(articles, 1): lines.append(f{i}. [{article[title]}]({article[link]})) lines.append(f - 分数{article[score]}) lines.append(f - 理由{article[reason]}) with open(output/recommend.md, w, encodingutf-8) as f: f.write(\n.join(lines)) def main(): if not RSS_LIST: print(RSS_LIST 为空请在 .env 中配置至少一个 RSS 源。) return now datetime.now(timezone.utc).isoformat() print(f[{now}] 开始抓取 RSS ...) articles fetch_articles() print(f抓取到 {len(articles)} 条内容。) articles deduplicate(articles) print(f去重后剩余 {len(articles)} 条内容。) scored [] for article in articles: scored.append(score_article(article)) scored.sort(keylambda x: x.get(score, 0), reverseTrue) final scored[:MAX_ITEMS] save_output(final) print(f推荐完成共 {len(final)} 条结果已保存到 output/ 目录。) if __name__ __main__: main()这段代码的关键逻辑有四个fetch_articles只作为数据接入层避免在代码里写死某个平台的接口保留后续扩展空间score_article用 Prompt 要求模型返回结构化 JSON这是 Agent 环境里最常用也最稳定的交互方式deduplicate用标题 MD5 做基础去重简单但有效save_output同时输出 JSON 和 Markdown方便调试和接其他工具。运行命令如下cp .env.example .env # 编辑 .env 填入你的 Key、RSS 源和兴趣描述 python -m pip install -r requirements.txt python personal_feed_agent.py如果你不想手动运行可以用 GitHub Actions 在每天固定时间自动执行。下面是一个可直接使用的 Workflow 示例。# 文件路径.github/workflows/feed.yml name: build-feed on: schedule: - cron: 0 2 * * * workflow_dispatch: jobs: build: runs-on: ubuntu-latest steps: - name: Checkout uses: actions/checkoutv4 - name: Setup Python uses: actions/setup-pythonv5 with: python-version: 3.11 - name: Install dependencies run: | pip install -r requirements.txt - name: Run Personal Feed Agent env: OPENAI_BASE_URL: ${{ secrets.OPENAI_BASE_URL }} OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }} MODEL: ${{ secrets.MODEL }} RSS_LIST: ${{ secrets.RSS_LIST }} INTEREST: ${{ secrets.INTEREST }} MAX_ITEMS: 10 run: | python personal_feed_agent.py - name: Upload Artifact uses: actions/upload-artifactv4 with: name: feed-output path: output/要特别注意不要把 API Key 直接写在 Workflow 里。请进入 GitHub 仓库的 Settings - Secrets and variables - Actions 页面添加OPENAI_API_KEY、RSS_LIST、INTEREST等密钥。Actions 在定时触发时会自动读取这些变量。6. 运行结果与效果验证跑完一遍后应该能在output/目录看到两个文件。打开recommend.md如果内容类似下面这样说明链路已经成功# 我的每日推荐 1. [AI Agent 入门指南](https://example.com/agent-guide) - 分数92 - 理由主题是 AI 工程化实践与用户兴趣高度匹配内容有实操价值。 2. [如何用 LLM API 构建个人助手](https://example.com/llm-api) - 分数85 - 理由偏向大模型应用开发符合用户对开源和落地场景的关注。判断成功不能只看文件生成了还要确认三件事第一条内容的分数明显高于最后一条说明模型的打分不是随机值摘要和推荐理由与你的兴趣描述相关比如你写“关注 AI 工程化”结果里不应全是娱乐八卦多次运行后重复标题被过滤不会出现同一条内容反复推荐。如果失败优先检查日志。代码里已经做了异常兜底模型调用失败时会把score设为 0并打印一行 WARN。此时先确认.env中的 Base URL、Key、模型名是否匹配再看是不是网络不通最后检查 RSS 源是否失效。7. 常见问题与排查方法我在实际使用这类项目时踩过不少坑下面这些现象很典型可以直接对照排查。问题现象可能原因排查方式解决方案git clone很慢或失败网络访问 GitHub 不稳定查看 clone 输出错误可下载源码压缩包或等网络稳定后重试模型返回 401 或 403API Key 错误、无权限查看异常响应体检查 .env 配置确认 Key 有效模型调用超时网络慢或模型响应过长查看 WARN 日志调大 timeout或换更快的小模型全部内容分数为 0模型调用批量失败查看 print 日志先单独 curl 测试接口连通性RSS 抓不到内容RSS 源失效或带反爬用浏览器打开 RSS 地址换官方 RSS 或改用 API推荐结果明显跑偏兴趣描述不够具体观察打分理由把兴趣描述改成“多标签 排除项”重复内容过多只有标题 hash 去重检查 recommend.json 的标题升级为向量相似度去重最容易忽略的是兴趣描述。很多人会在.env里写“我感兴趣的技术内容”模型打分时就会模棱两可。更有效的写法是给模型足够多的约束例如INTEREST关注 AI Agent 开发、大模型 API 工程实践、开源项目解析排除纯新闻搬运、标题党、无来源的营销内容模型不是搜索引擎它不会主动推测你的潜在兴趣。你把规则写得越清楚推荐结果越接近你想看的东西。还有一个常见误区是以为 RSS 可以覆盖所有平台内容。实际上B站、小红书这类平台的主站信息大多不开放完整 RSS。更稳妥的路径是把“你能稳定获取的内容源”接入 Agent而不是执着于获取平台全部热门内容。信息流的价值不在“全”而在“准”。8. 最佳实践与工程建议如果你准备把这套思路用到日常工作中下面的建议值得认真对待。第一把兴趣模型外置成配置文件而不是硬编码在代码里。算法会迭代你的兴趣也会变化。把INTEREST、排除关键词、打分权重全部放到.env或单独的配置文件中后续调整不需要改代码只要改配置就能重新生成推荐。第二给 Prompt 加上稳定的输出格式约束。模型返回 JSON 时经常会出现多余文字或 Markdown 标记。我的做法是在 Prompt 里明确写“只返回 JSON不要返回其他文字”同时保留一段容错解析代码。生产环境还可以引入 JSON Schema 校验这一步能显著降低解析失败率。第三去重不能只靠标题。同一事件不同媒体会写多个标题比如“字节发布新一代模型”和“字节新模型震撼发布”标题字符串完全不同但内容可能高度相似。如果你的推荐源包含媒体站建议用向量嵌入计算内容相似度超过阈值就只保留一条。这个操作对构建高质量信息流帮助非常大。第四保存历史推荐记录。不要每次运行都覆盖output/recommend.json可以按日期归档。这样你能回头评估 Agent 的推荐效果也能避免重复推送已经看过的内容。最简单的做法是输出文件名带上日期。python personal_feed_agent.py cp output/recommend.json output/recommend-$(date %Y-%m-%d).json第五量力而行地选择模型。个人项目完全没必要追求最强模型因为你的任务只是“判断一条内容是否值得看”小模型配合清晰 Prompt 已经能取得不错效果。使用免费额度时也要注意并发限制把请求间隔控制在合理范围避免触发限流。第六关注输出端的消费体验。有了recommend.json之后可以继续接一个静态页面生成器或者用 GitHub Pages 发布你的个人推荐页。让 Agent 的输出真正进入你的阅读流程而不是停在输出文件里。这也是“把推荐换成你自己的”最直接的一步。9. 安全、合规与使用边界这类项目最大的风险不在技术而在数据来源和平台合规。使用前需要明确几条边界。只采集你有权访问的内容优先使用 RSS、官方 API 和内容作者主动提供的数据出口不编写任何绕过登录验证、付费墙、反爬验证的代码不把抓取下来的内容批量公开传输或二次售卖尤其涉及他人版权时只做个人阅读使用如果你要接入海外平台请先确认你的网络环境能够稳定访问且符合你所在地区的法律法规涉及 GitHub Actions 时不要把任何密钥提交到公开仓库建议一律使用 Secrets。这里要强调一点Agent 能做很多事但“能不能做”和“该不该做”是两回事。作为技术博客作者我的建议是把它定位成个人效率工具而不是数据抓取工具。它解决的是“让我更高效地看到我关心的内容”而不是“把别人的内容都搬到我这里”。10. 下一步可以怎么玩如果最小闭环已经跑通了接下来的演进路线很清晰。第一扩展数据源。把 B站关注的 UP 主输出为 RSS 源把小红书特别关注的专业博主整理成订阅列表把 YouTube 频道加入白名单。数据源越多推荐流越接近“你自己的信息宇宙”。第二加入记忆能力。让 Agent 记住你上一轮点击了什么、忽略了什么下一轮打分时自动调整权重。这相当于给个人推荐系统加了一个简单的人肉反馈闭环。第三增加输出形式。你可以把 JSON 结果渲染成 HTML 页面也可以推送成自建 API甚至可以在本地跑一个 Telegram Bot让推荐结果每天晚上自动发送到手机上。平台限制不了你的个人消费场景。第四把打分逻辑从“模型打分”升级为“规则 模型 向量”混合排序。比如先按发布时间过滤再按来源加权最后用模型精排。混合策略通常比单一模型打分更稳定。如果你也想改善自己的信息获取质量最快的做法不是等平台调整算法而是先把你每天必看的几个 RSS 源接进来跑一遍上面的最小闭环。当你在输出文件里看到自己过滤出来的十条内容时你会意识到算法黑盒这件事至少在你的个人信息管道里可以去掉。