MediaCrawler 社交媒体数据采集教程3 步命令跑通五大平台【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-newMediaCrawler 是一款开源的社交媒体数据采集工具覆盖小红书、抖音、快手、B 站、微博五个平台。它通过一次扫码登录自动采集笔记、视频、评论、点赞、转发等内容结果支持导出为 JSON、CSV 或数据库三种形式。假设你的任务是批量获取某个商品在抖音最近 500 条评论或者采集一批小红书上的便携咖啡机笔记。手工做要反复翻页、复制粘贴操作频繁还可能触发风控用 MediaCrawler一条命令就能跑完。为什么扫码一次就能自动采集全程先给结论扫码登录一次后续采集自动完成且账号被封的概率较低。原理上MediaCrawler 基于 playwright 启动一个真实浏览器环境。首次登录成功后程序会保留这个浏览器会话——Cookie、登录态、环境指纹都原样留存当页面请求需要加密参数时它直接在页面里执行对应的 JavaScript 表达式取回结果而不是让你手动逆向各平台的签名算法。也就是说你不需要研究加密细节平台接口更新时受影响的面也更小。风控侧看到的更像是一个正常用户在浏览而不是一个请求脚本。五大平台采集能力对照平台采集模式登录方式特点小红书xhs关键词搜索 / 笔记详情 / 创作者主页二维码 / 手机号 / Cookie支持保存登录状态、断点续采抖音dy关键词搜索 / 视频详情 / 评论二维码 / 手机号 / Cookie滑块验证码自动处理快手ks关键词搜索 / 视频详情二维码 / 手机号 / Cookie搜索与详情采集B 站bili关键词搜索 / 视频详情二维码 / 手机号 / Cookie指定视频 ID 批量下载微博wb热门话题 / 用户主页 / 指定帖子二维码 / 手机号 / Cookie多种采集模式各平台的客户端、核心逻辑与登录模块都独立放在 media_platform/ 目录下一个平台一个模块。3 步完成第一次采集1. 安装环境git clone https://gitcode.com/GitHub_Trending/me/MediaCrawler-new cd MediaCrawler-new python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate pip install -r requirements.txt playwright install注意采集抖音时还需要本机装有 Node.js v16.8.0 或更高版本。2. 调整核心配置打开 config/base_config.pyPLATFORM xhs # xhs / dy / ks / bili / wb LOGIN_TYPE qrcode # qrcode / phone / cookie KEYWORDS 便携咖啡机 CRAWLER_MAX_NOTES_COUNT 50 # 采集条数上限 SAVE_DATA_OPTION json # json / csv / db其余常用开关HEADLESS控制是否显示浏览器窗口SAVE_LOGIN_STATE控制是否持久化登录态ENABLE_GET_COMMENTS决定是否连带抓评论。手机号登录的细节可参考 docs/手机号登录说明.md。3. 运行采集命令python main.py --platform xhs --lt qrcode --type search程序会打开浏览器并展示二维码用手机端对应平台 App 扫码后采集自动开始。--type支持search关键词搜索、detail指定帖子或视频详情、creator创作者主页三种模式B 站批量下载视频则在配置文件中把CRAWLER_TYPE设为video_download。把采集做出规模代理 IP 池与长跑策略小规模任务用上面的单账号模式就够。如果要长时间、大批量地跑建议再加两件事。一是开启代理 IP 池。配置里把ENABLE_IP_PROXY设为True用IP_PROXY_POOL_COUNT设定池子大小。系统会从代理服务商自动拉取可用 IP、维持池子并在采集过程中按需轮换出口避免单一地址因请求过密被限制。配置代理时可以在提取页面指定 IP 数量、使用时长、地区等参数服务商侧的密钥如有变动到对应页面更新即可二是控制节奏。MAX_CONCURRENCY_NUM与请求间隔保持适中模拟正常用户的浏览频率。做到这两点后它适合承担这类场景竞品监控周期性采集对手账号内容并做时间轴对比、爆款内容分析统计热门内容的标题长度、发布时间、话题标签、品牌舆情跟踪按关键词持续收集讨论与评价。常见问题速查表现象可能原因解决办法抖音采集时抛 JavaScript 错误缺少 Node.js 环境安装 Node.js v16.8.0 或更高版本登录态失效、反复要求扫码本地浏览器缓存异常删除项目根目录的browser_data/文件夹后重新扫码采集过程超时网络波动或卡住验证码检查网络把HEADLESS设为False显示浏览器窗口人工处理验证码前期正常、后期失效触发了平台风控降低采集频率与并发或开启代理 IP 池分散请求合规提醒开始前记住四条⚠️ 尊重各平台服务条款不做大规模、高频次的抓取。⚠️ 控制采集间隔与并发模拟正常用户的行为节奏。⚠️ 采集结果可能包含用户个人信息注意保护隐私不做非法传播或商业利用。⚠️ 数据用途须合法合规只取分析所需的范围。更多使用说明见 docs/ 目录若要扩展一个新平台按统一接口在 media_platform/ 与 store/ 下补齐对应模块即可接入。【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-new创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
MediaCrawler 社交媒体数据采集教程3 步命令跑通五大平台【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-newMediaCrawler 是一款开源的社交媒体数据采集工具覆盖小红书、抖音、快手、B 站、微博五个平台。它通过一次扫码登录自动采集笔记、视频、评论、点赞、转发等内容结果支持导出为 JSON、CSV 或数据库三种形式。假设你的任务是批量获取某个商品在抖音最近 500 条评论或者采集一批小红书上的便携咖啡机笔记。手工做要反复翻页、复制粘贴操作频繁还可能触发风控用 MediaCrawler一条命令就能跑完。为什么扫码一次就能自动采集全程先给结论扫码登录一次后续采集自动完成且账号被封的概率较低。原理上MediaCrawler 基于 playwright 启动一个真实浏览器环境。首次登录成功后程序会保留这个浏览器会话——Cookie、登录态、环境指纹都原样留存当页面请求需要加密参数时它直接在页面里执行对应的 JavaScript 表达式取回结果而不是让你手动逆向各平台的签名算法。也就是说你不需要研究加密细节平台接口更新时受影响的面也更小。风控侧看到的更像是一个正常用户在浏览而不是一个请求脚本。五大平台采集能力对照平台采集模式登录方式特点小红书xhs关键词搜索 / 笔记详情 / 创作者主页二维码 / 手机号 / Cookie支持保存登录状态、断点续采抖音dy关键词搜索 / 视频详情 / 评论二维码 / 手机号 / Cookie滑块验证码自动处理快手ks关键词搜索 / 视频详情二维码 / 手机号 / Cookie搜索与详情采集B 站bili关键词搜索 / 视频详情二维码 / 手机号 / Cookie指定视频 ID 批量下载微博wb热门话题 / 用户主页 / 指定帖子二维码 / 手机号 / Cookie多种采集模式各平台的客户端、核心逻辑与登录模块都独立放在 media_platform/ 目录下一个平台一个模块。3 步完成第一次采集1. 安装环境git clone https://gitcode.com/GitHub_Trending/me/MediaCrawler-new cd MediaCrawler-new python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate pip install -r requirements.txt playwright install注意采集抖音时还需要本机装有 Node.js v16.8.0 或更高版本。2. 调整核心配置打开 config/base_config.pyPLATFORM xhs # xhs / dy / ks / bili / wb LOGIN_TYPE qrcode # qrcode / phone / cookie KEYWORDS 便携咖啡机 CRAWLER_MAX_NOTES_COUNT 50 # 采集条数上限 SAVE_DATA_OPTION json # json / csv / db其余常用开关HEADLESS控制是否显示浏览器窗口SAVE_LOGIN_STATE控制是否持久化登录态ENABLE_GET_COMMENTS决定是否连带抓评论。手机号登录的细节可参考 docs/手机号登录说明.md。3. 运行采集命令python main.py --platform xhs --lt qrcode --type search程序会打开浏览器并展示二维码用手机端对应平台 App 扫码后采集自动开始。--type支持search关键词搜索、detail指定帖子或视频详情、creator创作者主页三种模式B 站批量下载视频则在配置文件中把CRAWLER_TYPE设为video_download。把采集做出规模代理 IP 池与长跑策略小规模任务用上面的单账号模式就够。如果要长时间、大批量地跑建议再加两件事。一是开启代理 IP 池。配置里把ENABLE_IP_PROXY设为True用IP_PROXY_POOL_COUNT设定池子大小。系统会从代理服务商自动拉取可用 IP、维持池子并在采集过程中按需轮换出口避免单一地址因请求过密被限制。配置代理时可以在提取页面指定 IP 数量、使用时长、地区等参数服务商侧的密钥如有变动到对应页面更新即可二是控制节奏。MAX_CONCURRENCY_NUM与请求间隔保持适中模拟正常用户的浏览频率。做到这两点后它适合承担这类场景竞品监控周期性采集对手账号内容并做时间轴对比、爆款内容分析统计热门内容的标题长度、发布时间、话题标签、品牌舆情跟踪按关键词持续收集讨论与评价。常见问题速查表现象可能原因解决办法抖音采集时抛 JavaScript 错误缺少 Node.js 环境安装 Node.js v16.8.0 或更高版本登录态失效、反复要求扫码本地浏览器缓存异常删除项目根目录的browser_data/文件夹后重新扫码采集过程超时网络波动或卡住验证码检查网络把HEADLESS设为False显示浏览器窗口人工处理验证码前期正常、后期失效触发了平台风控降低采集频率与并发或开启代理 IP 池分散请求合规提醒开始前记住四条⚠️ 尊重各平台服务条款不做大规模、高频次的抓取。⚠️ 控制采集间隔与并发模拟正常用户的行为节奏。⚠️ 采集结果可能包含用户个人信息注意保护隐私不做非法传播或商业利用。⚠️ 数据用途须合法合规只取分析所需的范围。更多使用说明见 docs/ 目录若要扩展一个新平台按统一接口在 media_platform/ 与 store/ 下补齐对应模块即可接入。【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-new创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
