MediaCrawler 接入豌豆HTTP代理：app_key 配置、IP 池缓存与自动换 IP 全解析

MediaCrawler 接入豌豆HTTP代理app_key 配置、IP 池缓存与自动换 IP 全解析【免费下载链接】MediaCrawler小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 评论爬虫、微博帖子 评论爬虫、百度贴吧帖子 百度贴吧评论回复爬虫 | 知乎问答文章评论爬虫项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler本文基于 MediaCrawler 仓库中的 豌豆HTTP使用文档 展开完整讲解如何在 MediaCrawler 中接入豌豆HTTP 代理从注册实名、获取 app_key到通过环境变量初始化代理实例再到源码级的 IP 拉取、Redis 缓存、过期检测与自动刷新机制。读完后你将能够独立配置豌豆HTTP 作为 MediaCrawler 的代理 IP 供应商并理解代理池在爬虫请求链路中的完整工作原理。一、准备豌豆HTTP 代理 IP 信息豌豆HTTP 代理目前只支持企业用户文档原文声明。使用流程分为三步注册实名、领取免费试用并选择套餐、获取开放接口密钥 app_key。1. 注册并实名认证访问豌豆HTTP 官网注册账号并完成实名认证。在国内使用代理 IP 服务必须实名这是后续领取试用额度与调用开放接口的前提。2. 领取免费试用与选择套餐注册后可以从官网入口领取免费试用如下图所示试用额度用尽后需要根据自身爬取量选择对应套餐3. 获取 app_key登录官网后进入「个人中心 → 开放接口」页面即可找到 app_key如下图所示。这个 app_key 就是 MediaCrawler 初始化豌豆HTTP 代理实例时唯一需要的凭据参数二、在 MediaCrawler 中初始化豌豆HTTP 代理原文档给出的最小初始化示例如下只需要一个参数app_key推荐通过环境变量注入避免把密钥硬编码进代码# 文件地址 proxy/providers/wandou_http_proxy.py # -*- coding: utf-8 -*- def new_wandou_http_proxy() - WanDouHttpProxy: 构造豌豆HTTP实例 Returns: return WanDouHttpProxy( app_keyos.getenv( wandou_app_key, 你的豌豆HTTP app_key ), # 通过环境变量的方式获取豌豆HTTP app_key )查看仓库中的 实际工厂函数实现它对上面示例做了增强同时兼容两种环境变量命名格式且优先使用大写格式def new_wandou_http_proxy() - WanDouHttpProxy: Supports two environment variable naming formats: 1. Uppercase format: WANDOU_APP_KEY 2. Lowercase format: wandou_app_key Prioritize uppercase format, use lowercase format if not exists # Support both uppercase and lowercase environment variable formats, prioritize uppercase app_key os.getenv(WANDOU_APP_KEY) or os.getenv(wandou_app_key, your_wandou_http_app_key) return WanDouHttpProxy(app_keyapp_key)因此实际使用时只需设置环境变量两种方式任选其一export WANDOU_APP_KEY你的豌豆HTTP app_key # 推荐大写格式优先 # 或 export wandou_app_key你的豌豆HTTP app_keyWanDouHttpProxy构造参数说明见 构造函数参数类型说明app_keystr开放接口密钥在官网个人中心「开放接口」中获取numint单次批量提取的 IP 数量默认 100且单次最大 100构造时会固定代理品牌名为WANDOUHTTP请求接口地址为https://api.wandouapp.com/GET 请求携带app_key与num两个查询参数并创建一个IpCache实例用于 IP 缓存。三、源码解析get_proxy的拉取与缓存策略WanDouHttpProxy.get_proxy 是豌豆HTTP 代理的核心方法实现逻辑可以概括为「缓存优先、差额补取、逐个落缓存」缓存优先先调用self.ip_cache.load_all_ip(proxy_brand_nameWANDOUHTTP)从缓存加载所有未过期 IP。如果缓存中可用数量 num直接返回前num个不再请求远程接口差额补取若缓存不足计算need_get_count num - len(ip_cache_list)并以min(need_get_count, 100)作为本次请求的num参数豌豆HTTP 单次最多返回 100 个 IP发起 GET 请求响应解析与落缓存当响应code 200时遍历data列表把每项转换为统一的IpInfoModelip、port、user/password为空字符串、expired_time_ts由expire_time字符串解析为 Unix 时间戳再以WANDOUHTTP_{ip}_{port}为 key 写入缓存TTL 为「过期时间戳 − 当前时间戳」即 IP 到期后缓存条目自动失效错误处理code ! 200时抛出IpGetError并对两个典型错误码给出明确提示10001通用错误需查看msg字段的具体错误信息常见原因包括 app_key 错误、欠费等10048无可用套餐即账号下没有生效中的代理套餐或额度已耗尽。关键代码如下async def get_proxy(self, num: int) - List[IpInfoModel]: # Prioritize getting IP from cache ip_cache_list self.ip_cache.load_all_ip( proxy_brand_nameself.proxy_brand_name ) if len(ip_cache_list) num: return ip_cache_list[:num] # If the quantity in cache is insufficient, get from IP provider to supplement, then store in cache need_get_count num - len(ip_cache_list) self.params.update({num: min(need_get_count, 100)}) # Maximum 100 ip_infos [] async with make_async_client() as client: url self.api_path ? urlencode(self.params) utils.logger.info(f[WanDouHttpProxy.get_proxy] get ip proxy url:{url}) response await client.get(url, headers{...}) res_dict: Dict response.json() if res_dict.get(code) 200: data: List[Dict] res_dict.get(data, []) current_ts utils.get_unix_timestamp() for ip_item in data: ip_info_model IpInfoModel( ipip_item.get(ip), portip_item.get(port), user, # 豌豆HTTP 无需账号密码认证 password, expired_time_tsutils.get_unix_time_from_time_str( ip_item.get(expire_time) ), ) ip_key fWANDOUHTTP_{ip_info_model.ip}_{ip_info_model.port} self.ip_cache.set_ip(ip_key, ip_info_model.model_dump_json(), exip_info_model.expired_time_ts - current_ts) else: error_code res_dict.get(code) if error_code 10001: error_msg General error, check msg content for specific error information elif error_code 10048: error_msg No available package raise IpGetError(f{error_msg} (code: {error_code})) return ip_cache_list ip_infos这里有两点值得注意无需账密与部分需要user:password认证的代理不同豌豆HTTP 返回的 IP 免认证因此在 ProxyIpPool 校验逻辑 中会走http://{ip}:{port}的无认证分支代理自动刷新 Mixin 生成 httpx 代理 URL 时同理缓存依赖 RedisIpCache 内部通过CacheFactory按 Redis 缓存类型创建客户端load_all_ip以WANDOUHTTP_*为 key 模式批量读取未过期 IP过期清理由缓存后端Redis的 TTL 机制自动完成。若你的 Redis 不可用IP 缓存会退化为每次向远程接口请求。四、代理池如何消费 wandouhttp 供应商拿到WanDouHttpProxy实例后并不是爬虫直接使用它而是先构建一个统一的 IP 代理池。整条链路如下1. 供应商注册表在 proxy_ip_pool.py 中所有供应商在模块加载时即被实例化并注册到IpProxyProvider字典IpProxyProvider: Dict[str, ProxyProvider] { ProviderNameEnum.KUAI_DAILI_PROVIDER.value: new_kuai_daili_proxy(), ProviderNameEnum.WANDOU_HTTP_PROVIDER.value: new_wandou_http_proxy(), ProviderNameEnum.STATIC_PROVIDER.value: StaticProxyProvider(), }其中豌豆HTTP 对应的 key 是wandouhttp定义见 ProviderNameEnum。注意new_wandou_http_proxy()在模块导入时就会执行因此环境变量WANDOU_APP_KEY需要在启动进程前设置好否则构造时会取到占位符your_wandou_http_app_key。2. 相关配置项在 config/base_config.py 中控制代理行为的配置项# Whether to enable IP proxy ENABLE_IP_PROXY False # Number of proxy IP pools IP_PROXY_POOL_COUNT 2 # Proxy IP provider name IP_PROXY_PROVIDER_NAME kuaidaili # kuaidaili | wandouhttp | static # Static proxy configuration (used when IP_PROXY_PROVIDER_NAME is set to static) STATIC_PROXY_URL 接入豌豆HTTP 时需要修改为ENABLE_IP_PROXY True IP_PROXY_POOL_COUNT 20 # 按需求调整池内 IP 数量 IP_PROXY_PROVIDER_NAME wandouhttp另外DISABLE_SSL_VERIFY 仅在使用会注入自签名证书的企业代理、Burp Suite、mitmproxy 等中间人代理时才设为 True普通 HTTP 转发型代理保持 False 即可。3. 创建池子与取 IP 逻辑create_ip_pool 根据config.IP_PROXY_PROVIDER_NAME从注册表取出供应商并创建ProxyIpPool随后立即load_proxies()拉取一批 IP 入池若配置了一个注册表中不存在的 provider 名会抛出带可选值列表的ValueError这一点有专门的回归测试 test_create_ip_pool_unknown_provider_raises_value_error 保障。池子的取 IP 行为由 ProxyIpPool.get_proxy 决定池空时自动reload_proxies重新拉取使用random.choice随机抽取一个 IP 并立即从池中移除用后即弃避免重复暴露同一出口 IP若启用enable_validate_ip会先通过探测地址验证 IP 是否可用不可用则借助tenacity重试最多 3 次、间隔 1 秒重新抽取抽取结果保存为current_proxy供后续请求复用。4. 过期检测与自动刷新豌豆HTTP 的每个 IP 都带expire_timeIpInfoModel.is_expired 以「缓冲秒数」默认 30 秒提前判定过期避免在 IP 临死时刻发起请求失败当前时间戳 ≥ 过期时间戳 − buffer 即视为过期。ProxyIpPool.get_or_refresh_proxy 则是各平台客户端在每次请求前的标准入口——当前代理未过期就复用过期则重新从池中抽取。平台客户端通过继承 ProxyRefreshMixin 接入该机制在__init__中调用init_proxy_pool(proxy_ip_pool)注入池引用在请求方法前调用_refresh_proxy_if_expired()该方法检测到代理过期后会拉取新 IP 并自动更新 httpx 的self.proxyURL。整体工作流程可参考 代理 IP 使用流程图 中的示意配置供应商 → 拉取 IP 入池 → 随机抽取 → 过期校验/刷新 → 请求失败换 IP 重试。五、验证与实操建议独立验证代理池仓库提供了 test/test_proxy_ip_pool.py其中test_ip_pool可真实拉取 IPtest_ip_expiration_standalone与test_proxy_pool_auto_refresh不依赖真实供应商即可验证过期判定与自动刷新逻辑适合在配置完WANDOU_APP_KEY后先跑一遍确认链路通畅环境准备先export WANDOU_APP_KEY...再修改config/base_config.py的ENABLE_IP_PROXY True与IP_PROXY_PROVIDER_NAME wandouhttp最后按 代理使用 的整体说明启动爬虫额度与批量上限豌豆HTTP 单次最多返回 100 个 IP源码中min(need_get_count, 100)硬限制IP_PROXY_POOL_COUNT设置过大时会自动分批请求或依赖缓存补齐排错要点日志中出现code: 10001优先检查 app_key 是否配置正确、账号是否欠费code: 10048表示账号下无可用套餐需先到官网续费或领取试用日志中[WanDouHttpProxy.get_proxy] get ip proxy url:...会打印真实请求 URL可用于确认app_key是否被正确读取缓存观察缓存 key 形如WANDOUHTTP_{ip}_{port}可在 Redis 中直接查看当前池内还有哪些未过期 IP 及其剩余 TTL。六、合规与注意事项本文所有接入方式仅适用于学习与研究目的。项目各源文件头部声明明确要求不得用于商业用途、不得进行大规模爬取或对目标平台造成运营干扰、应遵守目标平台使用条款与 robots.txt 规则并合理控制请求频率详见 LICENSE代理 IP 的作用是降低因本地出口 IP 被风控导致的请求失败概率并不改变「控制请求频率」这一合规前提CRAWLER_MAX_SLEEP_SEC、MAX_CONCURRENCY_NUM等限速配置应配合使用若你已有自建或静态代理也可以将IP_PROXY_PROVIDER_NAME设为static并通过STATIC_PROXY_URL直接指定代理地址支持http://user:passwordhost:port格式见 StaticProxyProvider与豌豆HTTP 走的是同一套代理池抽象可随时切换对比。【免费下载链接】MediaCrawler小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 评论爬虫、微博帖子 评论爬虫、百度贴吧帖子 百度贴吧评论回复爬虫 | 知乎问答文章评论爬虫项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考