AI辅助Python爬虫实战：天眼查数据采集入门

1. 项目概述AI辅助下的Python爬虫入门实战去年帮一位做企业征信分析的朋友处理数据时我意识到天眼查这类商业信息平台的数据采集需求远比想象中普遍。但传统爬虫开发需要面对反爬机制、页面解析等复杂问题对新手极不友好。最近测试了几款AI编程助手后发现它们能显著降低学习门槛——即使零基础用户配合正确的工具链也能在2小时内完成首个可用的企业信息采集脚本。这个项目将展示如何用AI辅助工具快速构建天眼查爬虫。不同于传统教程我们会重点利用AI实时生成代码、解释逻辑、调试错误的能力让编程基础薄弱的用户也能理解每个环节。最终实现的脚本可以自动获取公司基本信息、股东构成、法律诉讼等关键数据并以结构化格式存储。关键提示所有操作均在法律允许范围内进行严格遵守天眼查robots.txt规定单次采集间隔设置为5秒以上仅用于个人学习目的2. 环境配置与工具选型2.1 Python环境快速搭建对于Windows用户推荐使用Microsoft Store直接安装Python 3.11打开Microsoft Store搜索Python 3.11点击获取默认会勾选将Python添加到PATH安装完成后在CMD输入python --version验证Mac用户建议通过Homebrew安装brew install python3.11 echo export PATH/opt/homebrew/opt/python3.11/bin:$PATH ~/.zshrc2.2 开发工具配置VSCode作为首选IDE需要安装以下扩展Python官方扩展代码补全和调试Jupyter交互式执行代码片段GitHub CopilotAI辅助编程核心工具实测配置要点在设置中开启Auto Complete和Inline Suggest调整Copilot的响应速度为Balanced设置→Extensions→Copilot安装后按CtrlShiftP输入Copilot: Login完成身份验证2.3 必备Python库安装创建项目目录后执行pip install requests beautifulsoup4 pandas fake-useragent各库作用说明requests网络请求核心库比urllib更友好beautifulsoup4HTML解析神器pandas数据清洗与导出fake-useragent生成随机请求头规避基础反爬3. 天眼查页面结构分析3.1 目标数据定位以小米科技有限责任公司为例公司ID92040300710932208K我们需要采集工商基本信息注册资本、成立日期等主要人员法人、股东等分支机构风险信息法律诉讼、行政处罚等通过浏览器开发者工具F12分析发现关键数据通过异步接口加载XHR请求数据接口需要携带Cookie和Token认证分页数据采用动态参数加密3.2 反爬机制破解方案天眼查采用的多层防护包括请求头验证User-Agent、Referer行为检测鼠标轨迹、请求频率参数签名_token等动态值应对策略headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Referer: https://www.tianyancha.com/, Cookie: 你的登录Cookie # 通过手动登录后获取 }重要提醒切勿使用多线程/异步请求单次采集间隔建议5-10秒每日采集量控制在100条以内4. AI辅助开发实战流程4.1 用自然语言描述需求在VSCode中新建.py文件直接输入注释# 我需要一个天眼查公司详情采集脚本要求 # 1. 输入公司ID获取基本信息 # 2. 处理JSON格式的响应数据 # 3. 将结果保存到Excel # 4. 自动处理网络异常和反爬Copilot会自动生成基础代码框架我们在此基础上修改import requests import pandas as pd from fake_useragent import UserAgent def get_company_info(company_id): ua UserAgent() headers { User-Agent: ua.random, Referer: fhttps://www.tianyancha.com/company/{company_id} } url fhttps://www.tianyancha.com/api/v4/company/baseinfo?id{company_id} try: response requests.get(url, headersheaders, timeout10) response.raise_for_status() return response.json()[data] except Exception as e: print(fError fetching data: {e}) return None4.2 数据解析与清洗让AI帮助处理嵌套的JSON结构# 请帮我解析天眼查返回的JSON数据提取以下字段 # 公司名称、注册资本、成立日期、统一社会信用代码 # 并转换为Pandas DataFrame格式 def parse_company_data(json_data): if not json_data: return pd.DataFrame() base_info json_data.get(baseInfo, {}) result { 公司名称: base_info.get(name), 注册资本: f{base_info.get(regCapital)} {base_info.get(regCapitalCurrency, 人民币)}, 成立日期: base_info.get(estiblishTime), 信用代码: base_info.get(creditCode) } return pd.DataFrame([result])4.3 异常处理增强通过对话式交互让AI补充健壮性代码# 请为爬虫添加以下异常处理 # 1. 代理失败自动重试 # 2. 验证码触发时暂停操作 # 3. 数据格式错误时记录日志 RETRY_MAX 3 PROXIES {http: http://你的代理IP:端口} def safe_request(url, headers, retry0): if retry RETRY_MAX: raise Exception(Max retries exceeded) try: response requests.get(url, headersheaders, proxiesPROXIES, timeout15) if 验证码 in response.text: input(请手动处理验证码后按回车继续...) return safe_request(url, headers, retry1) return response except requests.exceptions.RequestException as e: print(fRequest failed (attempt {retry1}): {e}) time.sleep(5 * (retry 1)) return safe_request(url, headers, retry1)5. 完整脚本组装与优化5.1 主流程实现整合各功能模块import time from tqdm import tqdm # 进度条显示 def main(): company_ids [92040300710932208K] # 示例公司ID all_data [] for cid in tqdm(company_ids): raw_data get_company_info(cid) df parse_company_data(raw_data) if not df.empty: all_data.append(df) time.sleep(8) # 遵守爬虫礼仪 final_df pd.concat(all_data, ignore_indexTrue) final_df.to_excel(tianyancha_data.xlsx, indexFalse) print(f成功保存{len(all_data)}条数据)5.2 参数调优建议通过AI分析得到的性能优化点请求超时设置为10-15秒兼顾成功率和效率随机延迟区间设为5-10秒避免固定间隔被识别使用会话对象(Session)保持连接降低TCP握手开销优化后的请求代码session requests.Session() adapter requests.adapters.HTTPAdapter( pool_connections10, pool_maxsize10, max_retries3 ) session.mount(http://, adapter) session.mount(https://, adapter) def optimized_request(url): delay random.uniform(5, 10) time.sleep(delay) return session.get(url, headersgenerate_headers())6. 常见问题与解决方案6.1 验证码触发应对当出现verify.tianyancha.com重定向时立即暂停程序运行手动在浏览器完成验证码验证更新Cookie后再继续运行考虑使用付费代理IP建议选择高匿住宅代理6.2 数据缺失处理典型场景及解决方法| 问题现象 | 可能原因 | 解决方案 | |-------------------------|--------------------------|----------------------------| | 注册资本显示为null | 数据接口版本变更 | 检查API路径是否为v4最新版 | | 股东信息列表为空 | 需要调用单独接口 | 查找/api/v4/holder类接口 | | 返回数据包含HTML代码 | 触发反爬被重定向 | 更换UserAgent和IP |6.3 效率提升技巧使用concurrent.futures实现受限并发建议线程数≤3优先采集必要字段避免全量数据请求对稳定接口使用本地缓存示例代码from diskcache import Cache cache Cache(tianyancha_cache) cache.memoize(expire86400) def cached_request(url): return requests.get(url).json()7. 法律合规与数据使用7.1 robots.txt检查天眼查当前robots.txt关键限制Disallow: /search/ Disallow: /company/ Disallow: /vip/解读说明禁止爬取搜索功能相关页面公司详情页原则上不允许爬取实际可通过API接口获取数据但需控制频率7.2 数据使用建议合法使用边界禁止商业性批量采集需购买官方API允许少量数据用于学术研究个人学习用途需删除敏感字段如联系方式数据脱敏示例def anonymize_data(df): sensitive_cols [phone, email, idNumber] for col in sensitive_cols: if col in df.columns: df[col] REDACTED return df这个项目的核心价值在于展示AI如何降低编程学习曲线——当遇到不懂的代码时你可以直接选中代码按CtrlI召唤Copilot解释当需要新功能时用自然语言描述就能生成可用代码框架。这种即时反馈的学习方式让零基础用户能在解决实际问题的过程中掌握Python核心概念。