Python requests实战：构建京东评论爬虫，应对反爬与数据分类保存

简介本资源是一个面向Python初学者与数据采集实践者的京东商品评论爬虫实战项目聚焦于利用requests库高效获取并结构化保存电商用户反馈解决市场调研、情感分析等场景下的原始数据获取难题。压缩包共7个文件含3个按情感倾向分类的CSV样本数据正面/中性/负面、核心爬虫脚本py文件、项目说明文档md及开源协议文件整体仅2.5MB轻量易上手。已有47人学习下载适合希望掌握HTTP请求模拟、HTML解析、反爬应对基础如请求头伪装、间隔控制及多类别数据归档逻辑的学习者。读者可直接运行脚本复现完整流程获得可扩展的评论采集框架、标准化的CSV分类存储结构以及适配京东页面结构的Selector提取经验为后续接入NLP分析或可视化打下坚实基础。1. 项目概述从零构建一个健壮的京东评论爬虫最近在分析一些消费电子产品的市场反馈手动收集评论数据效率太低于是决定自己动手写一个爬虫。目标很明确用 Python 的 requests 库把京东上指定商品的评论数据抓下来并且要按好评、中评、差评分类保存到不同的文件里。这听起来是个很典型的爬虫入门项目但真做起来你会发现从简单的“请求-解析”到能稳定运行、应对反爬、处理异常的分类保存工具中间要踩的坑可不少。特别是面对京东这样的大型电商平台它的反爬机制和动态页面结构对新手来说是个不小的挑战。这个项目适合有一定 Python 基础想从“写个简单脚本”进阶到“构建实用数据采集工具”的朋友。接下来我会把整个从思路设计、代码实现到问题排查的完整过程拆开揉碎了讲你跟着做不仅能得到一个可用的工具更能掌握处理类似数据抓取任务的通用方法论。2. 核心思路与工具选型背后的考量2.1 为什么选择 Requests 而不是 Scrapy 或 Selenium很多爬虫教程一上来就推荐 Scrapy 框架或者 Selenium 自动化工具。对于京东评论这种需要处理分页、可能涉及一些动态参数的项目它们确实有优势。但我坚持用最基础的requests库起步原因有三点。第一降低认知负担聚焦核心逻辑。Scrapy 框架虽强大但其异步架构、中间件、管道等概念对新手来说过于复杂。我们的核心任务是理解网络请求的构成、数据的提取和保存。用requests可以让我们更清晰地看到“发送一个 HTTP 请求”和“接收一个 HTTP 响应”这一最本质的过程避免被框架的抽象层分散注意力。第二京东评论接口本质是静态 API。通过浏览器开发者工具分析可以发现京东商品评论页的数据是通过一个独立的 JSON 接口加载的页面本身只是提供了一个展示壳。这意味着我们不需要模拟完整的浏览器环境Selenium 的主要用途去渲染 JavaScript只需要找到并正确调用这个后台接口即可。requests库完全胜任此类任务且效率远高于 Selenium。第三轻量化和可控性。一个纯requests的脚本依赖极少部署和运行非常方便。你可以更容易地控制请求头、请求参数、代理、超时和重试策略这对于应对反爬策略至关重要。等我们用requests把整个流程跑通理解了反爬的各个环节后再考虑迁移到 Scrapy 以获得更好的工程化管理会是更顺滑的学习路径。2.2 技术栈与关键库解析确定了核心库我们还需要几个帮手来共同完成这个项目。Requests: 负责发送 HTTP 请求获取服务器返回的数据HTML 或 JSON。它是我们与京东服务器对话的唯一工具。JSON: Python 内置库。京东的评论数据接口返回的是 JSON 格式的字符串我们需要用这个库将其解析成 Python 的字典或列表方便我们提取信息。Pandas (或 csv 模块): 用于数据保存。Pandas 的DataFrame和to_csv、to_excel方法能非常优雅地将结构化数据保存为文件。如果追求极简Python 内置的csv模块也完全够用。这里我选择 Pandas因为它后续做简单数据分析更方便。Time / Random: 用于控制请求频率。这是应对反爬的“道德”与“技术”必备手段。在请求间插入随机延时可以模拟人类操作避免触发服务器的“访问频率过高”限制。Re (正则表达式) 或 BeautifulSoup4: 用于解析数据。虽然核心数据来自 JSON 接口但有时我们需要从商品主页 HTML 中提取一些初始参数如商品ID、店铺ID。BeautifulSoup4 是更友好、更强大的 HTML 解析库推荐使用。正则表达式则更灵活但编写和维护难度稍大。注意不要一上来就安装所有库。建议先装requests和pandas遇到解析需求时再装beautifulsoup4。使用pip install requests pandas beautifulsoup4即可。2.3 反爬策略的预先规划在写第一行代码之前我们必须想好如何应对反爬。京东常见的反爬手段包括请求头校验、IP 频率限制、请求参数签名、返回状态码 429 (Too Many Requests)。请求头 (Headers): 这是最基本也是最重要的一环。我们的请求头必须看起来像一个真实的浏览器。关键字段包括User-Agent用户代理、Referer来源页、Accept-Language接受语言等。缺少或使用默认的python-requests的 User-Agent会立刻被识别为爬虫。请求频率: 这是触发 429 状态码的主要原因。我们必须在每次请求后强制休眠一段随机时间。例如time.sleep(random.uniform(1, 3))表示休眠1到3秒之间的一个随机浮点数秒。这能有效降低请求频率。会话维持: 使用requests.Session()对象。Session 可以自动处理 Cookies在多次请求间保持一定的会话状态比单次requests.get更接近真实用户行为。异常处理与重试: 网络是不稳定的服务器也可能临时出错。我们必须用try...except包裹核心请求代码并对特定的异常如连接超时、状态码非200设计重试机制。参数构造: 评论接口的 URL 通常包含一系列查询参数如商品ID、页码、排序方式、评论类型等。这些参数必须完全模拟正常请求有时参数值可能经过简单编码或计算。3. 实战一步步拆解京东评论接口3.1 定位目标数据源找到真正的评论接口这是最关键的一步。我们不能去爬取商品详情页的 HTML因为评论是动态加载的。打开京东网站进入任意商品页面例如一个手机。按下F12打开开发者工具切换到“Network” (网络)选项卡。在商品页面上找到“商品评价”区域点击“只看当前商品评价”或者切换“好评”、“中评”、“差评”标签同时观察 Network 面板的变化。你会看到一个新的网络请求出现其类型 (Type) 通常是fetch或xhr名称可能包含fetchComment、productPageComments等关键词。点击这个请求查看其详细信息。在“Headers”标签页你可以看到完整的请求 URL (Request URL)。这个 URL 就是我们要攻击的目标。它通常很长包含https://club.jd.com/comment/productPageComments.action?这样的基础路径后面跟着一串连接的参数。在“Preview”或“Response”标签页你可以看到服务器返回的数据正是结构化的 JSON 格式里面包含了评论列表、评论总数、分页信息等。实操记录以某款手机为例我抓取到的核心接口 URL 模式如下https://club.jd.com/comment/productPageComments.action?callbackfetchJSON_comment98productId100012345678score0sortType5page0pageSize10isShadowSku0fold1我们需要重点关注并提取其中的几个关键参数productId: 商品ID从商品详情页的 URL 中就能找到。score: 评论类型。0-全部1-差评2-中评3-好评。page: 页码从0开始。pageSize: 每页显示的评论数最大可尝试设置为30或50有时服务器会限制。sortType: 排序类型5通常表示按推荐排序6表示按时间排序。3.2 构造请求头与参数有了接口 URL我们需要用 Python 来模拟这个请求。首先构造一个看起来像浏览器的请求头。你可以直接从开发者工具的 “Headers” 里复制 “Request Headers” 部分。import requests import time import random import json # 定义一个常用的请求头字典 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Referer: https://item.jd.com/, # 替换为具体商品页地址这很重要 Accept: application/json, text/javascript, */*; q0.01, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, br, # 注意requests 会自动处理 gzip这里写上与浏览器一致即可 Connection: keep-alive, }接下来将 URL 中的查询参数提取出来构造成一个独立的参数字典这样便于我们动态修改page和score。# 基础参数 params { callback: fetchJSON_comment98, # 有时需要有时不需要视接口而定 productId: 100012345678, # 替换为目标商品ID score: 0, # 0:全部 1:差评 2:中评 3:好评 sortType: 5, page: 0, # 页码从0开始 pageSize: 10, isShadowSku: 0, fold: 1 }3.3 发送请求与解析 JSON 数据现在我们可以使用requests.Session()发送请求了。使用 Session 的好处是它会自动管理 Cookies。# 创建会话 session requests.Session() session.headers.update(headers) # 为会话设置默认请求头 try: # 发送 GET 请求 response session.get(https://club.jd.com/comment/productPageComments.action, paramsparams, timeout10) # 检查请求是否成功 response.raise_for_status() # 如果状态码不是200将抛出HTTPError异常 # 打印状态码和部分响应内容用于调试 print(f状态码: {response.status_code}) print(f响应内容前500字符: {response.text[:500]}) except requests.exceptions.RequestException as e: print(f请求发生错误: {e}) # 这里可以加入重试逻辑如果请求成功我们会得到一段文本。但直接response.json()可能会失败因为京东的接口返回的数据有时被一个函数调用包裹着例如fetchJSON_comment98({...})。我们需要先清理这个包装。# 假设响应文本是 fetchJSON_comment98({...}) text response.text # 去除函数包装和末尾的分号只提取 JSON 部分 if text.startswith(fetchJSON_comment98() and text.endswith();): json_str text[len(fetchJSON_comment98():-2] else: json_str text # 如果没有包装直接使用 # 将 JSON 字符串解析为 Python 字典 try: data_dict json.loads(json_str) except json.JSONDecodeError as e: print(fJSON 解析失败: {e}) print(f原始文本: {text[:200]}) data_dict None if data_dict: # 提取评论列表 comments data_dict.get(comments, []) print(f本页获取到 {len(comments)} 条评论。) # 遍历评论列表提取所需字段 for comment in comments: content comment.get(content, ) # 评论内容 creation_time comment.get(creationTime, ) # 评论时间 score comment.get(score, 0) # 评分5分制 # ... 提取其他你需要的字段如用户昵称、点赞数、回复等 print(f时间{creation_time}, 评分{score}, 内容{content[:50]}...)3.4 实现分页爬取与分类逻辑单页数据是远远不够的。我们需要一个循环来爬取多页数据并根据score参数来分类爬取。def fetch_comments_by_score(product_id, score_type, max_pages10): 根据评分类型爬取评论 :param product_id: 商品ID :param score_type: 1差评, 2中评, 3好评 :param max_pages: 最大爬取页数 :return: 评论数据列表 all_comments [] session requests.Session() session.headers.update(headers) base_params { productId: product_id, score: score_type, sortType: 5, pageSize: 10, isShadowSku: 0, fold: 1 } for page in range(0, max_pages): # 页码通常从0开始 print(f正在爬取 {score_type} 评价第 {page1} 页...) params base_params.copy() params[page] page try: resp session.get(https://club.jd.com/comment/productPageComments.action, paramsparams, timeout15) resp.raise_for_status() # 清理和解析 JSON text resp.text # 这里需要根据实际接口返回调整清理逻辑 # 假设接口返回的是纯JSON没有回调函数包装 page_data json.loads(text) comments page_data.get(comments, []) if not comments: # 如果当前页没有评论说明已爬完 print(f第 {page1} 页无数据可能已爬取完毕。) break all_comments.extend(comments) print(f 本页获取 {len(comments)} 条累计 {len(all_comments)} 条。) # 关键随机延时避免请求过快 sleep_time random.uniform(2, 5) print(f 等待 {sleep_time:.2f} 秒...) time.sleep(sleep_time) except requests.exceptions.RequestException as e: print(f第 {page1} 页请求失败: {e}) break except json.JSONDecodeError as e: print(f第 {page1} 页 JSON 解析失败: {e}) print(f 响应内容: {resp.text[:200]}) break return all_comments # 主程序 product_id 100012345678 # 替换为真实商品ID max_pages_per_score 20 # 每种评价类型最多爬20页 # 分别爬取好评、中评、差评 print(开始爬取好评...) good_comments fetch_comments_by_score(product_id, 3, max_pages_per_score) print(开始爬取中评...) neutral_comments fetch_comments_by_score(product_id, 2, max_pages_per_score) print(开始爬取差评...) bad_comments fetch_comments_by_score(product_id, 1, max_pages_per_score) print(f爬取完成好评{len(good_comments)} 条 中评{len(neutral_comments)} 条 差评{len(bad_comments)} 条。)4. 数据清洗、保存与结构化4.1 从原始数据中提取关键字段爬取到的每条评论是一个字典里面包含大量信息。我们需要根据分析目标提取出最有用的字段。def extract_comment_info(comment_dict): 从单条评论字典中提取关键信息 info { 用户ID: comment_dict.get(id), # 评论ID 用户昵称: comment_dict.get(nickname, 匿名用户), 评论内容: comment_dict.get(content, ).strip().replace(\n, ), # 清洗换行符 评分: comment_dict.get(score, 0), # 1-5分 评论时间: comment_dict.get(creationTime, ), 点赞数: comment_dict.get(usefulVoteCount, 0), 回复数: comment_dict.get(replyCount, 0), 是否追评: comment_dict.get(afterUserComment, {}).get(hAfterUserComment, False), 商品颜色: comment_dict.get(productColor, ), 商品规格: comment_dict.get(productSize, ), 是否plus会员: comment_dict.get(plusAvailable, 0) 1, } # 有时图片信息在一个嵌套的列表里 images comment_dict.get(images, []) info[图片数量] len(images) if images else 0 info[图片链接] ;.join([img.get(imgUrl, ) for img in images]) if images else return info # 应用提取函数到所有评论列表 good_comments_cleaned [extract_comment_info(c) for c in good_comments] neutral_comments_cleaned [extract_comment_info(c) for c in neutral_comments] bad_comments_cleaned [extract_comment_info(c) for c in bad_comments]4.2 使用 Pandas 进行分类保存将清洗后的数据列表转换为 Pandas DataFrame然后保存为 CSV 或 Excel 文件。分类保存意味着我们要生成三个独立的文件。import pandas as pd # 创建DataFrame df_good pd.DataFrame(good_comments_cleaned) df_neutral pd.DataFrame(neutral_comments_cleaned) df_bad pd.DataFrame(bad_comments_cleaned) # 定义文件名前缀 file_prefix fjd_comment_{product_id} # 保存为 CSV 文件 (推荐通用性好) df_good.to_csv(f{file_prefix}_good.csv, indexFalse, encodingutf-8-sig) # utf-8-sig 解决 Excel 打开中文乱码 df_neutral.to_csv(f{file_prefix}_neutral.csv, indexFalse, encodingutf-8-sig) df_bad.to_csv(f{file_prefix}_bad.csv, indexFalse, encodingutf-8-sig) # 或者保存为 Excel 文件 (需要安装 openpyxl: pip install openpyxl) # with pd.ExcelWriter(f{file_prefix}_all.xlsx, engineopenpyxl) as writer: # df_good.to_excel(writer, sheet_name好评, indexFalse) # df_neutral.to_excel(writer, sheet_name中评, indexFalse) # df_bad.to_excel(writer, sheet_name差评, indexFalse) print(f数据已保存。好评文件: {file_prefix}_good.csv)4.3 数据保存的进阶技巧与注意事项增量爬取如果你需要定期更新评论可以记录已爬取评论的 ID。每次爬虫运行时先读取已保存的文件获取已有的评论ID集合然后只保存新出现的评论。异常数据记录在爬取过程中可以将失败的请求 URL、状态码、异常信息记录到一个单独的日志文件中便于后续排查和重试。数据去重虽然按页爬取通常不会重复但为了严谨可以在保存前根据评论ID进行去重df.drop_duplicates(subset[‘用户ID’], inplaceTrue)。文件组织可以为每个商品创建一个文件夹里面存放该商品的所有评论文件使项目结构更清晰。5. 高级话题应对反爬与提升稳定性5.1 处理 429 Too Many Requests 错误这是爬虫最常遇到的错误之一。当服务器检测到你的请求频率过高时就会返回 429 状态码。我们的防御策略是“预防为主处理为辅”。增加随机延时如前所述time.sleep(random.uniform(2, 5))是基本操作。对于反爬严格的网站可以将休眠时间延长并增加随机性例如random.uniform(5, 10)。使用代理 IP当单个 IP 被限制后最有效的方法是切换 IP。你可以使用付费或免费的代理 IP 池。在 requests 中使用代理非常简单proxies { http: http://your_proxy_ip:port, https: http://your_proxy_ip:port, # 注意很多代理服务器的http和https协议都用http地址 } response session.get(url, paramsparams, proxiesproxies, timeout10)你需要自己管理代理IP的获取、验证和轮换逻辑。这是一个相对复杂的子系统。优雅的重试机制当遇到 429 或网络超时等错误时不应该立即崩溃而应该等待更长时间后重试。import requests from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry # 配置重试策略 retry_strategy Retry( total3, # 总重试次数 backoff_factor1, # 重试等待时间 {backoff factor} * (2 ** ({number of total retries} - 1)) status_forcelist[429, 500, 502, 503, 504], # 遇到这些状态码就重试 ) adapter HTTPAdapter(max_retriesretry_strategy) session requests.Session() session.mount(http://, adapter) session.mount(https://, adapter) # 然后使用这个 session 进行请求它会自动处理重试5.2 动态参数与签名破解有些网站的接口参数是经过加密或签名的比如一个sign或token参数。对于京东评论的基础接口目前通常不需要处理复杂的签名。但如果未来接口升级你可能需要仔细对比请求在开发者工具中对比你手动点击“下一页”时发出的多个请求观察哪些参数发生了变化变化的规律是什么。搜索 JavaScript 源码在开发者工具的 “Sources” 面板搜索关键参数名如sign、token、_等找到生成该参数的 JavaScript 函数。使用 PyExecJS 或 Node.js 环境如果参数生成逻辑不复杂可以尝试用 Python 重写。如果逻辑复杂涉及浏览器环境、加密库可以考虑使用PyExecJS库来执行 JavaScript 代码片段从而计算得到正确的参数值。这是爬虫进阶路上的一道坎。5.3 代码健壮性封装将上述所有功能封装成一个类会使代码更易管理和复用。class JDCommentCrawler: def __init__(self, product_id, base_headersNone): self.product_id product_id self.session requests.Session() self.session.headers.update(base_headers or self._get_default_headers()) # 配置重试 retry_strategy Retry(total3, backoff_factor1, status_forcelist[429, 500, 502, 503, 504]) adapter HTTPAdapter(max_retriesretry_strategy) self.session.mount(http://, adapter) self.session.mount(https://, adapter) staticmethod def _get_default_headers(): return { ... } # 返回默认请求头 def fetch_page(self, score, page): 爬取单页数据 params { ... } # 构造参数 try: resp self.session.get(API_URL, paramsparams, timeout15) resp.raise_for_status() return self._parse_response(resp.text) except Exception as e: self._log_error(e, params) return None def crawl_by_score(self, score_type, max_pages): 爬取指定类型的所有评论 all_comments [] for page in range(max_pages): data self.fetch_page(score_type, page) if not data: break all_comments.extend(data) time.sleep(random.uniform(2, 4)) return all_comments def run(self): 主运行函数 comments_map {} for score, name in [(3, good), (2, neutral), (1, bad)]: print(f开始爬取{name}评价...) comments self.crawl_by_score(score, 20) comments_map[name] comments self.save_to_csv(comments, name) return comments_map # ... 其他方法如 _parse_response, _log_error, save_to_csv 等6. 常见问题排查与实战心得6.1 问题速查表问题现象可能原因解决方案返回状态码 403 Forbidden请求头不完整或被识别为爬虫特别是缺少Referer或User-Agent太假。1. 检查并完善请求头从浏览器直接复制。2. 尝试添加Origin头。3. 使用requests.Session()。返回状态码 429 Too Many Requests请求频率过高IP 被暂时限制。1.立即大幅增加请求间隔如 sleep(5~10秒)。2. 暂停爬虫一段时间如半小时后再试。3. 考虑使用代理IP。json.loads()解析失败报错JSONDecodeError响应内容不是纯 JSON可能被回调函数包装或返回了错误页面如验证码。1. 打印response.text[:500]查看原始返回。2. 清理 JSONP 包装如去除fetchJSON_comment98(...)。3. 检查是否触发了反爬返回了HTML。爬取到的comments列表为空但网页上有评论1. 请求参数错误如productId,score。2. 接口已更新URL 或参数格式变化。3. 需要登录才能查看。1. 用浏览器开发者工具抓取新的请求对比参数差异。2. 检查score参数值是否正确0,1,2,3。3. 对于需登录内容难度剧增需考虑模拟登录或获取Cookie。只能爬到前几页后面返回空数据1. 页码page参数可能不是从0开始或增长步长不是1。2. 服务器对非登录用户限制了查看页数。1. 仔细分析翻页时请求参数的变化。2. 尝试在登录状态下抓取请求获取完整的参数。保存的 CSV 文件用 Excel 打开中文乱码CSV 文件默认使用 UTF-8 编码而 Excel 在中文系统下默认预期是 GBK/ANSI。使用encodingutf-8-sig参数保存 CSV。utf-8-sig会在文件开头添加 BOM 头帮助 Excel 正确识别编码。6.2 实操心得与避坑指南“慢就是快”对于爬虫尤其是新手最大的美德就是“慢”。把请求间隔设置得足够长比如3秒以上能规避90%的反爬问题。急于求成狂发请求只会导致IP被封得不偿失。从浏览器复制不要自己编请求头、URL 参数尽可能从浏览器开发者工具里直接复制。你的“想当然”很可能和服务器预期的不一样。先验证单次请求再构建循环不要一上来就写for循环爬100页。先确保你的代码能正确获取并解析第一页的数据。用print把关键步骤的结果输出看看确认无误后再加循环和延时。关注接口的变化网站的接口不是一成不变的。今天能用的代码下个月可能就失效了。如果突然爬不到数据第一件事就是重新用开发者工具抓包看看接口地址和参数有没有变化。尊重robots.txt与法律边界在爬取任何网站前理论上应该查看其robots.txt文件例如https://www.jd.com/robots.txt了解哪些路径是允许爬取的。更重要的是爬取的数据应仅用于个人学习或合法的分析研究不得用于商业用途、不得恶意攻击服务器、不得侵犯用户隐私。控制爬取速度避免对目标网站造成负担这是基本的网络礼仪。数据存储考虑如果爬取数据量很大CSV 文件可能会变得笨重。可以考虑使用 SQLitesqlite3库或更专业的数据库如 MySQL, PostgreSQL进行存储便于查询和管理。异常处理要具体不要只用except Exception一把抓。针对requests.exceptions.Timeout、ConnectionError、HTTPError以及JSONDecodeError分别进行处理可以让你更清楚地知道程序在哪一环出了问题。这个项目从简单的想法到能稳定运行的工具涉及了网络请求、数据解析、反爬策略、文件操作和代码设计多个层面。核心不在于代码多么复杂而在于对目标网站行为的细致观察和对异常情况的周全考虑。当你成功运行起自己的爬虫看到数据规整地保存到文件里时那种解决问题的成就感才是学习编程最大的乐趣之一。本文还有配套的精品资源点击获取