最近在技术社区看到不少关于Python接单的讨论很多新手开发者苦于没有项目经验面对几百上千元的单子不敢下手。其实很多看似复杂的商业数据采集需求核心逻辑并不难关键在于选对工具和思路。今天我们就以“采集京东商品数据”这个典型的、价值约1500元的单子为例手把手带你走通全流程。更重要的是我会向你展示如何将AI工具如SeekSeek融入开发过程让98%的代码编写、调试和问题排查工作变得轻松即使你是Python新手也能有信心拿下这类项目。本文将不仅仅是一个简单的爬虫脚本而是一套完整的“技术接单解决方案”。我们会从需求分析、工具选型Python Playwright、环境搭建、核心代码编写、反爬应对、数据清洗到最终利用AI辅助编程SeekSeek提升效率进行系统性的拆解。学完后你不仅能独立完成这个京东数据采集项目更能掌握一套应对类似数据采集需求的通用方法论。1. 项目背景与核心需求分析在开始写代码之前充分理解客户需求是成功接单的第一步。盲目动手往往会导致返工甚至项目失败。1.1 什么是京东商品数据采集简单来说就是通过程序自动化地访问京东网站模拟用户浏览商品列表、进入商品详情页的行为并将页面上的关键信息如商品标题、价格、销量、评价、规格参数等提取出来结构化的保存到本地文件如CSV、Excel或数据库中。这不同于简单的页面“另存为”。自动化采集意味着可以批量处理成千上万个商品按照特定规则如关键词搜索、按分类遍历获取数据并且可以定时更新用于市场分析、价格监控、竞品研究等商业场景。这也是其价值所在一个稳定、高效、能应对网站反爬措施的采集程序报价1500元是完全合理的市场价。1.2 典型需求场景与客户期望接单时你需要和客户明确以下几点这直接决定了你的技术方案和报价采集目标是采集某个关键词下的所有商品还是某个品牌店的所有商品或是某个商品分类下的前N页采集字段具体需要哪些信息通常包括商品SKU/ID、标题、价格当前价、原价、促销信息、销量或评价数、好评率、商品详情文字或图片、规格参数表、店铺名称等。数据格式与交付客户需要CSV、Excel还是直接入库是否需要去重、清洗交付频率是单次还是定期如每天反爬要求客户是否了解京东有反爬机制你的方案是否需要处理登录、验证码、滑块等这关系到程序的稳定性和复杂度。假设我们本次接到的需求是采集关键词“蓝牙耳机”下前50页的所有商品列表信息标题、价格、店铺、评价数并将结果保存为Excel文件。1.3 为什么选择 Python Playwright传统爬虫可能首选requestsBeautifulSoup或Scrapy。但对于像京东这样动态渲染复杂、反爬措施完善的现代电商网站这些方案会遇到巨大挑战动态加载商品列表和详情大量使用JavaScript异步加载简单HTTP请求拿不到完整数据。反爬机制频繁访问会触发验证码、滑块验证甚至IP封禁。请求复杂度高涉及加密参数、Cookie管理等。Playwright是一个现代浏览器自动化库它能够驱动Chromium、Firefox、WebKit等浏览器模拟真实用户操作。它的优势在于处理动态内容能完整执行页面JS轻松获取渲染后的数据。规避简单反爬模拟真人操作轨迹降低被识别为机器的风险。强大的选择器与等待机制定位元素非常方便自动等待元素加载。录制与调试工具有Codegen工具可以录制操作生成代码对新手友好。因此Python Playwright是完成此类任务的更优、更稳的选择。而AI编程助手如SeekSeek的作用则是帮助我们快速生成Playwright的代码片段、解决报错、优化逻辑将开发效率提升数倍。2. 环境准备与工具安装工欲善其事必先利其器。让我们先把开发环境搭建起来。2.1 Python环境安装确保你的电脑上安装了Python。推荐使用Python 3.8及以上版本。你可以在命令行中输入以下命令检查python --version # 或 python3 --version如果未安装请前往Python官网下载安装包安装时务必勾选“Add Python to PATH”。2.2 安装必备的Python库我们将使用playwright进行浏览器自动化使用pandas处理数据并导出Excel使用openpyxl作为pandas写入Excel的引擎。 打开命令行CMD、PowerShell或终端执行以下命令进行安装# 安装playwright库 pip install playwright # 安装playwright所需的浏览器Chromium、Firefox、WebKit这一步可能需要一些时间 playwright install chromium # 安装pandas和openpyxl用于数据处理 pip install pandas openpyxl2.3 配置AI编程助手以Cursor/VS Code SeekSeek为例AI辅助编程是本次实战的“效率倍增器”。这里以目前体验较好的方案为例安装编辑器推荐使用VS Code或Cursor。Cursor内置了强大的AI能力。集成AI助手在Cursor中你可以直接使用其内置的AI。在VS Code中你可以安装类似Cursor的插件或配置相关AI服务的API如SeekSeek需注意使用合规的AI服务。其核心作用是你可以用自然语言描述你的需求如“用Playwright打开京东搜索‘蓝牙耳机’并获取第一页商品列表”AI会生成大致的代码框架你再进行调试和细化。重要原则AI是强大的助手但不是替代品。你需要理解它生成的代码并具备调试和修改的能力。接下来的教程我会同时展示“传统编写”和“AI辅助优化”两种视角。3. 核心思路与Playwright基础在编写京东采集脚本前我们需要掌握Playwright的几个核心概念。3.1 Playwright 核心操作流程一个典型的Playwright脚本遵循以下流程from playwright.sync_api import sync_playwright # 1. 启动Playwright和浏览器 with sync_playwright() as p: browser p.chromium.launch(headlessFalse) # headlessFalse表示显示浏览器窗口便于调试 context browser.new_context() page context.new_page() # 2. 导航到目标网址 page.goto(https://www.jd.com) # 3. 进行页面交互点击、输入等 page.fill(input#key, 蓝牙耳机) # 在搜索框输入 page.click(button.button) # 点击搜索按钮 page.wait_for_load_state(networkidle) # 等待网络空闲 # 4. 提取数据 product_titles page.locator(div.p-name a em).all_text_contents() # 5. 打印或处理数据 for title in product_titles: print(title) # 6. 关闭浏览器 browser.close()sync_playwright: 同步API的上下文管理器。launch(headlessFalse): 启动浏览器。调试时建议关闭无头模式能看到浏览器操作。goto(url): 跳转到指定URL。locator(selector): 使用CSS选择器或XPath定位页面元素这是数据提取的关键。wait_for_load_state(): 等待页面达到某种加载状态避免在元素未加载时进行操作。3.2 定位京东页面元素数据采集的核心是找到数据在网页HTML结构中的位置。我们需要使用浏览器的开发者工具F12。打开京东首页搜索“蓝牙耳机”。在商品列表区域右键点击一个商品标题选择“检查”。在开发者工具中你会看到高亮的HTML代码。例如商品标题可能在一个类似div class“p-name”a target“_blank” …em商品标题/em/a/div的标签内。你可以尝试使用CSS选择器如div.p-name a em来定位这个元素。AI辅助技巧你可以对AI说“帮我分析京东搜索列表页的商品标题、价格、店铺名的CSS选择器。” AI可能会给出参考建议但你必须亲自在开发者工具中验证其准确性因为网站结构可能会变动。4. 完整实战京东商品数据采集脚本现在我们将把以上知识整合编写一个完整的、健壮的采集脚本。4.1 项目结构设计创建一个项目文件夹例如jd_data_collector内部结构如下jd_data_collector/ ├── config.py # 配置文件关键词、页数等 ├── crawler.py # 核心爬虫逻辑 ├── utils.py # 工具函数数据处理、保存 ├── main.py # 主程序入口 └── requirements.txt # 依赖列表4.2 编写配置文件 (config.py)将可配置项集中管理方便修改。# config.py class Config: # 搜索关键词 KEYWORD 蓝牙耳机 # 需要采集的页数 MAX_PAGES 50 # 每页等待时间秒模拟人工操作避免请求过快 WAIT_TIME_PER_PAGE 2 # 输出文件路径 OUTPUT_FILE jd_products.xlsx # 京东搜索URL模板 SEARCH_URL_TEMPLATE https://search.jd.com/Search?keyword{keyword}page{page}4.3 编写核心爬虫类 (crawler.py)这是最核心的部分我们将其封装成一个类。# crawler.py import time from playwright.sync_api import sync_playwright from config import Config class JDCrawler: def __init__(self, headlessFalse): self.headless headless self.config Config() self.data_list [] # 用于存储所有采集到的数据 def _extract_product_info(self, page): 从当前页面提取商品信息 # 等待商品列表加载完成 page.wait_for_selector(div#J_goodsList ul.gl-warp li.gl-item, timeout10000) # 定位所有商品项 product_items page.locator(div#J_goodsList ul.gl-warp li.gl-item).all() print(f当前页找到 {len(product_items)} 个商品) for item in product_items: try: # 提取商品标题 (使用更精确的选择器避免广告) title_elem item.locator(div.p-name a em) title title_elem.first.text_content().strip() if title_elem.count() 0 else N/A # 提取价格 price_elem item.locator(div.p-price strong i) price price_elem.first.text_content().strip() if price_elem.count() 0 else N/A # 提取店铺 shop_elem item.locator(div.p-shop a) shop shop_elem.first.get_attribute(title) if shop_elem.count() 0 else N/A if not shop: shop_elem_alt item.locator(div.p-shop span a) shop shop_elem_alt.first.text_content().strip() if shop_elem_alt.count() 0 else N/A # 提取评价数 commit_elem item.locator(div.p-commit strong a) commit commit_elem.first.text_content().strip() if commit_elem.count() 0 else N/A # 将数据存入字典 product_info { 标题: title, 价格: price, 店铺: shop, 评价数: commit, } self.data_list.append(product_info) except Exception as e: print(f提取商品信息时出错: {e}) continue # 跳过当前出错商品继续下一个 def run(self): 启动爬虫主流程 with sync_playwright() as p: # 启动浏览器可设置慢速模拟增加真实性 browser p.chromium.launch( headlessself.headless, slow_mo100 # 每个操作延迟100毫秒 ) # 创建上下文可以设置User-Agent等 context browser.new_context( user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 ) page context.new_page() try: for page_num in range(1, self.config.MAX_PAGES 1): print(f正在采集第 {page_num} 页...) # 构造每一页的URL url self.config.SEARCH_URL_TEMPLATE.format(keywordself.config.KEYWORD, pagepage_num*2-1) # 京东页码是奇数 page.goto(url) # 等待页面主要内容加载 page.wait_for_load_state(networkidle) # 模拟向下滚动触发懒加载京东是滚动加载 page.evaluate(window.scrollTo(0, document.body.scrollHeight)) time.sleep(1) # 等待滚动加载 page.evaluate(window.scrollTo(0, document.body.scrollHeight)) time.sleep(1) # 提取当前页商品信息 self._extract_product_info(page) # 翻页后等待避免请求过快 time.sleep(self.config.WAIT_TIME_PER_PAGE) except Exception as e: print(f爬虫运行过程中发生错误: {e}) finally: # 确保浏览器被关闭 browser.close() print(f采集完成共获取 {len(self.data_list)} 条商品数据。) return self.data_list4.4 编写工具函数与主程序 (utils.py,main.py)# utils.py import pandas as pd from config import Config def save_to_excel(data_list, filenameNone): 将数据列表保存为Excel文件 if not filename: filename Config.OUTPUT_FILE if not data_list: print(数据列表为空未保存文件。) return df pd.DataFrame(data_list) # 去重根据标题和价格 df.drop_duplicates(subset[标题, 价格], keepfirst, inplaceTrue) df.to_excel(filename, indexFalse, engineopenpyxl) print(f数据已成功保存至 {filename})# main.py from crawler import JDCrawler from utils import save_to_excel def main(): # 初始化爬虫调试阶段建议 headlessFalse crawler JDCrawler(headlessFalse) # 运行爬虫 data crawler.run() # 保存数据 save_to_excel(data) if __name__ __main__: main()4.5 运行与结果验证在项目根目录下运行命令python main.py你会看到一个浏览器窗口自动打开访问京东并开始搜索、翻页。程序运行结束后会在项目目录下生成一个jd_products.xlsx文件用Excel或WPS打开即可查看采集到的结构化数据。AI辅助场景如果在编写上述代码时你对Playwright的某个API不熟悉例如wait_for_selector的参数或者遇到了难以理解的报错你可以直接将错误信息或你的疑问描述给AI助手。例如“我的Playwright脚本在wait_for_selector这里超时了京东商品列表的选择器是div#J_goodsList ul.gl-warp li.gl-item有什么可能的原因” AI可能会给出排查建议选择器是否准确、是否需要更长超时时间、页面是否加载了iframe等。5. 常见问题与高级反爬策略一个能交付的商用脚本必须考虑稳定性和反爬。以下是你会遇到的典型问题及解决方案。5.1 常见问题排查表问题现象可能原因解决方案浏览器无法启动Playwright浏览器未安装或路径问题运行playwright install chromium页面加载超时网络慢或目标页面响应慢增加timeout参数如page.goto(url, timeout60000)定位不到元素1. 选择器错误或已过期2. 页面未完全加载/动态渲染1. 用开发者工具重新验证选择器2. 添加page.wait_for_load_state(‘networkidle’)或page.wait_for_selector()被识别为爬虫请求频率过高指纹被识别1. 使用slow_mo参数2. 随机化等待时间time.sleep(random.uniform(1,3))3. 使用context.new_page()时设置user_agent4. 考虑使用代理IP池高级数据重复或缺失页面懒加载未触发或去重逻辑问题1. 模拟滚动page.evaluate(“window.scrollTo(0, document.body.scrollHeight)”)2. 检查并优化数据提取逻辑和去重条件出现验证码/滑块触发网站反爬机制1. 首要方案降低采集频率这是最有效的方法。2. 尝试更换user_agent使用更真实的浏览器上下文。3. 考虑手动处理一次后保存cookies复用针对登录态。4.商业项目中如需高频率采集应采购专业的第三方验证码识别或打码平台服务但这会显著增加成本和复杂度。5.2 增强脚本健壮性将上述策略融入代码我们优化一下crawler.py中的run方法import random import time # ... 其他导入 ... def run(self): with sync_playwright() as p: browser p.chromium.launch(headlessself.headless, slow_morandom.randint(50, 200)) # 随机延迟 context browser.new_context( user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36..., viewport{width: 1920, height: 1080} ) page context.new_page() try: for page_num in range(1, self.config.MAX_PAGES 1): print(f“正在采集第 {page_num} 页...”) url self.config.SEARCH_URL_TEMPLATE.format(keywordself.config.KEYWORD, pagepage_num*2-1) # 增加超时时间 page.goto(url, timeout60000) page.wait_for_load_state(‘networkidle’) # 多次随机滚动模拟真人浏览 for _ in range(random.randint(2, 4)): page.mouse.wheel(0, random.randint(500, 1000)) time.sleep(random.uniform(0.5, 1.5)) self._extract_product_info(page) # 随机化翻页等待时间 time.sleep(random.uniform(self.config.WAIT_TIME_PER_PAGE, self.config.WAIT_TIME_PER_PAGE 2)) except Exception as e: print(f“采集出错: {e}”) # 可以在这里添加截图功能便于调试 page.screenshot(pathf“error_page_{int(time.time())}.png”) finally: browser.close() return self.data_list6. 工程化建议与接单实战技巧当你掌握了基础脚本的编写后如何将它变成一个可靠、可交付、可维护的“产品”是决定你能否成功接单并获得好评的关键。6.1 代码结构与配置化分离配置与逻辑正如我们做的将所有可调参数关键词、页数、URL、输出路径、等待时间放在config.py或配置文件中。方便客户或你自己后期修改。日志记录不要只用print。使用Python内置的logging模块将程序运行状态、错误信息记录到文件便于后期排查问题。import logging logging.basicConfig(levellogging.INFO, format‘%(asctime)s - %(levelname)s - %(message)s’, filename‘jd_crawler.log’) logger logging.getLogger(__name__) # 在代码中用 logger.info(‘正在采集第X页’) 替代 print异常处理与重试对于网络请求等可能失败的环节添加重试机制。from tenacity import retry, stop_after_attempt, wait_random_exponential retry(stopstop_after_attempt(3), waitwait_random_exponential(multiplier1, max10)) def safe_goto(page, url): return page.goto(url, timeout30000)6.2 数据清洗与交付数据去重与校验采集到的数据可能存在重复、空值、格式混乱如价格包含‘¥’符号。在保存前进行清洗。def clean_data(df): # 去重 df.drop_duplicates(subset[‘标题’ ‘价格’] inplaceTrue) # 价格清洗移除‘¥’、‘’等非数字字符转换为浮点数 df[‘价格_数值’] df[‘价格’].astype(str).str.replace(‘[¥]’ ‘’ regexTrue).astype(float) # 处理空值 df.fillna({‘店铺’ ‘未知店铺’ ‘评价数’ ‘0’} inplaceTrue) return df多格式输出除了Excel可以提供CSV、JSON或直接写入数据库如SQLite、MySQL的选项满足客户不同需求。6.3 利用AI提升接单效率核心技巧这才是让你从“会编码”到“高效接单”的飞跃。AI助手SeekSeek/Cursor可以在以下环节发挥巨大作用需求分析与方案设计将客户模糊的需求描述给AI让它帮你梳理成清晰的技术实现要点和可能的风险点。代码生成与补全描述功能如“用Playwright实现一个随机滚动页面的函数”AI能快速生成代码片段你只需微调。调试与排错将复杂的报错信息直接粘贴给AI它通常能精准定位问题根源并提供修改建议节省大量搜索时间。代码优化与重构让AI审查你的代码提出优化建议比如提高效率、增加可读性、添加注释。文档与注释让AI根据你的代码生成函数说明、README文档提升项目专业度。实战示例当你遇到一个不熟悉的Playwright API时不必花大量时间阅读官方文档。可以直接问AI“Playwright如何获取一个元素的全部属性” AI可能会立刻给出示例element.get_attribute(‘outerHTML’)或page.eval_on_selector(‘selector’ ‘el el.attributes’)。6.4 接单沟通与交付清单明确需求制作一个需求确认表与客户逐项确认采集目标、字段、频率、格式、交付方式。报价与工期根据需求复杂度评估工作量。本项目级别的脚本对于熟练者开发测试约1-2天。报价1500-3000元是合理范围视需求复杂度而定。分期交付可先交付一个基础可运行的版本供客户确认再完善反爬和稳定性功能。交付物完整的、注释清晰的源代码。详细的运行环境说明requirements.txt。使用说明书如何配置、运行。测试数据样本。售后支持约定免费的短期维护期如7-15天用于修复因目标网站微调导致的小问题。通过本文的教程你不仅学会了一个价值1500元的京东数据采集脚本的编写更重要的是掌握了一套“Python技术接单”的组合拳Playwright处理复杂爬取 AI辅助提升开发效率 工程化思维保证交付质量。这套方法可以迁移到淘宝、拼多多、小红书等几乎所有电商或内容平台的数据采集需求中。真正的成长来自于动手实践。建议你完全按照步骤跑通这个项目然后尝试修改关键词、增加采集字段如商品详情、图片甚至尝试应对更复杂的反爬场景。当你能够独立解决其中遇到的各种“坑”时你就已经具备了承接此类数据采集项目的能力。接下来可以尝试在技术社区或接单平台寻找真实需求用你的技能去创造价值。
最近在技术社区看到不少关于Python接单的讨论很多新手开发者苦于没有项目经验面对几百上千元的单子不敢下手。其实很多看似复杂的商业数据采集需求核心逻辑并不难关键在于选对工具和思路。今天我们就以“采集京东商品数据”这个典型的、价值约1500元的单子为例手把手带你走通全流程。更重要的是我会向你展示如何将AI工具如SeekSeek融入开发过程让98%的代码编写、调试和问题排查工作变得轻松即使你是Python新手也能有信心拿下这类项目。本文将不仅仅是一个简单的爬虫脚本而是一套完整的“技术接单解决方案”。我们会从需求分析、工具选型Python Playwright、环境搭建、核心代码编写、反爬应对、数据清洗到最终利用AI辅助编程SeekSeek提升效率进行系统性的拆解。学完后你不仅能独立完成这个京东数据采集项目更能掌握一套应对类似数据采集需求的通用方法论。1. 项目背景与核心需求分析在开始写代码之前充分理解客户需求是成功接单的第一步。盲目动手往往会导致返工甚至项目失败。1.1 什么是京东商品数据采集简单来说就是通过程序自动化地访问京东网站模拟用户浏览商品列表、进入商品详情页的行为并将页面上的关键信息如商品标题、价格、销量、评价、规格参数等提取出来结构化的保存到本地文件如CSV、Excel或数据库中。这不同于简单的页面“另存为”。自动化采集意味着可以批量处理成千上万个商品按照特定规则如关键词搜索、按分类遍历获取数据并且可以定时更新用于市场分析、价格监控、竞品研究等商业场景。这也是其价值所在一个稳定、高效、能应对网站反爬措施的采集程序报价1500元是完全合理的市场价。1.2 典型需求场景与客户期望接单时你需要和客户明确以下几点这直接决定了你的技术方案和报价采集目标是采集某个关键词下的所有商品还是某个品牌店的所有商品或是某个商品分类下的前N页采集字段具体需要哪些信息通常包括商品SKU/ID、标题、价格当前价、原价、促销信息、销量或评价数、好评率、商品详情文字或图片、规格参数表、店铺名称等。数据格式与交付客户需要CSV、Excel还是直接入库是否需要去重、清洗交付频率是单次还是定期如每天反爬要求客户是否了解京东有反爬机制你的方案是否需要处理登录、验证码、滑块等这关系到程序的稳定性和复杂度。假设我们本次接到的需求是采集关键词“蓝牙耳机”下前50页的所有商品列表信息标题、价格、店铺、评价数并将结果保存为Excel文件。1.3 为什么选择 Python Playwright传统爬虫可能首选requestsBeautifulSoup或Scrapy。但对于像京东这样动态渲染复杂、反爬措施完善的现代电商网站这些方案会遇到巨大挑战动态加载商品列表和详情大量使用JavaScript异步加载简单HTTP请求拿不到完整数据。反爬机制频繁访问会触发验证码、滑块验证甚至IP封禁。请求复杂度高涉及加密参数、Cookie管理等。Playwright是一个现代浏览器自动化库它能够驱动Chromium、Firefox、WebKit等浏览器模拟真实用户操作。它的优势在于处理动态内容能完整执行页面JS轻松获取渲染后的数据。规避简单反爬模拟真人操作轨迹降低被识别为机器的风险。强大的选择器与等待机制定位元素非常方便自动等待元素加载。录制与调试工具有Codegen工具可以录制操作生成代码对新手友好。因此Python Playwright是完成此类任务的更优、更稳的选择。而AI编程助手如SeekSeek的作用则是帮助我们快速生成Playwright的代码片段、解决报错、优化逻辑将开发效率提升数倍。2. 环境准备与工具安装工欲善其事必先利其器。让我们先把开发环境搭建起来。2.1 Python环境安装确保你的电脑上安装了Python。推荐使用Python 3.8及以上版本。你可以在命令行中输入以下命令检查python --version # 或 python3 --version如果未安装请前往Python官网下载安装包安装时务必勾选“Add Python to PATH”。2.2 安装必备的Python库我们将使用playwright进行浏览器自动化使用pandas处理数据并导出Excel使用openpyxl作为pandas写入Excel的引擎。 打开命令行CMD、PowerShell或终端执行以下命令进行安装# 安装playwright库 pip install playwright # 安装playwright所需的浏览器Chromium、Firefox、WebKit这一步可能需要一些时间 playwright install chromium # 安装pandas和openpyxl用于数据处理 pip install pandas openpyxl2.3 配置AI编程助手以Cursor/VS Code SeekSeek为例AI辅助编程是本次实战的“效率倍增器”。这里以目前体验较好的方案为例安装编辑器推荐使用VS Code或Cursor。Cursor内置了强大的AI能力。集成AI助手在Cursor中你可以直接使用其内置的AI。在VS Code中你可以安装类似Cursor的插件或配置相关AI服务的API如SeekSeek需注意使用合规的AI服务。其核心作用是你可以用自然语言描述你的需求如“用Playwright打开京东搜索‘蓝牙耳机’并获取第一页商品列表”AI会生成大致的代码框架你再进行调试和细化。重要原则AI是强大的助手但不是替代品。你需要理解它生成的代码并具备调试和修改的能力。接下来的教程我会同时展示“传统编写”和“AI辅助优化”两种视角。3. 核心思路与Playwright基础在编写京东采集脚本前我们需要掌握Playwright的几个核心概念。3.1 Playwright 核心操作流程一个典型的Playwright脚本遵循以下流程from playwright.sync_api import sync_playwright # 1. 启动Playwright和浏览器 with sync_playwright() as p: browser p.chromium.launch(headlessFalse) # headlessFalse表示显示浏览器窗口便于调试 context browser.new_context() page context.new_page() # 2. 导航到目标网址 page.goto(https://www.jd.com) # 3. 进行页面交互点击、输入等 page.fill(input#key, 蓝牙耳机) # 在搜索框输入 page.click(button.button) # 点击搜索按钮 page.wait_for_load_state(networkidle) # 等待网络空闲 # 4. 提取数据 product_titles page.locator(div.p-name a em).all_text_contents() # 5. 打印或处理数据 for title in product_titles: print(title) # 6. 关闭浏览器 browser.close()sync_playwright: 同步API的上下文管理器。launch(headlessFalse): 启动浏览器。调试时建议关闭无头模式能看到浏览器操作。goto(url): 跳转到指定URL。locator(selector): 使用CSS选择器或XPath定位页面元素这是数据提取的关键。wait_for_load_state(): 等待页面达到某种加载状态避免在元素未加载时进行操作。3.2 定位京东页面元素数据采集的核心是找到数据在网页HTML结构中的位置。我们需要使用浏览器的开发者工具F12。打开京东首页搜索“蓝牙耳机”。在商品列表区域右键点击一个商品标题选择“检查”。在开发者工具中你会看到高亮的HTML代码。例如商品标题可能在一个类似div class“p-name”a target“_blank” …em商品标题/em/a/div的标签内。你可以尝试使用CSS选择器如div.p-name a em来定位这个元素。AI辅助技巧你可以对AI说“帮我分析京东搜索列表页的商品标题、价格、店铺名的CSS选择器。” AI可能会给出参考建议但你必须亲自在开发者工具中验证其准确性因为网站结构可能会变动。4. 完整实战京东商品数据采集脚本现在我们将把以上知识整合编写一个完整的、健壮的采集脚本。4.1 项目结构设计创建一个项目文件夹例如jd_data_collector内部结构如下jd_data_collector/ ├── config.py # 配置文件关键词、页数等 ├── crawler.py # 核心爬虫逻辑 ├── utils.py # 工具函数数据处理、保存 ├── main.py # 主程序入口 └── requirements.txt # 依赖列表4.2 编写配置文件 (config.py)将可配置项集中管理方便修改。# config.py class Config: # 搜索关键词 KEYWORD 蓝牙耳机 # 需要采集的页数 MAX_PAGES 50 # 每页等待时间秒模拟人工操作避免请求过快 WAIT_TIME_PER_PAGE 2 # 输出文件路径 OUTPUT_FILE jd_products.xlsx # 京东搜索URL模板 SEARCH_URL_TEMPLATE https://search.jd.com/Search?keyword{keyword}page{page}4.3 编写核心爬虫类 (crawler.py)这是最核心的部分我们将其封装成一个类。# crawler.py import time from playwright.sync_api import sync_playwright from config import Config class JDCrawler: def __init__(self, headlessFalse): self.headless headless self.config Config() self.data_list [] # 用于存储所有采集到的数据 def _extract_product_info(self, page): 从当前页面提取商品信息 # 等待商品列表加载完成 page.wait_for_selector(div#J_goodsList ul.gl-warp li.gl-item, timeout10000) # 定位所有商品项 product_items page.locator(div#J_goodsList ul.gl-warp li.gl-item).all() print(f当前页找到 {len(product_items)} 个商品) for item in product_items: try: # 提取商品标题 (使用更精确的选择器避免广告) title_elem item.locator(div.p-name a em) title title_elem.first.text_content().strip() if title_elem.count() 0 else N/A # 提取价格 price_elem item.locator(div.p-price strong i) price price_elem.first.text_content().strip() if price_elem.count() 0 else N/A # 提取店铺 shop_elem item.locator(div.p-shop a) shop shop_elem.first.get_attribute(title) if shop_elem.count() 0 else N/A if not shop: shop_elem_alt item.locator(div.p-shop span a) shop shop_elem_alt.first.text_content().strip() if shop_elem_alt.count() 0 else N/A # 提取评价数 commit_elem item.locator(div.p-commit strong a) commit commit_elem.first.text_content().strip() if commit_elem.count() 0 else N/A # 将数据存入字典 product_info { 标题: title, 价格: price, 店铺: shop, 评价数: commit, } self.data_list.append(product_info) except Exception as e: print(f提取商品信息时出错: {e}) continue # 跳过当前出错商品继续下一个 def run(self): 启动爬虫主流程 with sync_playwright() as p: # 启动浏览器可设置慢速模拟增加真实性 browser p.chromium.launch( headlessself.headless, slow_mo100 # 每个操作延迟100毫秒 ) # 创建上下文可以设置User-Agent等 context browser.new_context( user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 ) page context.new_page() try: for page_num in range(1, self.config.MAX_PAGES 1): print(f正在采集第 {page_num} 页...) # 构造每一页的URL url self.config.SEARCH_URL_TEMPLATE.format(keywordself.config.KEYWORD, pagepage_num*2-1) # 京东页码是奇数 page.goto(url) # 等待页面主要内容加载 page.wait_for_load_state(networkidle) # 模拟向下滚动触发懒加载京东是滚动加载 page.evaluate(window.scrollTo(0, document.body.scrollHeight)) time.sleep(1) # 等待滚动加载 page.evaluate(window.scrollTo(0, document.body.scrollHeight)) time.sleep(1) # 提取当前页商品信息 self._extract_product_info(page) # 翻页后等待避免请求过快 time.sleep(self.config.WAIT_TIME_PER_PAGE) except Exception as e: print(f爬虫运行过程中发生错误: {e}) finally: # 确保浏览器被关闭 browser.close() print(f采集完成共获取 {len(self.data_list)} 条商品数据。) return self.data_list4.4 编写工具函数与主程序 (utils.py,main.py)# utils.py import pandas as pd from config import Config def save_to_excel(data_list, filenameNone): 将数据列表保存为Excel文件 if not filename: filename Config.OUTPUT_FILE if not data_list: print(数据列表为空未保存文件。) return df pd.DataFrame(data_list) # 去重根据标题和价格 df.drop_duplicates(subset[标题, 价格], keepfirst, inplaceTrue) df.to_excel(filename, indexFalse, engineopenpyxl) print(f数据已成功保存至 {filename})# main.py from crawler import JDCrawler from utils import save_to_excel def main(): # 初始化爬虫调试阶段建议 headlessFalse crawler JDCrawler(headlessFalse) # 运行爬虫 data crawler.run() # 保存数据 save_to_excel(data) if __name__ __main__: main()4.5 运行与结果验证在项目根目录下运行命令python main.py你会看到一个浏览器窗口自动打开访问京东并开始搜索、翻页。程序运行结束后会在项目目录下生成一个jd_products.xlsx文件用Excel或WPS打开即可查看采集到的结构化数据。AI辅助场景如果在编写上述代码时你对Playwright的某个API不熟悉例如wait_for_selector的参数或者遇到了难以理解的报错你可以直接将错误信息或你的疑问描述给AI助手。例如“我的Playwright脚本在wait_for_selector这里超时了京东商品列表的选择器是div#J_goodsList ul.gl-warp li.gl-item有什么可能的原因” AI可能会给出排查建议选择器是否准确、是否需要更长超时时间、页面是否加载了iframe等。5. 常见问题与高级反爬策略一个能交付的商用脚本必须考虑稳定性和反爬。以下是你会遇到的典型问题及解决方案。5.1 常见问题排查表问题现象可能原因解决方案浏览器无法启动Playwright浏览器未安装或路径问题运行playwright install chromium页面加载超时网络慢或目标页面响应慢增加timeout参数如page.goto(url, timeout60000)定位不到元素1. 选择器错误或已过期2. 页面未完全加载/动态渲染1. 用开发者工具重新验证选择器2. 添加page.wait_for_load_state(‘networkidle’)或page.wait_for_selector()被识别为爬虫请求频率过高指纹被识别1. 使用slow_mo参数2. 随机化等待时间time.sleep(random.uniform(1,3))3. 使用context.new_page()时设置user_agent4. 考虑使用代理IP池高级数据重复或缺失页面懒加载未触发或去重逻辑问题1. 模拟滚动page.evaluate(“window.scrollTo(0, document.body.scrollHeight)”)2. 检查并优化数据提取逻辑和去重条件出现验证码/滑块触发网站反爬机制1. 首要方案降低采集频率这是最有效的方法。2. 尝试更换user_agent使用更真实的浏览器上下文。3. 考虑手动处理一次后保存cookies复用针对登录态。4.商业项目中如需高频率采集应采购专业的第三方验证码识别或打码平台服务但这会显著增加成本和复杂度。5.2 增强脚本健壮性将上述策略融入代码我们优化一下crawler.py中的run方法import random import time # ... 其他导入 ... def run(self): with sync_playwright() as p: browser p.chromium.launch(headlessself.headless, slow_morandom.randint(50, 200)) # 随机延迟 context browser.new_context( user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36..., viewport{width: 1920, height: 1080} ) page context.new_page() try: for page_num in range(1, self.config.MAX_PAGES 1): print(f“正在采集第 {page_num} 页...”) url self.config.SEARCH_URL_TEMPLATE.format(keywordself.config.KEYWORD, pagepage_num*2-1) # 增加超时时间 page.goto(url, timeout60000) page.wait_for_load_state(‘networkidle’) # 多次随机滚动模拟真人浏览 for _ in range(random.randint(2, 4)): page.mouse.wheel(0, random.randint(500, 1000)) time.sleep(random.uniform(0.5, 1.5)) self._extract_product_info(page) # 随机化翻页等待时间 time.sleep(random.uniform(self.config.WAIT_TIME_PER_PAGE, self.config.WAIT_TIME_PER_PAGE 2)) except Exception as e: print(f“采集出错: {e}”) # 可以在这里添加截图功能便于调试 page.screenshot(pathf“error_page_{int(time.time())}.png”) finally: browser.close() return self.data_list6. 工程化建议与接单实战技巧当你掌握了基础脚本的编写后如何将它变成一个可靠、可交付、可维护的“产品”是决定你能否成功接单并获得好评的关键。6.1 代码结构与配置化分离配置与逻辑正如我们做的将所有可调参数关键词、页数、URL、输出路径、等待时间放在config.py或配置文件中。方便客户或你自己后期修改。日志记录不要只用print。使用Python内置的logging模块将程序运行状态、错误信息记录到文件便于后期排查问题。import logging logging.basicConfig(levellogging.INFO, format‘%(asctime)s - %(levelname)s - %(message)s’, filename‘jd_crawler.log’) logger logging.getLogger(__name__) # 在代码中用 logger.info(‘正在采集第X页’) 替代 print异常处理与重试对于网络请求等可能失败的环节添加重试机制。from tenacity import retry, stop_after_attempt, wait_random_exponential retry(stopstop_after_attempt(3), waitwait_random_exponential(multiplier1, max10)) def safe_goto(page, url): return page.goto(url, timeout30000)6.2 数据清洗与交付数据去重与校验采集到的数据可能存在重复、空值、格式混乱如价格包含‘¥’符号。在保存前进行清洗。def clean_data(df): # 去重 df.drop_duplicates(subset[‘标题’ ‘价格’] inplaceTrue) # 价格清洗移除‘¥’、‘’等非数字字符转换为浮点数 df[‘价格_数值’] df[‘价格’].astype(str).str.replace(‘[¥]’ ‘’ regexTrue).astype(float) # 处理空值 df.fillna({‘店铺’ ‘未知店铺’ ‘评价数’ ‘0’} inplaceTrue) return df多格式输出除了Excel可以提供CSV、JSON或直接写入数据库如SQLite、MySQL的选项满足客户不同需求。6.3 利用AI提升接单效率核心技巧这才是让你从“会编码”到“高效接单”的飞跃。AI助手SeekSeek/Cursor可以在以下环节发挥巨大作用需求分析与方案设计将客户模糊的需求描述给AI让它帮你梳理成清晰的技术实现要点和可能的风险点。代码生成与补全描述功能如“用Playwright实现一个随机滚动页面的函数”AI能快速生成代码片段你只需微调。调试与排错将复杂的报错信息直接粘贴给AI它通常能精准定位问题根源并提供修改建议节省大量搜索时间。代码优化与重构让AI审查你的代码提出优化建议比如提高效率、增加可读性、添加注释。文档与注释让AI根据你的代码生成函数说明、README文档提升项目专业度。实战示例当你遇到一个不熟悉的Playwright API时不必花大量时间阅读官方文档。可以直接问AI“Playwright如何获取一个元素的全部属性” AI可能会立刻给出示例element.get_attribute(‘outerHTML’)或page.eval_on_selector(‘selector’ ‘el el.attributes’)。6.4 接单沟通与交付清单明确需求制作一个需求确认表与客户逐项确认采集目标、字段、频率、格式、交付方式。报价与工期根据需求复杂度评估工作量。本项目级别的脚本对于熟练者开发测试约1-2天。报价1500-3000元是合理范围视需求复杂度而定。分期交付可先交付一个基础可运行的版本供客户确认再完善反爬和稳定性功能。交付物完整的、注释清晰的源代码。详细的运行环境说明requirements.txt。使用说明书如何配置、运行。测试数据样本。售后支持约定免费的短期维护期如7-15天用于修复因目标网站微调导致的小问题。通过本文的教程你不仅学会了一个价值1500元的京东数据采集脚本的编写更重要的是掌握了一套“Python技术接单”的组合拳Playwright处理复杂爬取 AI辅助提升开发效率 工程化思维保证交付质量。这套方法可以迁移到淘宝、拼多多、小红书等几乎所有电商或内容平台的数据采集需求中。真正的成长来自于动手实践。建议你完全按照步骤跑通这个项目然后尝试修改关键词、增加采集字段如商品详情、图片甚至尝试应对更复杂的反爬场景。当你能够独立解决其中遇到的各种“坑”时你就已经具备了承接此类数据采集项目的能力。接下来可以尝试在技术社区或接单平台寻找真实需求用你的技能去创造价值。
