Scrapy 爬虫一、概述Scrapy读作 /ˈskreɪpaɪ/是一个快速、高级的Web爬取和Web抓取框架用于爬取网站并从其页面中提取结构化数据。它可用于数据挖掘、信息处理、历史存档等多种用途。Scrapy是Python生态中高性能的工业级爬虫框架基于Twisted异步架构支持高并发、自动去重、重试与反爬。其设计核心在于通过“引擎-调度器-下载器-爬虫-管道”的协作模式实现从页面抓取、数据解析到持久化的全流程自动化。Scrapy的核心优势异步架构基于Twisted事件驱动能以单线程实现高并发请求处理模块化设计内置Spider、Item、Pipeline等模块实现标准化流程内置反爬机制请求去重、自动重试、User-Agent轮换等可扩展性强支持中间件、扩展、信号等自定义机制核心组件Scrapy框架主要由以下组件构成组件功能说明Engine引擎负责控制数据流在系统中各组件间触发事件Scheduler调度器接收引擎发来的请求将其加入队列并在引擎再次请求时提供Downloader下载器获取网页内容并将响应返回给引擎Spiders爬虫定义如何爬取特定网站的规则和解析逻辑Item Pipeline管道处理爬取到的数据进行清洗、验证和存储Downloader Middlewares下载中间件在请求/响应处理过程中进行全局修改Spider Middlewares爬虫中间件处理Spider的输入响应和输出请求/数据二、安装与环境搭建2.1 安装ScrapyScrapy支持Python 3.7及以上版本推荐使用Python 3.8。使用pip安装bashpip install scrapy使用国内镜像源加速安装bashpip install scrapy -i https://pypi.douban.com/simple验证安装是否成功bashscrapy version如果看到类似Scrapy 2.x.x的版本号输出说明安装成功。2.2 安装注意事项Windows用户可能需要先安装Microsoft Visual C Build Tools以解决某些依赖包的编译问题Linux/macOS用户一般可直接安装如遇权限问题可使用sudo pip install scrapy三、创建Scrapy项目3.1 项目初始化使用startproject命令创建新项目bashscrapy startproject tutorial3.2 项目目录结构创建成功后项目目录结构如下texttutorial/ ├── scrapy.cfg # 部署配置文件 ├── tutorial/ # 项目的Python模块 │ ├── __init__.py │ ├── items.py # 数据结构定义 │ ├── middlewares.py # 中间件配置 │ ├── pipelines.py # 数据处理管道 │ ├── settings.py # 项目设置 │ └── spiders/ # 爬虫代码存放目录 │ └── __init__.py四、定义数据结构Items在items.py中定义要抓取的数据字段pythonimport scrapy class QuoteItem(scrapy.Item): text scrapy.Field() # 名言文本 author scrapy.Field() # 作者 tags scrapy.Field() # 标签列表五、编写爬虫Spider5.1 第一个爬虫在spiders/目录下创建爬虫文件例如quotes_spider.pypythonimport scrapy class QuotesSpider(scrapy.Spider): name quotes # 爬虫唯一标识符 start_urls [ # 起始URL列表 https://quotes.toscrape.com/page/1/, ] def parse(self, response): # 遍历页面中的每个名言区块 for quote in response.css(div.quote): yield { author: quote.xpath(span/small/text()).get(), text: quote.css(span.text::text).get(), tags: quote.css(a.tag::text).getall(), } # 处理翻页查找下一页链接并继续爬取 next_page response.css(li.next a::attr(href)).get() if next_page is not None: yield response.follow(next_page, self.parse)5.2 代码解析代码元素说明name quotes爬虫的唯一名称在同一项目中必须唯一start_urls [...]起始URL列表Scrapy会自动为每个URL创建请求def parse(self, response)默认回调函数处理响应response.css(...)CSS选择器提取数据response.xpath(...)XPath选择器提取数据yield {...}生成字典数据传递给Item Pipelineresponse.follow()创建新请求跟进链接5.3 运行爬虫在项目根目录下执行bashscrapy crawl quotes -o quotes.json运行后Scrapy会自动从第一页开始抓取提取每条名言的信息并自动翻页直到抓取完所有页面。5.4 使用runspider快速运行如果不想创建完整项目也可以直接运行单个爬虫文件bashscrapy runspider quotes_spider.py -o quotes.jsonl六、数据选择器Scrapy内置了强大的选择器机制支持CSS选择器和XPath表达式。6.1 CSS选择器python# 选择所有class为quote的div元素 response.css(div.quote) # 提取元素的文本内容 response.css(span.text::text).get() # 提取多个元素的文本列表 response.css(a.tag::text).getall() # 提取元素的属性值 response.css(li.next a::attr(href)).get()6.2 XPath选择器python# 选择所有span下的small元素的文本 response.xpath(//span/small/text()).get() # 选择所有div.quote response.xpath(//div[classquote])6.3 选择器快捷方式Response对象提供了response.css()和response.xpath()两个快捷方法python# 两种方式等价 response.selector.xpath(//span/text()).get() response.xpath(//span/text()).get()七、Item Pipeline数据处理管道Item在爬虫中被抓取后会发送到Item Pipeline进行后续处理。7.1 Pipeline的典型用途清洗HTML数据验证爬取的数据检查是否包含某些字段检查并丢弃重复项将爬取的数据存储到数据库7.2 编写自定义Pipeline在pipelines.py中实现pythonimport json from itemadapter import ItemAdapter from scrapy.exceptions import DropItem class PricePipeline: 价格验证和调整的Pipeline示例 vat_factor 1.15 def process_item(self, item): adapter ItemAdapter(item) if adapter.get(price): if adapter.get(price_excludes_vat): adapter[price] adapter[price] * self.vat_factor return item else: raise DropItem(Missing price)7.3 存储到JSON Lines文件pythonimport json from itemadapter import ItemAdapter class JsonWriterPipeline: def open_spider(self, spider): self.file open(items.jsonl, w) def close_spider(self, spider): self.file.close() def process_item(self, item, spider): line json.dumps(ItemAdapter(item).asdict()) \n self.file.write(line) return item7.4 存储到MongoDBpythonimport pymongo from itemadapter import ItemAdapter class MongoPipeline: collection_name scrapy_items def __init__(self, mongo_uri, mongo_db): self.mongo_uri mongo_uri self.mongo_db mongo_db classmethod def from_crawler(cls, crawler): return cls( mongo_uricrawler.settings.get(MONGO_URI), mongo_dbcrawler.settings.get(MONGO_DATABASE, items) ) def open_spider(self, spider): self.client pymongo.MongoClient(self.mongo_uri) self.db self.client[self.mongo_db] def close_spider(self, spider): self.client.close() def process_item(self, item, spider): self.db[self.collection_name].insert_one(ItemAdapter(item).asdict()) return item7.5 启用Pipeline在settings.py中配置pythonITEM_PIPELINES { tutorial.pipelines.PricePipeline: 300, tutorial.pipelines.JsonWriterPipeline: 800, }数字表示Pipeline的执行顺序数值越小越先执行。八、中间件Middleware8.1 Downloader Middleware下载中间件下载中间件是Scrapy请求/响应处理的钩子框架用于全局修改请求和响应。启用下载中间件pythonDOWNLOADER_MIDDLEWARES { myproject.middlewares.CustomDownloaderMiddleware: 543, }自定义下载中间件示例pythonclass CustomDownloaderMiddleware: def process_request(self, request, spider): # 在请求发送前处理 # 返回None继续处理返回Response则直接返回返回Request则重新调度 return None def process_response(self, request, response, spider): # 在响应返回后处理 return response8.2 Spider Middleware爬虫中间件爬虫中间件用于处理发送给Spider的响应以及Spider生成的请求和Item。启用爬虫中间件pythonSPIDER_MIDDLEWARES { myproject.middlewares.CustomSpiderMiddleware: 543, }8.3 常用中间件场景User-Agent轮换避免被识别为爬虫代理IP设置突破IP限制Cookie管理维持登录状态请求重试处理网络异常九、常用命令命令说明scrapy startproject 项目名创建新项目scrapy genspider 爬虫名 域名生成爬虫模板scrapy crawl 爬虫名运行爬虫scrapy crawl 爬虫名 -o 文件运行并输出到文件scrapy runspider 文件直接运行爬虫文件scrapy shell URL进入交互式Shell调试scrapy version查看版本十、完整实战示例10.1 项目创建bashscrapy startproject quotes_project cd quotes_project10.2 定义Itemitems.pypythonimport scrapy class QuoteItem(scrapy.Item): text scrapy.Field() author scrapy.Field() tags scrapy.Field()10.3 编写爬虫spiders/quotes_spider.pypythonimport scrapy from quotes_project.items import QuoteItem class QuotesSpider(scrapy.Spider): name quotes start_urls [http://quotes.toscrape.com/page/1/] def parse(self, response): for quote in response.css(div.quote): item QuoteItem() item[text] quote.css(span.text::text).get() item[author] quote.css(small.author::text).get() item[tags] quote.css(a.tag::text).getall() yield item next_page response.css(li.next a::attr(href)).get() if next_page: yield response.follow(next_page, self.parse)10.4 配置Pipelinepipelines.pypythonimport json from itemadapter import ItemAdapter class JsonWriterPipeline: def open_spider(self, spider): self.file open(quotes.jsonl, w) def close_spider(self, spider): self.file.close() def process_item(self, item, spider): line json.dumps(ItemAdapter(item).asdict()) \n self.file.write(line) return item10.5 启用Pipelinesettings.pypythonITEM_PIPELINES { quotes_project.pipelines.JsonWriterPipeline: 300, }10.6 运行爬虫bashscrapy crawl quotes十一、高级特性11.1 处理动态加载内容对于使用JavaScript动态生成的内容可以结合Selenium使用pythonfrom scrapy_selenium import SeleniumRequest class DynamicSpider(scrapy.Spider): name dynamic def start_requests(self): yield SeleniumRequest( urlhttp://example.com, callbackself.parse ) def parse(self, response): # 解析已渲染的页面内容 pass在settings.py中配置pythonDOWNLOADER_MIDDLEWARES { scrapy_selenium.SeleniumMiddleware: 800, }11.2 分布式爬虫Scrapy-RedisScrapy-Redis扩展实现了分布式爬虫通过Redis共享请求队列pythonfrom scrapy_redis.spiders import RedisSpider class CtripHotelSpider(RedisSpider): name ctrip_hotel allowed_domains [flights.ctrip.com] redis_key ctrip_hotel:start_urls # Redis中的起始URL队列11.3 爬虫参数传递运行爬虫时传递参数bashscrapy crawl quotes -a categoryhumor在爬虫中接收参数pythonclass QuotesSpider(scrapy.Spider): name quotes def __init__(self, categoryNone, *args, **kwargs): super(QuotesSpider, self).__init__(*args, **kwargs) self.category category十二、调试与测试12.1 Scrapy ShellScrapy Shell是一个交互式环境用于测试数据提取代码bashscrapy shell https://quotes.toscrape.com/page/1/进入Shell后可以测试选择器pythonresponse.css(div.quote) response.xpath(//div[classquote])12.2 查看爬取结果使用-o参数输出到文件bashscrapy crawl quotes -o quotes.json # JSON格式 scrapy crawl quotes -o quotes.jsonl # JSON Lines格式 scrapy crawl quotes -o quotes.csv # CSV格式十三、最佳实践与注意事项遵守robots.txtScrapy默认遵守网站的robots.txt协议设置下载延迟在settings.py中设置DOWNLOAD_DELAY避免对目标网站造成压力使用User-Agent轮换避免被识别为爬虫处理异常使用中间件处理请求失败、超时等异常数据去重利用Scrapy内置的去重过滤器合理设置并发通过CONCURRENT_REQUESTS控制并发数日志记录使用Scrapy的日志系统记录爬取过程十四、参考资源官方文档https://docs.scrapy.org[reference:44]官方示例项目quotesbothttps://github.com/scrapy/quotesbot[reference:45]Scrapy官网https://scrapy.org[reference:46]
Scrapy 爬虫一、概述Scrapy读作 /ˈskreɪpaɪ/是一个快速、高级的Web爬取和Web抓取框架用于爬取网站并从其页面中提取结构化数据。它可用于数据挖掘、信息处理、历史存档等多种用途。Scrapy是Python生态中高性能的工业级爬虫框架基于Twisted异步架构支持高并发、自动去重、重试与反爬。其设计核心在于通过“引擎-调度器-下载器-爬虫-管道”的协作模式实现从页面抓取、数据解析到持久化的全流程自动化。Scrapy的核心优势异步架构基于Twisted事件驱动能以单线程实现高并发请求处理模块化设计内置Spider、Item、Pipeline等模块实现标准化流程内置反爬机制请求去重、自动重试、User-Agent轮换等可扩展性强支持中间件、扩展、信号等自定义机制核心组件Scrapy框架主要由以下组件构成组件功能说明Engine引擎负责控制数据流在系统中各组件间触发事件Scheduler调度器接收引擎发来的请求将其加入队列并在引擎再次请求时提供Downloader下载器获取网页内容并将响应返回给引擎Spiders爬虫定义如何爬取特定网站的规则和解析逻辑Item Pipeline管道处理爬取到的数据进行清洗、验证和存储Downloader Middlewares下载中间件在请求/响应处理过程中进行全局修改Spider Middlewares爬虫中间件处理Spider的输入响应和输出请求/数据二、安装与环境搭建2.1 安装ScrapyScrapy支持Python 3.7及以上版本推荐使用Python 3.8。使用pip安装bashpip install scrapy使用国内镜像源加速安装bashpip install scrapy -i https://pypi.douban.com/simple验证安装是否成功bashscrapy version如果看到类似Scrapy 2.x.x的版本号输出说明安装成功。2.2 安装注意事项Windows用户可能需要先安装Microsoft Visual C Build Tools以解决某些依赖包的编译问题Linux/macOS用户一般可直接安装如遇权限问题可使用sudo pip install scrapy三、创建Scrapy项目3.1 项目初始化使用startproject命令创建新项目bashscrapy startproject tutorial3.2 项目目录结构创建成功后项目目录结构如下texttutorial/ ├── scrapy.cfg # 部署配置文件 ├── tutorial/ # 项目的Python模块 │ ├── __init__.py │ ├── items.py # 数据结构定义 │ ├── middlewares.py # 中间件配置 │ ├── pipelines.py # 数据处理管道 │ ├── settings.py # 项目设置 │ └── spiders/ # 爬虫代码存放目录 │ └── __init__.py四、定义数据结构Items在items.py中定义要抓取的数据字段pythonimport scrapy class QuoteItem(scrapy.Item): text scrapy.Field() # 名言文本 author scrapy.Field() # 作者 tags scrapy.Field() # 标签列表五、编写爬虫Spider5.1 第一个爬虫在spiders/目录下创建爬虫文件例如quotes_spider.pypythonimport scrapy class QuotesSpider(scrapy.Spider): name quotes # 爬虫唯一标识符 start_urls [ # 起始URL列表 https://quotes.toscrape.com/page/1/, ] def parse(self, response): # 遍历页面中的每个名言区块 for quote in response.css(div.quote): yield { author: quote.xpath(span/small/text()).get(), text: quote.css(span.text::text).get(), tags: quote.css(a.tag::text).getall(), } # 处理翻页查找下一页链接并继续爬取 next_page response.css(li.next a::attr(href)).get() if next_page is not None: yield response.follow(next_page, self.parse)5.2 代码解析代码元素说明name quotes爬虫的唯一名称在同一项目中必须唯一start_urls [...]起始URL列表Scrapy会自动为每个URL创建请求def parse(self, response)默认回调函数处理响应response.css(...)CSS选择器提取数据response.xpath(...)XPath选择器提取数据yield {...}生成字典数据传递给Item Pipelineresponse.follow()创建新请求跟进链接5.3 运行爬虫在项目根目录下执行bashscrapy crawl quotes -o quotes.json运行后Scrapy会自动从第一页开始抓取提取每条名言的信息并自动翻页直到抓取完所有页面。5.4 使用runspider快速运行如果不想创建完整项目也可以直接运行单个爬虫文件bashscrapy runspider quotes_spider.py -o quotes.jsonl六、数据选择器Scrapy内置了强大的选择器机制支持CSS选择器和XPath表达式。6.1 CSS选择器python# 选择所有class为quote的div元素 response.css(div.quote) # 提取元素的文本内容 response.css(span.text::text).get() # 提取多个元素的文本列表 response.css(a.tag::text).getall() # 提取元素的属性值 response.css(li.next a::attr(href)).get()6.2 XPath选择器python# 选择所有span下的small元素的文本 response.xpath(//span/small/text()).get() # 选择所有div.quote response.xpath(//div[classquote])6.3 选择器快捷方式Response对象提供了response.css()和response.xpath()两个快捷方法python# 两种方式等价 response.selector.xpath(//span/text()).get() response.xpath(//span/text()).get()七、Item Pipeline数据处理管道Item在爬虫中被抓取后会发送到Item Pipeline进行后续处理。7.1 Pipeline的典型用途清洗HTML数据验证爬取的数据检查是否包含某些字段检查并丢弃重复项将爬取的数据存储到数据库7.2 编写自定义Pipeline在pipelines.py中实现pythonimport json from itemadapter import ItemAdapter from scrapy.exceptions import DropItem class PricePipeline: 价格验证和调整的Pipeline示例 vat_factor 1.15 def process_item(self, item): adapter ItemAdapter(item) if adapter.get(price): if adapter.get(price_excludes_vat): adapter[price] adapter[price] * self.vat_factor return item else: raise DropItem(Missing price)7.3 存储到JSON Lines文件pythonimport json from itemadapter import ItemAdapter class JsonWriterPipeline: def open_spider(self, spider): self.file open(items.jsonl, w) def close_spider(self, spider): self.file.close() def process_item(self, item, spider): line json.dumps(ItemAdapter(item).asdict()) \n self.file.write(line) return item7.4 存储到MongoDBpythonimport pymongo from itemadapter import ItemAdapter class MongoPipeline: collection_name scrapy_items def __init__(self, mongo_uri, mongo_db): self.mongo_uri mongo_uri self.mongo_db mongo_db classmethod def from_crawler(cls, crawler): return cls( mongo_uricrawler.settings.get(MONGO_URI), mongo_dbcrawler.settings.get(MONGO_DATABASE, items) ) def open_spider(self, spider): self.client pymongo.MongoClient(self.mongo_uri) self.db self.client[self.mongo_db] def close_spider(self, spider): self.client.close() def process_item(self, item, spider): self.db[self.collection_name].insert_one(ItemAdapter(item).asdict()) return item7.5 启用Pipeline在settings.py中配置pythonITEM_PIPELINES { tutorial.pipelines.PricePipeline: 300, tutorial.pipelines.JsonWriterPipeline: 800, }数字表示Pipeline的执行顺序数值越小越先执行。八、中间件Middleware8.1 Downloader Middleware下载中间件下载中间件是Scrapy请求/响应处理的钩子框架用于全局修改请求和响应。启用下载中间件pythonDOWNLOADER_MIDDLEWARES { myproject.middlewares.CustomDownloaderMiddleware: 543, }自定义下载中间件示例pythonclass CustomDownloaderMiddleware: def process_request(self, request, spider): # 在请求发送前处理 # 返回None继续处理返回Response则直接返回返回Request则重新调度 return None def process_response(self, request, response, spider): # 在响应返回后处理 return response8.2 Spider Middleware爬虫中间件爬虫中间件用于处理发送给Spider的响应以及Spider生成的请求和Item。启用爬虫中间件pythonSPIDER_MIDDLEWARES { myproject.middlewares.CustomSpiderMiddleware: 543, }8.3 常用中间件场景User-Agent轮换避免被识别为爬虫代理IP设置突破IP限制Cookie管理维持登录状态请求重试处理网络异常九、常用命令命令说明scrapy startproject 项目名创建新项目scrapy genspider 爬虫名 域名生成爬虫模板scrapy crawl 爬虫名运行爬虫scrapy crawl 爬虫名 -o 文件运行并输出到文件scrapy runspider 文件直接运行爬虫文件scrapy shell URL进入交互式Shell调试scrapy version查看版本十、完整实战示例10.1 项目创建bashscrapy startproject quotes_project cd quotes_project10.2 定义Itemitems.pypythonimport scrapy class QuoteItem(scrapy.Item): text scrapy.Field() author scrapy.Field() tags scrapy.Field()10.3 编写爬虫spiders/quotes_spider.pypythonimport scrapy from quotes_project.items import QuoteItem class QuotesSpider(scrapy.Spider): name quotes start_urls [http://quotes.toscrape.com/page/1/] def parse(self, response): for quote in response.css(div.quote): item QuoteItem() item[text] quote.css(span.text::text).get() item[author] quote.css(small.author::text).get() item[tags] quote.css(a.tag::text).getall() yield item next_page response.css(li.next a::attr(href)).get() if next_page: yield response.follow(next_page, self.parse)10.4 配置Pipelinepipelines.pypythonimport json from itemadapter import ItemAdapter class JsonWriterPipeline: def open_spider(self, spider): self.file open(quotes.jsonl, w) def close_spider(self, spider): self.file.close() def process_item(self, item, spider): line json.dumps(ItemAdapter(item).asdict()) \n self.file.write(line) return item10.5 启用Pipelinesettings.pypythonITEM_PIPELINES { quotes_project.pipelines.JsonWriterPipeline: 300, }10.6 运行爬虫bashscrapy crawl quotes十一、高级特性11.1 处理动态加载内容对于使用JavaScript动态生成的内容可以结合Selenium使用pythonfrom scrapy_selenium import SeleniumRequest class DynamicSpider(scrapy.Spider): name dynamic def start_requests(self): yield SeleniumRequest( urlhttp://example.com, callbackself.parse ) def parse(self, response): # 解析已渲染的页面内容 pass在settings.py中配置pythonDOWNLOADER_MIDDLEWARES { scrapy_selenium.SeleniumMiddleware: 800, }11.2 分布式爬虫Scrapy-RedisScrapy-Redis扩展实现了分布式爬虫通过Redis共享请求队列pythonfrom scrapy_redis.spiders import RedisSpider class CtripHotelSpider(RedisSpider): name ctrip_hotel allowed_domains [flights.ctrip.com] redis_key ctrip_hotel:start_urls # Redis中的起始URL队列11.3 爬虫参数传递运行爬虫时传递参数bashscrapy crawl quotes -a categoryhumor在爬虫中接收参数pythonclass QuotesSpider(scrapy.Spider): name quotes def __init__(self, categoryNone, *args, **kwargs): super(QuotesSpider, self).__init__(*args, **kwargs) self.category category十二、调试与测试12.1 Scrapy ShellScrapy Shell是一个交互式环境用于测试数据提取代码bashscrapy shell https://quotes.toscrape.com/page/1/进入Shell后可以测试选择器pythonresponse.css(div.quote) response.xpath(//div[classquote])12.2 查看爬取结果使用-o参数输出到文件bashscrapy crawl quotes -o quotes.json # JSON格式 scrapy crawl quotes -o quotes.jsonl # JSON Lines格式 scrapy crawl quotes -o quotes.csv # CSV格式十三、最佳实践与注意事项遵守robots.txtScrapy默认遵守网站的robots.txt协议设置下载延迟在settings.py中设置DOWNLOAD_DELAY避免对目标网站造成压力使用User-Agent轮换避免被识别为爬虫处理异常使用中间件处理请求失败、超时等异常数据去重利用Scrapy内置的去重过滤器合理设置并发通过CONCURRENT_REQUESTS控制并发数日志记录使用Scrapy的日志系统记录爬取过程十四、参考资源官方文档https://docs.scrapy.org[reference:44]官方示例项目quotesbothttps://github.com/scrapy/quotesbot[reference:45]Scrapy官网https://scrapy.org[reference:46]
