去年接手一个工业数据采集项目，百万级页面的采集任务，单机Scrapy跑满并发也要七天才能跑完一轮，中间但凡机器宕机、进程崩溃，进度直接清零重来。一开始想的是加配置、提并发，结果单机能压榨的性能到顶了，速度还是上不去，稳定性也差。后来花了一周时间把整套架构改成Scrapy-Redis分布式，从单机单进程一路磨到10节点集群，中间踩了重启丢任务、重复爬取、Redis内存爆炸、队列阻塞等七八个坑，最终跑通一轮的时间压到了14小时，节点故障自动恢复，任务进度不丢，整体采集效率翻了5倍多。很多人觉得Scrapy-Redis就是改个配置、换个基类这么简单，真上生产环境才知道，跑通demo和稳定跑是两回事。今天就从原理、改造步骤、生产优化到踩坑实录，完整讲透从单机到分布式集群的全流程，照着做就能直接落地。一、先想清楚：你的项目真的需要分布式吗？不是所有项目都值得上分布式。盲目堆机器，不仅增加运维成本，还可能因为调度 overhead 反而变慢。先搞清单机的天花板在哪，再决定要不要升级。1.1 单机Scrapy的三大天花板吞吐量上限：单机能撑住的并发数有限，受CPU、网络带宽、代理IP池规模共同限制，一般单机并发开到300左右就到顶了，再开反而会因为上下文切换变慢。容错能力为零：进程挂了、机器宕机，所有进度直接丢失，断点续传要自己写，还很容易出现重复爬取。任务无法拆分：不同业务、不同站点的任务全挤在一个进程里，互相抢占资源，慢站点拖垮整
去年接手一个工业数据采集项目，百万级页面的采集任务，单机Scrapy跑满并发也要七天才能跑完一轮，中间但凡机器宕机、进程崩溃，进度直接清零重来。一开始想的是加配置、提并发，结果单机能压榨的性能到顶了，速度还是上不去，稳定性也差。后来花了一周时间把整套架构改成Scrapy-Redis分布式，从单机单进程一路磨到10节点集群，中间踩了重启丢任务、重复爬取、Redis内存爆炸、队列阻塞等七八个坑，最终跑通一轮的时间压到了14小时，节点故障自动恢复，任务进度不丢，整体采集效率翻了5倍多。很多人觉得Scrapy-Redis就是改个配置、换个基类这么简单，真上生产环境才知道，跑通demo和稳定跑是两回事。今天就从原理、改造步骤、生产优化到踩坑实录，完整讲透从单机到分布式集群的全流程，照着做就能直接落地。一、先想清楚：你的项目真的需要分布式吗？不是所有项目都值得上分布式。盲目堆机器，不仅增加运维成本，还可能因为调度 overhead 反而变慢。先搞清单机的天花板在哪，再决定要不要升级。1.1 单机Scrapy的三大天花板吞吐量上限：单机能撑住的并发数有限，受CPU、网络带宽、代理IP池规模共同限制，一般单机并发开到300左右就到顶了，再开反而会因为上下文切换变慢。容错能力为零：进程挂了、机器宕机，所有进度直接丢失，断点续传要自己写，还很容易出现重复爬取。任务无法拆分：不同业务、不同站点的任务全挤在一个进程里，互相抢占资源，慢站点拖垮整
