1. 项目概述从“电影天堂”说起为什么分页爬取是必修课最近在整理自己的电影收藏库想找一些经典老片的高清资源很自然地就想到了“电影天堂”这类老牌资源站。手动一页页翻找效率太低于是顺手写了个Python脚本来帮忙。这个过程中“分页爬取”这个看似基础的技术点却藏着不少新手容易踩的坑也恰恰是检验爬虫功力的试金石。今天我就结合“电影天堂”这个具体案例把分页爬取从思路到细节再到避坑技巧完整地拆解一遍。无论你是刚接触Python爬虫想找个实战项目练手还是已经写过一些脚本但在处理多页数据时总感觉代码不够优雅、健壮性不足这篇文章都能给你提供一套可直接复用的解决方案和深度思考。“电影天堂”这类网站的结构非常典型一个列表页展示多部电影通过底部的“下一页”链接或页码导航来承载海量数据。我们的目标很明确自动化地遍历所有分页高效、稳定地提取每一页上的电影信息如名称、下载链接、发布时间等。这不仅仅是写个for循环那么简单它涉及到请求管理、页面解析、异常处理、数据存储以及最重要的——对网站反爬机制的尊重与应对。接下来我会带你一步步构建一个健壮的分页爬虫并重点分享那些在官方教程里很少提及的实战经验。2. 核心思路与架构设计如何优雅地“翻页”在动手写代码之前理清思路至关重要。一个混乱的爬虫架构后期维护和调试会是噩梦。对于分页爬取核心要解决三个问题如何发现下一页、如何循环遍历、如何应对意外。2.1 分页策略分析寻找翻页的“钥匙”首先我们需要观察“电影天堂”列表页的分页机制。常见的有以下几种处理方式也各异显式页码链接页面底部有清晰的“1,2,3,...下一页”的链接。这是最简单的情况我们只需要解析出“下一页”的href属性或者直接根据页码规律拼接URL例如?page2。“加载更多”按钮点击后通过Ajax动态加载数据。这需要分析网络请求找到真实的API接口通常是一个返回JSON数据的POST或GET请求参数中会包含页码或上一批数据的标识。滚动加载滚动到底部自动加载。这本质上是Ajax加载的一种需要模拟滚动行为或直接找到分页的API。以我这次爬取的“电影天堂”某个板块为例它属于第一种情况是经典的URL参数分页比如第一页是https://www.dytt89.com/list/1/第二页是https://www.dytt89.com/list/2/。这种规律性强的分页让我们可以轻松地通过循环生成所有页面的URL。但切记不能盲目地一直生成页码必须设置合理的终止条件否则可能陷入死循环或请求到不存在的页面返回404或空列表。一个稳妥的方法是在解析每一页时同时判断是否存在“下一页”链接。如果不存在或者连续两页解析到的电影条目数为0则终止爬取。2.2 技术栈选型为什么是它们工欲善其事必先利其器。以下是本次项目的核心库及其选型理由Requests发送HTTP请求的不二之选。比标准库的urllib更简洁易用社区活跃文档完善。对于“电影天堂”这类静态页面requests.get()足矣。BeautifulSoup4 (bs4)HTML解析神器。相较于正则表达式它用起来更直观容错性更好相较于lxml它的API对新手更友好。对于结构不算特别复杂的页面bs4是快速开发的最佳选择。正则表达式 (re)作为bs4的补充。当需要从杂乱的文本中比如一段JavaScript代码或某个标签的特定属性值提取非常规信息时正则表达式是利器。但原则是能用bs4就不用re因为re的维护成本更高。Pandas CSV/JSON数据存储。对于中小规模数据直接保存为CSV或JSON文件是最轻量、最通用的方式。Pandas的DataFrame可以方便地进行数据清洗和转换最后用to_csv一键保存。如果数据量极大可以考虑数据库如SQLite、MySQL但本项目暂不涉及。注意在正式编写爬虫前务必仔细阅读目标网站的robots.txt文件通常在网站根目录如https://www.example.com/robots.txt并遵守其中关于爬取频率和禁止爬取目录的规定。这是网络爬虫的道德和法律底线。2.3 项目结构设计清晰的代码结构是项目可维护性的基础。建议按如下方式组织你的脚本movie_paradise_crawler/ ├── crawler.py # 主爬虫逻辑包含爬取、解析、分页控制 ├── parser.py # 页面解析函数专门负责从HTML中提取数据 ├── utils.py # 工具函数如请求头生成、延时、日志记录 ├── config.py # 配置文件存放URL模板、请求头、数据库连接等常量 ├── requirements.txt # 项目依赖库列表 └── data/ # 存储爬取结果的目录 └── movies_20240515.csv这种模块化设计使得代码功能分离比如当网站改版导致解析规则变化时你只需要修改parser.py而无需动主流程。3. 实战拆解构建健壮的分页爬虫现在我们进入实战环节。我将分步详解并附上关键代码和注释。3.1 环境准备与依赖安装首先确保你的Python环境建议3.7以上已就绪。使用pip安装必要的库pip install requests beautifulsoup4 pandas lxml这里安装了lxml是因为BeautifulSoup推荐用它作为解析引擎速度比默认的html.parser更快。3.2 请求头设置与会话维持直接使用requests.get()而不做任何伪装很容易被网站识别为爬虫并拒绝服务。设置一个合理的请求头是第一步。# config.py 或 crawler.py 开头 HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Connection: keep-alive, }为什么是这些字段User-Agent模拟真实浏览器这是最基本的伪装。可以从自己浏览器的开发者工具中复制。Accept告诉服务器客户端可以处理哪些类型的响应。Accept-Language声明优先的语言使请求更像来自真实用户。Connection:keep-alive可以复用TCP连接稍微提升请求效率。此外建议使用requests.Session()来维持一个会话。会话对象可以自动处理cookies在多次请求间保持某些状态并且可以方便地设置默认请求头。import requests session requests.Session() session.headers.update(HEADERS)3.3 核心爬取循环与分页逻辑这是爬虫的“心脏”。我们以URL模式已知的情况为例。# crawler.py import time from utils import make_request, parse_movie_list # 假设这些函数在别的模块 from config import BASE_URL_TEMPLATE # 例如 https://www.dytt89.com/list/{page}/ def crawl_all_pages(start_page1, max_pages50): 爬取所有分页 :param start_page: 起始页码 :param max_pages: 最大爬取页数防止意外无限循环 :return: 所有电影数据的列表 all_movies [] current_page start_page consecutive_empty_pages 0 # 记录连续空页数作为终止条件之一 while current_page max_pages: print(f正在爬取第 {current_page} 页...) # 1. 构建当前页URL url BASE_URL_TEMPLATE.format(pagecurrent_page) # 2. 发送请求包含在工具函数中的异常处理和延时 html_content make_request(session, url) if html_content is None: print(f第 {current_page} 页请求失败跳过。) current_page 1 continue # 3. 解析当前页获取电影列表和下一页信息 movies_on_page, has_next_page parse_movie_list(html_content) # 4. 处理解析结果 if movies_on_page: all_movies.extend(movies_on_page) print(f 成功获取 {len(movies_on_page)} 条电影信息。) consecutive_empty_pages 0 # 重置连续空页计数 else: print(f 第 {current_page} 页未解析到电影数据。) consecutive_empty_pages 1 # 5. 判断终止条件 # 条件1: 解析函数明确告知没有下一页 # 条件2: 连续3页都是空的可能已经爬完了或遇到异常结构 if not has_next_page or consecutive_empty_pages 3: print(f分页爬取结束。最后一页为第 {current_page} 页。) break # 6. 准备下一页 current_page 1 # 重要请求间延时避免对服务器造成压力 time.sleep(1.5) # 延时1.5秒这是一个比较保守友好的值 return all_movies关键点解析max_pages安全阀这是一个非常重要的防护措施。即使你的终止条件逻辑有bug它也能保证爬虫不会无限运行下去。连续空页判断仅靠“是否有下一页链接”有时不可靠。网站最后一页可能仍有“下一页”按钮但链接无效或指向首页或者中间某些页面可能临时无数据。连续多页无数据是更可靠的终止信号。延时 (time.sleep)这是体现爬虫道德的关键。不加延时的高频请求等同于攻击可能导致你的IP被封。延时时间1-3秒需要根据网站情况和robots.txt的建议调整。3.4 页面解析与数据提取解析是爬虫中最繁琐也最易变的部分。我们需要仔细分析“电影天堂”列表页的HTML结构。假设我们通过浏览器开发者工具检查发现每个电影条目在一个div classmovie-item里里面包含了标题链接和详情。# parser.py from bs4 import BeautifulSoup import re def parse_movie_list(html_content): 解析列表页HTML提取当前页电影信息和下一页状态。 :param html_content: 网页HTML文本 :return: (movies_list, has_next_page) soup BeautifulSoup(html_content, lxml) movies_list [] has_next_page True # 1. 查找所有电影条目容器 movie_items soup.find_all(div, class_movie-item) # 根据实际class调整 # 如果上述方法找不到可能需要用更灵活的选择器如 soup.select(.co_content8 ul table a.ulink) if not movie_items: # 尝试其他可能的选择器或者直接返回空 return movies_list, False for item in movie_items: movie_info {} # 2. 提取标题和详情页链接 title_tag item.find(a, titleTrue) # 找带有title属性的a标签 if title_tag: movie_info[title] title_tag.get(title) or title_tag.text.strip() movie_info[detail_url] title_tag.get(href) # 注意href可能是相对路径需要补全为绝对URL if movie_info[detail_url] and not movie_info[detail_url].startswith(http): from urllib.parse import urljoin # 需要一个base_url来补全可以从传入的上下文或config获取 movie_info[detail_url] urljoin(https://www.dytt89.com, movie_info[detail_url]) # 3. 提取其他信息如评分、年代、简介可能在同一容器的其他标签里 desc_tag item.find(p, class_desc) if desc_tag: movie_info[description] desc_tag.text.strip()[:100] # 截取前100字符 # 4. 将提取的信息加入列表 if movie_info: # 确保不是空字典 movies_list.append(movie_info) # 5. 判断是否有下一页 # 方法一查找“下一页”按钮或链接 next_tag soup.find(a, textre.compile(r下一页|Next)) # 方法二查找页码区域看当前页是否是最后一页根据网站结构 if not next_tag: has_next_page False # 更严谨的做法检查下一页链接是否有效例如不是javascript:void(0) elif next_tag.get(href) in [#, javascript:void(0)]: has_next_page False return movies_list, has_next_page实操心得选择器的稳健性不要使用过于脆弱的选择器比如依赖固定的标签索引如div:nth-child(5)。尽量使用具有唯一性的class或id。如果网站没有好的class可以考虑用CSS Selector组合多个特征。防御性编程在每次调用.find()或.get()后都要假设它可能返回None并做好处理。使用.get(attr, default)方法提供默认值。相对路径转绝对路径这是新手常忘的坑。提取的链接很可能是/html/gndy/dyzz/20240515/63411.html这样的相对路径必须用urljoin与基础URL拼接才能用于后续请求。3.5 数据存储与持久化爬取到的数据最好立即保存避免因程序异常导致全部丢失。可以采用增量保存的方式。# 在 crawler.py 的循环中或主函数中 import pandas as pd import os def save_to_csv(data, filenamemovies.csv): 将数据追加或保存到CSV文件 df pd.DataFrame(data) file_exists os.path.isfile(filename) # modea 追加 headernot file_exists 表示如果文件不存在就写入表头 df.to_csv(filename, modea, indexFalse, headernot file_exists, encodingutf-8-sig) print(f数据已保存至 {filename}) # 在主循环中可以每爬完一页或几页就保存一次 all_movies_data [] for page in range(1, 10): movies crawl_one_page(page) all_movies_data.extend(movies) if page % 5 0: # 每5页保存一次 save_to_csv(all_movies_data, temp_movies.csv) all_movies_data [] # 清空内存中的数据防止占用过高 # 最后再保存剩余的数据 if all_movies_data: save_to_csv(all_movies_data, final_movies.csv)使用utf-8-sig编码可以确保在Excel中打开CSV文件时中文字符能正常显示。4. 进阶技巧与深度优化一个能跑起来的爬虫只是开始一个能在复杂网络环境中稳定、高效、长期运行的爬虫才是目标。4.1 异常处理与重试机制网络请求充满不确定性连接超时、服务器返回5xx错误、页面结构临时改变等。我们必须为这些情况做好准备。# utils.py import requests from requests.exceptions import RequestException, Timeout, ConnectionError import time def make_request(session, url, retries3, delay5): 带重试和异常处理的请求函数 :param session: requests.Session 对象 :param url: 请求URL :param retries: 最大重试次数 :param delay: 重试前等待的秒数 :return: 成功则返回响应文本失败返回None for attempt in range(retries): try: # 可以在这里随机切换User-Agent或代理IP如果需要 response session.get(url, timeout10) # 设置超时时间 response.raise_for_status() # 如果状态码不是200抛出HTTPError异常 # 检查内容是否有效例如是否包含特定的错误提示如“验证码” if 验证码 in response.text: print(f请求 {url} 时触发验证码停止重试。) return None return response.text except Timeout: print(f请求 {url} 超时 (尝试 {attempt 1}/{retries})) except ConnectionError: print(f连接 {url} 失败 (尝试 {attempt 1}/{retries})) except RequestException as e: print(f请求 {url} 发生错误: {e} (尝试 {attempt 1}/{retries})) except Exception as e: print(f未知错误: {e} (尝试 {attempt 1}/{retries})) if attempt retries - 1: print(f等待 {delay} 秒后重试...) time.sleep(delay) delay * 1.5 # 指数退避避免加重服务器负担 else: print(f请求 {url} 失败已达最大重试次数。) return None指数退避每次重试前等待的时间逐渐增加例如delay * 1.5这是一种良好的网络公民行为避免在服务器暂时故障时对其进行“风暴”式重试。4.2 应对反爬策略“电影天堂”这类站点的反爬可能不算严厉但了解常见手段有备无患。User-Agent轮换准备一个列表每次请求随机选取一个。USER_AGENTS [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) ..., Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) ..., # ... 更多UA ] session.headers[User-Agent] random.choice(USER_AGENTS)请求速率限制我们已经做了就是time.sleep。更精细的做法可以控制每秒请求数(QPS)。IP代理池如果单个IP被封锁就需要使用代理。维护一个可靠的代理IP池是一个复杂的课题涉及代理的获取、验证、调度。对于个人小规模爬取通常不需要走到这一步保持礼貌的爬取间隔是关键。处理Cookie和Session使用requests.Session()会自动管理。某些网站可能需要先访问首页获取初始Cookie。JavaScript渲染如果目标数据是通过JS动态加载的requestsBeautifulSoup就无能为力了。这时需要用到Selenium或Playwright这类浏览器自动化工具或者找到并模拟背后的API调用。这会大大增加复杂度和资源消耗。4.3 增量爬取与断点续传对于需要定期更新的爬虫每次都全量爬取是低效的。我们需要记录上次爬取的位置。基于页码/ID将最后成功爬取的页码或最后一条数据的ID记录到文件或数据库。下次启动时从该点之后开始。基于数据哈希计算每条数据的哈希值如MD5与已存储的数据对比只爬取新的。状态文件简单场景下可以创建一个state.json文件记录last_page和last_update_time。# 示例简单的断点续传 import json import os STATE_FILE crawler_state.json def load_state(): if os.path.exists(STATE_FILE): with open(STATE_FILE, r, encodingutf-8) as f: return json.load(f) return {last_page: 0} def save_state(page): with open(STATE_FILE, w, encodingutf-8) as f: json.dump({last_page: page}, f) # 在主函数中 state load_state() start_page state[last_page] 1 if state[last_page] 0 else 1 # ... 开始爬取 # 每成功爬取一页就更新状态 save_state(current_page)5. 常见问题排查与调试技巧即使思路清晰代码严谨在实际运行中还是会遇到各种问题。这里记录一些典型场景和排查方法。5.1 问题速查表问题现象可能原因排查步骤与解决方案返回403 Forbidden1. 请求头特别是UA被识别。2. IP被暂时封锁。1. 检查并更新User-Agent模拟得更像浏览器。2. 增加请求延时检查robots.txt。3. 尝试更换网络环境如切换手机热点。解析不到任何数据1. 网页结构已更新选择器失效。2. 数据是JS动态加载的。3. 请求得到的页面是错误页或验证码页。1.打印response.text[:500]看是否返回了预期HTML。2. 用浏览器开发者工具重新检查元素更新选择器。3. 检查响应中是否包含“验证码”、“禁止访问”等关键词。数据乱码响应编码与解析编码不一致。1. 查看response.encoding或从HTML的meta charset标签获取编码。2. 尝试用response.content.decode(gbk)或utf-8。对于中文网站gbk/gb2312也很常见。爬取速度慢1. 单线程同步请求。2. 延时设置过长。1. 对于大量独立页面可考虑使用concurrent.futures.ThreadPoolExecutor进行有限并发如3-5个线程。务必注意控制总体请求速率避免被封。2. 在友好和效率间平衡适当调整time.sleep时长。程序意外退出数据丢失未处理异常或未及时保存数据。1. 使用try...except包裹主循环和关键函数。2. 实现增量保存每处理完一批数据就写入文件。分页循环停不下来终止条件判断逻辑有误。1. 打印has_next_page的值和解析到的数据条数观察规律。2. 增加“连续空页数”和“最大页数”双重保险。5.2 调试心得打印的艺术在爬虫开发中print是你最好的朋友。关键位置一定要打印状态信息print(f[DEBUG] 正在请求URL: {url}) print(f[DEBUG] 响应状态码: {response.status_code}) print(f[DEBUG] 页面长度: {len(html_content)}) print(f[DEBUG] 找到的电影条目数: {len(movie_items)}) if not movie_items: # 保存当前页的HTML到文件方便离线分析 with open(fdebug_page_{current_page}.html, w, encodingutf-8) as f: f.write(html_content) print(f[DEBUG] 已保存异常页面供分析。)将可疑页面的HTML保存到本地文件然后用浏览器打开可以直观地看到爬虫“看到”的页面是什么样子这对于诊断解析失败问题极其有效。5.3 法律与道德边界再强调最后我必须再次强调爬虫的伦理和法律边界。我们所做的一切都应建立在以下原则之上尊重robots.txt这是网站所有者表达爬虫偏好的首要方式。控制访问频率你的爬虫不应该影响网站的正常服务。仅爬取公开数据避开需要登录才能访问的个人信息、敏感内容。明确数据用途爬取的数据应用于个人学习、分析或符合网站条款的用途切勿用于商业牟利或侵害他人权益。考虑版权问题像“电影天堂”上的资源链接其本身可能涉及版权。爬取行为本身可能合法但使用爬取到的资源可能侵权。请务必了解相关法律法规。构建一个分页爬虫从技术上看是字符串处理、网络请求和逻辑控制的结合。但从工程角度看它更是对稳健性、可维护性和道德自律的考验。希望这篇从实战出发的详细拆解能让你下次面对类似任务时不仅写出能跑的代码更能写出经得起时间考验的、优雅健壮的程序。爬虫的世界很深从简单的requests到复杂的分布式、反反爬每一步都有新的挑战和乐趣保持好奇持续学习但永远别忘了脚下的法律与道德红线。
1. 项目概述从“电影天堂”说起为什么分页爬取是必修课最近在整理自己的电影收藏库想找一些经典老片的高清资源很自然地就想到了“电影天堂”这类老牌资源站。手动一页页翻找效率太低于是顺手写了个Python脚本来帮忙。这个过程中“分页爬取”这个看似基础的技术点却藏着不少新手容易踩的坑也恰恰是检验爬虫功力的试金石。今天我就结合“电影天堂”这个具体案例把分页爬取从思路到细节再到避坑技巧完整地拆解一遍。无论你是刚接触Python爬虫想找个实战项目练手还是已经写过一些脚本但在处理多页数据时总感觉代码不够优雅、健壮性不足这篇文章都能给你提供一套可直接复用的解决方案和深度思考。“电影天堂”这类网站的结构非常典型一个列表页展示多部电影通过底部的“下一页”链接或页码导航来承载海量数据。我们的目标很明确自动化地遍历所有分页高效、稳定地提取每一页上的电影信息如名称、下载链接、发布时间等。这不仅仅是写个for循环那么简单它涉及到请求管理、页面解析、异常处理、数据存储以及最重要的——对网站反爬机制的尊重与应对。接下来我会带你一步步构建一个健壮的分页爬虫并重点分享那些在官方教程里很少提及的实战经验。2. 核心思路与架构设计如何优雅地“翻页”在动手写代码之前理清思路至关重要。一个混乱的爬虫架构后期维护和调试会是噩梦。对于分页爬取核心要解决三个问题如何发现下一页、如何循环遍历、如何应对意外。2.1 分页策略分析寻找翻页的“钥匙”首先我们需要观察“电影天堂”列表页的分页机制。常见的有以下几种处理方式也各异显式页码链接页面底部有清晰的“1,2,3,...下一页”的链接。这是最简单的情况我们只需要解析出“下一页”的href属性或者直接根据页码规律拼接URL例如?page2。“加载更多”按钮点击后通过Ajax动态加载数据。这需要分析网络请求找到真实的API接口通常是一个返回JSON数据的POST或GET请求参数中会包含页码或上一批数据的标识。滚动加载滚动到底部自动加载。这本质上是Ajax加载的一种需要模拟滚动行为或直接找到分页的API。以我这次爬取的“电影天堂”某个板块为例它属于第一种情况是经典的URL参数分页比如第一页是https://www.dytt89.com/list/1/第二页是https://www.dytt89.com/list/2/。这种规律性强的分页让我们可以轻松地通过循环生成所有页面的URL。但切记不能盲目地一直生成页码必须设置合理的终止条件否则可能陷入死循环或请求到不存在的页面返回404或空列表。一个稳妥的方法是在解析每一页时同时判断是否存在“下一页”链接。如果不存在或者连续两页解析到的电影条目数为0则终止爬取。2.2 技术栈选型为什么是它们工欲善其事必先利其器。以下是本次项目的核心库及其选型理由Requests发送HTTP请求的不二之选。比标准库的urllib更简洁易用社区活跃文档完善。对于“电影天堂”这类静态页面requests.get()足矣。BeautifulSoup4 (bs4)HTML解析神器。相较于正则表达式它用起来更直观容错性更好相较于lxml它的API对新手更友好。对于结构不算特别复杂的页面bs4是快速开发的最佳选择。正则表达式 (re)作为bs4的补充。当需要从杂乱的文本中比如一段JavaScript代码或某个标签的特定属性值提取非常规信息时正则表达式是利器。但原则是能用bs4就不用re因为re的维护成本更高。Pandas CSV/JSON数据存储。对于中小规模数据直接保存为CSV或JSON文件是最轻量、最通用的方式。Pandas的DataFrame可以方便地进行数据清洗和转换最后用to_csv一键保存。如果数据量极大可以考虑数据库如SQLite、MySQL但本项目暂不涉及。注意在正式编写爬虫前务必仔细阅读目标网站的robots.txt文件通常在网站根目录如https://www.example.com/robots.txt并遵守其中关于爬取频率和禁止爬取目录的规定。这是网络爬虫的道德和法律底线。2.3 项目结构设计清晰的代码结构是项目可维护性的基础。建议按如下方式组织你的脚本movie_paradise_crawler/ ├── crawler.py # 主爬虫逻辑包含爬取、解析、分页控制 ├── parser.py # 页面解析函数专门负责从HTML中提取数据 ├── utils.py # 工具函数如请求头生成、延时、日志记录 ├── config.py # 配置文件存放URL模板、请求头、数据库连接等常量 ├── requirements.txt # 项目依赖库列表 └── data/ # 存储爬取结果的目录 └── movies_20240515.csv这种模块化设计使得代码功能分离比如当网站改版导致解析规则变化时你只需要修改parser.py而无需动主流程。3. 实战拆解构建健壮的分页爬虫现在我们进入实战环节。我将分步详解并附上关键代码和注释。3.1 环境准备与依赖安装首先确保你的Python环境建议3.7以上已就绪。使用pip安装必要的库pip install requests beautifulsoup4 pandas lxml这里安装了lxml是因为BeautifulSoup推荐用它作为解析引擎速度比默认的html.parser更快。3.2 请求头设置与会话维持直接使用requests.get()而不做任何伪装很容易被网站识别为爬虫并拒绝服务。设置一个合理的请求头是第一步。# config.py 或 crawler.py 开头 HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Connection: keep-alive, }为什么是这些字段User-Agent模拟真实浏览器这是最基本的伪装。可以从自己浏览器的开发者工具中复制。Accept告诉服务器客户端可以处理哪些类型的响应。Accept-Language声明优先的语言使请求更像来自真实用户。Connection:keep-alive可以复用TCP连接稍微提升请求效率。此外建议使用requests.Session()来维持一个会话。会话对象可以自动处理cookies在多次请求间保持某些状态并且可以方便地设置默认请求头。import requests session requests.Session() session.headers.update(HEADERS)3.3 核心爬取循环与分页逻辑这是爬虫的“心脏”。我们以URL模式已知的情况为例。# crawler.py import time from utils import make_request, parse_movie_list # 假设这些函数在别的模块 from config import BASE_URL_TEMPLATE # 例如 https://www.dytt89.com/list/{page}/ def crawl_all_pages(start_page1, max_pages50): 爬取所有分页 :param start_page: 起始页码 :param max_pages: 最大爬取页数防止意外无限循环 :return: 所有电影数据的列表 all_movies [] current_page start_page consecutive_empty_pages 0 # 记录连续空页数作为终止条件之一 while current_page max_pages: print(f正在爬取第 {current_page} 页...) # 1. 构建当前页URL url BASE_URL_TEMPLATE.format(pagecurrent_page) # 2. 发送请求包含在工具函数中的异常处理和延时 html_content make_request(session, url) if html_content is None: print(f第 {current_page} 页请求失败跳过。) current_page 1 continue # 3. 解析当前页获取电影列表和下一页信息 movies_on_page, has_next_page parse_movie_list(html_content) # 4. 处理解析结果 if movies_on_page: all_movies.extend(movies_on_page) print(f 成功获取 {len(movies_on_page)} 条电影信息。) consecutive_empty_pages 0 # 重置连续空页计数 else: print(f 第 {current_page} 页未解析到电影数据。) consecutive_empty_pages 1 # 5. 判断终止条件 # 条件1: 解析函数明确告知没有下一页 # 条件2: 连续3页都是空的可能已经爬完了或遇到异常结构 if not has_next_page or consecutive_empty_pages 3: print(f分页爬取结束。最后一页为第 {current_page} 页。) break # 6. 准备下一页 current_page 1 # 重要请求间延时避免对服务器造成压力 time.sleep(1.5) # 延时1.5秒这是一个比较保守友好的值 return all_movies关键点解析max_pages安全阀这是一个非常重要的防护措施。即使你的终止条件逻辑有bug它也能保证爬虫不会无限运行下去。连续空页判断仅靠“是否有下一页链接”有时不可靠。网站最后一页可能仍有“下一页”按钮但链接无效或指向首页或者中间某些页面可能临时无数据。连续多页无数据是更可靠的终止信号。延时 (time.sleep)这是体现爬虫道德的关键。不加延时的高频请求等同于攻击可能导致你的IP被封。延时时间1-3秒需要根据网站情况和robots.txt的建议调整。3.4 页面解析与数据提取解析是爬虫中最繁琐也最易变的部分。我们需要仔细分析“电影天堂”列表页的HTML结构。假设我们通过浏览器开发者工具检查发现每个电影条目在一个div classmovie-item里里面包含了标题链接和详情。# parser.py from bs4 import BeautifulSoup import re def parse_movie_list(html_content): 解析列表页HTML提取当前页电影信息和下一页状态。 :param html_content: 网页HTML文本 :return: (movies_list, has_next_page) soup BeautifulSoup(html_content, lxml) movies_list [] has_next_page True # 1. 查找所有电影条目容器 movie_items soup.find_all(div, class_movie-item) # 根据实际class调整 # 如果上述方法找不到可能需要用更灵活的选择器如 soup.select(.co_content8 ul table a.ulink) if not movie_items: # 尝试其他可能的选择器或者直接返回空 return movies_list, False for item in movie_items: movie_info {} # 2. 提取标题和详情页链接 title_tag item.find(a, titleTrue) # 找带有title属性的a标签 if title_tag: movie_info[title] title_tag.get(title) or title_tag.text.strip() movie_info[detail_url] title_tag.get(href) # 注意href可能是相对路径需要补全为绝对URL if movie_info[detail_url] and not movie_info[detail_url].startswith(http): from urllib.parse import urljoin # 需要一个base_url来补全可以从传入的上下文或config获取 movie_info[detail_url] urljoin(https://www.dytt89.com, movie_info[detail_url]) # 3. 提取其他信息如评分、年代、简介可能在同一容器的其他标签里 desc_tag item.find(p, class_desc) if desc_tag: movie_info[description] desc_tag.text.strip()[:100] # 截取前100字符 # 4. 将提取的信息加入列表 if movie_info: # 确保不是空字典 movies_list.append(movie_info) # 5. 判断是否有下一页 # 方法一查找“下一页”按钮或链接 next_tag soup.find(a, textre.compile(r下一页|Next)) # 方法二查找页码区域看当前页是否是最后一页根据网站结构 if not next_tag: has_next_page False # 更严谨的做法检查下一页链接是否有效例如不是javascript:void(0) elif next_tag.get(href) in [#, javascript:void(0)]: has_next_page False return movies_list, has_next_page实操心得选择器的稳健性不要使用过于脆弱的选择器比如依赖固定的标签索引如div:nth-child(5)。尽量使用具有唯一性的class或id。如果网站没有好的class可以考虑用CSS Selector组合多个特征。防御性编程在每次调用.find()或.get()后都要假设它可能返回None并做好处理。使用.get(attr, default)方法提供默认值。相对路径转绝对路径这是新手常忘的坑。提取的链接很可能是/html/gndy/dyzz/20240515/63411.html这样的相对路径必须用urljoin与基础URL拼接才能用于后续请求。3.5 数据存储与持久化爬取到的数据最好立即保存避免因程序异常导致全部丢失。可以采用增量保存的方式。# 在 crawler.py 的循环中或主函数中 import pandas as pd import os def save_to_csv(data, filenamemovies.csv): 将数据追加或保存到CSV文件 df pd.DataFrame(data) file_exists os.path.isfile(filename) # modea 追加 headernot file_exists 表示如果文件不存在就写入表头 df.to_csv(filename, modea, indexFalse, headernot file_exists, encodingutf-8-sig) print(f数据已保存至 {filename}) # 在主循环中可以每爬完一页或几页就保存一次 all_movies_data [] for page in range(1, 10): movies crawl_one_page(page) all_movies_data.extend(movies) if page % 5 0: # 每5页保存一次 save_to_csv(all_movies_data, temp_movies.csv) all_movies_data [] # 清空内存中的数据防止占用过高 # 最后再保存剩余的数据 if all_movies_data: save_to_csv(all_movies_data, final_movies.csv)使用utf-8-sig编码可以确保在Excel中打开CSV文件时中文字符能正常显示。4. 进阶技巧与深度优化一个能跑起来的爬虫只是开始一个能在复杂网络环境中稳定、高效、长期运行的爬虫才是目标。4.1 异常处理与重试机制网络请求充满不确定性连接超时、服务器返回5xx错误、页面结构临时改变等。我们必须为这些情况做好准备。# utils.py import requests from requests.exceptions import RequestException, Timeout, ConnectionError import time def make_request(session, url, retries3, delay5): 带重试和异常处理的请求函数 :param session: requests.Session 对象 :param url: 请求URL :param retries: 最大重试次数 :param delay: 重试前等待的秒数 :return: 成功则返回响应文本失败返回None for attempt in range(retries): try: # 可以在这里随机切换User-Agent或代理IP如果需要 response session.get(url, timeout10) # 设置超时时间 response.raise_for_status() # 如果状态码不是200抛出HTTPError异常 # 检查内容是否有效例如是否包含特定的错误提示如“验证码” if 验证码 in response.text: print(f请求 {url} 时触发验证码停止重试。) return None return response.text except Timeout: print(f请求 {url} 超时 (尝试 {attempt 1}/{retries})) except ConnectionError: print(f连接 {url} 失败 (尝试 {attempt 1}/{retries})) except RequestException as e: print(f请求 {url} 发生错误: {e} (尝试 {attempt 1}/{retries})) except Exception as e: print(f未知错误: {e} (尝试 {attempt 1}/{retries})) if attempt retries - 1: print(f等待 {delay} 秒后重试...) time.sleep(delay) delay * 1.5 # 指数退避避免加重服务器负担 else: print(f请求 {url} 失败已达最大重试次数。) return None指数退避每次重试前等待的时间逐渐增加例如delay * 1.5这是一种良好的网络公民行为避免在服务器暂时故障时对其进行“风暴”式重试。4.2 应对反爬策略“电影天堂”这类站点的反爬可能不算严厉但了解常见手段有备无患。User-Agent轮换准备一个列表每次请求随机选取一个。USER_AGENTS [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) ..., Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) ..., # ... 更多UA ] session.headers[User-Agent] random.choice(USER_AGENTS)请求速率限制我们已经做了就是time.sleep。更精细的做法可以控制每秒请求数(QPS)。IP代理池如果单个IP被封锁就需要使用代理。维护一个可靠的代理IP池是一个复杂的课题涉及代理的获取、验证、调度。对于个人小规模爬取通常不需要走到这一步保持礼貌的爬取间隔是关键。处理Cookie和Session使用requests.Session()会自动管理。某些网站可能需要先访问首页获取初始Cookie。JavaScript渲染如果目标数据是通过JS动态加载的requestsBeautifulSoup就无能为力了。这时需要用到Selenium或Playwright这类浏览器自动化工具或者找到并模拟背后的API调用。这会大大增加复杂度和资源消耗。4.3 增量爬取与断点续传对于需要定期更新的爬虫每次都全量爬取是低效的。我们需要记录上次爬取的位置。基于页码/ID将最后成功爬取的页码或最后一条数据的ID记录到文件或数据库。下次启动时从该点之后开始。基于数据哈希计算每条数据的哈希值如MD5与已存储的数据对比只爬取新的。状态文件简单场景下可以创建一个state.json文件记录last_page和last_update_time。# 示例简单的断点续传 import json import os STATE_FILE crawler_state.json def load_state(): if os.path.exists(STATE_FILE): with open(STATE_FILE, r, encodingutf-8) as f: return json.load(f) return {last_page: 0} def save_state(page): with open(STATE_FILE, w, encodingutf-8) as f: json.dump({last_page: page}, f) # 在主函数中 state load_state() start_page state[last_page] 1 if state[last_page] 0 else 1 # ... 开始爬取 # 每成功爬取一页就更新状态 save_state(current_page)5. 常见问题排查与调试技巧即使思路清晰代码严谨在实际运行中还是会遇到各种问题。这里记录一些典型场景和排查方法。5.1 问题速查表问题现象可能原因排查步骤与解决方案返回403 Forbidden1. 请求头特别是UA被识别。2. IP被暂时封锁。1. 检查并更新User-Agent模拟得更像浏览器。2. 增加请求延时检查robots.txt。3. 尝试更换网络环境如切换手机热点。解析不到任何数据1. 网页结构已更新选择器失效。2. 数据是JS动态加载的。3. 请求得到的页面是错误页或验证码页。1.打印response.text[:500]看是否返回了预期HTML。2. 用浏览器开发者工具重新检查元素更新选择器。3. 检查响应中是否包含“验证码”、“禁止访问”等关键词。数据乱码响应编码与解析编码不一致。1. 查看response.encoding或从HTML的meta charset标签获取编码。2. 尝试用response.content.decode(gbk)或utf-8。对于中文网站gbk/gb2312也很常见。爬取速度慢1. 单线程同步请求。2. 延时设置过长。1. 对于大量独立页面可考虑使用concurrent.futures.ThreadPoolExecutor进行有限并发如3-5个线程。务必注意控制总体请求速率避免被封。2. 在友好和效率间平衡适当调整time.sleep时长。程序意外退出数据丢失未处理异常或未及时保存数据。1. 使用try...except包裹主循环和关键函数。2. 实现增量保存每处理完一批数据就写入文件。分页循环停不下来终止条件判断逻辑有误。1. 打印has_next_page的值和解析到的数据条数观察规律。2. 增加“连续空页数”和“最大页数”双重保险。5.2 调试心得打印的艺术在爬虫开发中print是你最好的朋友。关键位置一定要打印状态信息print(f[DEBUG] 正在请求URL: {url}) print(f[DEBUG] 响应状态码: {response.status_code}) print(f[DEBUG] 页面长度: {len(html_content)}) print(f[DEBUG] 找到的电影条目数: {len(movie_items)}) if not movie_items: # 保存当前页的HTML到文件方便离线分析 with open(fdebug_page_{current_page}.html, w, encodingutf-8) as f: f.write(html_content) print(f[DEBUG] 已保存异常页面供分析。)将可疑页面的HTML保存到本地文件然后用浏览器打开可以直观地看到爬虫“看到”的页面是什么样子这对于诊断解析失败问题极其有效。5.3 法律与道德边界再强调最后我必须再次强调爬虫的伦理和法律边界。我们所做的一切都应建立在以下原则之上尊重robots.txt这是网站所有者表达爬虫偏好的首要方式。控制访问频率你的爬虫不应该影响网站的正常服务。仅爬取公开数据避开需要登录才能访问的个人信息、敏感内容。明确数据用途爬取的数据应用于个人学习、分析或符合网站条款的用途切勿用于商业牟利或侵害他人权益。考虑版权问题像“电影天堂”上的资源链接其本身可能涉及版权。爬取行为本身可能合法但使用爬取到的资源可能侵权。请务必了解相关法律法规。构建一个分页爬虫从技术上看是字符串处理、网络请求和逻辑控制的结合。但从工程角度看它更是对稳健性、可维护性和道德自律的考验。希望这篇从实战出发的详细拆解能让你下次面对类似任务时不仅写出能跑的代码更能写出经得起时间考验的、优雅健壮的程序。爬虫的世界很深从简单的requests到复杂的分布式、反反爬每一步都有新的挑战和乐趣保持好奇持续学习但永远别忘了脚下的法律与道德红线。
