1. 项目概述从零开始的网页抓取初体验最近后台收到不少私信很多刚接触Python的朋友对“爬虫”这个词既好奇又有点发怵觉得这玩意儿是不是特别高深得懂很多底层协议才能玩得转。其实不然爬虫的本质就是模拟我们日常用浏览器访问网页、查看数据的行为只不过把这个过程自动化、程序化了。今天我就用一个最最基础的实战案例带你亲手写一个能真正跑起来的Python爬虫目标很明确从一个静态网页上把我们需要的信息给“抓”下来。整个过程你只需要会一点最基础的Python语法比如知道怎么定义变量、怎么写个for循环就完全足够了。我们这次不搞那些复杂的登录、验证码绕过也不涉及动态加载的网页就从一个结构清晰、内容固定的简单页面开始让你在十分钟内看到成果建立最直接的信心。这个案例非常适合那些听说过爬虫但还没动过手或者看了些理论总觉得云里雾里的“小白”朋友。你会发现原来入门爬虫并没有想象中那么遥不可及。2. 核心思路与工具选型为什么是Requests和BeautifulSoup在动手写代码之前我们得先想明白两件事第一爬虫工作的基本流程是什么第二针对这个流程我们该选用哪些趁手的工具。爬虫的工作流可以形象地理解为一个“获取-解析-提取”的三部曲。首先你的程序需要像一个浏览器一样向目标网站的服务器发送一个访问请求HTTP Request说“嘿把某个网页的内容给我看看”。服务器如果同意就会返回一堆原始的网页数据HTML代码。这一步我们称之为“获取”。然后你拿到手的是一大串夹杂着各种标签比如div,p,a的文本人类很难直接从中找到需要的信息。所以第二步我们需要一个“解析器”把这堆杂乱的结构化文本整理成一个我们可以方便地查找和定位的“树状模型”。最后第三步就是根据我们事先定好的规则从这棵“树”的特定“枝桠”上把我们想要的数据比如文章标题、价格、链接给“摘”下来。基于这个流程工具的选择就非常清晰了。对于第一步“获取”Python里有一个库叫requests它几乎是所有爬虫初学者的首选。为什么是它因为它用起来实在是太简单直观了发送一个请求只需要一行代码response requests.get(url)而且它自动处理了很多底层细节比如连接管理、编码判断让我们可以专注于业务逻辑。相比之下Python自带的urllib库就显得有些繁琐和底层了。所以在入门阶段无脑选requests就对了。对于第二步“解析”我们选择BeautifulSoup。这个库的名字很美“美丽的汤”它的作用就是把一锅杂乱无章的HTML“原料”熬煮成一锅结构清晰、易于取用的“靓汤”。它支持多种解析器我们这里用Python标准库里的html.parser就完全够用不需要额外安装其他依赖。BeautifulSoup最大的优点是它的API设计非常符合直觉比如通过标签名find(‘div’)、CSS类名find(class_‘title’)或者ID来查找元素对于新手来说学习成本极低。当然业界还有像lxml这样性能更强的解析器或者pyquery这种模仿jQuery语法的库但对于我们第一个爬虫来说BeautifulSoup的简单易用是压倒性的优势。所以我们这个项目的核心技术栈就定下来了用requests库来获取网页原始代码用BeautifulSoup库来解析和提取数据。这个组合足以应对互联网上绝大多数的静态网页是你爬虫工具箱里最基础也最核心的两把利器。注意在开始任何爬虫项目前请务必花几分钟阅读目标网站的robots.txt文件通常在网站根目录如https://example.com/robots.txt。这个文件规定了网站允许和禁止爬虫访问的目录。虽然我们这个教学案例针对的是允许公开抓取的页面但养成这个好习惯是对网站运营者的基本尊重也是避免你的IP被封锁的重要一步。3. 环境准备与依赖安装工欲善其事必先利其器。在写代码之前我们需要确保Python环境已经就绪并且安装好必要的库。我假设你已经安装好了Python建议版本3.6或以上并且知道如何在命令行或终端中执行命令。如果你还没有安装Python可以去其官方网站下载安装包安装过程记得勾选“Add Python to PATH”选项这样就能在命令行里直接使用python和pip命令了。我们的项目只需要两个外部库requests和beautifulsoup4。请注意beautifulsoup4是这个库在PyPIPython包索引上的正式包名而在代码中我们导入的是from bs4 import BeautifulSoup。安装它们非常简单打开你的命令行Windows上是CMD或PowerShellMac/Linux上是Terminal输入以下两条命令即可pip install requests pip install beautifulsoup4pip是Python自带的包管理工具它会自动从互联网下载这两个库以及它们可能依赖的其他包。如果安装速度慢可以考虑使用国内的镜像源例如清华源命令是pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests beautifulsoup4。安装完成后你可以通过pip list命令来检查它们是否已经出现在已安装的包列表中。接下来我们需要一个代码编辑器。对于新手我强烈推荐使用VSCode。它轻量、免费并且通过安装Python扩展后对代码提示、调试的支持都非常友好。当然你使用PyCharm、Sublime Text甚至系统自带的记事本都可以只要能编写和保存.py文件就行。创建一个新的文件夹比如叫做my_first_spider然后在这个文件夹里新建一个Python文件命名为demo_spider.py。我们所有的代码都将写在这个文件里。最后我们需要选择一个目标网页。为了教学和避免法律风险我们通常选择那些明确允许爬取、用于测试的网站或者是一些新闻资讯类、商品列表类等公开信息的页面。这里我必须强调请绝对不要将本教程介绍的技术用于抓取任何明确禁止爬虫的网站、涉及个人隐私的页面或受版权保护的内容。我们可以找一个简单的静态页面作为例子比如某个博客的文章列表页。为了示例的通用性和稳定性我下面会构造一个非常简单的本地HTML文件来模拟目标网页这样你可以完全控制环境也能清晰地看到每一步发生了什么。在你的项目文件夹里再创建一个名为mock_page.html的文件用记事本或VSCode打开输入以下内容!DOCTYPE html html head title我的图书列表/title /head body h1欢迎来到我的书架/h1 div classbook-list div classbook-item h2 classtitlePython编程从入门到实践/h2 p classauthor作者Eric Matthes/p p classprice价格span89.00/span元/p a href/book/1查看详情/a /div div classbook-item h2 classtitle流畅的Python/h2 p classauthor作者Luciano Ramalho/p p classprice价格span139.00/span元/p a href/book/2查看详情/a /div div classbook-item h2 classtitle利用Python进行数据分析/h2 p classauthor作者Wes McKinney/p p classprice价格span109.00/span元/p a href/book/3查看详情/a /div /div /body /html这个HTML文件模拟了一个简单的图书列表页它包含了三本书的信息每本书的信息都被包裹在一个class为book-item的div标签内里面有标题、作者、价格和详情链接。我们爬虫的任务就是把这三本书的标题、作者和价格信息提取出来。有了这个本地文件我们就不需要连接网络可以专注于爬虫逻辑本身了。4. 第一步使用Requests获取网页内容现在我们打开demo_spider.py文件开始编写真正的爬虫代码。第一步是使用requests库来获取网页的内容。我们首先导入必要的库。import requests from bs4 import BeautifulSoup接下来我们需要指定要抓取的网页地址URL。因为我们用的是本地文件所以URL是文件的路径。这里有一个关键点requests.get()方法通常用于请求网络资源对于本地文件我们可以直接使用Python内置的open()函数来读取。但为了保持代码逻辑的一致性以后换成真实的网址只需要改一行代码同时学习requests的用法我们可以先学习如何请求网络资源。假设我们有一个真实的、允许抓取的测试页面地址http://example.com/books代码会是这样url ‘http://example.com/books‘ # 请替换为实际可访问的测试地址 response requests.get(url)但鉴于我们使用本地文件更直接的方式是读取文件内容。不过让我们先按标准流程来稍作变通。我们可以先注释掉网络请求直接读取本地HTML内容。在实际项目中你只需要将file.read()部分替换为requests.get(url).text即可。# 方式一从网络获取暂时注释使用本地文件模拟 # url ‘https://quotes.toscrape.com/‘ # 这是一个经典的爬虫练习网站 # response requests.get(url) # html_content response.text # 方式二从本地文件获取用于本次演示 with open(‘mock_page.html‘, ‘r‘, encoding‘utf-8‘) as file: html_content file.read()这里解释几个细节requests.get(url)会向服务器发送一个HTTP GET请求这个请求和我们浏览器地址栏输入网址回车的行为本质上是一样的。它返回一个Response对象我们把它赋值给变量response。这个对象包含了很多信息比如状态码response.status_code200表示成功、响应头response.headers以及最重要的——网页的HTML内容response.text。response.text是一个字符串里面就是服务器返回的整个网页的源代码。当我们从本地文件读取时open(‘mock_page.html‘, ‘r‘, encoding‘utf-8‘)以只读模式打开文件并指定编码为UTF-8这是网页最常用的编码方式可以避免中文乱码。file.read()一次性读取整个文件内容到字符串html_content中。实操心得在实际抓取网络资源时务必添加异常处理和请求头。网络是不稳定的服务器可能无响应或者返回错误。基本的异常处理能让你的程序更健壮。同时有些网站会检查请求头中的User-Agent来判断访问者是浏览器还是爬虫简单的爬虫很可能被拒绝。我们可以通过headers参数模拟一个浏览器的请求。import requests from bs4 import BeautifulSoup url ‘你的目标网址‘ headers { ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36‘ } try: response requests.get(url, headersheaders, timeout5) # timeout设置超时时间 response.raise_for_status() # 如果状态码不是200抛出HTTPError异常 response.encoding response.apparent_encoding # 自动判断编码避免乱码 html_content response.text except requests.exceptions.RequestException as e: print(f“请求出错{e}“) html_content None这段代码是一个更健壮的生产环境雏形。timeout5意味着如果5秒内没收到响应就放弃防止程序卡死。response.raise_for_status()会在状态码为4xx或5xx时抛出异常。response.apparent_encoding是requests库推测的编码有时比服务器声明的编码更准确。5. 第二步使用BeautifulSoup解析HTML结构拿到了原始的HTML字符串html_content后它对我们来说还是一团“乱麻”。接下来就要请出“大厨”BeautifulSoup来把它熬成一锅结构清晰的“汤”了。解析过程非常简单只需要一行代码soup BeautifulSoup(html_content, ‘html.parser‘)这行代码创建了一个BeautifulSoup对象我们给它起名叫soup。它接收两个参数第一个参数是我们要解析的HTML字符串第二个参数是指定使用哪个解析器。我们这里用的是Python内置的‘html.parser‘它不需要额外安装依赖对于简单的HTML文档完全够用。创建好soup对象后我们就可以使用它提供的各种方法来导航和搜索这个文档树了。为了理解我们接下来要做什么你需要对HTML结构有一个最基础的认识。HTML文档像一棵倒立的树有根节点html分支如body,div和叶子如文本、p里的内容。标签可以有属性比如class和id它们就像是给标签贴上的名字标签是我们定位内容的关键。看看我们的mock_page.html所有的图书信息都包裹在div class“book-list”里而每一本具体的书又分别被div class“book-item”包裹。我们要提取的标题在h2 class“title”里作者在p class“author”里价格在p class“price”里的span标签内。BeautifulSoup提供了两大类方法来查找元素find()和find_all()。find()只返回第一个匹配到的元素而find_all()返回一个包含所有匹配元素的列表一个ResultSet。我们可以通过标签名、属性如class_注意class是Python关键字所以BeautifulSoup用class_等多种方式来查找。例如要找到所有class为book-item的div标签也就是找到所有图书的“容器”我们可以这样写book_items soup.find_all(‘div‘, class_‘book-item‘) print(f“找到了 {len(book_items)} 本书。“)这行代码会遍历整个soup文档树把所有标签名为div且class属性为book-item的元素找出来放到book_items这个列表里。打印一下长度应该会输出“找到了 3 本书。”。这一步我们就成功地把三本书的“大盒子”都找出来了。接下来我们只需要分别钻进每一个“盒子”里去拿我们想要的具体信息。6. 第三步精准提取与清洗目标数据现在我们有了一个包含三个元素的book_items列表。我们需要遍历这个列表对每一本书即每一个book_item进行单独的信息提取。这通常通过一个for循环来完成。for book in book_items: # 提取书名 title_tag book.find(‘h2‘, class_‘title‘) title title_tag.text if title_tag else ‘未找到标题‘ # 提取作者 author_tag book.find(‘p‘, class_‘author‘) author author_tag.text if author_tag else ‘未找到作者‘ # 提取价格 - 注意价格在span标签内 price_tag book.find(‘p‘, class_‘price‘) if price_tag: # 在price_tag这个p标签内部再寻找span标签 span_tag price_tag.find(‘span‘) price span_tag.text if span_tag else ‘未找到价格‘ else: price ‘未找到价格‘ print(f“书名{title}“) print(f“作者{author}“) print(f“价格{price}“) print(“-“ * 30) # 打印一条分隔线让输出更清晰让我们逐行拆解这段代码在做什么。在循环体内book变量依次代表每一个div class“book-item”。对于每一本书提取书名book.find(‘h2‘, class_‘title‘)表示在当前这个book元素即当前这本书的“盒子”内部寻找标签名为h2且class为title的第一个元素。.text属性用于获取这个标签内的纯文本内容不包括它内部的子标签。这里用了一个三元表达式进行判断如果找到了这个标签title_tag不是None就取它的文本否则给一个默认值“未找到标题”。这是一个很好的容错处理习惯。提取作者逻辑同上在book内部寻找p class“author”并获取其文本。提取价格这里稍微复杂一点因为价格文本“89.00”并不是直接位于p class“price”里而是在这个p标签内部的一个span子标签里。所以我们需要两步首先找到p class“price”标签price_tag然后在这个找到的标签内部再使用.find(‘span‘)寻找span标签最后获取span标签的文本。同样每一步都做了空值判断。打印结果将提取到的信息格式化打印出来并用一行短横线分隔每本书的信息让输出结果更易读。运行这段代码你将在控制台看到类似这样的输出书名Python编程从入门到实践 作者作者Eric Matthes 价格89.00 ------------------------------ 书名流畅的Python 作者作者Luciano Ramalho 价格139.00 ------------------------------ 书名利用Python进行数据分析 作者作者Wes McKinney 价格109.00 ------------------------------成功了我们成功地从HTML中提取出了结构化的数据。不过你可能会注意到作者信息前面多了“作者”两个字。这是因为我们提取的是整个p标签的文本。这就是数据清洗Data Cleaning需要做的事情之一。我们可以用字符串的.strip()方法去掉首尾空白用.replace()方法替换掉不需要的部分。# 在打印前进行简单的清洗 author_clean author.replace(‘作者‘, ‘‘).strip() # 去掉“作者”并去除首尾空格 title_clean title.strip() price_clean price.strip() print(f“书名{title_clean}“) print(f“作者{author_clean}“) print(f“价格{price_clean}元“) # 可以加上单位现在输出就干净多了。数据清洗是爬虫工作中非常重要的一环实际网页的数据可能包含大量多余的空白、换行符\n、特殊的HTML实体如nbsp;等需要根据具体情况使用.strip()、.split()、正则表达式等方法进行处理才能得到干净、可用的数据。7. 第四步数据存储与代码整合把数据打印在屏幕上只是第一步更常见的需求是把数据保存下来比如存到一个文本文件、CSV表格或者数据库里方便后续分析。这里我们介绍两种最基础的存储方式文本文件和CSV文件。存储为文本文件.txt文本文件是最简单的存储方式适合快速查看或少量数据。我们可以把每本书的信息写成一行用逗号或其他分隔符隔开。# 在循环之前打开或创建一个文件用于写入 with open(‘books.txt‘, ‘w‘, encoding‘utf-8‘) as f: # 可以先写入一个表头 f.write(“书名,作者,价格(元)\n“) for book in book_items: # ... 前面的提取和清洗代码 ... # 将清洗后的数据组合成一行用逗号分隔 line f“{title_clean},{author_clean},{price_clean}\n“ f.write(line) print(“数据已保存到 books.txt 文件。“)存储为CSV文件CSVComma-Separated Values文件是一种通用的表格数据格式可以用Excel直接打开更适合结构化数据的存储。Python内置了csv模块来处理它。import csv # 准备一个列表来存放所有书的信息 all_books_data [] for book in book_items: # ... 提取和清洗数据的代码 ... # 将每本书的信息作为一个字典或列表存入总列表 book_info { ‘title‘: title_clean, ‘author‘: author_clean, ‘price‘: price_clean } all_books_data.append(book_info) # 将数据写入CSV文件 with open(‘books.csv‘, ‘w‘, newline‘‘, encoding‘utf-8-sig‘) as csvfile: # ‘utf-8-sig‘解决Excel打开中文乱码 # 定义CSV文件的列名 fieldnames [‘title‘, ‘author‘, ‘price‘] writer csv.DictWriter(csvfile, fieldnamesfieldnames) writer.writeheader() # 写入表头 for book in all_books_data: writer.writerow(book) # 逐行写入数据 print(“数据已保存到 books.csv 文件。“)现在让我们把之前所有步骤的代码整合到一个完整、健壮的脚本中。这个脚本包含了异常处理、请求头设置、数据解析、清洗和存储。import requests from bs4 import BeautifulSoup import csv import time def main(): # 目标URL - 这里我们依然用本地文件模拟实际使用时替换为真实URL # url ‘https://quotes.toscrape.com/‘ # 本次演示我们读取本地文件内容来模拟网络请求返回的html try: with open(‘mock_page.html‘, ‘r‘, encoding‘utf-8‘) as f: html_content f.read() except FileNotFoundError: print(“错误未找到本地模拟文件 mock_page.html请确保它存在于当前目录。“) return # 如果使用真实网络请求请取消下面代码块的注释并注释掉上面的文件读取部分 url ‘你的目标网址‘ headers { ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...‘ } try: response requests.get(url, headersheaders, timeout10) response.raise_for_status() response.encoding response.apparent_encoding html_content response.text except requests.exceptions.RequestException as e: print(f“网络请求失败{e}“) return # 礼貌性延迟避免请求过快对服务器造成压力 time.sleep(1) # 解析HTML soup BeautifulSoup(html_content, ‘html.parser‘) # 查找所有图书项目容器 book_items soup.find_all(‘div‘, class_‘book-item‘) if not book_items: print(“未找到任何图书信息。“) return print(f“共找到 {len(book_items)} 本书。“) # 准备存储数据的列表 books_data [] # 遍历并提取每本书的信息 for index, book in enumerate(book_items, 1): print(f“\n正在处理第 {index} 本书...“) # 提取书名 title_tag book.find(‘h2‘, class_‘title‘) title title_tag.text.strip() if title_tag else ‘N/A‘ # 提取作者 author_tag book.find(‘p‘, class_‘author‘) author author_tag.text.strip() if author_tag else ‘N/A‘ author author.replace(‘作者‘, ‘‘) # 清洗掉前缀 # 提取价格 price_tag book.find(‘p‘, class_‘price‘) price ‘N/A‘ if price_tag: span_tag price_tag.find(‘span‘) price span_tag.text.strip() if span_tag else ‘N/A‘ # 打印到控制台 print(f“ 书名{title}“) print(f“ 作者{author}“) print(f“ 价格{price}“) # 存入列表为写入CSV做准备 books_data.append({ ‘序号‘: index, ‘书名‘: title, ‘作者‘: author, ‘价格(元)‘: price }) # 保存到CSV文件 if books_data: csv_filename ‘books_data.csv‘ try: with open(csv_filename, ‘w‘, newline‘‘, encoding‘utf-8-sig‘) as csvfile: fieldnames [‘序号‘, ‘书名‘, ‘作者‘, ‘价格(元)‘] writer csv.DictWriter(csvfile, fieldnamesfieldnames) writer.writeheader() writer.writerows(books_data) print(f“\n所有数据已成功保存到文件{csv_filename}“) except IOError as e: print(f“写入文件时出错{e}“) else: print(“没有提取到任何有效数据未生成文件。“) if __name__ ‘__main__‘: main()这个整合后的脚本定义了一个main()函数结构清晰。它首先模拟获取HTML内容然后解析并查找所有图书条目。接着遍历每个条目提取并清洗书名、作者和价格信息同时打印到控制台并收集到一个字典列表中。最后将所有数据写入一个名为books_data.csv的CSV文件中。你可以直接运行这个脚本它会在同级目录下生成一个CSV文件用Excel或文本编辑器打开就能看到整齐的表格数据了。8. 常见问题与排查技巧实录当你兴冲冲地运行自己的第一个爬虫时很可能会遇到一些“拦路虎”。别担心这都是必经之路。下面我总结了一些新手最常碰到的问题及其解决方法这可能是比写代码本身更宝贵的经验。问题一ImportError: No module named ‘requests‘ 或 ‘bs4‘现象运行代码时在import行报错提示找不到模块。原因没有安装对应的第三方库或者安装在另一个Python环境下了。解决确认你是在哪个Python环境下运行的。在命令行输入python --version和pip --version看路径是否一致。使用pip list命令查看已安装的包列表确认requests和beautifulsoup4是否存在。如果没安装使用pip install requests beautifulsoup4安装。如果已安装但不在当前环境可以尝试使用python -m pip install来安装或者激活正确的虚拟环境。问题二HTTP错误如403 Forbidden或404 Not Found现象使用requests.get()请求真实网站时返回的状态码不是200。原因404URL地址拼写错误或者网页已不存在。403服务器拒绝访问。最常见的原因是网站识别出了你是爬虫通过请求头User-Agent或者有反爬机制。解决对于403首要方法是添加请求头特别是User-Agent模拟成真实浏览器。代码中已给出示例。检查URL是否正确可以在浏览器中手动访问一下试试。有些网站需要登录后才能访问简单的get请求无法获取内容这涉及到会话Session和Cookie管理是进阶内容。问题三提取不到任何数据find_all()返回空列表现象代码没报错但book_items列表是空的打印len(book_items)结果是0。原因这是新手遇到最多的问题。原因主要有两个网页是动态加载的你通过requests拿到的HTML源代码并不包含通过JavaScript后来加载的数据。浏览器能看到是因为它执行了JS代码。requests只负责获取初始的HTML不执行JS。查找条件不对网页的实际结构和你想象的不一样。可能class名字不对或者元素嵌套层级更深。排查与解决检查网页源代码在浏览器中打开目标网页按F12打开开发者工具切换到Elements元素面板。在这里看到的才是requests能获取到的完整HTML结构。使用CtrlF搜索你想要的class名如book-item看是否存在以及写法是否完全一致大小写、空格等。打印HTML内容在解析前将html_content的前几千个字符打印出来print(html_content[:5000])看看里面到底有没有你想要的内容。如果没有那很可能就是动态加载的问题。解决动态加载对于动态加载的网页requestsBeautifulSoup的组合就力不从心了。你需要使用能执行JavaScript的工具比如Selenium模拟浏览器操作或Playwright或者更高级地去分析网页的网络请求XHR/Fetch找到直接返回数据的API接口然后用requests去请求那个接口这通常是更高效的方法。问题四提取到的文本包含大量空白、换行或乱码现象打印出来的数据里有很多\n、\t或者奇怪的符号如nbsp;。原因HTML中为了排版会有很多空白字符和HTML实体。解决使用.strip()去除字符串首尾的空白字符。使用.replace(‘\n‘, ‘‘).replace(‘\t‘, ‘‘)替换掉中间的换行和制表符。对于HTML实体如nbsp;代表空格可以使用BeautifulSoup对象本身的.get_text()方法或者用html模块的unescape函数from html import unescape; clean_text unescape(dirty_text)。乱码问题通常由编码引起。确保requests获取内容后正确设置编码response.encoding response.apparent_encoding保存文件时也指定正确的编码如utf-8或utf-8-sig。问题五程序突然卡住或崩溃现象程序运行一段时间后没有反应或者抛出连接超时等异常。原因网络不稳定、服务器响应慢、或者触发了网站的反爬虫机制如IP被暂时封锁。解决添加超时参数在requests.get()中设置timeout(5, 30)第一个是连接超时第二个是读取超时。超过时间就放弃避免无限等待。添加延迟在循环请求页面时使用time.sleep(2)在每次请求后暂停2秒减轻服务器压力也显得更“礼貌”。这是最基本的反反爬策略之一。使用Try-Except捕获异常将网络请求的代码放在try-except块中捕获requests.exceptions.Timeout,ConnectionError等异常发生错误时记录日志或暂停一段时间后重试。问题六如何爬取多个页面翻页现象数据分布在很多页比如列表页有第1页第2页……思路分析翻页的规律。通常翻页链接会在页面底部形如“page2”。你可以用soup找到“下一页”的链接。更常见的是观察URL规律。比如第一页是/books?page1第二页是/books?page2。那么你只需要写一个循环动态生成每一页的URL然后重复执行“请求-解析-存储”的过程即可。base_url ‘https://example.com/books?page{}‘ for page_num in range(1, 6): # 假设爬取前5页 url base_url.format(page_num) # 发送请求解析存储... time.sleep(1) # 每页之间暂停1秒记住爬虫是一个“请求-分析-调整”的循环过程。开发者工具F12是你的最佳伙伴多观察、多尝试、多打印中间结果大部分问题都能迎刃而解。最后再次强调爬取数据一定要遵守法律法规和网站的robots.txt协议控制请求频率不要对他人服务器造成负担。
1. 项目概述从零开始的网页抓取初体验最近后台收到不少私信很多刚接触Python的朋友对“爬虫”这个词既好奇又有点发怵觉得这玩意儿是不是特别高深得懂很多底层协议才能玩得转。其实不然爬虫的本质就是模拟我们日常用浏览器访问网页、查看数据的行为只不过把这个过程自动化、程序化了。今天我就用一个最最基础的实战案例带你亲手写一个能真正跑起来的Python爬虫目标很明确从一个静态网页上把我们需要的信息给“抓”下来。整个过程你只需要会一点最基础的Python语法比如知道怎么定义变量、怎么写个for循环就完全足够了。我们这次不搞那些复杂的登录、验证码绕过也不涉及动态加载的网页就从一个结构清晰、内容固定的简单页面开始让你在十分钟内看到成果建立最直接的信心。这个案例非常适合那些听说过爬虫但还没动过手或者看了些理论总觉得云里雾里的“小白”朋友。你会发现原来入门爬虫并没有想象中那么遥不可及。2. 核心思路与工具选型为什么是Requests和BeautifulSoup在动手写代码之前我们得先想明白两件事第一爬虫工作的基本流程是什么第二针对这个流程我们该选用哪些趁手的工具。爬虫的工作流可以形象地理解为一个“获取-解析-提取”的三部曲。首先你的程序需要像一个浏览器一样向目标网站的服务器发送一个访问请求HTTP Request说“嘿把某个网页的内容给我看看”。服务器如果同意就会返回一堆原始的网页数据HTML代码。这一步我们称之为“获取”。然后你拿到手的是一大串夹杂着各种标签比如div,p,a的文本人类很难直接从中找到需要的信息。所以第二步我们需要一个“解析器”把这堆杂乱的结构化文本整理成一个我们可以方便地查找和定位的“树状模型”。最后第三步就是根据我们事先定好的规则从这棵“树”的特定“枝桠”上把我们想要的数据比如文章标题、价格、链接给“摘”下来。基于这个流程工具的选择就非常清晰了。对于第一步“获取”Python里有一个库叫requests它几乎是所有爬虫初学者的首选。为什么是它因为它用起来实在是太简单直观了发送一个请求只需要一行代码response requests.get(url)而且它自动处理了很多底层细节比如连接管理、编码判断让我们可以专注于业务逻辑。相比之下Python自带的urllib库就显得有些繁琐和底层了。所以在入门阶段无脑选requests就对了。对于第二步“解析”我们选择BeautifulSoup。这个库的名字很美“美丽的汤”它的作用就是把一锅杂乱无章的HTML“原料”熬煮成一锅结构清晰、易于取用的“靓汤”。它支持多种解析器我们这里用Python标准库里的html.parser就完全够用不需要额外安装其他依赖。BeautifulSoup最大的优点是它的API设计非常符合直觉比如通过标签名find(‘div’)、CSS类名find(class_‘title’)或者ID来查找元素对于新手来说学习成本极低。当然业界还有像lxml这样性能更强的解析器或者pyquery这种模仿jQuery语法的库但对于我们第一个爬虫来说BeautifulSoup的简单易用是压倒性的优势。所以我们这个项目的核心技术栈就定下来了用requests库来获取网页原始代码用BeautifulSoup库来解析和提取数据。这个组合足以应对互联网上绝大多数的静态网页是你爬虫工具箱里最基础也最核心的两把利器。注意在开始任何爬虫项目前请务必花几分钟阅读目标网站的robots.txt文件通常在网站根目录如https://example.com/robots.txt。这个文件规定了网站允许和禁止爬虫访问的目录。虽然我们这个教学案例针对的是允许公开抓取的页面但养成这个好习惯是对网站运营者的基本尊重也是避免你的IP被封锁的重要一步。3. 环境准备与依赖安装工欲善其事必先利其器。在写代码之前我们需要确保Python环境已经就绪并且安装好必要的库。我假设你已经安装好了Python建议版本3.6或以上并且知道如何在命令行或终端中执行命令。如果你还没有安装Python可以去其官方网站下载安装包安装过程记得勾选“Add Python to PATH”选项这样就能在命令行里直接使用python和pip命令了。我们的项目只需要两个外部库requests和beautifulsoup4。请注意beautifulsoup4是这个库在PyPIPython包索引上的正式包名而在代码中我们导入的是from bs4 import BeautifulSoup。安装它们非常简单打开你的命令行Windows上是CMD或PowerShellMac/Linux上是Terminal输入以下两条命令即可pip install requests pip install beautifulsoup4pip是Python自带的包管理工具它会自动从互联网下载这两个库以及它们可能依赖的其他包。如果安装速度慢可以考虑使用国内的镜像源例如清华源命令是pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests beautifulsoup4。安装完成后你可以通过pip list命令来检查它们是否已经出现在已安装的包列表中。接下来我们需要一个代码编辑器。对于新手我强烈推荐使用VSCode。它轻量、免费并且通过安装Python扩展后对代码提示、调试的支持都非常友好。当然你使用PyCharm、Sublime Text甚至系统自带的记事本都可以只要能编写和保存.py文件就行。创建一个新的文件夹比如叫做my_first_spider然后在这个文件夹里新建一个Python文件命名为demo_spider.py。我们所有的代码都将写在这个文件里。最后我们需要选择一个目标网页。为了教学和避免法律风险我们通常选择那些明确允许爬取、用于测试的网站或者是一些新闻资讯类、商品列表类等公开信息的页面。这里我必须强调请绝对不要将本教程介绍的技术用于抓取任何明确禁止爬虫的网站、涉及个人隐私的页面或受版权保护的内容。我们可以找一个简单的静态页面作为例子比如某个博客的文章列表页。为了示例的通用性和稳定性我下面会构造一个非常简单的本地HTML文件来模拟目标网页这样你可以完全控制环境也能清晰地看到每一步发生了什么。在你的项目文件夹里再创建一个名为mock_page.html的文件用记事本或VSCode打开输入以下内容!DOCTYPE html html head title我的图书列表/title /head body h1欢迎来到我的书架/h1 div classbook-list div classbook-item h2 classtitlePython编程从入门到实践/h2 p classauthor作者Eric Matthes/p p classprice价格span89.00/span元/p a href/book/1查看详情/a /div div classbook-item h2 classtitle流畅的Python/h2 p classauthor作者Luciano Ramalho/p p classprice价格span139.00/span元/p a href/book/2查看详情/a /div div classbook-item h2 classtitle利用Python进行数据分析/h2 p classauthor作者Wes McKinney/p p classprice价格span109.00/span元/p a href/book/3查看详情/a /div /div /body /html这个HTML文件模拟了一个简单的图书列表页它包含了三本书的信息每本书的信息都被包裹在一个class为book-item的div标签内里面有标题、作者、价格和详情链接。我们爬虫的任务就是把这三本书的标题、作者和价格信息提取出来。有了这个本地文件我们就不需要连接网络可以专注于爬虫逻辑本身了。4. 第一步使用Requests获取网页内容现在我们打开demo_spider.py文件开始编写真正的爬虫代码。第一步是使用requests库来获取网页的内容。我们首先导入必要的库。import requests from bs4 import BeautifulSoup接下来我们需要指定要抓取的网页地址URL。因为我们用的是本地文件所以URL是文件的路径。这里有一个关键点requests.get()方法通常用于请求网络资源对于本地文件我们可以直接使用Python内置的open()函数来读取。但为了保持代码逻辑的一致性以后换成真实的网址只需要改一行代码同时学习requests的用法我们可以先学习如何请求网络资源。假设我们有一个真实的、允许抓取的测试页面地址http://example.com/books代码会是这样url ‘http://example.com/books‘ # 请替换为实际可访问的测试地址 response requests.get(url)但鉴于我们使用本地文件更直接的方式是读取文件内容。不过让我们先按标准流程来稍作变通。我们可以先注释掉网络请求直接读取本地HTML内容。在实际项目中你只需要将file.read()部分替换为requests.get(url).text即可。# 方式一从网络获取暂时注释使用本地文件模拟 # url ‘https://quotes.toscrape.com/‘ # 这是一个经典的爬虫练习网站 # response requests.get(url) # html_content response.text # 方式二从本地文件获取用于本次演示 with open(‘mock_page.html‘, ‘r‘, encoding‘utf-8‘) as file: html_content file.read()这里解释几个细节requests.get(url)会向服务器发送一个HTTP GET请求这个请求和我们浏览器地址栏输入网址回车的行为本质上是一样的。它返回一个Response对象我们把它赋值给变量response。这个对象包含了很多信息比如状态码response.status_code200表示成功、响应头response.headers以及最重要的——网页的HTML内容response.text。response.text是一个字符串里面就是服务器返回的整个网页的源代码。当我们从本地文件读取时open(‘mock_page.html‘, ‘r‘, encoding‘utf-8‘)以只读模式打开文件并指定编码为UTF-8这是网页最常用的编码方式可以避免中文乱码。file.read()一次性读取整个文件内容到字符串html_content中。实操心得在实际抓取网络资源时务必添加异常处理和请求头。网络是不稳定的服务器可能无响应或者返回错误。基本的异常处理能让你的程序更健壮。同时有些网站会检查请求头中的User-Agent来判断访问者是浏览器还是爬虫简单的爬虫很可能被拒绝。我们可以通过headers参数模拟一个浏览器的请求。import requests from bs4 import BeautifulSoup url ‘你的目标网址‘ headers { ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36‘ } try: response requests.get(url, headersheaders, timeout5) # timeout设置超时时间 response.raise_for_status() # 如果状态码不是200抛出HTTPError异常 response.encoding response.apparent_encoding # 自动判断编码避免乱码 html_content response.text except requests.exceptions.RequestException as e: print(f“请求出错{e}“) html_content None这段代码是一个更健壮的生产环境雏形。timeout5意味着如果5秒内没收到响应就放弃防止程序卡死。response.raise_for_status()会在状态码为4xx或5xx时抛出异常。response.apparent_encoding是requests库推测的编码有时比服务器声明的编码更准确。5. 第二步使用BeautifulSoup解析HTML结构拿到了原始的HTML字符串html_content后它对我们来说还是一团“乱麻”。接下来就要请出“大厨”BeautifulSoup来把它熬成一锅结构清晰的“汤”了。解析过程非常简单只需要一行代码soup BeautifulSoup(html_content, ‘html.parser‘)这行代码创建了一个BeautifulSoup对象我们给它起名叫soup。它接收两个参数第一个参数是我们要解析的HTML字符串第二个参数是指定使用哪个解析器。我们这里用的是Python内置的‘html.parser‘它不需要额外安装依赖对于简单的HTML文档完全够用。创建好soup对象后我们就可以使用它提供的各种方法来导航和搜索这个文档树了。为了理解我们接下来要做什么你需要对HTML结构有一个最基础的认识。HTML文档像一棵倒立的树有根节点html分支如body,div和叶子如文本、p里的内容。标签可以有属性比如class和id它们就像是给标签贴上的名字标签是我们定位内容的关键。看看我们的mock_page.html所有的图书信息都包裹在div class“book-list”里而每一本具体的书又分别被div class“book-item”包裹。我们要提取的标题在h2 class“title”里作者在p class“author”里价格在p class“price”里的span标签内。BeautifulSoup提供了两大类方法来查找元素find()和find_all()。find()只返回第一个匹配到的元素而find_all()返回一个包含所有匹配元素的列表一个ResultSet。我们可以通过标签名、属性如class_注意class是Python关键字所以BeautifulSoup用class_等多种方式来查找。例如要找到所有class为book-item的div标签也就是找到所有图书的“容器”我们可以这样写book_items soup.find_all(‘div‘, class_‘book-item‘) print(f“找到了 {len(book_items)} 本书。“)这行代码会遍历整个soup文档树把所有标签名为div且class属性为book-item的元素找出来放到book_items这个列表里。打印一下长度应该会输出“找到了 3 本书。”。这一步我们就成功地把三本书的“大盒子”都找出来了。接下来我们只需要分别钻进每一个“盒子”里去拿我们想要的具体信息。6. 第三步精准提取与清洗目标数据现在我们有了一个包含三个元素的book_items列表。我们需要遍历这个列表对每一本书即每一个book_item进行单独的信息提取。这通常通过一个for循环来完成。for book in book_items: # 提取书名 title_tag book.find(‘h2‘, class_‘title‘) title title_tag.text if title_tag else ‘未找到标题‘ # 提取作者 author_tag book.find(‘p‘, class_‘author‘) author author_tag.text if author_tag else ‘未找到作者‘ # 提取价格 - 注意价格在span标签内 price_tag book.find(‘p‘, class_‘price‘) if price_tag: # 在price_tag这个p标签内部再寻找span标签 span_tag price_tag.find(‘span‘) price span_tag.text if span_tag else ‘未找到价格‘ else: price ‘未找到价格‘ print(f“书名{title}“) print(f“作者{author}“) print(f“价格{price}“) print(“-“ * 30) # 打印一条分隔线让输出更清晰让我们逐行拆解这段代码在做什么。在循环体内book变量依次代表每一个div class“book-item”。对于每一本书提取书名book.find(‘h2‘, class_‘title‘)表示在当前这个book元素即当前这本书的“盒子”内部寻找标签名为h2且class为title的第一个元素。.text属性用于获取这个标签内的纯文本内容不包括它内部的子标签。这里用了一个三元表达式进行判断如果找到了这个标签title_tag不是None就取它的文本否则给一个默认值“未找到标题”。这是一个很好的容错处理习惯。提取作者逻辑同上在book内部寻找p class“author”并获取其文本。提取价格这里稍微复杂一点因为价格文本“89.00”并不是直接位于p class“price”里而是在这个p标签内部的一个span子标签里。所以我们需要两步首先找到p class“price”标签price_tag然后在这个找到的标签内部再使用.find(‘span‘)寻找span标签最后获取span标签的文本。同样每一步都做了空值判断。打印结果将提取到的信息格式化打印出来并用一行短横线分隔每本书的信息让输出结果更易读。运行这段代码你将在控制台看到类似这样的输出书名Python编程从入门到实践 作者作者Eric Matthes 价格89.00 ------------------------------ 书名流畅的Python 作者作者Luciano Ramalho 价格139.00 ------------------------------ 书名利用Python进行数据分析 作者作者Wes McKinney 价格109.00 ------------------------------成功了我们成功地从HTML中提取出了结构化的数据。不过你可能会注意到作者信息前面多了“作者”两个字。这是因为我们提取的是整个p标签的文本。这就是数据清洗Data Cleaning需要做的事情之一。我们可以用字符串的.strip()方法去掉首尾空白用.replace()方法替换掉不需要的部分。# 在打印前进行简单的清洗 author_clean author.replace(‘作者‘, ‘‘).strip() # 去掉“作者”并去除首尾空格 title_clean title.strip() price_clean price.strip() print(f“书名{title_clean}“) print(f“作者{author_clean}“) print(f“价格{price_clean}元“) # 可以加上单位现在输出就干净多了。数据清洗是爬虫工作中非常重要的一环实际网页的数据可能包含大量多余的空白、换行符\n、特殊的HTML实体如nbsp;等需要根据具体情况使用.strip()、.split()、正则表达式等方法进行处理才能得到干净、可用的数据。7. 第四步数据存储与代码整合把数据打印在屏幕上只是第一步更常见的需求是把数据保存下来比如存到一个文本文件、CSV表格或者数据库里方便后续分析。这里我们介绍两种最基础的存储方式文本文件和CSV文件。存储为文本文件.txt文本文件是最简单的存储方式适合快速查看或少量数据。我们可以把每本书的信息写成一行用逗号或其他分隔符隔开。# 在循环之前打开或创建一个文件用于写入 with open(‘books.txt‘, ‘w‘, encoding‘utf-8‘) as f: # 可以先写入一个表头 f.write(“书名,作者,价格(元)\n“) for book in book_items: # ... 前面的提取和清洗代码 ... # 将清洗后的数据组合成一行用逗号分隔 line f“{title_clean},{author_clean},{price_clean}\n“ f.write(line) print(“数据已保存到 books.txt 文件。“)存储为CSV文件CSVComma-Separated Values文件是一种通用的表格数据格式可以用Excel直接打开更适合结构化数据的存储。Python内置了csv模块来处理它。import csv # 准备一个列表来存放所有书的信息 all_books_data [] for book in book_items: # ... 提取和清洗数据的代码 ... # 将每本书的信息作为一个字典或列表存入总列表 book_info { ‘title‘: title_clean, ‘author‘: author_clean, ‘price‘: price_clean } all_books_data.append(book_info) # 将数据写入CSV文件 with open(‘books.csv‘, ‘w‘, newline‘‘, encoding‘utf-8-sig‘) as csvfile: # ‘utf-8-sig‘解决Excel打开中文乱码 # 定义CSV文件的列名 fieldnames [‘title‘, ‘author‘, ‘price‘] writer csv.DictWriter(csvfile, fieldnamesfieldnames) writer.writeheader() # 写入表头 for book in all_books_data: writer.writerow(book) # 逐行写入数据 print(“数据已保存到 books.csv 文件。“)现在让我们把之前所有步骤的代码整合到一个完整、健壮的脚本中。这个脚本包含了异常处理、请求头设置、数据解析、清洗和存储。import requests from bs4 import BeautifulSoup import csv import time def main(): # 目标URL - 这里我们依然用本地文件模拟实际使用时替换为真实URL # url ‘https://quotes.toscrape.com/‘ # 本次演示我们读取本地文件内容来模拟网络请求返回的html try: with open(‘mock_page.html‘, ‘r‘, encoding‘utf-8‘) as f: html_content f.read() except FileNotFoundError: print(“错误未找到本地模拟文件 mock_page.html请确保它存在于当前目录。“) return # 如果使用真实网络请求请取消下面代码块的注释并注释掉上面的文件读取部分 url ‘你的目标网址‘ headers { ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...‘ } try: response requests.get(url, headersheaders, timeout10) response.raise_for_status() response.encoding response.apparent_encoding html_content response.text except requests.exceptions.RequestException as e: print(f“网络请求失败{e}“) return # 礼貌性延迟避免请求过快对服务器造成压力 time.sleep(1) # 解析HTML soup BeautifulSoup(html_content, ‘html.parser‘) # 查找所有图书项目容器 book_items soup.find_all(‘div‘, class_‘book-item‘) if not book_items: print(“未找到任何图书信息。“) return print(f“共找到 {len(book_items)} 本书。“) # 准备存储数据的列表 books_data [] # 遍历并提取每本书的信息 for index, book in enumerate(book_items, 1): print(f“\n正在处理第 {index} 本书...“) # 提取书名 title_tag book.find(‘h2‘, class_‘title‘) title title_tag.text.strip() if title_tag else ‘N/A‘ # 提取作者 author_tag book.find(‘p‘, class_‘author‘) author author_tag.text.strip() if author_tag else ‘N/A‘ author author.replace(‘作者‘, ‘‘) # 清洗掉前缀 # 提取价格 price_tag book.find(‘p‘, class_‘price‘) price ‘N/A‘ if price_tag: span_tag price_tag.find(‘span‘) price span_tag.text.strip() if span_tag else ‘N/A‘ # 打印到控制台 print(f“ 书名{title}“) print(f“ 作者{author}“) print(f“ 价格{price}“) # 存入列表为写入CSV做准备 books_data.append({ ‘序号‘: index, ‘书名‘: title, ‘作者‘: author, ‘价格(元)‘: price }) # 保存到CSV文件 if books_data: csv_filename ‘books_data.csv‘ try: with open(csv_filename, ‘w‘, newline‘‘, encoding‘utf-8-sig‘) as csvfile: fieldnames [‘序号‘, ‘书名‘, ‘作者‘, ‘价格(元)‘] writer csv.DictWriter(csvfile, fieldnamesfieldnames) writer.writeheader() writer.writerows(books_data) print(f“\n所有数据已成功保存到文件{csv_filename}“) except IOError as e: print(f“写入文件时出错{e}“) else: print(“没有提取到任何有效数据未生成文件。“) if __name__ ‘__main__‘: main()这个整合后的脚本定义了一个main()函数结构清晰。它首先模拟获取HTML内容然后解析并查找所有图书条目。接着遍历每个条目提取并清洗书名、作者和价格信息同时打印到控制台并收集到一个字典列表中。最后将所有数据写入一个名为books_data.csv的CSV文件中。你可以直接运行这个脚本它会在同级目录下生成一个CSV文件用Excel或文本编辑器打开就能看到整齐的表格数据了。8. 常见问题与排查技巧实录当你兴冲冲地运行自己的第一个爬虫时很可能会遇到一些“拦路虎”。别担心这都是必经之路。下面我总结了一些新手最常碰到的问题及其解决方法这可能是比写代码本身更宝贵的经验。问题一ImportError: No module named ‘requests‘ 或 ‘bs4‘现象运行代码时在import行报错提示找不到模块。原因没有安装对应的第三方库或者安装在另一个Python环境下了。解决确认你是在哪个Python环境下运行的。在命令行输入python --version和pip --version看路径是否一致。使用pip list命令查看已安装的包列表确认requests和beautifulsoup4是否存在。如果没安装使用pip install requests beautifulsoup4安装。如果已安装但不在当前环境可以尝试使用python -m pip install来安装或者激活正确的虚拟环境。问题二HTTP错误如403 Forbidden或404 Not Found现象使用requests.get()请求真实网站时返回的状态码不是200。原因404URL地址拼写错误或者网页已不存在。403服务器拒绝访问。最常见的原因是网站识别出了你是爬虫通过请求头User-Agent或者有反爬机制。解决对于403首要方法是添加请求头特别是User-Agent模拟成真实浏览器。代码中已给出示例。检查URL是否正确可以在浏览器中手动访问一下试试。有些网站需要登录后才能访问简单的get请求无法获取内容这涉及到会话Session和Cookie管理是进阶内容。问题三提取不到任何数据find_all()返回空列表现象代码没报错但book_items列表是空的打印len(book_items)结果是0。原因这是新手遇到最多的问题。原因主要有两个网页是动态加载的你通过requests拿到的HTML源代码并不包含通过JavaScript后来加载的数据。浏览器能看到是因为它执行了JS代码。requests只负责获取初始的HTML不执行JS。查找条件不对网页的实际结构和你想象的不一样。可能class名字不对或者元素嵌套层级更深。排查与解决检查网页源代码在浏览器中打开目标网页按F12打开开发者工具切换到Elements元素面板。在这里看到的才是requests能获取到的完整HTML结构。使用CtrlF搜索你想要的class名如book-item看是否存在以及写法是否完全一致大小写、空格等。打印HTML内容在解析前将html_content的前几千个字符打印出来print(html_content[:5000])看看里面到底有没有你想要的内容。如果没有那很可能就是动态加载的问题。解决动态加载对于动态加载的网页requestsBeautifulSoup的组合就力不从心了。你需要使用能执行JavaScript的工具比如Selenium模拟浏览器操作或Playwright或者更高级地去分析网页的网络请求XHR/Fetch找到直接返回数据的API接口然后用requests去请求那个接口这通常是更高效的方法。问题四提取到的文本包含大量空白、换行或乱码现象打印出来的数据里有很多\n、\t或者奇怪的符号如nbsp;。原因HTML中为了排版会有很多空白字符和HTML实体。解决使用.strip()去除字符串首尾的空白字符。使用.replace(‘\n‘, ‘‘).replace(‘\t‘, ‘‘)替换掉中间的换行和制表符。对于HTML实体如nbsp;代表空格可以使用BeautifulSoup对象本身的.get_text()方法或者用html模块的unescape函数from html import unescape; clean_text unescape(dirty_text)。乱码问题通常由编码引起。确保requests获取内容后正确设置编码response.encoding response.apparent_encoding保存文件时也指定正确的编码如utf-8或utf-8-sig。问题五程序突然卡住或崩溃现象程序运行一段时间后没有反应或者抛出连接超时等异常。原因网络不稳定、服务器响应慢、或者触发了网站的反爬虫机制如IP被暂时封锁。解决添加超时参数在requests.get()中设置timeout(5, 30)第一个是连接超时第二个是读取超时。超过时间就放弃避免无限等待。添加延迟在循环请求页面时使用time.sleep(2)在每次请求后暂停2秒减轻服务器压力也显得更“礼貌”。这是最基本的反反爬策略之一。使用Try-Except捕获异常将网络请求的代码放在try-except块中捕获requests.exceptions.Timeout,ConnectionError等异常发生错误时记录日志或暂停一段时间后重试。问题六如何爬取多个页面翻页现象数据分布在很多页比如列表页有第1页第2页……思路分析翻页的规律。通常翻页链接会在页面底部形如“page2”。你可以用soup找到“下一页”的链接。更常见的是观察URL规律。比如第一页是/books?page1第二页是/books?page2。那么你只需要写一个循环动态生成每一页的URL然后重复执行“请求-解析-存储”的过程即可。base_url ‘https://example.com/books?page{}‘ for page_num in range(1, 6): # 假设爬取前5页 url base_url.format(page_num) # 发送请求解析存储... time.sleep(1) # 每页之间暂停1秒记住爬虫是一个“请求-分析-调整”的循环过程。开发者工具F12是你的最佳伙伴多观察、多尝试、多打印中间结果大部分问题都能迎刃而解。最后再次强调爬取数据一定要遵守法律法规和网站的robots.txt协议控制请求频率不要对他人服务器造成负担。
