Python实战项目04:简易网页爬虫,requests库实战

发布时间:2026/11/23 6:17:23

Python实战项目04:简易网页爬虫,requests库实战 实战系列Python零基础综合实战项目第4/5套 项目定位第三方开源库综合实战掌握网络请求基础。学习使用 requests 发送HTTP请求获取网页源代码解析提取文本保存网页到本地。理解爬虫基础礼仪、请求头、状态码为后续数据分析打下基础。✅ 项目难度⭐⭐⭐✅ 前置知识变量、字符串、循环、条件、函数、异常处理、pip包管理✅ 学到的核心能力使用pip安装第三方 requests 库发送GET网络请求看懂响应状态码配置请求头User‑Agent模拟浏览器访问获取网页源码文本保存网页到本地文件超时、网络异常捕获处理程序健壮性爬虫基础规范与反爬基础避坑要点一、项目需求说明实现控制台简易网页爬虫工具完成以下功能输入目标网页URL地址发送GET请求模拟浏览器访问防止被服务器拦截打印响应状态码判断访问成功还是失败获取网页HTML源码打印源码片段预览将完整网页源码保存为本地 html 文件捕获网络超时、断网、非法URL等异常程序不闪退输出请求耗时直观查看网页访问速度二、requests库基础API预习requests.get()发送GET网络请求获取网页资源response.status_codeHTTP响应状态码200代表访问成功response.text网页HTML源码字符串response.headers服务器返回响应头信息response.elapsed请求耗时状态码常识200成功404页面不存在403拒绝访问500服务器内部错误。三、安装requests第三方库打开终端 / PyCharm终端执行pip安装命令pip install requests国内下载慢可以使用镜像源加速pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple四、完整可运行源码详细注释# # 实战项目04简易网页爬虫 requests库实战 # 功能发送网络请求、获取网页源码、保存网页到本地 # import requests def get_html_page(url, timeout10): 请求网页返回网页源码 :param url: 目标网页地址 :param timeout: 请求超时时间单位秒 :return: 成功返回html文本失败返回None # 请求头模拟浏览器很多网站会拦截无UA的程序访问 headers { User‑Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } try: resp requests.get(url, headersheaders, timeouttimeout) resp.raise_for_status() # 状态码不是200直接抛出异常 print(f✅ 请求成功状态码{resp.status_code}) print(f⏱️ 请求耗时{resp.elapsed.total_seconds():.2f} 秒) return resp.text except requests.exceptions.Timeout: print(❌ 请求超时网页响应过慢请检查网络或者更换URL) except requests.exceptions.ConnectionError: print(❌ 网络连接错误无法访问该地址请检查网络与网址) except requests.exceptions.HTTPError as e: print(f❌ HTTP访问异常{e}) except Exception as e: print(f❌ 未知异常{str(e)}) return None def save_html(content, save_filenameoutput.html): 将网页源码保存到本地html文件 :param content: html网页字符串 :param save_filename: 保存文件名 if content is None: print(⚠️ 网页内容为空跳过保存) return try: with open(save_filename, w, encodingutf‑8) as f: f.write(content) print(f✅ 文件保存成功输出文件{save_filename}) except Exception as e: print(f❌ 文件写入失败{e}) def main(): print( 简易网页爬虫工具 ) target_url input(请输入要抓取的网页URL).strip() if not target_url.startswith(http): print(❌ URL必须以 http:// 或者 https:// 开头) return html_text get_html_page(target_url) if html_text is not None: # 打印前300字符预览网页源码 print(\n----------网页源码片段预览----------) print(html_text[:300]) print(------------------------------------\n) save_html(html_text, save_filenamedownload_page.html) if __name__ __main__: main()五、项目运行说明输入完整网址必须带 https://例如https://www.baidu.com设置User‑Agent模拟浏览器降低被网站拦截概率设置timeout超时防止程序无限卡住等待网页响应访问成功后会输出状态码、请求耗时打印部分源码预览完整网页源码自动保存为 download_page.html双击即可浏览器打开网络异常、超时、404都会捕获异常程序不会直接崩溃退出⚠️爬虫重要注意事项不要高频、疯狂请求同一个网站避免给对方服务器造成压力遵守网站robots协议禁止爬取受版权保护、隐私数据本项目仅用于学习不要用于商业、恶意采集业务六、核心知识点复盘第三方库安装pip安装开源库镜像源加速下载HTTP GET请求状态码含义请求头User‑Agent作用requests各类网络异常捕获超时、连接错误、HTTP错误网页文本获取 文件持久化保存爬虫基础伦理反爬基础认知七、课后拓展作业1. 使用time.sleep()增加请求延时每次请求暂停1‑2秒模拟人类浏览速度。2. 引入bs4(BeautifulSoup4)库从网页中提取所有超链接a标签打印链接文本与地址。3. 增加批量抓取读取url列表循环依次抓取多个网页分别保存为不同html文件。4. 判断网页编码解决部分网页中文乱码问题。七、课后拓展作业 完整参考答案所有答案基于本项目源码拓展兼容原版代码可直接复制运行无需大幅修改。作业1添加请求延时模拟人工浏览核心思路导入time模块请求前休眠1-2秒降低网站反爬拦截概率。import requests import time def get_html_page(url, timeout10): headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } # 模拟人工浏览延时2秒发送请求 time.sleep(2) try: resp requests.get(url, headersheaders, timeouttimeout) resp.raise_for_status() print(f✅ 请求成功状态码{resp.status_code}) print(f⏱️ 请求耗时{resp.elapsed.total_seconds():.2f} 秒) return resp.text except requests.exceptions.Timeout: print(❌ 请求超时网页响应过慢请检查网络或者更换URL) except requests.exceptions.ConnectionError: print(❌ 网络连接错误无法访问该地址请检查网络与网址) except requests.exceptions.HTTPError as e: print(f❌ HTTP访问异常{e}) except Exception as e: print(f❌ 未知异常{str(e)}) return None作业2bs4解析网页提取全部超链接第一步安装解析库pip install beautifulsoup4第二步完整拓展代码提取页面所有a标签链接和文本import requests from bs4 import BeautifulSoup def get_all_link(html_text): 解析网页提取所有超链接 soup BeautifulSoup(html_text, html.parser) # 匹配所有a标签 a_list soup.find_all(a) print(f\n✅ 共找到{a_list.__len__()}个超链接) for a in a_list: # 获取链接文本和链接地址 text a.get_text(stripTrue) href a.get(href) if href: print(f文本{text} | 链接{href}) # 在原有main函数中调用 def main(): print( 超链接抓取工具 ) target_url input(请输入要抓取的网页URL).strip() if not target_url.startswith(http): print(❌ URL必须以 http:// 或者 https:// 开头) return html_text get_html_page(target_url) if html_text: get_all_link(html_text)作业3批量抓取多个网页分别保存文件实现批量URL循环抓取自动命名文件不重复def batch_crawl(url_list): 批量抓取多个网页 for index, url in enumerate(url_list, start1): print(f\n---------- 正在抓取第{index}个网页{url} ----------) html get_html_page(url) if html: # 按序号命名文件避免覆盖 save_html(html, save_filenamefbatch_page_{index}.html) # 批量URL列表可自行添加 def main(): url_list [ https://www.baidu.com, https://www.csdn.net ] batch_crawl(url_list)作业4自动适配网页编码解决中文乱码很多网页默认编码非utf-8导致中文乱码通过resp.apparent_encoding自动识别编码def get_html_page(url, timeout10): headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } try: resp requests.get(url, headersheaders, timeouttimeout) resp.raise_for_status() # 自动识别网页真实编码解决乱码 resp.encoding resp.apparent_encoding print(f✅ 请求成功状态码{resp.status_code}) print(f✅ 网页编码{resp.encoding}) return resp.text except Exception as e: print(f❌ 请求异常{str(e)}) return None拓展作业核心总结延时请求time.sleep()是基础反爬小技巧适配绝大多数静态网页数据解析bs4 是Python最常用网页解析库为后续精准爬虫铺垫批量爬取循环遍历URL列表实现自动化批量数据采集编码处理resp.apparent_encoding彻底解决网页中文乱码问题八、下期预告下一个实战项目项目05JSON数据解析与数据可视化小案例完成整套零基础实战项目闭环。点赞 收藏 关注跟随专栏完成全套Python零基础学习
延伸阅读

更多相关文章

2026/11/21 6:22:25

【数据结构】图与树 · 算法手记与练习

#include <stdbool.h> #include <stdio.h> #include <stdlib.h> #include <math.h>#define MAXN 1010int iMaxLength 0;//最长路径长度 int iCurrentLength 0;//当前路径长度 typedef int ElemType; ElemType stMax_Path[MAXN];//最长路径元素 ElemT…

2026/11/22 14:07:45

DeepSeek模型微调蒸馏稀疏化全流程实操指南:从预训练到落地

简介&#xff1a;这是一份191页的DeepSeek模型训练微调蒸馏全流程实操指南&#xff0c;面向大模型算法工程师、训练调优与部署落地人员&#xff0c;系统对比自监督预训练、Prompt-Dropout微调与蒸馏模型稀疏化等核心技术路径&#xff0c;完整覆盖预训练数据构建、对比损失实现、…

2026/11/23 6:14:01

装修房子需要电工证吗 郑州报考避坑指南

装修房子需要电工证吗 郑州报考避坑指南 之前考的证在外省能不能转过来?这几乎是每个想在郑州从事装修行业的电工都会问的问题。特别是那些在外地打拼多年,手里拿着低压电工证或高压电工证的朋友,到了郑州,证件能不能用?能不能在本地报名考试?这些问题…

2026/11/23 6:14:01

南充哪里可以买电工证在哪考最靠谱别踩坑

南充哪里可以买电工证在哪考最靠谱别踩坑 工地太忙根本没时间复习考试,尤其是像我们这种劳务班组负责人,整天跑项目、盯现场,根本顾不上抽时间准备电工证考试。最近就有一个安阳的班组老板王师傅,他手下几个电工证快到期了,想着趁项目空档期赶紧去办理复…

2026/11/23 6:14:01

老电工证有效?内部消息:学历不高也能考,关键看你怎么做

老电工证有效?内部消息:学历不高也能考,关键看你怎么做 你是不是也听说了,老电工证有效?但是报名门槛高,学历又不够,怕报不上名?别急,这事儿我懂,咱就是说, 老电工证有效,但关键在操作 。今天我来给你扒一扒,到底怎么搞, 内部消息…

2026/11/23 6:14:01

临夏市特种作业操作证过期了怎么办 在哪考能最快复审延期

临夏市特种作业操作证过期了怎么办 在哪考能最快复审延期 证书过期了不知道怎么复审延期,这事儿真让人头疼。你是不是也遇到过这种情况:手里拿着特种作业证,结果一不留神,证书到期了,才发现不知道怎么复审,更不知道 在哪考…

2026/11/23 6:14:00

厦门电工证好考吗?多久拿证能顺利通过实操考试

厦门电工证好考吗?多久拿证能顺利通过实操考试 实操考试心里没底怕挂科?很多准备考电工证的朋友,尤其是刚入行的河南水利工程从业者,最担心的就是考试能不能过、多久能拿证。别急,今天我就从报考流程、备考建议、考试内容到拿证时间,手把手带你理清楚整…

2026/11/23 6:09:00

社保局查电工证怎么应对?考前押题帮你搞定复审难题

社保局查电工证怎么应对?考前押题帮你搞定复审难题 证书过期了不知道怎么复审延期?社保局查电工证时发现证过期,不仅影响工资发放,还可能被认定为违规操作,甚至面临停工整顿。尤其是洛阳市政公用工程从业者,一旦遇到这类问题,轻则被单位通报,重则影响…

2026/11/22 0:09:40

高压电工证还能年审吗良心建议来了,学历不高也能考!

高压电工证还能年审吗良心建议来了,学历不高也能考! 你是不是也担心,自己学历不高,根本报不上高压电工证?其实不然,现在政策已经非常明确, 高压电工证还能年审 ,而且只要符合条件, 学历不是门槛 , 良心建议…

2026/11/23 2:38:11

吴江的电工证免费培训怎么报名?官方报名入口全解析

吴江的电工证免费培训怎么报名?官方报名入口全解析 你急需特种作业证才能上岗找工作,但不知道从哪里下手?别急,现在就给你讲明白【吴江的电工证免费培训】到底怎么操作,以及怎么通过 官方报名入口…

2026/11/23 0:26:19

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱 不知道去哪报名怕被中介坑?这几乎是每个需要办理或复审电工证的人的真实经历。尤其在肃州区,信息不透明、流程复杂、中介收费高又不靠谱,让很多电工从业者感到头疼。作为一个在应急管理和特种作…

2026/11/23 0:01:38

南宁哪里可以学电工证值不值得考?怕被中介坑?看这篇就够了

南宁哪里可以学电工证值不值得考?怕被中介坑?看这篇就够了 不知道去哪报名怕被中介坑?南宁哪里可以学电工证值不值得考?这是很多想考电工证的朋友最关心的问题。现实中,不少人在选择培训机构时被各种五花八门的广告信息搞得晕头转向,甚至被坑了钱还没拿…

2026/11/23 0:01:38

建设局特种工证怎么查全国通用的复审流程

建设局特种工证怎么查全国通用的复审流程 证书过期了不知道怎么复审延期,这是很多特种作业从业者常遇到的问题。尤其是在洛阳涧西区从事水利工程工作的你,特种作业操作证不仅是上岗的“通行证”,更是保障安全作业的法律底线。如果操作证过期了,不仅影响工…

2026/11/23 0:01:38

电工证跨考政策值不值得考?学历不高也能考的真相

电工证跨考政策值不值得考?学历不高也能考的真相 你是不是也觉得学历不够,报电工证怕被拒?别急,国家安全生产考试网明文规定, 电工证跨考政策 对学历门槛没有硬性限制,只要你年满18岁,身体健康,能通过实操考试,就能报考。关键是, 值不值得考…

2026/11/22 9:39:14

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

在智慧养宠时代&#xff0c;基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而&#xff0c;与配合度高的人类不同&#xff0c;宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态&#xff0c;更无法控制光照环境。实际应用中&#xff0c;我们常…

2026/11/22 5:39:03

SSM电子书店源码全解析:结构、原理、部署与排错实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑