很多同学想学Python但担心没基础、学不会其实Python作为入门最简单的编程语言之一配合正确的学习路径完全可以快速上手。本文将用一周时间带你系统掌握Python基础语法、爬虫核心技能、常用数据结构并通过完整项目实战串联所有知识点。无论你是零基础转行还是技能提升都能跟着本文一步步搭建开发环境、编写可运行代码、解决实际问题。1. Python环境搭建与开发工具配置1.1 Python安装详细步骤Python安装是学习的第一步目前最新稳定版本是Python 3.12。访问Python官网下载页面选择适合你操作系统的安装包。Windows用户建议勾选Add Python to PATH选项这样可以直接在命令行中使用Python。验证安装是否成功打开命令行Windows按WinR输入cmdMac打开终端输入python --version如果显示Python版本号说明安装成功。如果提示python不是内部或外部命令需要手动配置环境变量。1.2 VS Code配置Python开发环境VS Code是轻量级且功能强大的代码编辑器。安装完成后需要安装Python扩展插件点击左侧扩展图标搜索Python安装Microsoft官方提供的Python扩展。这个扩展提供代码智能提示、调试、语法高亮等核心功能。创建第一个Python文件新建一个hello.py文件输入print(Hello, Python!)右键选择Run Python File in Terminal运行。看到终端输出Hello, Python!说明环境配置成功。VS Code还支持代码格式化、断点调试等高级功能后续开发中会逐步用到。1.3 包管理工具pip的使用pip是Python的包管理工具用于安装第三方库。在命令行中输入pip list可以查看已安装的包。常用命令包括pip install 包名安装特定包pip install 包名版本号安装指定版本pip uninstall 包名卸载包。国内用户建议配置镜像源加速下载pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple。这样后续安装库时会从国内镜像站下载速度更快更稳定。2. Python基础语法精讲2.1 变量与数据类型Python是动态类型语言变量不需要声明类型。基本数据类型包括整数(int)、浮点数(float)、字符串(str)、布尔值(bool)。例如age 25整数、price 19.99浮点数、name 张三字符串、is_student True布尔值。字符串操作是编程中的高频操作len()获取长度拼接字符串str.lower()转为小写str.upper()转为大写。格式化字符串可以用f-stringf你好{name}今年{age}岁这是Python 3.6推荐的方式可读性好且性能优。2.2 条件判断与循环结构条件判断使用if-elif-else结构注意冒号和缩进Python用缩进表示代码块score 85 if score 90: print(优秀) elif score 60: print(及格) else: print(不及格)循环结构包括for循环和while循环。for循环常用于遍历序列fruits [苹果, 香蕉, 橙子] for fruit in fruits: print(f我喜欢吃{fruit})while循环在条件满足时重复执行count 0 while count 5: print(f这是第{count1}次循环) count 12.3 函数定义与使用函数是代码复用的基本单元使用def关键字定义def calculate_area(length, width): 计算矩形面积 area length * width return area # 调用函数 result calculate_area(10, 5) print(f矩形面积: {result})函数可以设置默认参数def greet(name世界):这样调用时可以不传参数。函数文档字符串用三引号包裹可以通过函数名.__doc__查看这是良好的编程习惯。3. 爬虫核心技术解析3.1 爬虫基本原理与法律边界网络爬虫是自动获取网页内容的程序核心流程是发送HTTP请求→获取响应内容→解析数据→存储结果。技术上主要使用requests库发送请求BeautifulSoup或lxml解析HTML。必须遵守robots.txt协议该文件位于网站根目录如https://www.example.com/robots.txt规定了哪些页面允许爬取。商业网站通常有反爬机制需要控制访问频率避免对服务器造成压力。个人学习时应选择允许爬取的网站或使用专门的测试网站。3.2 requests库实战应用requests是Python中最常用的HTTP库安装pip install requests。基本使用import requests # 发送GET请求 response requests.get(https://httpbin.org/json) print(f状态码: {response.status_code}) # 200表示成功 print(f响应内容: {response.text}) # 文本内容设置请求头模拟浏览器访问headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } response requests.get(https://example.com, headersheaders)处理异常情况try: response requests.get(https://example.com, timeout5) response.raise_for_status() # 如果状态码不是200抛出异常 except requests.exceptions.RequestException as e: print(f请求失败: {e})3.3 BeautifulSoup解析HTMLBeautifulSoup将复杂的HTML转换为树形结构便于提取数据。安装pip install beautifulsoup4。基本用法from bs4 import BeautifulSoup import requests html_doc html headtitle测试页面/title/head body div classcontent h1标题/h1 p classtext第一段文字/p p classtext第二段文字/p /div /body /html soup BeautifulSoup(html_doc, html.parser) title soup.find(h1).text # 获取h1标签文本 paragraphs soup.find_all(p, class_text) # 获取所有class为text的p标签 for i, p in enumerate(paragraphs): print(f第{i1}段: {p.text})常用选择器soup.select(div.content)CSS选择器选择class为content的divsoup.find(tag, attrs{attr: value})根据属性查找soup.get_text()获取所有文本内容4. 数据结构深度掌握4.1 列表(list)的全面应用列表是Python中最灵活的数据结构可以存储任意类型元素且长度可变。创建和基本操作# 创建列表 numbers [1, 2, 3, 4, 5] fruits [苹果, 香蕉, 橙子] # 访问元素 print(numbers[0]) # 输出: 1 print(fruits[-1]) # 输出: 橙子负索引从末尾开始 # 切片操作 print(numbers[1:3]) # 输出: [2, 3]索引1到2的元素 print(numbers[::2]) # 输出: [1, 3, 5]步长为2 # 修改元素 fruits[0] 桃子 print(fruits) # 输出: [桃子, 香蕉, 橙子]列表方法# 添加元素 fruits.append(葡萄) # 末尾添加 fruits.insert(1, 梨) # 指定位置插入 # 删除元素 fruits.remove(香蕉) # 按值删除 popped fruits.pop() # 删除并返回最后一个元素 # 其他操作 fruits.sort() # 排序 fruits.reverse() # 反转 length len(fruits) # 获取长度4.2 字典(dict)的高效使用字典以键值对形式存储数据查找效率高。基本操作# 创建字典 student {name: 张三, age: 20, major: 计算机} # 访问值 print(student[name]) # 输出: 张三 print(student.get(age, 未知)) # 安全访问键不存在返回默认值 # 添加修改 student[grade] 大三 # 添加新键值对 student[age] 21 # 修改值 # 遍历字典 for key, value in student.items(): print(f{key}: {value}) # 字典推导式 squares {x: x*x for x in range(1, 6)} print(squares) # 输出: {1: 1, 2: 4, 3: 9, 4: 16, 5: 25}4.3 集合(set)与元组(tuple)集合用于去重和集合运算元组是不可变序列。集合操作set1 {1, 2, 3, 3, 4} # 自动去重: {1, 2, 3, 4} set2 {3, 4, 5, 6} print(set1 | set2) # 并集: {1, 2, 3, 4, 5, 6} print(set1 set2) # 交集: {3, 4} print(set1 - set2) # 差集: {1, 2}元组特性# 创建元组 coordinates (10, 20) rgb (255, 128, 0) # 元组拆包 x, y coordinates print(fx: {x}, y: {y}) # 输出: x: 10, y: 20 # 元组不可变以下操作会报错 # coordinates[0] 15 # TypeError5. 综合项目实战天气数据爬取与分析系统5.1 项目需求分析本项目实现一个完整的天气数据系统包含以下功能从公开天气API获取多个城市的数据解析并清洗数据存储到文件提供数据查询和基本分析功能生成简单的数据可视化技术栈requests网络请求、json数据解析、pandas数据分析、matplotlib可视化。通过这个项目可以实践爬虫、数据处理、文件操作等核心技能。5.2 爬取天气API数据使用公开的天气API避免直接爬取商业网站。示例使用模拟数据演示完整流程import requests import json import time from typing import Dict, List class WeatherCrawler: def __init__(self): self.base_url https://api.openweathermap.org/data/2.5/weather # 实际使用需要申请API key这里用模拟数据 self.cities [北京, 上海, 广州, 深圳, 杭州] def get_weather_data(self, city: str) - Dict: 模拟获取城市天气数据 # 模拟API请求延迟 time.sleep(0.5) # 模拟返回数据实际项目替换为真实API调用 mock_data { 北京: {temp: 15, humidity: 45, weather: 晴}, 上海: {temp: 18, humidity: 60, weather: 多云}, 广州: {temp: 25, humidity: 70, weather: 小雨}, 深圳: {temp: 26, humidity: 75, weather: 阴}, 杭州: {temp: 20, humidity: 55, weather: 晴} } return mock_data.get(city, {}) def crawl_all_cities(self) - List[Dict]: 爬取所有城市数据 weather_data [] for city in self.cities: try: data self.get_weather_data(city) if data: data[city] city data[timestamp] time.strftime(%Y-%m-%d %H:%M:%S) weather_data.append(data) print(f成功获取{city}天气数据) else: print(f获取{city}数据失败) except Exception as e: print(f获取{city}数据时出错: {e}) return weather_data # 使用示例 crawler WeatherCrawler() weather_data crawler.crawl_all_cities() print(f共获取{len(weather_data)}个城市的数据)5.3 数据存储与处理将爬取的数据保存为JSON文件并使用pandas进行数据分析import json import pandas as pd from datetime import datetime class DataProcessor: def __init__(self, data: List[Dict]): self.data data def save_to_json(self, filename: str weather_data.json): 保存数据到JSON文件 with open(filename, w, encodingutf-8) as f: json.dump(self.data, f, ensure_asciiFalse, indent2) print(f数据已保存到{filename}) def load_from_json(self, filename: str weather_data.json) - List[Dict]: 从JSON文件加载数据 try: with open(filename, r, encodingutf-8) as f: data json.load(f) print(f从{filename}加载数据成功) return data except FileNotFoundError: print(f文件{filename}不存在) return [] def analyze_data(self) - pd.DataFrame: 使用pandas分析数据 df pd.DataFrame(self.data) print( 数据概览 ) print(df.head()) print(\n 基本统计 ) print(f平均温度: {df[temp].mean():.1f}°C) print(f最高温度: {df[temp].max()}°C) print(f最低温度: {df[temp].min()}°C) print(f平均湿度: {df[humidity].mean():.1f}%) print(\n 天气分布 ) weather_counts df[weather].value_counts() print(weather_counts) return df # 使用示例 processor DataProcessor(weather_data) processor.save_to_json() df processor.analyze_data()5.4 数据可视化展示使用matplotlib生成简单的图表import matplotlib.pyplot as plt import pandas as pd class DataVisualizer: def __init__(self, df: pd.DataFrame): self.df df def plot_temperature_bar(self): 绘制温度柱状图 plt.figure(figsize(10, 6)) plt.bar(self.df[city], self.df[temp], colorskyblue) plt.title(各城市温度对比) plt.xlabel(城市) plt.ylabel(温度 (°C)) plt.xticks(rotation45) # 在柱子上显示数值 for i, v in enumerate(self.df[temp]): plt.text(i, v 0.5, str(v), hacenter) plt.tight_layout() plt.savefig(temperature_comparison.png, dpi300, bbox_inchestight) plt.show() def plot_weather_pie(self): 绘制天气分布饼图 weather_counts self.df[weather].value_counts() plt.figure(figsize(8, 8)) plt.pie(weather_counts.values, labelsweather_counts.index, autopct%1.1f%%) plt.title(天气状况分布) plt.savefig(weather_distribution.png, dpi300, bbox_inchestight) plt.show() def generate_report(self): 生成完整报告 self.plot_temperature_bar() self.plot_weather_pie() print(可视化图表已生成:) print(- temperature_comparison.png: 温度对比柱状图) print(- weather_distribution.png: 天气分布饼图) # 使用示例 visualizer DataVisualizer(df) visualizer.generate_report()6. 常见问题与解决方案6.1 环境配置问题问题Python命令找不到解决方案检查系统环境变量PATH是否包含Python安装路径。Windows在系统属性→高级→环境变量中编辑Path添加Python安装目录和Scripts目录。问题pip安装包超时解决方案使用国内镜像源如清华源、阿里源。临时使用pip install 包名 -i https://pypi.tuna.tsinghua.edu.cn/simple。永久配置创建pip配置文件。问题VS Code无法识别Python解释器解决方案按CtrlShiftP输入Python: Select Interpreter选择正确的Python解释器。确保已安装Python扩展。6.2 编码常见错误IndentationError: 缩进错误Python严格依赖缩进区分代码块。解决方案统一使用4个空格缩进不要在同一个文件中混用空格和Tab。在VS Code中设置Editor: Insert Spaces为true。ModuleNotFoundError: 模块不存在解决方案检查模块名拼写是否正确使用pip list确认模块已安装检查Python环境是否与VS Code使用的环境一致。SyntaxError: 语法错误常见原因忘记冒号、括号不匹配、字符串引号不闭合。仔细检查错误提示的行号附近的语法。6.3 爬虫相关问题请求被拒绝(403错误)解决方案添加合理的请求头模拟浏览器访问控制请求频率添加延时使用会话(Session)保持cookie。数据解析失败解决方案检查网页结构是否变化使用浏览器开发者工具查看实际HTML结构添加异常处理当解析失败时使用备用方案。内存占用过高解决方案对于大量数据使用生成器而非列表及时关闭文件句柄和网络连接使用分页或增量爬取。7. 学习路线与进阶建议7.1 一周学习计划表第1天完成Python环境搭建掌握变量、数据类型、基本输入输出。编写简单的计算器程序。第2天学习条件判断、循环结构、函数定义。实现一个猜数字游戏。第3天掌握列表、字典、集合等数据结构。完成学生成绩管理系统的基础功能。第4天学习requests和BeautifulSoup理解HTTP协议。实现简单网页内容提取。第5天深入学习文件操作、异常处理。完善天气爬虫项目的错误处理机制。第6天学习pandas基础操作实现数据清洗和分析。为天气数据添加更多分析维度。第7天整合所有知识完成完整项目。学习代码调试和优化技巧。7.2 项目扩展方向当前天气项目可以进一步扩展添加数据库存储SQLite或MySQL实现历史数据查询开发Web界面使用Flask或Django提供数据展示功能添加定时任务自动爬取数据并发送邮件报告实现更多数据分析功能如趋势预测、异常检测7.3 后续学习路径掌握基础后可以根据兴趣选择方向Web开发学习Django或Flask框架掌握HTML/CSS/JavaScript数据分析深入学习pandas、numpy、scikit-learn掌握数据可视化自动化运维学习Python系统编程实现自动化脚本和监控工具爬虫工程师深入研究Scrapy框架、分布式爬虫、反爬应对策略坚持每天编码练习参与开源项目阅读优秀代码是提升编程能力的最佳途径。遇到问题善用官方文档和技术社区逐步培养独立解决问题的能力。
很多同学想学Python但担心没基础、学不会其实Python作为入门最简单的编程语言之一配合正确的学习路径完全可以快速上手。本文将用一周时间带你系统掌握Python基础语法、爬虫核心技能、常用数据结构并通过完整项目实战串联所有知识点。无论你是零基础转行还是技能提升都能跟着本文一步步搭建开发环境、编写可运行代码、解决实际问题。1. Python环境搭建与开发工具配置1.1 Python安装详细步骤Python安装是学习的第一步目前最新稳定版本是Python 3.12。访问Python官网下载页面选择适合你操作系统的安装包。Windows用户建议勾选Add Python to PATH选项这样可以直接在命令行中使用Python。验证安装是否成功打开命令行Windows按WinR输入cmdMac打开终端输入python --version如果显示Python版本号说明安装成功。如果提示python不是内部或外部命令需要手动配置环境变量。1.2 VS Code配置Python开发环境VS Code是轻量级且功能强大的代码编辑器。安装完成后需要安装Python扩展插件点击左侧扩展图标搜索Python安装Microsoft官方提供的Python扩展。这个扩展提供代码智能提示、调试、语法高亮等核心功能。创建第一个Python文件新建一个hello.py文件输入print(Hello, Python!)右键选择Run Python File in Terminal运行。看到终端输出Hello, Python!说明环境配置成功。VS Code还支持代码格式化、断点调试等高级功能后续开发中会逐步用到。1.3 包管理工具pip的使用pip是Python的包管理工具用于安装第三方库。在命令行中输入pip list可以查看已安装的包。常用命令包括pip install 包名安装特定包pip install 包名版本号安装指定版本pip uninstall 包名卸载包。国内用户建议配置镜像源加速下载pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple。这样后续安装库时会从国内镜像站下载速度更快更稳定。2. Python基础语法精讲2.1 变量与数据类型Python是动态类型语言变量不需要声明类型。基本数据类型包括整数(int)、浮点数(float)、字符串(str)、布尔值(bool)。例如age 25整数、price 19.99浮点数、name 张三字符串、is_student True布尔值。字符串操作是编程中的高频操作len()获取长度拼接字符串str.lower()转为小写str.upper()转为大写。格式化字符串可以用f-stringf你好{name}今年{age}岁这是Python 3.6推荐的方式可读性好且性能优。2.2 条件判断与循环结构条件判断使用if-elif-else结构注意冒号和缩进Python用缩进表示代码块score 85 if score 90: print(优秀) elif score 60: print(及格) else: print(不及格)循环结构包括for循环和while循环。for循环常用于遍历序列fruits [苹果, 香蕉, 橙子] for fruit in fruits: print(f我喜欢吃{fruit})while循环在条件满足时重复执行count 0 while count 5: print(f这是第{count1}次循环) count 12.3 函数定义与使用函数是代码复用的基本单元使用def关键字定义def calculate_area(length, width): 计算矩形面积 area length * width return area # 调用函数 result calculate_area(10, 5) print(f矩形面积: {result})函数可以设置默认参数def greet(name世界):这样调用时可以不传参数。函数文档字符串用三引号包裹可以通过函数名.__doc__查看这是良好的编程习惯。3. 爬虫核心技术解析3.1 爬虫基本原理与法律边界网络爬虫是自动获取网页内容的程序核心流程是发送HTTP请求→获取响应内容→解析数据→存储结果。技术上主要使用requests库发送请求BeautifulSoup或lxml解析HTML。必须遵守robots.txt协议该文件位于网站根目录如https://www.example.com/robots.txt规定了哪些页面允许爬取。商业网站通常有反爬机制需要控制访问频率避免对服务器造成压力。个人学习时应选择允许爬取的网站或使用专门的测试网站。3.2 requests库实战应用requests是Python中最常用的HTTP库安装pip install requests。基本使用import requests # 发送GET请求 response requests.get(https://httpbin.org/json) print(f状态码: {response.status_code}) # 200表示成功 print(f响应内容: {response.text}) # 文本内容设置请求头模拟浏览器访问headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } response requests.get(https://example.com, headersheaders)处理异常情况try: response requests.get(https://example.com, timeout5) response.raise_for_status() # 如果状态码不是200抛出异常 except requests.exceptions.RequestException as e: print(f请求失败: {e})3.3 BeautifulSoup解析HTMLBeautifulSoup将复杂的HTML转换为树形结构便于提取数据。安装pip install beautifulsoup4。基本用法from bs4 import BeautifulSoup import requests html_doc html headtitle测试页面/title/head body div classcontent h1标题/h1 p classtext第一段文字/p p classtext第二段文字/p /div /body /html soup BeautifulSoup(html_doc, html.parser) title soup.find(h1).text # 获取h1标签文本 paragraphs soup.find_all(p, class_text) # 获取所有class为text的p标签 for i, p in enumerate(paragraphs): print(f第{i1}段: {p.text})常用选择器soup.select(div.content)CSS选择器选择class为content的divsoup.find(tag, attrs{attr: value})根据属性查找soup.get_text()获取所有文本内容4. 数据结构深度掌握4.1 列表(list)的全面应用列表是Python中最灵活的数据结构可以存储任意类型元素且长度可变。创建和基本操作# 创建列表 numbers [1, 2, 3, 4, 5] fruits [苹果, 香蕉, 橙子] # 访问元素 print(numbers[0]) # 输出: 1 print(fruits[-1]) # 输出: 橙子负索引从末尾开始 # 切片操作 print(numbers[1:3]) # 输出: [2, 3]索引1到2的元素 print(numbers[::2]) # 输出: [1, 3, 5]步长为2 # 修改元素 fruits[0] 桃子 print(fruits) # 输出: [桃子, 香蕉, 橙子]列表方法# 添加元素 fruits.append(葡萄) # 末尾添加 fruits.insert(1, 梨) # 指定位置插入 # 删除元素 fruits.remove(香蕉) # 按值删除 popped fruits.pop() # 删除并返回最后一个元素 # 其他操作 fruits.sort() # 排序 fruits.reverse() # 反转 length len(fruits) # 获取长度4.2 字典(dict)的高效使用字典以键值对形式存储数据查找效率高。基本操作# 创建字典 student {name: 张三, age: 20, major: 计算机} # 访问值 print(student[name]) # 输出: 张三 print(student.get(age, 未知)) # 安全访问键不存在返回默认值 # 添加修改 student[grade] 大三 # 添加新键值对 student[age] 21 # 修改值 # 遍历字典 for key, value in student.items(): print(f{key}: {value}) # 字典推导式 squares {x: x*x for x in range(1, 6)} print(squares) # 输出: {1: 1, 2: 4, 3: 9, 4: 16, 5: 25}4.3 集合(set)与元组(tuple)集合用于去重和集合运算元组是不可变序列。集合操作set1 {1, 2, 3, 3, 4} # 自动去重: {1, 2, 3, 4} set2 {3, 4, 5, 6} print(set1 | set2) # 并集: {1, 2, 3, 4, 5, 6} print(set1 set2) # 交集: {3, 4} print(set1 - set2) # 差集: {1, 2}元组特性# 创建元组 coordinates (10, 20) rgb (255, 128, 0) # 元组拆包 x, y coordinates print(fx: {x}, y: {y}) # 输出: x: 10, y: 20 # 元组不可变以下操作会报错 # coordinates[0] 15 # TypeError5. 综合项目实战天气数据爬取与分析系统5.1 项目需求分析本项目实现一个完整的天气数据系统包含以下功能从公开天气API获取多个城市的数据解析并清洗数据存储到文件提供数据查询和基本分析功能生成简单的数据可视化技术栈requests网络请求、json数据解析、pandas数据分析、matplotlib可视化。通过这个项目可以实践爬虫、数据处理、文件操作等核心技能。5.2 爬取天气API数据使用公开的天气API避免直接爬取商业网站。示例使用模拟数据演示完整流程import requests import json import time from typing import Dict, List class WeatherCrawler: def __init__(self): self.base_url https://api.openweathermap.org/data/2.5/weather # 实际使用需要申请API key这里用模拟数据 self.cities [北京, 上海, 广州, 深圳, 杭州] def get_weather_data(self, city: str) - Dict: 模拟获取城市天气数据 # 模拟API请求延迟 time.sleep(0.5) # 模拟返回数据实际项目替换为真实API调用 mock_data { 北京: {temp: 15, humidity: 45, weather: 晴}, 上海: {temp: 18, humidity: 60, weather: 多云}, 广州: {temp: 25, humidity: 70, weather: 小雨}, 深圳: {temp: 26, humidity: 75, weather: 阴}, 杭州: {temp: 20, humidity: 55, weather: 晴} } return mock_data.get(city, {}) def crawl_all_cities(self) - List[Dict]: 爬取所有城市数据 weather_data [] for city in self.cities: try: data self.get_weather_data(city) if data: data[city] city data[timestamp] time.strftime(%Y-%m-%d %H:%M:%S) weather_data.append(data) print(f成功获取{city}天气数据) else: print(f获取{city}数据失败) except Exception as e: print(f获取{city}数据时出错: {e}) return weather_data # 使用示例 crawler WeatherCrawler() weather_data crawler.crawl_all_cities() print(f共获取{len(weather_data)}个城市的数据)5.3 数据存储与处理将爬取的数据保存为JSON文件并使用pandas进行数据分析import json import pandas as pd from datetime import datetime class DataProcessor: def __init__(self, data: List[Dict]): self.data data def save_to_json(self, filename: str weather_data.json): 保存数据到JSON文件 with open(filename, w, encodingutf-8) as f: json.dump(self.data, f, ensure_asciiFalse, indent2) print(f数据已保存到{filename}) def load_from_json(self, filename: str weather_data.json) - List[Dict]: 从JSON文件加载数据 try: with open(filename, r, encodingutf-8) as f: data json.load(f) print(f从{filename}加载数据成功) return data except FileNotFoundError: print(f文件{filename}不存在) return [] def analyze_data(self) - pd.DataFrame: 使用pandas分析数据 df pd.DataFrame(self.data) print( 数据概览 ) print(df.head()) print(\n 基本统计 ) print(f平均温度: {df[temp].mean():.1f}°C) print(f最高温度: {df[temp].max()}°C) print(f最低温度: {df[temp].min()}°C) print(f平均湿度: {df[humidity].mean():.1f}%) print(\n 天气分布 ) weather_counts df[weather].value_counts() print(weather_counts) return df # 使用示例 processor DataProcessor(weather_data) processor.save_to_json() df processor.analyze_data()5.4 数据可视化展示使用matplotlib生成简单的图表import matplotlib.pyplot as plt import pandas as pd class DataVisualizer: def __init__(self, df: pd.DataFrame): self.df df def plot_temperature_bar(self): 绘制温度柱状图 plt.figure(figsize(10, 6)) plt.bar(self.df[city], self.df[temp], colorskyblue) plt.title(各城市温度对比) plt.xlabel(城市) plt.ylabel(温度 (°C)) plt.xticks(rotation45) # 在柱子上显示数值 for i, v in enumerate(self.df[temp]): plt.text(i, v 0.5, str(v), hacenter) plt.tight_layout() plt.savefig(temperature_comparison.png, dpi300, bbox_inchestight) plt.show() def plot_weather_pie(self): 绘制天气分布饼图 weather_counts self.df[weather].value_counts() plt.figure(figsize(8, 8)) plt.pie(weather_counts.values, labelsweather_counts.index, autopct%1.1f%%) plt.title(天气状况分布) plt.savefig(weather_distribution.png, dpi300, bbox_inchestight) plt.show() def generate_report(self): 生成完整报告 self.plot_temperature_bar() self.plot_weather_pie() print(可视化图表已生成:) print(- temperature_comparison.png: 温度对比柱状图) print(- weather_distribution.png: 天气分布饼图) # 使用示例 visualizer DataVisualizer(df) visualizer.generate_report()6. 常见问题与解决方案6.1 环境配置问题问题Python命令找不到解决方案检查系统环境变量PATH是否包含Python安装路径。Windows在系统属性→高级→环境变量中编辑Path添加Python安装目录和Scripts目录。问题pip安装包超时解决方案使用国内镜像源如清华源、阿里源。临时使用pip install 包名 -i https://pypi.tuna.tsinghua.edu.cn/simple。永久配置创建pip配置文件。问题VS Code无法识别Python解释器解决方案按CtrlShiftP输入Python: Select Interpreter选择正确的Python解释器。确保已安装Python扩展。6.2 编码常见错误IndentationError: 缩进错误Python严格依赖缩进区分代码块。解决方案统一使用4个空格缩进不要在同一个文件中混用空格和Tab。在VS Code中设置Editor: Insert Spaces为true。ModuleNotFoundError: 模块不存在解决方案检查模块名拼写是否正确使用pip list确认模块已安装检查Python环境是否与VS Code使用的环境一致。SyntaxError: 语法错误常见原因忘记冒号、括号不匹配、字符串引号不闭合。仔细检查错误提示的行号附近的语法。6.3 爬虫相关问题请求被拒绝(403错误)解决方案添加合理的请求头模拟浏览器访问控制请求频率添加延时使用会话(Session)保持cookie。数据解析失败解决方案检查网页结构是否变化使用浏览器开发者工具查看实际HTML结构添加异常处理当解析失败时使用备用方案。内存占用过高解决方案对于大量数据使用生成器而非列表及时关闭文件句柄和网络连接使用分页或增量爬取。7. 学习路线与进阶建议7.1 一周学习计划表第1天完成Python环境搭建掌握变量、数据类型、基本输入输出。编写简单的计算器程序。第2天学习条件判断、循环结构、函数定义。实现一个猜数字游戏。第3天掌握列表、字典、集合等数据结构。完成学生成绩管理系统的基础功能。第4天学习requests和BeautifulSoup理解HTTP协议。实现简单网页内容提取。第5天深入学习文件操作、异常处理。完善天气爬虫项目的错误处理机制。第6天学习pandas基础操作实现数据清洗和分析。为天气数据添加更多分析维度。第7天整合所有知识完成完整项目。学习代码调试和优化技巧。7.2 项目扩展方向当前天气项目可以进一步扩展添加数据库存储SQLite或MySQL实现历史数据查询开发Web界面使用Flask或Django提供数据展示功能添加定时任务自动爬取数据并发送邮件报告实现更多数据分析功能如趋势预测、异常检测7.3 后续学习路径掌握基础后可以根据兴趣选择方向Web开发学习Django或Flask框架掌握HTML/CSS/JavaScript数据分析深入学习pandas、numpy、scikit-learn掌握数据可视化自动化运维学习Python系统编程实现自动化脚本和监控工具爬虫工程师深入研究Scrapy框架、分布式爬虫、反爬应对策略坚持每天编码练习参与开源项目阅读优秀代码是提升编程能力的最佳途径。遇到问题善用官方文档和技术社区逐步培养独立解决问题的能力。
