简介这是一套面向计算机、电子信息工程及数学等专业本科生的高分毕业设计实战资源聚焦二手房数据采集与可视化分析全流程适用于课程设计、期末大作业或毕业设计参考。资源包共155个文件含18个Python爬虫与分析脚本py、18个结构化CSV数据集如ershoufang-clean-utf8-v1.1.csv等多版本清洗数据、65张可视化结果图png、15个交互式HTML报告页及配套JS、INI配置与PPTX答辩材料整体35.13MB目录组织清晰覆盖数据获取、清洗、建模、图表呈现与汇报展示全链路。已有841人学习下载具备完整项目闭环从链家/贝壳等平台模拟采集逻辑到缺失值处理、价格分布热力图、区域均价对比柱状图、房龄-单价散点拟合等典型分析附带可运行环境配置说明与clean数据集版本对照便于读者理解数据演进过程并快速复现结果。1. 为什么用 Python 做二手房数据采集与可视化分析成了毕业设计高分项目的“稳态解”不是因为 Python 多万能而是它在「数据获取—清洗—建模—呈现」这条链路上把学生最常卡壳的五个环节全打薄了网页结构多变但 requests BeautifulSoup 能兜底反爬策略升级但 User-Agent 轮换请求间隔控制就能过 80% 的公开房源站数据杂乱如“58㎡/精装修/满五唯一/南北通透/带车位”正则规则引擎就能结构化房价空间分布、楼层偏好、装修溢价这些业务问题用 geopandas plotly seaborn 三板斧就能出图最后答辩要 PPTMatplotlib 导出高清 PNG、seaborn 一键换主题、甚至用 python-pptx 自动生成带图表的幻灯页——整套流程不依赖任何黑盒平台所有代码可追溯、参数可调试、结果可复现。这个项目不是教你怎么“爬网站”而是训练你用工程化思维拆解一个真实业务问题从原始 HTML 字符串里捞出有效字段再把字段变成决策依据。适合大四做毕设、转行学数据分析、或想补全“数据闭环”实操能力的开发者。2. 用 requests BeautifulSoup 在本地跑通二手房数据采集最小可行命令与三个关键响应判断2.1 构建可复用的请求会话为什么不用裸 requests.get()裸调requests.get()每次新建 TCP 连接面对目标站点如某主流房产信息聚合平台的列表页轮询时极易触发服务端连接频控。更关键的是多数房源站依赖 Cookie 维持会话状态例如记录搜索关键词、城市定位、用户行为指纹单次请求无法维持上下文。我一般会封装一个带默认 headers 和 session 复用的采集器import requests from urllib.parse import urljoin, urlparse import time class HouseCrawler: def __init__(self, base_url: str): self.session requests.Session() # 设置通用请求头模拟主流浏览器行为 self.session.headers.update({ User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en-US;q0.8,en;q0.7, Accept-Encoding: gzip, deflate, Connection: keep-alive, Upgrade-Insecure-Requests: 1 }) self.base_url base_url def get_page(self, path: str, timeout: int 10, retries: int 3) - requests.Response: url urljoin(self.base_url, path) for i in range(retries): try: resp self.session.get(url, timeouttimeout) # 关键判断1HTTP 状态码是否为 200 if resp.status_code 200: # 关键判断2响应内容是否含典型房源标签避免返回 200 但实际是跳转页/风控页 if bdiv classlist-item in resp.content or bershoufang in resp.url.encode(): return resp # 关键判断3是否被重定向到登录页或风控页常见于无 Referer 或 UA 不匹配 if resp.status_code in [301, 302] and login in resp.headers.get(Location, ): raise Exception(Redirected to login page — likely blocked) except requests.exceptions.RequestException as e: if i retries - 1: raise e time.sleep(1.5 ** i) # 指数退避 raise Exception(fFailed to fetch {url} after {retries} retries)逻辑说明get_page()方法不是简单发请求而是嵌入三层防御① 状态码校验防 4xx/5xx② 响应体特征校验防返回 200 但内容为空白页/风控提示③ 重定向路径校验防被悄无声息跳转到风控页。这比单纯看resp.ok严谨得多。参数说明timeout10避免单次请求卡死超时即放弃retries3网络抖动常见重试比直接报错更鲁棒1.5 ** i指数退避第 1 次失败等 1.5s第 2 次等 2.25s避免集中重试触发限流。2.2 解析列表页用 BeautifulSoup 定位房源卡片并提取 URL 队列房源列表页 HTML 结构高度相似每个房源用div classitem或li classhouse-item包裹内含标题、价格、地址、面积等子节点。但不同平台 class 名不同硬写soup.find_all(div, class_item)易失效。更可靠的做法是结合多 selector 回退机制from bs4 import BeautifulSoup import re def parse_list_page(self, html: str) - list: soup BeautifulSoup(html, html.parser) # 尝试多种常见卡片容器选择器按优先级降序 selectors [ div.list-item, # 某平台主力结构 li.house-item, # 某聚合站结构 div[data-componentHouseCard], # React 渲染站点常用 data 属性 div.item, # 通用 fallback ] items [] for sel in selectors: items soup.select(sel) if items: break urls [] for item in items: # 提取详情页链接优先找 a href其次找 onclick 中的 URL link_tag item.find(a, hrefTrue) if link_tag and link_tag[href]: url urljoin(self.base_url, link_tag[href]) urls.append(url) continue # 回退方案查找 onclick 属性中的 URL如 onclickjump(https://xxx) onclick item.get(onclick, ) if onclick: match re.search(rjump\([\]([^\])[\]\), onclick) if match: urls.append(urljoin(self.base_url, match.group(1))) continue return list(set(urls)) # 去重避免翻页重复抓取同一房源逻辑说明该函数不依赖单一 class 名而是按预设优先级尝试多个 CSS 选择器对链接提取也做了双路径容错a标签 onclick字符串解析覆盖静态渲染和部分前端跳转场景。list(set(urls))是必须的——很多平台翻页时会重复推送前几条热门房源。参数说明soup.select()比find_all()更灵活支持复杂 CSS 选择器如div[data-id]urljoin()确保相对路径正确转为绝对 URL避免拼接错误正则rjump\([\]([^\])[\]\)专治 onclick 中的 URL 提取括号捕获组保证只取引号内地址。3. 从详情页 HTML 中结构化提取 12 个核心字段正则 规则引擎双轨提取法3.1 为什么不用纯 XPath 或 CSS 选择器——字段位置漂移是常态房源详情页的 DOM 结构比列表页更不稳定价格可能在span classprice也可能在p idtotal-price建筑面积可能紧跟“建筑面积”文字后也可能藏在 JSON-LD 脚本里。纯靠选择器定位一旦页面改版整个字段提取就崩。更鲁棒的做法是先用正则锚定语义关键词再用规则引擎做上下文校验。以“建筑面积”字段为例常见 HTML 片段有!-- 类型1标签文本 -- lispan建筑面积/spanspan89.5㎡/span/li !-- 类型2表格行 -- trtd建筑面积/tdtd89.5㎡/td/tr !-- 类型3JSON-LD 内嵌 -- script typeapplication/ldjson{context:https://schema.org,type:Offer,price:5200000}/script我们不预设结构而是用语义正则扫描全文import re def extract_area(text: str) - float: # 匹配“建筑面积X.X㎡”、“建筑面积 X.X㎡”、“建面X.X㎡”等变体 patterns [ r建筑面积[:\s]*([0-9.])\s*㎡, r建面[:\s]*([0-9.])\s*㎡, r建筑面积.*?([0-9.])\s*㎡, r([0-9.])\s*㎡.*?建筑面积, ] for pat in patterns: match re.search(pat, text, re.IGNORECASE | re.DOTALL) if match: try: val float(match.group(1)) # 合理性校验住宅面积通常在 30–300 ㎡ 之间 if 30 val 300: return val except ValueError: continue return 0.0逻辑说明正则不追求 100% 精确匹配而是用多 pattern 覆盖常见表述re.IGNORECASE忽略大小写如“建筑面积” vs “建筑面積”re.DOTALL让.匹配换行符适应跨行文本最后用业务常识30–300 ㎡过滤异常值这是纯选择器做不到的。3.2 构建字段提取规则表12 个字段的提取逻辑与校验阈值字段名提取方式校验逻辑典型正则示例总价万元正则匹配“总价XX万”、“XX万元”0 且 5000排除单位错误r总价[:\s]*([0-9.])[\s万]*万元?单价元/㎡正则匹配“单价XX元/㎡”5000 且 150000一线/强二线合理区间r单价[:\s]*([0-9.])\s*元[/]㎡楼层正则匹配“X/X层”、“中楼层”解析为数字比例如“12/33层”→0.36r([0-9])[/]([0-9])层朝向提取“东/南/西/北”组合必须含至少一个有效方向词r[东南西北](?:[东南西北]装修匹配“精装”“简装”“毛坯”等关键词归一化为 [精装,简装,毛坯,其他]r(精装房龄匹配“建成于XXXX年”、“房龄X年”年份在 1990–2024 之间r建成于[年\s]*([0-9]{4})年电梯匹配“有电梯”“无电梯”“待确认”二值化为 True/False/Noner(有产权年限匹配“70年产权”“40年”只取数字过滤非产权年限干扰项r([0-9]{2,3})[年\s]*产权挂牌时间提取“挂牌时间YYYY-MM-DD”转为 datetime校验是否早于当前日期r挂牌时间[:\s]*([0-9]{4}-[0-9]{2}-[0-9]{2})关注人数匹配“XXX人关注”0 且 10000防爬虫噪声r([0-9,])[\s人]*关注带看次数匹配“带看X次”0 且 500单月高频带看上限r带看[了\s]*([0-9])[次\s]*标题关键词提取标题中“学区”“地铁”“满五唯一”等标签用预定义关键词库匹配r(学区注意所有正则均需加re.IGNORECASE因网页中“地铁”可能写作“地鐵”“满五唯一”可能写作“满五唯一”带标点。4. 数据清洗与地理编码用高德 API 批量解析地址为经纬度并处理缺失值的 4 种策略4.1 为什么必须做地理编码——可视化分析的底层前提没有经纬度所有空间分析热力图、距离计算、商圈聚类都无从谈起。而原始数据中的“朝阳区建国路8号”“海淀中关村软件园”这类文本地址无法直接用于 GIS 分析。必须调用地理编码 API 转为(lat, lng)坐标对。高德 Web 服务 API 是国内最稳定的选择无需备案QPS 限制宽松其/geocode/geo接口返回标准 GeoJSONimport requests import pandas as pd import time def batch_geocode(addresses: list, key: str, batch_size: int 10) - pd.DataFrame: results [] for i in range(0, len(addresses), batch_size): batch addresses[i:ibatch_size] # 高德 API 要求地址用“|”分隔 address_str |.join(batch) url fhttps://restapi.amap.com/v3/geocode/geo?address{address_str}key{key}city全国 try: resp requests.get(url, timeout10) data resp.json() if data.get(status) 1 and data.get(count): for geocode in data[geocodes]: lng, lat map(float, geocode[location].split(,)) results.append({ address: geocode[formatted_address], lng: lng, lat: lat, level: geocode[level], # 地址等级如“商务写字楼”“小区” confidence: geocode[confidence] # 匹配置信度 }) else: # 高德返回 status0 时记录失败地址供人工核对 for addr in batch: results.append({ address: addr, lng: None, lat: None, level: failed, confidence: 0 }) except Exception as e: print(fGeocode batch {i} failed: {e}) for addr in batch: results.append({address: addr, lng: None, lat: None, level: error, confidence: 0}) time.sleep(0.1) # 控制请求频率避免触发限流 return pd.DataFrame(results)逻辑说明批量请求batch_size10比单条请求快 8 倍以上time.sleep(0.1)是硬性要求——高德免费版 QPS 限制为 10 次/秒留余量防抖动失败时仍返回占位记录保证 DataFrame 行数与输入地址数一致避免后续 merge 错位。4.2 缺失值处理的 4 种实战策略从插值到人工标注地理编码失败率通常在 5%–15%尤其对“XX小区3号楼”“XX大厦B座”这类非标准地址。不能简单删行会损失样本也不能全填 0污染空间分析。我采用分层处理缺失类型处理策略实施方式适用场景单点缺失5%KNN 插值用成功编码的邻近小区坐标均值填充小区级地址如“国贸三期”缺坐标取“国贸一期”“国贸二期”均值成片缺失如某新区全失败行政区划中心点用geopandas.read_file(beijing_districts.geojson)加载行政区划取 polygon centroid新建区域尚未录入高德但知道属朝阳区/海淀区模糊地址如“中关村附近”关键词扩展 二次查询将“中关村附近” → “中关村软件园”“中关村大街”“中关村科贸电子城”选最高 confidence 结果用户填写不规范但含强地标词顽固缺失如“业主自述地址”人工标注队列输出failed_addresses.csv按confidence降序排列优先复核低置信度项最终交付前必须清零的硬性缺失提示confidence字段是高德返回的关键质量指标0–10080 为高置信50–80 为中置信需人工复核50 为低置信大概率错。不要忽略它。5. 用 Plotly GeoPandas 做交互式房价热力图3 行代码生成可缩放、可下钻的 HTML 地图5.1 为什么不用 Matplotlib——毕业答辩需要“能点、能拖、能导出”的图Matplotlib 生成的 PNG 是静态图答辩时老师问“朝阳区单价 TOP5 小区是哪些”你得切回代码重新跑 filter sort plot当场卡住。而 Plotly 生成的 HTML 可直接嵌入 PPT用浏览器控件打开支持鼠标悬停显示楼盘名、单价、总价滚轮缩放查看局部热区框选区域下钻分析如框选望京自动统计该区域均价、涨跌幅右键导出高清 PNG/PDF。核心代码仅需 3 行加上数据准备共 12 行import plotly.express as px import pandas as pd # 假设 df_geo 已含 lng, lat, unit_price单价列 fig px.density_mapbox( df_geo, latlat, lonlng, zunit_price, # 热力强度字段 radius15, # 点半径越大越平滑 centerdict(lat39.9, lon116.4), # 北京中心点 zoom10, mapbox_stylecarto-positron, # 无标注底图突出热力 color_continuous_scaleViridis, # 渐变色蓝→黄→红低价→高价 ) # 关键添加悬停信息让答辩时能直观展示 fig.update_traces(hovertemplateb%{customdata[0]}/bbr单价: %{z:.0f}元/㎡br总价: %{customdata[1]:.0f}万元) # 导出为独立 HTML 文件双击即可打开 fig.write_html(beijing_price_heatmap.html)逻辑说明density_mapbox是 Plotly 专为地理热力设计的函数比scatter_mapboxsize更科学自动核密度估计hovertemplate自定义悬停文案%{customdata[0]}对应df_geo[title]%{z}是单价字段%{customdata[1]}是总价字段——这些字段需提前用fig.data[0].customdata df_geo[[title,total_price]].values注入。参数说明radius15实验得出的北京城区最优值太小10呈散点太大25糊成一片mapbox_stylecarto-positron去除了道路名、POI 标签的极简底图热力更醒目color_continuous_scaleViridis比默认的Plasma更符合人眼对价格高低的直觉深蓝低亮黄高。5.2 用 GeoPandas 做商圈聚类识别“价格洼地”与“价值高地”热力图只能看全局分布要回答“为什么望京比双井贵 20%”需叠加行政/商业边界。GeoPandas 可加载.shp或 GeoJSON 商圈矢量数据与房价点做空间 joinimport geopandas as gpd from shapely.geometry import Point # 加载北京商圈 GeoJSON可从某开源地理数据平台下载 gdf_business gpd.read_file(beijing_business_districts.geojson) gdf_business gdf_business.to_crs(epsg4326) # 统一为 WGS84 坐标系 # 将房价点转为 GeoDataFrame geometry [Point(xy) for xy in zip(df_geo[lng], df_geo[lat])] gdf_houses gpd.GeoDataFrame(df_geo, geometrygeometry, crsEPSG:4326) # 空间 join每个房子归属哪个商圈 gdf_joined gpd.sjoin(gdf_houses, gdf_business, howleft, predicatewithin) # 按商圈统计均价、房源数、价格标准差 district_stats gdf_joined.groupby(name).agg( avg_price(unit_price, mean), count(unit_price, count), std_price(unit_price, std) ).reset_index().sort_values(avg_price, ascendingFalse) print(district_stats.head(10))输出示例nameavg_pricecountstd_price金融街1285004221300亚奥9860015632400亦庄523008912700提示predicatewithin表示“点在面内”比intersects更严格避免边缘房子误判crs必须统一否则 join 结果为空。6. 毕业答辩高频问题应对与报告 PPT 自动生成技巧3 个让导师眼前一亮的细节6.1 预判答辩提问用“数据血缘图”解释清洗逻辑比讲代码更直观导师最常问“你这个单价是怎么算出来的为什么有的房源单价异常高” 如果你回答“我用了正则提取”他大概率追问“正则怎么写的有没有漏”——这时掏出一张手绘的数据血缘图Data Lineage Diagram效果立竿见影graph LR A[原始HTML] -- B{正则提取} B -- C[总价字符串] B -- D[面积字符串] C -- E[转数值单位校验] D -- F[转数值范围校验] E F -- G[单价总价/面积] G -- H[剔除5000或150000的异常值] H -- I[最终单价字段]实操建议用 draw.io 或 PPT 自带的形状工具画这张图放在报告第 3 页数据清洗章节。不必追求美观重点是箭头清晰、文字简短。当导师问起直接指图说“您看这里做了两层校验所以异常值被拦截在 G→H 这步”。比翻代码快 10 倍且展现系统性思维。6.2 PPT 自动生成用 python-pptx 替代手动复制粘贴图表答辩 PPT 至少 15 页每页都要插图、调字体、对齐。手动操作易出错且修改图表后需重新截图粘贴。用python-pptx可实现“代码改图PPT 自动更新”from pptx import Presentation from pptx.util import Inches def create_ppt_from_analysis(df_stats, fig_heatmap_path: str): prs Presentation(template.pptx) # 基于已设计好的模板 slide prs.slides.add_slide(prs.slide_layouts[1]) # 插入热力图 left Inches(1) top Inches(2) pic slide.shapes.add_picture(fig_heatmap_path, left, top, widthInches(8)) # 插入统计表格df_stats 转为 PPT 表格 rows, cols len(df_stats) 1, len(df_stats.columns) table slide.shapes.add_table(rows, cols, left, top Inches(5), Inches(8), Inches(2)).table # 填充表头 for i, col_name in enumerate(df_stats.columns): table.cell(0, i).text col_name # 填充数据行 for i, (_, row) in enumerate(df_stats.iterrows(), start1): for j, value in enumerate(row): table.cell(i, j).text str(round(value, 0) if isinstance(value, float) else value) prs.save(final_presentation.pptx)血泪经验务必用template.pptx提前设好字体、配色、页脚否则python-pptx生成的 PPT 格式混乱add_picture()插入的是文件路径所以先用fig.write_html()生成 HTML再用wkhtmltopdf或浏览器自动化转为 PNG——我一般用playwright截图100% 还原交互效果。6.3 报告里的“可信度锚点”在方法论章节插入 3 行真实日志评审老师最怕“假大空”。在报告“数据采集”章节末尾插入一段真实的、带时间戳的采集日志脱敏后瞬间建立可信感2024-03-15 09:23:17 INFO: Start crawling Beijing ershoufang list page 1 2024-03-15 09:23:19 INFO: Parsed 24 house URLs from page 1 2024-03-15 09:23:20 INFO: Geocoding 24 addresses... success: 22, failed: 2 2024-03-15 09:23:25 INFO: Saved raw data to ./data/raw/beijing_20240315.csv为什么有效日志证明你真跑过代码且暴露了真实失败率2/24反而显得诚实时间戳体现工作量路径./data/raw/暗示你有完整数据管理意识。别写“经过多次调试最终成功”写“第 3 次调试后将请求间隔从 0.5s 改为 1.2s失败率从 35% 降至 8%”。我带过的某高校毕业设计小组有位 A 同学在答辩时被问“你们数据时效性如何”他没背稿直接打开./data/raw/文件夹指着beijing_20240315.csv和shanghai_20240318.csv说“这是过去一周每天凌晨 2 点自动抓取的最新数据截止今天上午”。导师当场点头——因为细节比口号有力。希望帮到你。本文还有配套的精品资源点击获取
简介这是一套面向计算机、电子信息工程及数学等专业本科生的高分毕业设计实战资源聚焦二手房数据采集与可视化分析全流程适用于课程设计、期末大作业或毕业设计参考。资源包共155个文件含18个Python爬虫与分析脚本py、18个结构化CSV数据集如ershoufang-clean-utf8-v1.1.csv等多版本清洗数据、65张可视化结果图png、15个交互式HTML报告页及配套JS、INI配置与PPTX答辩材料整体35.13MB目录组织清晰覆盖数据获取、清洗、建模、图表呈现与汇报展示全链路。已有841人学习下载具备完整项目闭环从链家/贝壳等平台模拟采集逻辑到缺失值处理、价格分布热力图、区域均价对比柱状图、房龄-单价散点拟合等典型分析附带可运行环境配置说明与clean数据集版本对照便于读者理解数据演进过程并快速复现结果。1. 为什么用 Python 做二手房数据采集与可视化分析成了毕业设计高分项目的“稳态解”不是因为 Python 多万能而是它在「数据获取—清洗—建模—呈现」这条链路上把学生最常卡壳的五个环节全打薄了网页结构多变但 requests BeautifulSoup 能兜底反爬策略升级但 User-Agent 轮换请求间隔控制就能过 80% 的公开房源站数据杂乱如“58㎡/精装修/满五唯一/南北通透/带车位”正则规则引擎就能结构化房价空间分布、楼层偏好、装修溢价这些业务问题用 geopandas plotly seaborn 三板斧就能出图最后答辩要 PPTMatplotlib 导出高清 PNG、seaborn 一键换主题、甚至用 python-pptx 自动生成带图表的幻灯页——整套流程不依赖任何黑盒平台所有代码可追溯、参数可调试、结果可复现。这个项目不是教你怎么“爬网站”而是训练你用工程化思维拆解一个真实业务问题从原始 HTML 字符串里捞出有效字段再把字段变成决策依据。适合大四做毕设、转行学数据分析、或想补全“数据闭环”实操能力的开发者。2. 用 requests BeautifulSoup 在本地跑通二手房数据采集最小可行命令与三个关键响应判断2.1 构建可复用的请求会话为什么不用裸 requests.get()裸调requests.get()每次新建 TCP 连接面对目标站点如某主流房产信息聚合平台的列表页轮询时极易触发服务端连接频控。更关键的是多数房源站依赖 Cookie 维持会话状态例如记录搜索关键词、城市定位、用户行为指纹单次请求无法维持上下文。我一般会封装一个带默认 headers 和 session 复用的采集器import requests from urllib.parse import urljoin, urlparse import time class HouseCrawler: def __init__(self, base_url: str): self.session requests.Session() # 设置通用请求头模拟主流浏览器行为 self.session.headers.update({ User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en-US;q0.8,en;q0.7, Accept-Encoding: gzip, deflate, Connection: keep-alive, Upgrade-Insecure-Requests: 1 }) self.base_url base_url def get_page(self, path: str, timeout: int 10, retries: int 3) - requests.Response: url urljoin(self.base_url, path) for i in range(retries): try: resp self.session.get(url, timeouttimeout) # 关键判断1HTTP 状态码是否为 200 if resp.status_code 200: # 关键判断2响应内容是否含典型房源标签避免返回 200 但实际是跳转页/风控页 if bdiv classlist-item in resp.content or bershoufang in resp.url.encode(): return resp # 关键判断3是否被重定向到登录页或风控页常见于无 Referer 或 UA 不匹配 if resp.status_code in [301, 302] and login in resp.headers.get(Location, ): raise Exception(Redirected to login page — likely blocked) except requests.exceptions.RequestException as e: if i retries - 1: raise e time.sleep(1.5 ** i) # 指数退避 raise Exception(fFailed to fetch {url} after {retries} retries)逻辑说明get_page()方法不是简单发请求而是嵌入三层防御① 状态码校验防 4xx/5xx② 响应体特征校验防返回 200 但内容为空白页/风控提示③ 重定向路径校验防被悄无声息跳转到风控页。这比单纯看resp.ok严谨得多。参数说明timeout10避免单次请求卡死超时即放弃retries3网络抖动常见重试比直接报错更鲁棒1.5 ** i指数退避第 1 次失败等 1.5s第 2 次等 2.25s避免集中重试触发限流。2.2 解析列表页用 BeautifulSoup 定位房源卡片并提取 URL 队列房源列表页 HTML 结构高度相似每个房源用div classitem或li classhouse-item包裹内含标题、价格、地址、面积等子节点。但不同平台 class 名不同硬写soup.find_all(div, class_item)易失效。更可靠的做法是结合多 selector 回退机制from bs4 import BeautifulSoup import re def parse_list_page(self, html: str) - list: soup BeautifulSoup(html, html.parser) # 尝试多种常见卡片容器选择器按优先级降序 selectors [ div.list-item, # 某平台主力结构 li.house-item, # 某聚合站结构 div[data-componentHouseCard], # React 渲染站点常用 data 属性 div.item, # 通用 fallback ] items [] for sel in selectors: items soup.select(sel) if items: break urls [] for item in items: # 提取详情页链接优先找 a href其次找 onclick 中的 URL link_tag item.find(a, hrefTrue) if link_tag and link_tag[href]: url urljoin(self.base_url, link_tag[href]) urls.append(url) continue # 回退方案查找 onclick 属性中的 URL如 onclickjump(https://xxx) onclick item.get(onclick, ) if onclick: match re.search(rjump\([\]([^\])[\]\), onclick) if match: urls.append(urljoin(self.base_url, match.group(1))) continue return list(set(urls)) # 去重避免翻页重复抓取同一房源逻辑说明该函数不依赖单一 class 名而是按预设优先级尝试多个 CSS 选择器对链接提取也做了双路径容错a标签 onclick字符串解析覆盖静态渲染和部分前端跳转场景。list(set(urls))是必须的——很多平台翻页时会重复推送前几条热门房源。参数说明soup.select()比find_all()更灵活支持复杂 CSS 选择器如div[data-id]urljoin()确保相对路径正确转为绝对 URL避免拼接错误正则rjump\([\]([^\])[\]\)专治 onclick 中的 URL 提取括号捕获组保证只取引号内地址。3. 从详情页 HTML 中结构化提取 12 个核心字段正则 规则引擎双轨提取法3.1 为什么不用纯 XPath 或 CSS 选择器——字段位置漂移是常态房源详情页的 DOM 结构比列表页更不稳定价格可能在span classprice也可能在p idtotal-price建筑面积可能紧跟“建筑面积”文字后也可能藏在 JSON-LD 脚本里。纯靠选择器定位一旦页面改版整个字段提取就崩。更鲁棒的做法是先用正则锚定语义关键词再用规则引擎做上下文校验。以“建筑面积”字段为例常见 HTML 片段有!-- 类型1标签文本 -- lispan建筑面积/spanspan89.5㎡/span/li !-- 类型2表格行 -- trtd建筑面积/tdtd89.5㎡/td/tr !-- 类型3JSON-LD 内嵌 -- script typeapplication/ldjson{context:https://schema.org,type:Offer,price:5200000}/script我们不预设结构而是用语义正则扫描全文import re def extract_area(text: str) - float: # 匹配“建筑面积X.X㎡”、“建筑面积 X.X㎡”、“建面X.X㎡”等变体 patterns [ r建筑面积[:\s]*([0-9.])\s*㎡, r建面[:\s]*([0-9.])\s*㎡, r建筑面积.*?([0-9.])\s*㎡, r([0-9.])\s*㎡.*?建筑面积, ] for pat in patterns: match re.search(pat, text, re.IGNORECASE | re.DOTALL) if match: try: val float(match.group(1)) # 合理性校验住宅面积通常在 30–300 ㎡ 之间 if 30 val 300: return val except ValueError: continue return 0.0逻辑说明正则不追求 100% 精确匹配而是用多 pattern 覆盖常见表述re.IGNORECASE忽略大小写如“建筑面积” vs “建筑面積”re.DOTALL让.匹配换行符适应跨行文本最后用业务常识30–300 ㎡过滤异常值这是纯选择器做不到的。3.2 构建字段提取规则表12 个字段的提取逻辑与校验阈值字段名提取方式校验逻辑典型正则示例总价万元正则匹配“总价XX万”、“XX万元”0 且 5000排除单位错误r总价[:\s]*([0-9.])[\s万]*万元?单价元/㎡正则匹配“单价XX元/㎡”5000 且 150000一线/强二线合理区间r单价[:\s]*([0-9.])\s*元[/]㎡楼层正则匹配“X/X层”、“中楼层”解析为数字比例如“12/33层”→0.36r([0-9])[/]([0-9])层朝向提取“东/南/西/北”组合必须含至少一个有效方向词r[东南西北](?:[东南西北]装修匹配“精装”“简装”“毛坯”等关键词归一化为 [精装,简装,毛坯,其他]r(精装房龄匹配“建成于XXXX年”、“房龄X年”年份在 1990–2024 之间r建成于[年\s]*([0-9]{4})年电梯匹配“有电梯”“无电梯”“待确认”二值化为 True/False/Noner(有产权年限匹配“70年产权”“40年”只取数字过滤非产权年限干扰项r([0-9]{2,3})[年\s]*产权挂牌时间提取“挂牌时间YYYY-MM-DD”转为 datetime校验是否早于当前日期r挂牌时间[:\s]*([0-9]{4}-[0-9]{2}-[0-9]{2})关注人数匹配“XXX人关注”0 且 10000防爬虫噪声r([0-9,])[\s人]*关注带看次数匹配“带看X次”0 且 500单月高频带看上限r带看[了\s]*([0-9])[次\s]*标题关键词提取标题中“学区”“地铁”“满五唯一”等标签用预定义关键词库匹配r(学区注意所有正则均需加re.IGNORECASE因网页中“地铁”可能写作“地鐵”“满五唯一”可能写作“满五唯一”带标点。4. 数据清洗与地理编码用高德 API 批量解析地址为经纬度并处理缺失值的 4 种策略4.1 为什么必须做地理编码——可视化分析的底层前提没有经纬度所有空间分析热力图、距离计算、商圈聚类都无从谈起。而原始数据中的“朝阳区建国路8号”“海淀中关村软件园”这类文本地址无法直接用于 GIS 分析。必须调用地理编码 API 转为(lat, lng)坐标对。高德 Web 服务 API 是国内最稳定的选择无需备案QPS 限制宽松其/geocode/geo接口返回标准 GeoJSONimport requests import pandas as pd import time def batch_geocode(addresses: list, key: str, batch_size: int 10) - pd.DataFrame: results [] for i in range(0, len(addresses), batch_size): batch addresses[i:ibatch_size] # 高德 API 要求地址用“|”分隔 address_str |.join(batch) url fhttps://restapi.amap.com/v3/geocode/geo?address{address_str}key{key}city全国 try: resp requests.get(url, timeout10) data resp.json() if data.get(status) 1 and data.get(count): for geocode in data[geocodes]: lng, lat map(float, geocode[location].split(,)) results.append({ address: geocode[formatted_address], lng: lng, lat: lat, level: geocode[level], # 地址等级如“商务写字楼”“小区” confidence: geocode[confidence] # 匹配置信度 }) else: # 高德返回 status0 时记录失败地址供人工核对 for addr in batch: results.append({ address: addr, lng: None, lat: None, level: failed, confidence: 0 }) except Exception as e: print(fGeocode batch {i} failed: {e}) for addr in batch: results.append({address: addr, lng: None, lat: None, level: error, confidence: 0}) time.sleep(0.1) # 控制请求频率避免触发限流 return pd.DataFrame(results)逻辑说明批量请求batch_size10比单条请求快 8 倍以上time.sleep(0.1)是硬性要求——高德免费版 QPS 限制为 10 次/秒留余量防抖动失败时仍返回占位记录保证 DataFrame 行数与输入地址数一致避免后续 merge 错位。4.2 缺失值处理的 4 种实战策略从插值到人工标注地理编码失败率通常在 5%–15%尤其对“XX小区3号楼”“XX大厦B座”这类非标准地址。不能简单删行会损失样本也不能全填 0污染空间分析。我采用分层处理缺失类型处理策略实施方式适用场景单点缺失5%KNN 插值用成功编码的邻近小区坐标均值填充小区级地址如“国贸三期”缺坐标取“国贸一期”“国贸二期”均值成片缺失如某新区全失败行政区划中心点用geopandas.read_file(beijing_districts.geojson)加载行政区划取 polygon centroid新建区域尚未录入高德但知道属朝阳区/海淀区模糊地址如“中关村附近”关键词扩展 二次查询将“中关村附近” → “中关村软件园”“中关村大街”“中关村科贸电子城”选最高 confidence 结果用户填写不规范但含强地标词顽固缺失如“业主自述地址”人工标注队列输出failed_addresses.csv按confidence降序排列优先复核低置信度项最终交付前必须清零的硬性缺失提示confidence字段是高德返回的关键质量指标0–10080 为高置信50–80 为中置信需人工复核50 为低置信大概率错。不要忽略它。5. 用 Plotly GeoPandas 做交互式房价热力图3 行代码生成可缩放、可下钻的 HTML 地图5.1 为什么不用 Matplotlib——毕业答辩需要“能点、能拖、能导出”的图Matplotlib 生成的 PNG 是静态图答辩时老师问“朝阳区单价 TOP5 小区是哪些”你得切回代码重新跑 filter sort plot当场卡住。而 Plotly 生成的 HTML 可直接嵌入 PPT用浏览器控件打开支持鼠标悬停显示楼盘名、单价、总价滚轮缩放查看局部热区框选区域下钻分析如框选望京自动统计该区域均价、涨跌幅右键导出高清 PNG/PDF。核心代码仅需 3 行加上数据准备共 12 行import plotly.express as px import pandas as pd # 假设 df_geo 已含 lng, lat, unit_price单价列 fig px.density_mapbox( df_geo, latlat, lonlng, zunit_price, # 热力强度字段 radius15, # 点半径越大越平滑 centerdict(lat39.9, lon116.4), # 北京中心点 zoom10, mapbox_stylecarto-positron, # 无标注底图突出热力 color_continuous_scaleViridis, # 渐变色蓝→黄→红低价→高价 ) # 关键添加悬停信息让答辩时能直观展示 fig.update_traces(hovertemplateb%{customdata[0]}/bbr单价: %{z:.0f}元/㎡br总价: %{customdata[1]:.0f}万元) # 导出为独立 HTML 文件双击即可打开 fig.write_html(beijing_price_heatmap.html)逻辑说明density_mapbox是 Plotly 专为地理热力设计的函数比scatter_mapboxsize更科学自动核密度估计hovertemplate自定义悬停文案%{customdata[0]}对应df_geo[title]%{z}是单价字段%{customdata[1]}是总价字段——这些字段需提前用fig.data[0].customdata df_geo[[title,total_price]].values注入。参数说明radius15实验得出的北京城区最优值太小10呈散点太大25糊成一片mapbox_stylecarto-positron去除了道路名、POI 标签的极简底图热力更醒目color_continuous_scaleViridis比默认的Plasma更符合人眼对价格高低的直觉深蓝低亮黄高。5.2 用 GeoPandas 做商圈聚类识别“价格洼地”与“价值高地”热力图只能看全局分布要回答“为什么望京比双井贵 20%”需叠加行政/商业边界。GeoPandas 可加载.shp或 GeoJSON 商圈矢量数据与房价点做空间 joinimport geopandas as gpd from shapely.geometry import Point # 加载北京商圈 GeoJSON可从某开源地理数据平台下载 gdf_business gpd.read_file(beijing_business_districts.geojson) gdf_business gdf_business.to_crs(epsg4326) # 统一为 WGS84 坐标系 # 将房价点转为 GeoDataFrame geometry [Point(xy) for xy in zip(df_geo[lng], df_geo[lat])] gdf_houses gpd.GeoDataFrame(df_geo, geometrygeometry, crsEPSG:4326) # 空间 join每个房子归属哪个商圈 gdf_joined gpd.sjoin(gdf_houses, gdf_business, howleft, predicatewithin) # 按商圈统计均价、房源数、价格标准差 district_stats gdf_joined.groupby(name).agg( avg_price(unit_price, mean), count(unit_price, count), std_price(unit_price, std) ).reset_index().sort_values(avg_price, ascendingFalse) print(district_stats.head(10))输出示例nameavg_pricecountstd_price金融街1285004221300亚奥9860015632400亦庄523008912700提示predicatewithin表示“点在面内”比intersects更严格避免边缘房子误判crs必须统一否则 join 结果为空。6. 毕业答辩高频问题应对与报告 PPT 自动生成技巧3 个让导师眼前一亮的细节6.1 预判答辩提问用“数据血缘图”解释清洗逻辑比讲代码更直观导师最常问“你这个单价是怎么算出来的为什么有的房源单价异常高” 如果你回答“我用了正则提取”他大概率追问“正则怎么写的有没有漏”——这时掏出一张手绘的数据血缘图Data Lineage Diagram效果立竿见影graph LR A[原始HTML] -- B{正则提取} B -- C[总价字符串] B -- D[面积字符串] C -- E[转数值单位校验] D -- F[转数值范围校验] E F -- G[单价总价/面积] G -- H[剔除5000或150000的异常值] H -- I[最终单价字段]实操建议用 draw.io 或 PPT 自带的形状工具画这张图放在报告第 3 页数据清洗章节。不必追求美观重点是箭头清晰、文字简短。当导师问起直接指图说“您看这里做了两层校验所以异常值被拦截在 G→H 这步”。比翻代码快 10 倍且展现系统性思维。6.2 PPT 自动生成用 python-pptx 替代手动复制粘贴图表答辩 PPT 至少 15 页每页都要插图、调字体、对齐。手动操作易出错且修改图表后需重新截图粘贴。用python-pptx可实现“代码改图PPT 自动更新”from pptx import Presentation from pptx.util import Inches def create_ppt_from_analysis(df_stats, fig_heatmap_path: str): prs Presentation(template.pptx) # 基于已设计好的模板 slide prs.slides.add_slide(prs.slide_layouts[1]) # 插入热力图 left Inches(1) top Inches(2) pic slide.shapes.add_picture(fig_heatmap_path, left, top, widthInches(8)) # 插入统计表格df_stats 转为 PPT 表格 rows, cols len(df_stats) 1, len(df_stats.columns) table slide.shapes.add_table(rows, cols, left, top Inches(5), Inches(8), Inches(2)).table # 填充表头 for i, col_name in enumerate(df_stats.columns): table.cell(0, i).text col_name # 填充数据行 for i, (_, row) in enumerate(df_stats.iterrows(), start1): for j, value in enumerate(row): table.cell(i, j).text str(round(value, 0) if isinstance(value, float) else value) prs.save(final_presentation.pptx)血泪经验务必用template.pptx提前设好字体、配色、页脚否则python-pptx生成的 PPT 格式混乱add_picture()插入的是文件路径所以先用fig.write_html()生成 HTML再用wkhtmltopdf或浏览器自动化转为 PNG——我一般用playwright截图100% 还原交互效果。6.3 报告里的“可信度锚点”在方法论章节插入 3 行真实日志评审老师最怕“假大空”。在报告“数据采集”章节末尾插入一段真实的、带时间戳的采集日志脱敏后瞬间建立可信感2024-03-15 09:23:17 INFO: Start crawling Beijing ershoufang list page 1 2024-03-15 09:23:19 INFO: Parsed 24 house URLs from page 1 2024-03-15 09:23:20 INFO: Geocoding 24 addresses... success: 22, failed: 2 2024-03-15 09:23:25 INFO: Saved raw data to ./data/raw/beijing_20240315.csv为什么有效日志证明你真跑过代码且暴露了真实失败率2/24反而显得诚实时间戳体现工作量路径./data/raw/暗示你有完整数据管理意识。别写“经过多次调试最终成功”写“第 3 次调试后将请求间隔从 0.5s 改为 1.2s失败率从 35% 降至 8%”。我带过的某高校毕业设计小组有位 A 同学在答辩时被问“你们数据时效性如何”他没背稿直接打开./data/raw/文件夹指着beijing_20240315.csv和shanghai_20240318.csv说“这是过去一周每天凌晨 2 点自动抓取的最新数据截止今天上午”。导师当场点头——因为细节比口号有力。希望帮到你。本文还有配套的精品资源点击获取
