基于百度地图 Place API 的城市 POI 抓取:python-mini-projects 中 Baidu_POI_crawl 实战全解析

发布时间:2026/11/19 1:36:25

基于百度地图 Place API 的城市 POI 抓取:python-mini-projects 中 Baidu_POI_crawl 实战全解析 基于百度地图 Place API 的城市 POI 抓取python-mini-projects 中 Baidu_POI_crawl 实战全解析【免费下载链接】python-mini-projectsA collection of simple python mini projects to enhance your python skills项目地址: https://gitcode.com/gh_mirrors/py/python-mini-projects本文以 python-mini-projects 仓库中的 Baidu_POI_crawl 项目为主体系统讲解如何通过百度地图开放平台的 Place API 批量抓取指定城市、指定类型关键词的兴趣点POIPoint of Interest数据。读完本文你将掌握 AK 密钥的申请与配置、main.py四个命令行参数的完整用法以及util.py中分页请求 → 结果解析 → 落盘记录的底层实现细节能够独立搭建一个可运行的 POI 数据采集脚本。项目定位一条命令抓取整座城市的 POI 数据POIPoint of Interest兴趣点是地图服务中的核心数据单元泛指城市中具有地理坐标的实体场所如大学、餐厅、加油站、医院等。Baidu_POI_crawl 项目正是围绕这一需求设计给定一个城市名和一个 POI 关键词脚本会自动调用百度地图 Place 检索 API将命中的 POI 名称、经纬度、所在区县和详细地址逐条写入本地文本文件。从仓库结构看该项目由四个部分组成文件作用main.py命令行入口负责解析--ak/--city/--poi/--save四个参数并调度抓取流程util.py核心实现封装百度 Place API 的请求、分页、解析与落盘逻辑requirements.txt依赖清单requests与jsonoutput/2021-11-17.txt实际运行示例展示了以成都 大学为条件抓取到的 54 条 POI 记录其中output目录下的历史结果文件是本项目实战价值最直接的证据它真实记录了 2021-11-17 以 大学 为关键词在成都地区抓取到的数据可作为理解输出格式的参照样本。环境准备与前置条件安装依赖项目的依赖极为精简requirements.txt 中仅声明了两个模块requests json其中requests是需要通过 pip 安装的第三方 HTTP 客户端库json是 Python 标准库自带的 JSON 解析模块脚本用它解析接口返回的 JSON 响应。在项目根目录下执行pip install -r projects/Baidu_POI_crawl/requirements.txt申请百度地图 Web API 密钥AK由于脚本通过百度地图开放平台的 Web 服务 API 获取数据调用前必须持有有效的访问密钥AKAccess Key。按原文档说明需要登录百度地图开放平台在控制台中创建服务端类型的应用获取对应的 AK登录百度地图开放平台lbsyun 控制台进入应用管理 → 我的应用创建新应用应用类型选择 Web 服务 API即 README 中提到的 web API勾选所需的服务权限创建成功后平台会生成一串 AK将其复制保存作为后续--ak参数的值。注意AK 相当于调用 API 的身份凭证请勿提交到公开仓库或泄露给他人。命令行参数与运行方式参数总览main.py 使用标准库argparse定义了四个命令行参数其中前三个为必填参数是否必填默认值含义--ak是无百度地图 Web API 的 AK 密钥--city是无要检索的城市名称如成都--poi是无POI 关键词如大学、餐厅--save否output结果文件的保存目录入口函数run(args)会先检查--save指定的目录是否存在不存在则通过os.makedirs(output)自动创建随后把四个参数透传给util.py中的get_baidu_poi(roi_key, city_str, baidu_web_ak, output)完成抓取最后打印current area completed表示该轮抓取结束。运行示例在仓库根目录执行原文档中的路径使用了 Windows 反斜杠这里统一为 Linux/macOS 风格的相对路径cd projects/Baidu_POI_crawl python main.py --ak your_ak --city 成都 --poi 大学脚本运行后会在默认的output目录下生成两个文件YYYY-MM-DD.txt当天抓取到的 POI 明细数据YYYY-MM-DD.log当天的抓取日志记录翻页截止位置与异常信息。若想自定义保存位置可追加--save参数python main.py --ak your_ak --city 成都 --poi 大学 --save data底层实现原理util.py 源码级解析如果说 main.py 是外壳那么 util.py 就是整个抓取流程的引擎。其核心函数get_baidu_poi(roi_key, city_str, baidu_ak, output)在while True循环中完成了构造请求 → 发起调用 → 解析响应 → 写入文件 → 翻页的完整链路。1. 请求 URL 的构造源码util.py按如下规则拼接检索地址URL http://api.map.baidu.com/place/v2/search?query roi_key \ region city_str \ outputjson \ ak baidu_ak \ scope2 \ page_size20 \ page_num str(page_num)各参数含义如下查询参数取值来源说明query--poi检索关键词即要抓取的 POI 类型或名称region--city检索区域即城市名称output固定json返回格式为 JSONak--ak百度地图密钥scope固定2检索详细程度从脚本实际解析的字段看scope2使响应包含行政区area与地址address等详细信息page_size固定20每页返回记录数page_num循环变量页码从 0 开始逐页递增随后通过requests.get(URL)发起 HTTP GET 请求并用json.loads(resp.text)将响应解析为字典。2. 分页抓取与终止条件百度 Place API 单次查询只能返回有限条记录因此脚本以page_size20固定分页、从page_num0开始逐页累加。分页的终止条件有两个util.py正常结束当前页res[results]为空数组说明已无更多数据脚本将该城市与页码写入日志后break异常结束请求或解析过程抛出任何异常except分支打印except并记录异常发生的城市与页码后break。3. 结果解析与落盘对非空结果页脚本遍历res[results]逐条提取 5 个字段util.pyj_name r[name] # POI 名称 j_lat r[location][lat] # 纬度 j_lon r[location][lng] # 经度 j_area r[area] # 所属行政区区县 j_add r[address] # 详细地址 j_str str(j_name) , str(j_lon) , str(j_lat) \ , str(j_area) , str(j_add) \n file.writelines(j_str)每条记录以逗号分隔写入当日.txt文件字段顺序固定为名称,经度,纬度,行政区,地址每行一条。文件以追加模式a打开并指定encodingutf-8保证中文内容正确写入。4. 限速与日志为了避免高频请求触发接口限流脚本在每翻完一页后执行time.sleep(1)休眠 1 秒util.py。同时日志文件YYYY-MM-DD.log会记录两类事件某一城市抓取到最后一页时的页码、以及发生异常时的城市与页码时间戳精确到秒%Y-%m-%d-%H-%M-%S便于事后核对抓取进度与断点位置。输出结果解读一份真实的历史抓取样本仓库中保留的 output/2021-11-17.txt 是一次真实的运行结果以成都为城市、大学为关键词共抓取到 54 条 POI。摘录前几行四川大学(望江校区),104.090633,30.637031,武侯区,四川省成都市武侯区一环路南一段24号 四川大学(江安校区),104.005145,30.562814,双流区,成都市双流区川大路二段2号 电子科技大学(沙河校区),104.107198,30.681868,成华区,四川省成都市成华区建设北路二段4号 成都大学,104.196613,30.656051,龙泉驿区,四川省成都市龙泉驿区成洛大道2025号 西南民族大学(武侯校区),104.055946,30.645411,武侯区,四川省成都市武侯区一环路南四段16号这份样本可以直观验证两点输出格式与源码完全一致每行均为名称,经度,纬度,行政区,地址五段式 CSV 风格结构可直接导入 Excel、Pandas 或 GIS 工具做后续分析数据覆盖具有区域性结果包含武侯区、双流区、成华区、郫都区、金堂县、都江堰市等多个成都下属区县说明region成都的检索范围覆盖了全市而不仅是中心城区。拿到这份数据后即可基于经纬度做地图标注、基于行政区做分布统计或结合地址字段做更细粒度的空间分析。使用注意事项与扩展方向已知的实现特点与限制从源码结构看该脚本存在以下值得注意的实现细节基于 util.py 推断接口走 HTTP 而非 HTTPS请求地址为http://api.map.baidu.com/...在强调加密传输的生产环境中建议自行升级为 HTTPS单城市单关键词轮询一次运行只处理一个city poi组合如需批量城市或多种 POI 类型需在外部循环中多次调用get_baidu_poi固定分页大小page_size20为硬编码值若需调整每页数量或改用其他检索半径如周边检索radius需修改 util.py 中的 URL 拼接逻辑宽泛异常捕获except分支会吞掉所有异常类型并直接终止当前城市抓取排错时可先手工请求一次 URL 确认 AK 权限与配额状态。可行的扩展方向多城市/多关键词批量抓取在main.py外层增加循环遍历城市列表与 POI 关键词列表每次调用get_baidu_poi并指定不同--save子目录结果结构化存储当前输出为 CSV 风格文本可改为写入 SQLite / GeoJSON便于直接对接地理信息处理流程断点续抓日志文件已记录了每个城市的最后页码可据此在异常中断后从断点页码继续抓取避免重复消耗配额请求重试与更细粒度限速将except分支改为记录后重试若干次并将time.sleep(1)提取为可配置项。总而言之Baidu_POI_crawl 是一个麻雀虽小、五脏俱全的 API 数据采集范例从 CLI 参数设计到分页请求、从响应解析到日志落盘完整覆盖了写一个生产可用爬虫脚本所需的全部关键环节。理解它的实现后你只需替换 API 端点与字段映射即可快速迁移到其他地图服务或数据源。【免费下载链接】python-mini-projectsA collection of simple python mini projects to enhance your python skills项目地址: https://gitcode.com/gh_mirrors/py/python-mini-projects创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
延伸阅读

更多相关文章

2026/11/19 1:35:22

鲁山电工证在哪里报名全国通用?实操考试心里没底怕挂科怎么办?

鲁山电工证在哪里报名全国通用?实操考试心里没底怕挂科怎么办? 实操考试心里没底怕挂科,这是很多准备报考鲁山电工证的朋友最真实的心理状态。尤其是在特种作业领域,证书不仅是上岗的“通行证”,更与个人职业安全、企业责任息息相关。而“全国通用”这个…

2026/11/19 1:35:22

电工证多久查得到信息?上岗必备的实操考试技巧和时间点全解析

电工证多久查得到信息?上岗必备的实操考试技巧和时间点全解析 实操考试心里没底怕挂科,这是大多数第一次报考电工证的学员最担心的问题。尤其是在洛阳这样的工业城市,电工证几乎是很多岗位的上岗必备条件,但很多学员因为不了解考试流程和信息查询时间,心…

2026/11/19 1:35:22

电工作业现场管理制度怎么落实?上岗必备的证书你搞懂了吗?

电工作业现场管理制度怎么落实?上岗必备的证书你搞懂了吗? 证书过期了不知道怎么复审延期?这事儿真不是小事。作为一名正在备考的鹤壁应届工程类毕业生,我最近就遇到了这个问题:手里有个高压电工证,眼看要到期了,但完全不清楚流程,差点耽误了上岗。别…

2026/11/19 1:35:22

上饶市电工证在哪考取 证书过期了不知道怎么复审延期多久拿证

上饶市电工证在哪考取 证书过期了不知道怎么复审延期多久拿证 证书过期了不知道怎么复审延期,这事儿在咱们这行太常见了。你要是干电工这行,手上没个有效的电工证,别说找工作,连上工地都进不去。上饶市电工证在哪考取,这事儿得说清楚,别等你真正需要用…

2026/11/19 1:30:22

手指伤残能考电工证?2026河南最新政策这样解读

手指伤残能考电工证?2026河南最新政策这样解读 怕考不过白交培训费,这事儿咱得说清楚。手指伤残能不能考电工证?这是很多有志从事电工行业的人最关心的问题。2026年河南最新政策明确,只要符合身体条件要求,手指伤残不影响报考电工证。下面我用洛…

2026/11/18 21:12:58

电工证考试口诉怎么准备值不值得考

电工证考试口诉怎么准备值不值得考 实操考试心里没底怕挂科,这是大多数准备考电工证的人心里最真实的感受。尤其是面对【电工证考试口诉】环节,很多人不知道该怎么准备,甚至担心自己说不好就被淘汰。其实,只要掌握方法, 值不值得考…

2026/11/18 21:55:23

桑植县考电工证千万别踩坑!报名全流程教你避坑

桑植县考电工证千万别踩坑!报名全流程教你避坑 你是不是也遇到过这种情况:想考个电工证,但不知道从哪儿下手,怕被中介坑,怕花冤枉钱,更怕考了证还不能用?别急,这正是你该看这篇文章的原因。在桑植县考电工证,确实有很多人被坑过,但只要你知道流程、…

2026/11/19 0:04:42

深圳电工证培训考场模拟考试题库:郑州报考避坑指南

深圳电工证培训考场模拟考试题库:郑州报考避坑指南 证书过期了不知道怎么复审延期,很多人在遇到这个问题的时候才意识到特种作业证的重要性。其实,不管是电工证、焊工证还是高处作业证,这些证书不仅是上岗的“通行证”,更是法律对安全操作的硬性要求。尤…

2026/11/19 0:04:42

天津电工证查询入口多少钱能报上名

天津电工证查询入口多少钱能报上名 学历不高怕报不上名?别急,天津电工证查询入口其实没你想的那么难。今天咱们就来聊聊,怎么用最低的门槛、最少的钱,把电工证拿下来,还能查得到、用得上。 电工证到底值不值?先搞清楚它的作用…

2026/11/18 12:37:05

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

在智慧养宠时代,基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而,与配合度高的人类不同,宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态,更无法控制光照环境。实际应用中,我们常…

2026/11/18 1:15:04

SSM电子书店源码全解析:结构、原理、部署与排错实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑