简介这份资源是一套面向遥感数据处理与地理信息分析人员的Python哨兵影像自动下载脚本主要解决Sentinel卫星影像批量获取效率低、离线产品需手动触发检索等痛点。脚本支持离线产品下载请求后自动从LTA检索并等待原始URL可用具备断点续传能力运行后可无人值守同时提供矢量范围检索格式便于按研究区边界精准筛选影像。使用前需安装sentinelsat库并登录Copernicus Open Access Hub注册账号获取用户名与密码。资源包共3个文件包含2个py源码与1个pyc编译文件压缩包约4KB核心逻辑与运行入口分离结构紧凑便于二次修改。目前已有1017人学习下载适合具备一定Python基础、需要批量下载哨兵影像的科研人员与GIS从业者参考使用。1. 哨兵影像自动下载脚本从手动点选到批量拉取的工程化路径每个月都要登录哥白尼数据空间按瓦片、按时间、按云量一遍遍筛选再逐个点击下载——如果你做过遥感影像的时序分析这套流程一定不陌生。哨兵影像自动下载脚本要解决的就是把这条重复链路压缩成一条命令给定研究区范围、时间窗口和云量阈值脚本自动完成检索、筛选、排队、下载、校验最后落到本地目录里可以直接被 ENVI 或 Python 读取。它适合做土地利用变化、农作物长势监测、水体提取这类需要几十上百景影像的从业者也适合刚接触遥感数据、想把 Python 自动化跑通的新手。核心不在脚本本身多复杂而在于把认证、检索、限流、断点续传这几个环节串成一条稳定管线。2. 下载链路拆解认证、检索、排队、落盘四段怎么接2.1 为什么不能直接爬下载链接哨兵影像的获取入口是哥白尼数据空间它提供的是带身份校验的 OData 检索接口和基于令牌的下载通道。直接拿浏览器里复制出来的下载链接去 requests.get大概率返回 401 或 403因为链接背后绑定了会话令牌且有效期很短。常见做法是走官方提供的 Python 客户端库由它负责 OAuth 令牌的申请与刷新脚本只关心检索条件和下载目录。这样做的另一个好处是客户端库内部已经处理了分页和限流退避不用自己从零实现重试逻辑。选型上我一般会区分两种场景如果只是偶尔拉几景用官方客户端库的交互式认证就够了如果要挂到服务器上定时跑就得用离线令牌或者服务账号避免每次都要人工点授权。这一步选错后面脚本再优雅也跑不起来。2.2 检索条件怎么写才不漏不滥检索的核心是四个维度地理范围、时间区间、产品级别、云量上限。地理范围用 WKT 或 GeoJSON 描述注意坐标系要统一到 WGS84否则会出现明明范围对但检索结果为空的情况。时间区间用 ISO 8601 格式起止都包含。产品级别按需求选 L1C 还是 L2AL2A 已经做过大气校正做植被指数直接用 L2A 省事但数据量更大。云量上限不是越小越好设成 10% 以下在雨季可能一景都搜不到我一般先设 30% 看返回数量再逐步收紧。# 检索条件构造示例参数按实际研究区替换 search_params { collection: SENTINEL-2, bbox: [116.0, 39.5, 116.8, 40.2], # 西,南,东,北WGS84 start_date: 2024-03-01T00:00:00Z, end_date: 2024-06-30T23:59:59Z, product_type: S2MSI2A, # L2A 产品 cloud_cover_max: 30, # 云量百分比上限 limit: 100 # 单次返回条数 }这段字典是检索的输入bbox 四个值顺序不能错写反了会搜到地球另一头。cloud_cover_max 是百分比整数不是小数。limit 控制单页返回量实际使用时配合分页循环取全量。2.3 排队与限流别把接口当自家硬盘检索到结果后下载环节最容易翻车。官方通道对并发连接数有隐性限制同时开十几个线程去拉轻则速度骤降重则触发临时封禁。稳妥的做法是控制并发在 2 到 4 之间并在每次请求之间加一个短延迟。更关键的是断点续传下载中断后重新跑脚本已经完整的文件要跳过不完整的要能续上。判断依据可以用文件大小比对也可以用校验和前者快但不够严谨后者稳但要多一次读取。import os import time from pathlib import Path def download_with_resume(client, product_id, out_dir, retries3): out_path Path(out_dir) / f{product_id}.zip for attempt in range(retries): try: if out_path.exists() and out_path.stat().st_size 0: # 已存在且非空跳过实际项目可加校验和比对 return str(out_path) client.download(product_id, str(out_path)) return str(out_path) except Exception as e: wait 2 ** attempt # 指数退避 time.sleep(wait) raise RuntimeError(f下载失败: {product_id})函数先检查目标文件是否已存在且非空满足就跳过这是断点续传最简实现。重试次数设为 3等待时间按 2 的幂次递增避免密集重试加重限流。实际部署时可以把 product_id 换成带唯一标识的命名防止不同产品覆盖同名文件。3. 把脚本跑成定时任务目录规划、日志与失败重试3.1 目录结构决定后期能不能维护影像下载不是一锤子买卖按月按季度持续跑目录乱了后期找数据会非常痛苦。我一般按「产品级别/年份/月份/产品ID」四级组织产品ID 里自带日期和瓦片编号天然可排序。下载临时文件放单独的 tmp 目录校验通过后再移动到正式目录避免半截文件混进数据集。日志单独放 logs 目录按天切分记录每次检索返回条数、成功下载数、失败列表出问题先看日志而不是翻控制台。# 目录初始化放在脚本启动处执行 BASE_DIR/data/sentinel2 mkdir -p $BASE_DIR/L2A/{2024/{03,04,05,06}} $BASE_DIR/tmp $BASE_DIR/logs这段 shell 在脚本开头跑一次即可mkdir -p 保证已存在时不报错。年份月份按实际时间窗口调整tmp 和 logs 与数据目录平级方便清理和归档。3.2 日志要记到什么粒度日志不是越详细越好但几个关键字段不能少时间戳、检索条件摘要、返回产品数、每个产品的下载状态和耗时、异常堆栈。用 Python 标准库 logging 配置按天轮转格式里带上 level 和 funcName排查时能直接定位到函数。失败产品单独写一个 failed.txt下次跑脚本先读这个文件重试比全量重跑省时间。import logging from logging.handlers import TimedRotatingFileHandler handler TimedRotatingFileHandler( logs/download.log, whenmidnight, backupCount30, encodingutf-8 ) handler.setFormatter(logging.Formatter( %(asctime)s %(levelname)s %(funcName)s %(message)s )) logger logging.getLogger(sentinel) logger.addHandler(handler) logger.setLevel(logging.INFO)TimedRotatingFileHandler 每天午夜切分日志保留 30 天。backupCount 按磁盘空间调整影像下载日志增长不快30 天足够回溯。encoding 指定 utf-8 防止中文路径写日志报错。3.3 失败重试与告警的边界重试不是无限次的网络抖动重试两三次能恢复但如果是认证过期或产品已下架重试一百次也没用。我的做法是区分异常类型网络类异常重试认证类异常直接刷新令牌后重试一次产品不存在类异常记录后跳过。告警可以简单到往一个文本文件追加也可以接邮件但不要每失败一次就发一封攒到一轮结束汇总发。4. 避坑与排查认证、云量、磁盘、命名四个高频翻车点4.1 认证令牌过期导致批量下载中途全挂现象脚本前几景下载正常跑到一半全部返回 401日志里堆满认证失败。原因令牌有有效期长时间批量下载会中途失效而脚本没有刷新机制。解决在下载循环里捕获认证异常触发令牌刷新后重试当前产品而不是让整个任务崩掉。更稳的做法是每下载 N 景主动检查一次令牌剩余时间提前刷新。4.2 云量阈值设太低检索结果为零现象检索条件看着没问题但返回产品数为 0反复检查范围和时间都对。原因云量上限设成了 5% 甚至更低而目标区域在目标时段恰好多云没有产品满足。解决先把云量上限放到 50% 看有没有结果确认检索链路通了再逐步收紧。另外注意云量字段在不同产品级别里含义可能不同L1C 的云量是粗略估计L2A 的更准。4.3 磁盘写满导致下载文件损坏现象下载看似成功但打开影像发现文件截断或者解压报错。原因磁盘空间不足写入过程中断但脚本没有检查写入完整性。解决下载前检查目标分区剩余空间按单景影像大小乘以待下载数量估算留出 20% 余量。下载后比对文件大小与接口返回的预期大小不一致就标记为失败重下。4.4 产品ID含特殊字符导致路径异常现象某些产品下载后文件名乱码或者移动文件时报路径不存在。原因产品ID里可能包含冒号、斜杠等文件系统敏感字符直接拼路径会出问题。解决对产品ID做一次安全替换把敏感字符换成下划线同时保留原始ID到日志里方便追溯。命名规则一旦定下就不要中途改否则历史数据和新增数据对不上。5. 进阶技巧用清单文件驱动增量下载与校验跑到后期你会发现每次全量检索再比对本地文件很浪费。更高效的方式是维护一份清单文件记录已下载产品的ID、下载时间、文件大小和校验和。脚本启动时先读清单检索结果里排除已在清单中的产品只下载新增的。清单用 CSV 或 SQLite 都行CSV 简单直观SQLite 查询快数据量上万景后 SQLite 优势明显。import sqlite3 conn sqlite3.connect(downloaded.db) conn.execute( CREATE TABLE IF NOT EXISTS products ( product_id TEXT PRIMARY KEY, download_time TEXT, file_size INTEGER, checksum TEXT ) ) def is_downloaded(product_id): cur conn.execute( SELECT 1 FROM products WHERE product_id ?, (product_id,) ) return cur.fetchone() is not None建表时把 product_id 设为主键天然去重。is_downloaded 查询返回单条记录存在即跳过。checksum 字段可以存 MD5 或 SHA256校验时重新计算比对能发现文件被意外修改的情况。这套清单机制配合前面的断点续传基本能做到脚本随便中断、重跑不重复不遗漏。我自己的习惯是每次跑完脚本手动翻一眼 failed.txt 和日志末尾确认没有异常再关终端。这个动作花不了一分钟但能避免第二天发现数据缺了一大块还得重新排查。希望帮到你。本文还有配套的精品资源点击获取
简介这份资源是一套面向遥感数据处理与地理信息分析人员的Python哨兵影像自动下载脚本主要解决Sentinel卫星影像批量获取效率低、离线产品需手动触发检索等痛点。脚本支持离线产品下载请求后自动从LTA检索并等待原始URL可用具备断点续传能力运行后可无人值守同时提供矢量范围检索格式便于按研究区边界精准筛选影像。使用前需安装sentinelsat库并登录Copernicus Open Access Hub注册账号获取用户名与密码。资源包共3个文件包含2个py源码与1个pyc编译文件压缩包约4KB核心逻辑与运行入口分离结构紧凑便于二次修改。目前已有1017人学习下载适合具备一定Python基础、需要批量下载哨兵影像的科研人员与GIS从业者参考使用。1. 哨兵影像自动下载脚本从手动点选到批量拉取的工程化路径每个月都要登录哥白尼数据空间按瓦片、按时间、按云量一遍遍筛选再逐个点击下载——如果你做过遥感影像的时序分析这套流程一定不陌生。哨兵影像自动下载脚本要解决的就是把这条重复链路压缩成一条命令给定研究区范围、时间窗口和云量阈值脚本自动完成检索、筛选、排队、下载、校验最后落到本地目录里可以直接被 ENVI 或 Python 读取。它适合做土地利用变化、农作物长势监测、水体提取这类需要几十上百景影像的从业者也适合刚接触遥感数据、想把 Python 自动化跑通的新手。核心不在脚本本身多复杂而在于把认证、检索、限流、断点续传这几个环节串成一条稳定管线。2. 下载链路拆解认证、检索、排队、落盘四段怎么接2.1 为什么不能直接爬下载链接哨兵影像的获取入口是哥白尼数据空间它提供的是带身份校验的 OData 检索接口和基于令牌的下载通道。直接拿浏览器里复制出来的下载链接去 requests.get大概率返回 401 或 403因为链接背后绑定了会话令牌且有效期很短。常见做法是走官方提供的 Python 客户端库由它负责 OAuth 令牌的申请与刷新脚本只关心检索条件和下载目录。这样做的另一个好处是客户端库内部已经处理了分页和限流退避不用自己从零实现重试逻辑。选型上我一般会区分两种场景如果只是偶尔拉几景用官方客户端库的交互式认证就够了如果要挂到服务器上定时跑就得用离线令牌或者服务账号避免每次都要人工点授权。这一步选错后面脚本再优雅也跑不起来。2.2 检索条件怎么写才不漏不滥检索的核心是四个维度地理范围、时间区间、产品级别、云量上限。地理范围用 WKT 或 GeoJSON 描述注意坐标系要统一到 WGS84否则会出现明明范围对但检索结果为空的情况。时间区间用 ISO 8601 格式起止都包含。产品级别按需求选 L1C 还是 L2AL2A 已经做过大气校正做植被指数直接用 L2A 省事但数据量更大。云量上限不是越小越好设成 10% 以下在雨季可能一景都搜不到我一般先设 30% 看返回数量再逐步收紧。# 检索条件构造示例参数按实际研究区替换 search_params { collection: SENTINEL-2, bbox: [116.0, 39.5, 116.8, 40.2], # 西,南,东,北WGS84 start_date: 2024-03-01T00:00:00Z, end_date: 2024-06-30T23:59:59Z, product_type: S2MSI2A, # L2A 产品 cloud_cover_max: 30, # 云量百分比上限 limit: 100 # 单次返回条数 }这段字典是检索的输入bbox 四个值顺序不能错写反了会搜到地球另一头。cloud_cover_max 是百分比整数不是小数。limit 控制单页返回量实际使用时配合分页循环取全量。2.3 排队与限流别把接口当自家硬盘检索到结果后下载环节最容易翻车。官方通道对并发连接数有隐性限制同时开十几个线程去拉轻则速度骤降重则触发临时封禁。稳妥的做法是控制并发在 2 到 4 之间并在每次请求之间加一个短延迟。更关键的是断点续传下载中断后重新跑脚本已经完整的文件要跳过不完整的要能续上。判断依据可以用文件大小比对也可以用校验和前者快但不够严谨后者稳但要多一次读取。import os import time from pathlib import Path def download_with_resume(client, product_id, out_dir, retries3): out_path Path(out_dir) / f{product_id}.zip for attempt in range(retries): try: if out_path.exists() and out_path.stat().st_size 0: # 已存在且非空跳过实际项目可加校验和比对 return str(out_path) client.download(product_id, str(out_path)) return str(out_path) except Exception as e: wait 2 ** attempt # 指数退避 time.sleep(wait) raise RuntimeError(f下载失败: {product_id})函数先检查目标文件是否已存在且非空满足就跳过这是断点续传最简实现。重试次数设为 3等待时间按 2 的幂次递增避免密集重试加重限流。实际部署时可以把 product_id 换成带唯一标识的命名防止不同产品覆盖同名文件。3. 把脚本跑成定时任务目录规划、日志与失败重试3.1 目录结构决定后期能不能维护影像下载不是一锤子买卖按月按季度持续跑目录乱了后期找数据会非常痛苦。我一般按「产品级别/年份/月份/产品ID」四级组织产品ID 里自带日期和瓦片编号天然可排序。下载临时文件放单独的 tmp 目录校验通过后再移动到正式目录避免半截文件混进数据集。日志单独放 logs 目录按天切分记录每次检索返回条数、成功下载数、失败列表出问题先看日志而不是翻控制台。# 目录初始化放在脚本启动处执行 BASE_DIR/data/sentinel2 mkdir -p $BASE_DIR/L2A/{2024/{03,04,05,06}} $BASE_DIR/tmp $BASE_DIR/logs这段 shell 在脚本开头跑一次即可mkdir -p 保证已存在时不报错。年份月份按实际时间窗口调整tmp 和 logs 与数据目录平级方便清理和归档。3.2 日志要记到什么粒度日志不是越详细越好但几个关键字段不能少时间戳、检索条件摘要、返回产品数、每个产品的下载状态和耗时、异常堆栈。用 Python 标准库 logging 配置按天轮转格式里带上 level 和 funcName排查时能直接定位到函数。失败产品单独写一个 failed.txt下次跑脚本先读这个文件重试比全量重跑省时间。import logging from logging.handlers import TimedRotatingFileHandler handler TimedRotatingFileHandler( logs/download.log, whenmidnight, backupCount30, encodingutf-8 ) handler.setFormatter(logging.Formatter( %(asctime)s %(levelname)s %(funcName)s %(message)s )) logger logging.getLogger(sentinel) logger.addHandler(handler) logger.setLevel(logging.INFO)TimedRotatingFileHandler 每天午夜切分日志保留 30 天。backupCount 按磁盘空间调整影像下载日志增长不快30 天足够回溯。encoding 指定 utf-8 防止中文路径写日志报错。3.3 失败重试与告警的边界重试不是无限次的网络抖动重试两三次能恢复但如果是认证过期或产品已下架重试一百次也没用。我的做法是区分异常类型网络类异常重试认证类异常直接刷新令牌后重试一次产品不存在类异常记录后跳过。告警可以简单到往一个文本文件追加也可以接邮件但不要每失败一次就发一封攒到一轮结束汇总发。4. 避坑与排查认证、云量、磁盘、命名四个高频翻车点4.1 认证令牌过期导致批量下载中途全挂现象脚本前几景下载正常跑到一半全部返回 401日志里堆满认证失败。原因令牌有有效期长时间批量下载会中途失效而脚本没有刷新机制。解决在下载循环里捕获认证异常触发令牌刷新后重试当前产品而不是让整个任务崩掉。更稳的做法是每下载 N 景主动检查一次令牌剩余时间提前刷新。4.2 云量阈值设太低检索结果为零现象检索条件看着没问题但返回产品数为 0反复检查范围和时间都对。原因云量上限设成了 5% 甚至更低而目标区域在目标时段恰好多云没有产品满足。解决先把云量上限放到 50% 看有没有结果确认检索链路通了再逐步收紧。另外注意云量字段在不同产品级别里含义可能不同L1C 的云量是粗略估计L2A 的更准。4.3 磁盘写满导致下载文件损坏现象下载看似成功但打开影像发现文件截断或者解压报错。原因磁盘空间不足写入过程中断但脚本没有检查写入完整性。解决下载前检查目标分区剩余空间按单景影像大小乘以待下载数量估算留出 20% 余量。下载后比对文件大小与接口返回的预期大小不一致就标记为失败重下。4.4 产品ID含特殊字符导致路径异常现象某些产品下载后文件名乱码或者移动文件时报路径不存在。原因产品ID里可能包含冒号、斜杠等文件系统敏感字符直接拼路径会出问题。解决对产品ID做一次安全替换把敏感字符换成下划线同时保留原始ID到日志里方便追溯。命名规则一旦定下就不要中途改否则历史数据和新增数据对不上。5. 进阶技巧用清单文件驱动增量下载与校验跑到后期你会发现每次全量检索再比对本地文件很浪费。更高效的方式是维护一份清单文件记录已下载产品的ID、下载时间、文件大小和校验和。脚本启动时先读清单检索结果里排除已在清单中的产品只下载新增的。清单用 CSV 或 SQLite 都行CSV 简单直观SQLite 查询快数据量上万景后 SQLite 优势明显。import sqlite3 conn sqlite3.connect(downloaded.db) conn.execute( CREATE TABLE IF NOT EXISTS products ( product_id TEXT PRIMARY KEY, download_time TEXT, file_size INTEGER, checksum TEXT ) ) def is_downloaded(product_id): cur conn.execute( SELECT 1 FROM products WHERE product_id ?, (product_id,) ) return cur.fetchone() is not None建表时把 product_id 设为主键天然去重。is_downloaded 查询返回单条记录存在即跳过。checksum 字段可以存 MD5 或 SHA256校验时重新计算比对能发现文件被意外修改的情况。这套清单机制配合前面的断点续传基本能做到脚本随便中断、重跑不重复不遗漏。我自己的习惯是每次跑完脚本手动翻一眼 failed.txt 和日志末尾确认没有异常再关终端。这个动作花不了一分钟但能避免第二天发现数据缺了一大块还得重新排查。希望帮到你。本文还有配套的精品资源点击获取
系统调用深度解析：从进程复制到写时复制与实战避坑)
