做气候数据分析的同行应该都绕不开这样一批数据中国全国地面站点1981-2010年月平均气象数据包含月平均降水、月平均相对湿度、月最大降水、月最高/最低温度以及月最高温平均值、月最低温平均值最后整理成一份全国高低温站点基础数据表。这类数据是气候统计、建筑节能分区、农业区划和灾害评估里最常用的底数但也是我见过被问得最多、最容易踩坑的数据之一。这篇文章不讲空泛的大道理只讲我实际整理、清洗、统计这份数据时遇到的口径问题、单位坑以及一套可复用的Python处理流程。无论你是要画中国区域的气候平均图还是要给某个行业项目提取站点气候指标都可以照着这个思路往下走至少能少走几个月的弯路。1. 这批数据到底是什么几个要素名称不能想当然1.1 1981-2010为何被当成“标准气候期”先说时间范围。1981-2010这30年是气象行业常用的一个“标准气候期”。世界气象组织建议用连续30年的观测记录来计算气候平均值目的是把年际波动尽量平滑掉让“某地夏季多热”“冬季多冷”这种描述有一个稳定的参照系。每过10年这个基准会整体向后滑动一次所以早期研究里常见1961-1990最近这些年很多新标准已经切到1991-2020但1981-2010仍然大量出现在建筑规范、能源设计参数和历史气候对比中。我拿到这类数据时第一件事永远是确认时间粒度标题写着1981-2010但到底给的是“1981年1月到2010年12月的逐月实测记录”还是“1981-2010年每个月多年平均后的气候态数据”这两种数据长得像用法完全不一样。前者是时间序列可以做年际变化、趋势分析后者是统计产品只能当基准值用。不少项目冲突就是这么来的两边都在说“月平均降水”一个说的是某个具体月份的实测降水另一个说的是30年同月平均降水对数必然对不上。1.2 月平/极值/平均高低温同一个“温度”有四种读法标题里“月最高温度最低温度”和“月最高温平均值最低温平均值”这两串词是最容易歧义的地方。按我接触月值数据集的习惯需要拆成四个概念月平均气温某个站点当月所有日平均气温再求平均代表这个月整体的冷热水平。月平均最高气温当月每天日最高气温的平均值标题里说的“月最高温平均值”大概率指它反映白天的一般高温水平。月平均最低气温当月每天日最低气温的平均值对应“月最低温平均值”反映夜间的一般低温水平。月极端最高/最低气温当月出现过的最高、最低瞬时气温对应标题里“月最高温度最低温度”。前两个是“平均态”后两个是“极值”完全不是一回事。做站点排序时要特别小心如果要把“全国最热站点”排出来到底比的是月平均最高气温还是月极端最高气温结果会差很多。吐鲁番的极端高温可以接近50但它的月平均最高气温通常没有这么夸张反过来一个夏天气温起伏不大的海滨城市月平均最高气温可能不低但极端最高温度反而排不到前面去。这类差别如果不写清楚最终报告是站不住脚的。还有“月最大降水”这个概念。它通常指当月内某一天出现的最大日降水量而不是当月降水总量。比如某站7月降水总量300毫米其中最大的一场暴雨下了120毫米那“月最大降水”是120毫米不是300毫米。标题里的“月平均降水”更接近多年平均后的月降水量或日平均降水量使用时务必看原始字段说明。2. 数据预处理把原始月值文件收拾干净2.1 读取站点信息和月值数据绝大多数地面站点月值数据的原始组织方式都很“古早”。站点基础信息一般是单独一张表包含区站号、纬度、经度、海拔高度月值数据可能是按要素分开的多列宽表也可能是长表一行代表一个站点某年某月后面跟着气温、降水、湿度等若干列。我的习惯是先把所有内容读成长表统一成四列核心主键站点代号、年、月、要素名。站点代号一定要用字符串读取不能用整数否则“53068”这种编号开头是0的站号会丢失前导零。文件编码也得注意早期数据很多用GBK直接用pandas默认编码读会报乱码我一般这样起步import pandas as pd # 站点元数据站号、纬度、经度、海拔 station pd.read_csv( station_info.csv, dtype{station_id: str}, encodingutf-8 ) # 月值数据先用文本方式读便于排查分隔符问题 df pd.read_csv( monthly_raw.csv, dtype{station_id: str}, encodinggbk, na_values[32744, 99999, 999999] )这里把异常缺测码直接放进na_values是为了让数据在后续聚合统计中自然跳过而不是被当成有效值参与平均。不同数据源缺测码不一样有的用32744表示“无观测”有的用32766表示“降水微量”还有的用一系列很怪的数字所以强烈建议拿到数据后先统计每个字段的最小值、最大值和频数分布再决定缺测码清单。2.2 缺失值、异常值与单位换算清洗时最大也最隐蔽的坑是单位。月值数据里的气温常用0.1摄氏度存储降水量常用0.1毫米存储不知道的会直接拿原始值去分析和画图最后得到的气温全部是几十几百摄氏度降水则整体放大10倍。这个锅不怪数据怪数据字典没读。我在处理任何字段前都会先查一遍字段表哪怕数据说明里写着“气温单位0.1℃”也要用真实样本验证一下# 假设原始温度列叫 temp_raw降水列叫 prec_raw # 先看原始统计量判断是不是0.1倍关系 print(df[[temp_raw, prec_raw]].describe()) # 确认后统一换算成常规单位 df[temp] df[temp_raw] / 10.0 # 单位摄氏度 df[prec] df[prec_raw] / 10.0 # 单位毫米还要处理经纬度格式。有些数据给的是度分秒比如“09545”表示95度45分有些给的是十进制度比如“95.75”。如果直接按数值画图站点能偏出上千公里。我一般写一个简单函数把度分秒转成十进制度再画散点图看站点分布是否落在中国版图范围内。异常值检测也不能只看“低于-60度就删”。中国冬季站点出现过-52.3摄氏度的极端低温漠河夏季新疆和吐鲁番一带超过50度也是真实记录。一上来就按常识砍极端值等于把最有价值的极值删了。正确做法是先换算单位再按每个要素做箱线图和月度分布结合气象学常识判断哪些值属于“可疑”。比如降水量为负值相对湿度大于100或小于0这些可以直接判异常气温极高值先和邻近站点对比如果只有一个孤立高值且周围没有类似现象再考虑是否测站故障。3. 统计口径拆解平均和极值的算法别混用3.1 月平均气温与月平均最高/最低气温很多刚接触数据的人以为“月平均气温 月平均最高气温加月平均最低气温除以2”这是近似不是定义。真正的月平均气温是把当月每一天的日平均气温都加一起再除以当月天数。日平均气温的算法在不同观测标准下还不完全一样有的用一天24小时整点气温平均有的用“最高加最低再除以2”估算但作为月值产品数据生产者已经把这些细节处理好了。拿到月值数据集后直接使用“月平均气温”字段就好不要自己拿最高最低去拼。“月平均最高气温”和“月平均最低气温”则非常直观把每天的日最高气温求月平均把每天的日最低气温求月平均。它们之间的差值就是学术界和工程界常说的“气温日较差”。建筑热工设计里日较差影响围护结构蓄热策略农业上日较差大有利于糖分积累。所以这两个字段不是冗余它们至少有独立的物理意义。我在写气候统计报告时会把这三列同时输出月平均气温、月平均最高气温、月平均最低气温。缺少任何一个后续计算都容易被迫用近似公式。3.2 月最大降水与月极端温度的属性“月最大降水”和“月降水量”的区别前面已经提过但实际检查时还是经常出问题。一个站月降水量可能是200毫米月最大降水可能是80毫米这表示整月下了几天雨其中最强的一天贡献了80毫米。如果只想算月度水资源总量用月降水量如果想分析短时强降水和暴雨过程要关注月最大降水。两者在极端气候评估里都有价值但不能互相替代。“月极端最高气温”和“月极端最低气温”同样如此。它们记录的是某个站点在这个月里抓住的最极端值可能只存在了几分钟也可能持续了几个小时。像“全国6月最高气温排行榜”这种统计本质上排的是月极端最高气温而“夏季体感热不热”应该看月平均最高气温。把这两类指标混着用会得到很误导人的结论。3.3 多年平均怎么算才合理如果目标是生成1981-2010年的气候态正确算法是“同月求平均”而不是“全部混在一起求平均”。也就是说要先把每年1月的月平均气温单独取出30个值求平均得到1月气候平均气温每年2月同样处理得到2月气候平均气温以此类推。降水和湿度也是一样。这里有三个容易出错的地方。第一如果某站某年某月缺测直接把这一个月剔除再算剩余年份的平均值而不是当作0值参与平均。第二要考虑样本量。一个站点如果30年里只有3年有数据算出来的“气候平均”代表性很差应该加筛选条件。第三极端温度的多年平均有特殊含义比如月极端最高气温的30年平均意思是“每年这个月里最高气温的典型水平”它会比单一极端值更稳健但仍不等于月平均最高气温。我在下面的实操里会给出具体代码这个步骤用pandas很容易实现难的是意识到口径差异。4. 实操从1981-2010月值数据到气候统计产品4.1 读取转换与逐站统计的代码骨架假设我已经把数据清洗成一张长表字段包括station_id、year、month、tavg、tmax_avg、tmin_avg、tmax_extreme、tmin_extreme、prec、prec_max、rh。下面这个流程可以计算每个站点在1981-2010年间的逐月气候平均值# 筛选研究时段 period df[(df[year] 1981) (df[year] 2010)].copy() # 先统计每个站点每个月份有多少个有效年份 def monthly_climate(sub): # 这里对同一个月做平均且只保留至少25年有效数据的月份 months [] for m in range(1, 13): month_data sub[sub[month] m] if len(month_data.dropna(subset[tavg])) 25: continue months.append({ month: m, tavg: month_data[tavg].mean(), tmax_avg: month_data[tmax_avg].mean(), tmin_avg: month_data[tmin_avg].mean(), tmax_extreme: month_data[tmax_extreme].mean(), tmin_extreme: month_data[tmin_extreme].mean(), prec: month_data[prec].mean(), prec_max: month_data[prec_max].mean(), rh: month_data[rh].mean(), valid_years: len(month_data.dropna(subset[tavg])), }) return pd.DataFrame(months) result period.groupby(station_id, group_keysFalse).apply(monthly_climate).reset_index()这段代码的核心思想是“先分站点再分月份最后多年平均”。valid_years字段很重要后面做站点筛选时可以直接用。25年这个阈值是我常用的经验值既考虑早期数据缺测较多的现实又保证平均值有足够的代表性。如果你做的是严格的气候标准值建议直接要求30年完整缺一年都不行如果只是做区域背景分析25年也可以接受。4.2 有效站点筛选与高低温站点基础数据构建“高低温站点基础数据”本质上要回答两个问题每个站点的正常冷暖水平是多少以及历史极值是多少。前者看tmax_avg和tmin_avg后者看tmax_extreme和tmin_extreme。我会再做一张年尺度汇总表把12个月平均成年值annual result.groupby(station_id).agg( tavg_annual(tavg, mean), tmax_avg_annual(tmax_avg, mean), tmin_avg_annual(tmin_avg, mean), tmax_extreme_annual(tmax_extreme, max), tmin_extreme_annual(tmin_extreme, min), prec_annual(prec, sum), ).reset_index()注意年降水不能直接对“月平均降水”求平均再乘12必须用原始月降水量在30年同月平均后再累加。我这里只是演示字段关系实际项目里要回到period表先算各月降水量的30年平均再把12个月加起来。为了防止站点在30年间迁站后经纬度变化还要和station表做一次关联每个站点只保留一个最终坐标。做完汇总后我通常输出三张表站点基础信息、逐月气候平均值、年尺度极端值排名。这就是很多项目里说的“站点基础数据”产品。用CSV保存会被人反复索要用Parquet保存更高效我会两个都输出annual.merge(station, onstation_id, howleft).to_csv(station_climate_1981_2010.csv, indexFalse) annual.merge(station, onstation_id, howleft).to_parquet(station_climate_1981_2010.parquet)4.3 把结果落到地图上统计完表格后很多人下一步就是画站点分布图。我不建议一上来就做空间插值先画散点图看数据是否合理是最快的质检方式import matplotlib.pyplot as plt fig, ax plt.subplots(figsize(8, 7)) sc ax.scatter( annual[lon], annual[lat], cannual[tavg_annual], cmapcoolwarm, s10, linewidths0 ) plt.colorbar(sc, labelAnnual mean temperature (C)) ax.set_xlabel(Longitude) ax.set_ylabel(Latitude) plt.savefig(station_tavg_map.png, dpi300)如果画出来的站点点位明显有聚集、有空缺且空缺不是自然区域比如青藏高原西部站点稀疏是正常的那就要回头查数据。散点图能发现经纬度格式错误、站号合并错误、坐标缺失等问题。更严格的做法是加载省级行政区边界检查站点是否落在陆地上但日常调试用散点图已经能拦住大部分坑。5. 实际项目中常见的问题与排查实录5.1 最常翻车的三类问题第一类单位或缺测码没有处理就进入统计。症状是平均气温高得离谱或者降水总量全部放大10倍。第二类把“月极端最高气温”当成“月平均最高气温”使用导致部分内陆站点“平均高温”排名异常靠前。第三类站点合并时忽略迁移记录使同一站号在30年间经纬度跳了好几百公里画出来的轨迹像一条断线。这三类问题都不是代码复杂而是对数据背景不够敏感。我一般会在项目开始时建一个“数据字典”文档把每个字段的名称、单位、有效范围、缺失码、来源说明写清楚后续所有脚本都依赖这个字典生成而不是每次手动核对。5.2 一个单位换算错误引发的排查过程有一年我做一个区域降水分析读入某省14个站点的月值数据直接画出年降水量图。结果图上一片大红色好几个站年降水量超过3万毫米明显不可能是现实记录。我当时第一反应是数据本身异常后来用describe查看prec_raw的统计量发现最大值是32767像是某个上下限边界。进一步查询字段说明才发现降水量原始单位是0.1毫米我漏了除以10。这个错误很好排查但也说明一个道理任何行业数据单位转换都不能靠“默认”。我会在统计前后各加一个“单位校验”步骤比如对比站点的多年平均年降水量是否落在200-2500毫米这个合理区间。如果跑出5000毫米以上或50毫米以下先检查换算因子再检查缺测处理最后才怀疑极端气候事件。5.3 数据质量快速检查清单下面这张表是我每次处理完数据后必过的检查项效率很高检查项判断标准常见问题站号完整性站号不重复且均为字符串前导零丢失导致部分站点合并经纬度范围经度73-135纬度18-54度分秒格式未转十进制度气温单位月平均气温在-40到35之间0.1℃未除以10降水量单位年降水量大致在50-3000毫米0.1mm未除以10相对湿度0-100%原数据可能是整数百分比月份完整性每站每年最多12条记录重复月份、跨年筛选错误站点有效性有效年数不少于25年缺测年误当0值参与平均平均与极端关系月平均最高气温大于月平均气温字段选择错误这张清单看着简单实际上每一条都是从项目加班里熬出来的。把它们写进自动化测试后我的数据返工率明显下降。6. 最后分享一点个人维护这类数据的习惯我自己的体会是气候数据项目最值钱的从来不是那张最终结果表而是你处理数据的过程和口径说明。现在我每做一个这样的项目都会在输出目录下放三个文件原始数据不做任何修改的备份、已经清洗过的长表、一份几百字的数据字典。数据字典里会写清楚“月最大降水”用的是不是日最大值“月平均最高气温”有没有做过0.1倍换算哪些站点因为有效年数不足被剔除。这样做的好处是几个月后别人拿着结果问我“为什么某站和某站数据对不上”我可以直接翻出字典一分钟定位到是统计口径还是缺测处理的问题。如果你也准备整理这批1981-2010地面站点数据建议从一开始就保持这个习惯。下次再遇到类似需求你就能直接复用上一轮的脚本和字典把精力放在真正需要判断的业务问题上。
做气候数据分析的同行应该都绕不开这样一批数据中国全国地面站点1981-2010年月平均气象数据包含月平均降水、月平均相对湿度、月最大降水、月最高/最低温度以及月最高温平均值、月最低温平均值最后整理成一份全国高低温站点基础数据表。这类数据是气候统计、建筑节能分区、农业区划和灾害评估里最常用的底数但也是我见过被问得最多、最容易踩坑的数据之一。这篇文章不讲空泛的大道理只讲我实际整理、清洗、统计这份数据时遇到的口径问题、单位坑以及一套可复用的Python处理流程。无论你是要画中国区域的气候平均图还是要给某个行业项目提取站点气候指标都可以照着这个思路往下走至少能少走几个月的弯路。1. 这批数据到底是什么几个要素名称不能想当然1.1 1981-2010为何被当成“标准气候期”先说时间范围。1981-2010这30年是气象行业常用的一个“标准气候期”。世界气象组织建议用连续30年的观测记录来计算气候平均值目的是把年际波动尽量平滑掉让“某地夏季多热”“冬季多冷”这种描述有一个稳定的参照系。每过10年这个基准会整体向后滑动一次所以早期研究里常见1961-1990最近这些年很多新标准已经切到1991-2020但1981-2010仍然大量出现在建筑规范、能源设计参数和历史气候对比中。我拿到这类数据时第一件事永远是确认时间粒度标题写着1981-2010但到底给的是“1981年1月到2010年12月的逐月实测记录”还是“1981-2010年每个月多年平均后的气候态数据”这两种数据长得像用法完全不一样。前者是时间序列可以做年际变化、趋势分析后者是统计产品只能当基准值用。不少项目冲突就是这么来的两边都在说“月平均降水”一个说的是某个具体月份的实测降水另一个说的是30年同月平均降水对数必然对不上。1.2 月平/极值/平均高低温同一个“温度”有四种读法标题里“月最高温度最低温度”和“月最高温平均值最低温平均值”这两串词是最容易歧义的地方。按我接触月值数据集的习惯需要拆成四个概念月平均气温某个站点当月所有日平均气温再求平均代表这个月整体的冷热水平。月平均最高气温当月每天日最高气温的平均值标题里说的“月最高温平均值”大概率指它反映白天的一般高温水平。月平均最低气温当月每天日最低气温的平均值对应“月最低温平均值”反映夜间的一般低温水平。月极端最高/最低气温当月出现过的最高、最低瞬时气温对应标题里“月最高温度最低温度”。前两个是“平均态”后两个是“极值”完全不是一回事。做站点排序时要特别小心如果要把“全国最热站点”排出来到底比的是月平均最高气温还是月极端最高气温结果会差很多。吐鲁番的极端高温可以接近50但它的月平均最高气温通常没有这么夸张反过来一个夏天气温起伏不大的海滨城市月平均最高气温可能不低但极端最高温度反而排不到前面去。这类差别如果不写清楚最终报告是站不住脚的。还有“月最大降水”这个概念。它通常指当月内某一天出现的最大日降水量而不是当月降水总量。比如某站7月降水总量300毫米其中最大的一场暴雨下了120毫米那“月最大降水”是120毫米不是300毫米。标题里的“月平均降水”更接近多年平均后的月降水量或日平均降水量使用时务必看原始字段说明。2. 数据预处理把原始月值文件收拾干净2.1 读取站点信息和月值数据绝大多数地面站点月值数据的原始组织方式都很“古早”。站点基础信息一般是单独一张表包含区站号、纬度、经度、海拔高度月值数据可能是按要素分开的多列宽表也可能是长表一行代表一个站点某年某月后面跟着气温、降水、湿度等若干列。我的习惯是先把所有内容读成长表统一成四列核心主键站点代号、年、月、要素名。站点代号一定要用字符串读取不能用整数否则“53068”这种编号开头是0的站号会丢失前导零。文件编码也得注意早期数据很多用GBK直接用pandas默认编码读会报乱码我一般这样起步import pandas as pd # 站点元数据站号、纬度、经度、海拔 station pd.read_csv( station_info.csv, dtype{station_id: str}, encodingutf-8 ) # 月值数据先用文本方式读便于排查分隔符问题 df pd.read_csv( monthly_raw.csv, dtype{station_id: str}, encodinggbk, na_values[32744, 99999, 999999] )这里把异常缺测码直接放进na_values是为了让数据在后续聚合统计中自然跳过而不是被当成有效值参与平均。不同数据源缺测码不一样有的用32744表示“无观测”有的用32766表示“降水微量”还有的用一系列很怪的数字所以强烈建议拿到数据后先统计每个字段的最小值、最大值和频数分布再决定缺测码清单。2.2 缺失值、异常值与单位换算清洗时最大也最隐蔽的坑是单位。月值数据里的气温常用0.1摄氏度存储降水量常用0.1毫米存储不知道的会直接拿原始值去分析和画图最后得到的气温全部是几十几百摄氏度降水则整体放大10倍。这个锅不怪数据怪数据字典没读。我在处理任何字段前都会先查一遍字段表哪怕数据说明里写着“气温单位0.1℃”也要用真实样本验证一下# 假设原始温度列叫 temp_raw降水列叫 prec_raw # 先看原始统计量判断是不是0.1倍关系 print(df[[temp_raw, prec_raw]].describe()) # 确认后统一换算成常规单位 df[temp] df[temp_raw] / 10.0 # 单位摄氏度 df[prec] df[prec_raw] / 10.0 # 单位毫米还要处理经纬度格式。有些数据给的是度分秒比如“09545”表示95度45分有些给的是十进制度比如“95.75”。如果直接按数值画图站点能偏出上千公里。我一般写一个简单函数把度分秒转成十进制度再画散点图看站点分布是否落在中国版图范围内。异常值检测也不能只看“低于-60度就删”。中国冬季站点出现过-52.3摄氏度的极端低温漠河夏季新疆和吐鲁番一带超过50度也是真实记录。一上来就按常识砍极端值等于把最有价值的极值删了。正确做法是先换算单位再按每个要素做箱线图和月度分布结合气象学常识判断哪些值属于“可疑”。比如降水量为负值相对湿度大于100或小于0这些可以直接判异常气温极高值先和邻近站点对比如果只有一个孤立高值且周围没有类似现象再考虑是否测站故障。3. 统计口径拆解平均和极值的算法别混用3.1 月平均气温与月平均最高/最低气温很多刚接触数据的人以为“月平均气温 月平均最高气温加月平均最低气温除以2”这是近似不是定义。真正的月平均气温是把当月每一天的日平均气温都加一起再除以当月天数。日平均气温的算法在不同观测标准下还不完全一样有的用一天24小时整点气温平均有的用“最高加最低再除以2”估算但作为月值产品数据生产者已经把这些细节处理好了。拿到月值数据集后直接使用“月平均气温”字段就好不要自己拿最高最低去拼。“月平均最高气温”和“月平均最低气温”则非常直观把每天的日最高气温求月平均把每天的日最低气温求月平均。它们之间的差值就是学术界和工程界常说的“气温日较差”。建筑热工设计里日较差影响围护结构蓄热策略农业上日较差大有利于糖分积累。所以这两个字段不是冗余它们至少有独立的物理意义。我在写气候统计报告时会把这三列同时输出月平均气温、月平均最高气温、月平均最低气温。缺少任何一个后续计算都容易被迫用近似公式。3.2 月最大降水与月极端温度的属性“月最大降水”和“月降水量”的区别前面已经提过但实际检查时还是经常出问题。一个站月降水量可能是200毫米月最大降水可能是80毫米这表示整月下了几天雨其中最强的一天贡献了80毫米。如果只想算月度水资源总量用月降水量如果想分析短时强降水和暴雨过程要关注月最大降水。两者在极端气候评估里都有价值但不能互相替代。“月极端最高气温”和“月极端最低气温”同样如此。它们记录的是某个站点在这个月里抓住的最极端值可能只存在了几分钟也可能持续了几个小时。像“全国6月最高气温排行榜”这种统计本质上排的是月极端最高气温而“夏季体感热不热”应该看月平均最高气温。把这两类指标混着用会得到很误导人的结论。3.3 多年平均怎么算才合理如果目标是生成1981-2010年的气候态正确算法是“同月求平均”而不是“全部混在一起求平均”。也就是说要先把每年1月的月平均气温单独取出30个值求平均得到1月气候平均气温每年2月同样处理得到2月气候平均气温以此类推。降水和湿度也是一样。这里有三个容易出错的地方。第一如果某站某年某月缺测直接把这一个月剔除再算剩余年份的平均值而不是当作0值参与平均。第二要考虑样本量。一个站点如果30年里只有3年有数据算出来的“气候平均”代表性很差应该加筛选条件。第三极端温度的多年平均有特殊含义比如月极端最高气温的30年平均意思是“每年这个月里最高气温的典型水平”它会比单一极端值更稳健但仍不等于月平均最高气温。我在下面的实操里会给出具体代码这个步骤用pandas很容易实现难的是意识到口径差异。4. 实操从1981-2010月值数据到气候统计产品4.1 读取转换与逐站统计的代码骨架假设我已经把数据清洗成一张长表字段包括station_id、year、month、tavg、tmax_avg、tmin_avg、tmax_extreme、tmin_extreme、prec、prec_max、rh。下面这个流程可以计算每个站点在1981-2010年间的逐月气候平均值# 筛选研究时段 period df[(df[year] 1981) (df[year] 2010)].copy() # 先统计每个站点每个月份有多少个有效年份 def monthly_climate(sub): # 这里对同一个月做平均且只保留至少25年有效数据的月份 months [] for m in range(1, 13): month_data sub[sub[month] m] if len(month_data.dropna(subset[tavg])) 25: continue months.append({ month: m, tavg: month_data[tavg].mean(), tmax_avg: month_data[tmax_avg].mean(), tmin_avg: month_data[tmin_avg].mean(), tmax_extreme: month_data[tmax_extreme].mean(), tmin_extreme: month_data[tmin_extreme].mean(), prec: month_data[prec].mean(), prec_max: month_data[prec_max].mean(), rh: month_data[rh].mean(), valid_years: len(month_data.dropna(subset[tavg])), }) return pd.DataFrame(months) result period.groupby(station_id, group_keysFalse).apply(monthly_climate).reset_index()这段代码的核心思想是“先分站点再分月份最后多年平均”。valid_years字段很重要后面做站点筛选时可以直接用。25年这个阈值是我常用的经验值既考虑早期数据缺测较多的现实又保证平均值有足够的代表性。如果你做的是严格的气候标准值建议直接要求30年完整缺一年都不行如果只是做区域背景分析25年也可以接受。4.2 有效站点筛选与高低温站点基础数据构建“高低温站点基础数据”本质上要回答两个问题每个站点的正常冷暖水平是多少以及历史极值是多少。前者看tmax_avg和tmin_avg后者看tmax_extreme和tmin_extreme。我会再做一张年尺度汇总表把12个月平均成年值annual result.groupby(station_id).agg( tavg_annual(tavg, mean), tmax_avg_annual(tmax_avg, mean), tmin_avg_annual(tmin_avg, mean), tmax_extreme_annual(tmax_extreme, max), tmin_extreme_annual(tmin_extreme, min), prec_annual(prec, sum), ).reset_index()注意年降水不能直接对“月平均降水”求平均再乘12必须用原始月降水量在30年同月平均后再累加。我这里只是演示字段关系实际项目里要回到period表先算各月降水量的30年平均再把12个月加起来。为了防止站点在30年间迁站后经纬度变化还要和station表做一次关联每个站点只保留一个最终坐标。做完汇总后我通常输出三张表站点基础信息、逐月气候平均值、年尺度极端值排名。这就是很多项目里说的“站点基础数据”产品。用CSV保存会被人反复索要用Parquet保存更高效我会两个都输出annual.merge(station, onstation_id, howleft).to_csv(station_climate_1981_2010.csv, indexFalse) annual.merge(station, onstation_id, howleft).to_parquet(station_climate_1981_2010.parquet)4.3 把结果落到地图上统计完表格后很多人下一步就是画站点分布图。我不建议一上来就做空间插值先画散点图看数据是否合理是最快的质检方式import matplotlib.pyplot as plt fig, ax plt.subplots(figsize(8, 7)) sc ax.scatter( annual[lon], annual[lat], cannual[tavg_annual], cmapcoolwarm, s10, linewidths0 ) plt.colorbar(sc, labelAnnual mean temperature (C)) ax.set_xlabel(Longitude) ax.set_ylabel(Latitude) plt.savefig(station_tavg_map.png, dpi300)如果画出来的站点点位明显有聚集、有空缺且空缺不是自然区域比如青藏高原西部站点稀疏是正常的那就要回头查数据。散点图能发现经纬度格式错误、站号合并错误、坐标缺失等问题。更严格的做法是加载省级行政区边界检查站点是否落在陆地上但日常调试用散点图已经能拦住大部分坑。5. 实际项目中常见的问题与排查实录5.1 最常翻车的三类问题第一类单位或缺测码没有处理就进入统计。症状是平均气温高得离谱或者降水总量全部放大10倍。第二类把“月极端最高气温”当成“月平均最高气温”使用导致部分内陆站点“平均高温”排名异常靠前。第三类站点合并时忽略迁移记录使同一站号在30年间经纬度跳了好几百公里画出来的轨迹像一条断线。这三类问题都不是代码复杂而是对数据背景不够敏感。我一般会在项目开始时建一个“数据字典”文档把每个字段的名称、单位、有效范围、缺失码、来源说明写清楚后续所有脚本都依赖这个字典生成而不是每次手动核对。5.2 一个单位换算错误引发的排查过程有一年我做一个区域降水分析读入某省14个站点的月值数据直接画出年降水量图。结果图上一片大红色好几个站年降水量超过3万毫米明显不可能是现实记录。我当时第一反应是数据本身异常后来用describe查看prec_raw的统计量发现最大值是32767像是某个上下限边界。进一步查询字段说明才发现降水量原始单位是0.1毫米我漏了除以10。这个错误很好排查但也说明一个道理任何行业数据单位转换都不能靠“默认”。我会在统计前后各加一个“单位校验”步骤比如对比站点的多年平均年降水量是否落在200-2500毫米这个合理区间。如果跑出5000毫米以上或50毫米以下先检查换算因子再检查缺测处理最后才怀疑极端气候事件。5.3 数据质量快速检查清单下面这张表是我每次处理完数据后必过的检查项效率很高检查项判断标准常见问题站号完整性站号不重复且均为字符串前导零丢失导致部分站点合并经纬度范围经度73-135纬度18-54度分秒格式未转十进制度气温单位月平均气温在-40到35之间0.1℃未除以10降水量单位年降水量大致在50-3000毫米0.1mm未除以10相对湿度0-100%原数据可能是整数百分比月份完整性每站每年最多12条记录重复月份、跨年筛选错误站点有效性有效年数不少于25年缺测年误当0值参与平均平均与极端关系月平均最高气温大于月平均气温字段选择错误这张清单看着简单实际上每一条都是从项目加班里熬出来的。把它们写进自动化测试后我的数据返工率明显下降。6. 最后分享一点个人维护这类数据的习惯我自己的体会是气候数据项目最值钱的从来不是那张最终结果表而是你处理数据的过程和口径说明。现在我每做一个这样的项目都会在输出目录下放三个文件原始数据不做任何修改的备份、已经清洗过的长表、一份几百字的数据字典。数据字典里会写清楚“月最大降水”用的是不是日最大值“月平均最高气温”有没有做过0.1倍换算哪些站点因为有效年数不足被剔除。这样做的好处是几个月后别人拿着结果问我“为什么某站和某站数据对不上”我可以直接翻出字典一分钟定位到是统计口径还是缺测处理的问题。如果你也准备整理这批1981-2010地面站点数据建议从一开始就保持这个习惯。下次再遇到类似需求你就能直接复用上一轮的脚本和字典把精力放在真正需要判断的业务问题上。
