简介面向使用PyTorch开展高光谱图像深度学习的研究者与工程实践者这份资源聚焦于用DataLoader高效加载与预处理高光谱数据这一关键环节帮助解决高光谱通道多、数据量大带来的读取与批处理难题。压缩包共7个文件以3个Python脚本为核心辅以2个编译缓存文件与2个mat数据文件整体约5.69MB脚本涵盖数据集封装、加载流程与训练入口mat文件对应高光谱数据样本便于直接运行与二次修改。已有613人学习下载适合具备一定PyTorch基础、希望打通数据管线以提升训练效率的读者参考。资源围绕自定义Dataset的构建、归一化等预处理、批大小与多线程加载参数设置、随机打乱与数据增强、pin_memory加速以及自定义collate_fn等要点组织代码读者可据此对照实现完整的数据加载流程理解高光谱数据从读取到送入网络的各环节取舍并迁移到自己的高光谱分类或识别任务中。1. 高光谱数据进 PyTorch为什么你的 Dataset 一跑就爆内存高光谱数据跟普通 RGB 图像完全不是一个量级。一个 512×512×224 的立方体按 float32 存就是 200MB 出头一个 batch 塞 8 个样本显存和内存同时告急。很多人第一次用 PyTorch 的 DataLoader 加载高光谱数据写出来的 Dataset 是「__getitem__里直接np.load整个文件再切片」本地小样本跑得通一上真实数据集就卡死或者 OOM。这篇笔记拆的是一个很具体的工程问题怎么用 PyTorch 的 Dataset 和 DataLoader 把高光谱立方体喂进网络既不让 IO 成为瓶颈也不让内存炸掉。适合已经会用 PyTorch 训练普通 CNN、但第一次接触高光谱这种「通道数远大于空间尺寸」数据的人。下面从数据组织方式讲起一路落到采样策略、增强边界和排查手段代码可以直接抄去改。2. 高光谱 Dataset 的骨架从 .mat 到张量的完整链路高光谱数据的常见存储格式是.matMATLAB 导出的立方体、.tifENVI 或 GeoTIFF 多波段和.hdr 裸二进制ENVI 标准格式。不管哪种进 PyTorch 之前都要先想清楚一件事你是按「整幅影像」训练还是按「像素块 patch」训练。分类任务绝大多数走 patch 路线——以每个标注像素为中心取一个p×p的窗口窗口内所有波段一起作为输入标签是该像素的类别。这个选择直接决定了 Dataset 的写法。2.1 先定数据组织patch 采样与索引表patch 路线的核心是一张索引表每行记录(中心行, 中心列, 类别标签)。训练时按索引取 patch而不是每次遍历整幅图。这样做的好处是采样可控、能做过采样平衡类别、也方便划分训练/验证集。索引表一般在预处理阶段一次性生成并缓存成.npy避免每个 epoch 重新扫描标注图。import numpy as np from pathlib import Path def build_index(label_map, ignore_label0, patch_size11): 从标注图生成 patch 索引表。 label_map: H×W 的整型数组0 为未标注 返回 N×3 数组[row, col, label] half patch_size // 2 rows, cols np.where(label_map ignore_label) # 过滤掉贴边的中心点保证 patch 不越界 valid ( (rows half) (rows label_map.shape[0] - half) (cols half) (cols label_map.shape[1] - half) ) rows, cols rows[valid], cols[valid] labels label_map[rows, cols] return np.stack([rows, cols, labels], axis1).astype(np.int64) index build_index(label_map, patch_size11) np.save(train_index.npy, index) print(index.shape, np.bincount(index[:, 2]))这段代码做了三件事定位所有有效标注像素、剔除贴边中心点、把标签一并存进索引。ignore_label0是常见约定未标注区域不参与训练patch_size11是文献里高频出现的取值奇数保证有唯一中心。np.bincount那行是给你看类别分布的如果某类样本极少后面采样器要专门处理。索引表落盘后Dataset 初始化时只读这张表不碰原始立方体启动速度会快很多。2.2 Dataset 的__getitem__怎么写才不拖后腿最直接的写法是在__init__里把整个立方体np.load进内存__getitem__只做切片。小数据集几百 MB这样最省事但真实高光谱动辄几个 GB多进程 DataLoader 每个 worker 都会复制一份内存直接翻倍。更稳的做法是__init__只存文件路径__getitem__里按需读取。如果格式支持内存映射.npy的mmap_moder优先用映射操作系统会帮你做页缓存。import numpy as np import torch from torch.utils.data import Dataset class HyperSpectralPatch(Dataset): def __init__(self, cube_path, index_path, patch_size11, mmapTrue, transformNone): self.cube_path cube_path self.index np.load(index_path) self.patch_size patch_size self.half patch_size // 2 self.transform transform # mmap 模式下不真正读入内存按页加载 self._cube None self._mmap mmap property def cube(self): if self._cube is None: mode r if self._mmap else None self._cube np.load(self.cube_path, mmap_modemode) return self._cube def __len__(self): return len(self.index) def __getitem__(self, idx): r, c, label self.index[idx] patch self.cube[ r - self.half: r self.half 1, c - self.half: c self.half 1, : ].astype(np.float32) # H×W×C - C×H×WPyTorch 卷积要求通道在前 patch np.transpose(patch, (2, 0, 1)) patch torch.from_numpy(patch) if self.transform: patch self.transform(patch) return patch, int(label)关键点在cube这个 property用惰性加载保证每个 worker 第一次访问时才建立映射mmap_moder让大文件不必整体进内存。切片后立刻astype(np.float32)因为原始数据常是uint16不转的话后面归一化和卷积都会出问题。np.transpose((2,0,1))这一步是高光谱新手最容易漏的——原始立方体是「高×宽×波段」PyTorch 要「波段×高×宽」顺序错了网络照样能跑但空间语义全乱精度上不去还查不出原因。transform留成可调用对象归一化和增强都挂这里保持 Dataset 本身干净。2.3 DataLoader 参数worker 数、pin_memory 与 batch 的配合Dataset 写对了DataLoader 的参数配错一样白搭。高光谱 patch 单个样本不大11×11×224 的 float32 约 108KB瓶颈通常在 IO 和 Python 切片开销上所以num_workers要给够。经验值是 CPU 物理核数的一半到全部SSD 上可以拉满机械盘上给 4 就够再多只是排队。from torch.utils.data import DataLoader train_loader DataLoader( train_set, batch_size64, shuffleTrue, num_workers8, pin_memoryTrue, persistent_workersTrue, prefetch_factor4, drop_lastTrue, )pin_memoryTrue配合 GPU 训练能减少主机到设备的拷贝等待persistent_workersTrue避免每个 epoch 重建 worker 进程高光谱 Dataset 初始化虽然轻但反复 fork 仍有开销prefetch_factor4让每个 worker 提前准备 4 个 batchIO 抖动时能兜住。drop_lastTrue在样本数不能被 batch 整除时丢掉尾批避免 BatchNorm 在只有一两个样本的批上统计量失真。这几个参数不是玄学是实打实影响吞吐的配完用nvidia-smi和htop各看一遍GPU 利用率上不去就先怀疑 worker 不够或 IO 卡住。3. 归一化与增强高光谱不能照搬 RGB 那套RGB 图像的归一化是「减均值除标准差」三个通道各一个数。高光谱有几百个波段每个波段的物理量纲和噪声水平都不一样照搬 RGB 的全局归一化会让某些波段被压扁、某些波段主导梯度。这一章讲清楚归一化该按什么粒度做、增强哪些能碰哪些不能碰。3.1 按波段统计量归一化而不是全局一个数正确做法是逐波段计算均值和标准差在训练集上统计一次存下来给验证和测试复用。注意统计必须在训练集上做用全量数据统计属于数据泄漏验证精度会虚高。常见做法是把整个训练立方体的每个波段拉平算mean和std存成两个长度为波段数的数组。def compute_band_stats(cube, train_mask): cube: H×W×C, train_mask: H×W 布尔图 返回每波段的 mean/std形状均为 C pixels cube[train_mask] # N×C mean pixels.mean(axis0) std pixels.std(axis0) std[std 1e-6] 1.0 # 防止除零 return mean.astype(np.float32), std.astype(np.float32) mean, std compute_band_stats(cube, train_mask) np.savez(band_stats.npz, meanmean, stdstd)train_mask只覆盖训练区域的标注像素保证统计量不碰验证集。std里那些接近零的波段通常是坏波段或全零波段置 1 避免除零后产生 inf。统计结果落盘Dataset 的 transform 里加载后做(patch - mean[:,None,None]) / std[:,None,None]注意广播维度要对齐到「波段×高×宽」。这一步做对收敛速度和最终精度都会有肉眼可见的差别做错的话网络可能训练几十个 epoch 都不动。3.2 空间增强可以放开光谱增强要克制高光谱的增强分两个维度空间维和光谱维。空间维的随机翻转、旋转、裁剪是安全的因为地物在空间上的语义不随翻转改变。光谱维就要小心了——波段顺序对应物理波长随意打乱波段等于破坏光谱曲线模型学到的「红边」特征就没了。常见的安全做法是加轻微的光谱噪声或波段丢弃随机把某几个波段置零模拟传感器噪声和缺失波段但不要做波段重排。import random import torch class HyperTransform: def __init__(self, mean, std, p_flip0.5, p_band_drop0.1): self.mean torch.from_numpy(mean).view(-1, 1, 1) self.std torch.from_numpy(std).view(-1, 1, 1) self.p_flip p_flip self.p_band_drop p_band_drop def __call__(self, patch): # 空间翻转安全 if random.random() self.p_flip: patch torch.flip(patch, dims[2]) # 逐波段归一化 patch (patch - self.mean) / self.std # 波段丢弃模拟缺失波段不改变剩余波段顺序 if random.random() self.p_band_drop: n_band patch.shape[0] drop_idx torch.randperm(n_band)[: max(1, n_band // 20)] patch[drop_idx] 0.0 return patch翻转只动dims[2]宽度维不动波段维归一化用预存的逐波段统计量波段丢弃只置零、不重排比例控制在 5% 左右。p_band_drop0.1是概率不是比例实际丢弃的波段数由n_band // 20决定。这套增强在样本量有限的高光谱分类里很实用但验证集上必须关掉随机性只保留归一化否则指标不可复现。3.3 类别不平衡WeightedRandomSampler 的用法与陷阱高光谱标注数据里类别极度不平衡是常态某类几百个像素、另一类几万个。直接shuffleTrue会让模型偏向多数类。标准解法是WeightedRandomSampler给每个样本一个采样权重权重与该类样本数成反比。from torch.utils.data import WeightedRandomSampler labels train_set.index[:, 2] class_count np.bincount(labels) class_weight 1.0 / class_count sample_weight class_weight[labels] sampler WeightedRandomSampler( weightstorch.from_numpy(sample_weight).double(), num_sampleslen(sample_weight), replacementTrue, )replacementTrue是必须的否则少数类被抽完后采样器就停了。num_samples设成样本总数保证每个 epoch 的迭代次数稳定。这里有个坑用了WeightedRandomSampler就不能再设shuffleTrue两者冲突会直接报错很多人第一次配的时候会撞上。另外采样权重只影响「抽到谁」不影响损失函数如果还想进一步压制多数类可以在交叉熵里加weightclass_weight两者叠加要小心过校正。4. 避坑与排查五个真实翻车现场这一章是血泪经验合集。下面五条都是高光谱 DataLoader 场景里高频出现的问题按「现象 → 原因 → 解决」写遇到对得上的直接照方抓药。4.1 训练第一个 epoch 就 OOM但模型明明很小现象模型参数量不大batch_size 设 16 都爆显存。原因Dataset 在__init__里把整个立方体读进内存num_workers8时每个 worker 各持一份副本主机内存先炸随后触发交换导致 GPU 等待超时。解决改成惰性加载加mmap_moder或者把立方体切成多个小块文件按需读。判断方法很简单训练前打印psutil.Process().memory_info().rss看 worker 启动后内存是不是翻了几倍。4.2 精度卡在 60% 上不去换模型也没用现象换了好几个骨干网络验证精度都在一个低水平徘徊。原因np.transpose的维度顺序写错把「高×宽×波段」直接当「波段×高×宽」喂进去空间结构被打乱卷积核学不到有效纹理。解决在 Dataset 里断言patch.shape[0] n_bands并在第一次运行时打印一个 patch 的 shape 和几个波段的均值确认通道维在前。这个错误不报异常最隐蔽。4.3 验证集精度每个 epoch 都在跳现象验证精度波动极大同一模型两次跑结果差十几个点。原因验证集的 transform 里混进了随机增强或者归一化统计量用了当前 batch 的均值而不是训练集预存的。解决验证/测试 Dataset 的 transform 只保留确定性归一化随机翻转和波段丢弃全部关掉统计量从band_stats.npz读不在验证时重算。4.4 DataLoader 卡住不动GPU 利用率 0%现象训练启动后卡在第一个 batchnvidia-smi显示 GPU 空闲。原因num_workers 0时Dataset 或 transform 里用了不可序列化的对象比如打开的文件句柄、lambda 闭包worker 进程 fork 后死锁。解决把 transform 写成模块级类而不是 lambda文件句柄在__getitem__内部打开关闭不要在__init__里长期持有。排查时先把num_workers0跑一遍能跑通就说明是多进程序列化问题。4.5 训练集精度 99%测试集惨不忍睹现象训练集几乎全对测试集掉到随机水平。原因patch 采样时训练和测试的像素来自同一幅影像的相邻位置空间自相关导致信息泄漏或者归一化统计量用了全量数据。解决划分训练/测试时按空间区块划分而不是随机抽像素块与块之间留出缓冲带统计量严格只用训练块。这个坑在高光谱里特别常见因为相邻像素高度相关随机划分等于变相泄漏。5. 进阶把 IO 压到最低的缓存策略与验证方法前面几章解决的是「能跑」这一章解决「跑得快且结果可信」。高光谱训练里 IO 往往是隐藏瓶颈尤其当 patch 数量上万、每个 epoch 都要重新切片时。一个实用技巧是把归一化后的 patch 预计算并缓存成内存映射数组训练时直接按索引读省掉每次的切片和归一化开销。代价是磁盘占用增加但换来的是 epoch 时间大幅下降。def cache_patches(cube, index, mean, std, patch_size, out_path): 把归一化后的 patch 预计算写入 memmap 数组 n len(index) c cube.shape[2] cache np.lib.format.open_memmap( out_path, modew, dtypenp.float32, shape(n, c, patch_size, patch_size) ) half patch_size // 2 for i, (r, col, _) in enumerate(index): p cube[r-half:rhalf1, col-half:colhalf1, :].astype(np.float32) p np.transpose(p, (2, 0, 1)) p (p - mean[:, None, None]) / std[:, None, None] cache[i] p cache.flush() return out_pathopen_memmap写的是标准.npy格式之后用np.load(..., mmap_moder)就能按需读页不用一次性载入。缓存只对训练集做验证集保持实时计算以反映真实推理路径。注意缓存前要确认增强策略——如果训练时还要随机翻转缓存里存的是未翻转版本翻转在 Dataset 里做别把增强也烤进缓存。验证方法上我一般会做两件事。第一固定随机种子跑三次看验证精度的方差方差大说明数据划分或增强有问题。第二用一个小 batch 手动前向一遍打印输入张量的min/max/mean确认归一化后数值落在合理区间大致 -3 到 3如果出现几百上千的极值说明统计量没对上或者有坏波段没处理。这两步花不了几分钟但能挡掉大部分「训练不收敛」的糊涂账。从那以后我每次搭高光谱的 Dataset都强制先跑一遍「单 batch 可视化 统计量检查」再开训宁可前期多花十分钟也不愿后期对着一条平掉的 loss 曲线猜原因。希望帮到你。本文还有配套的精品资源点击获取
简介面向使用PyTorch开展高光谱图像深度学习的研究者与工程实践者这份资源聚焦于用DataLoader高效加载与预处理高光谱数据这一关键环节帮助解决高光谱通道多、数据量大带来的读取与批处理难题。压缩包共7个文件以3个Python脚本为核心辅以2个编译缓存文件与2个mat数据文件整体约5.69MB脚本涵盖数据集封装、加载流程与训练入口mat文件对应高光谱数据样本便于直接运行与二次修改。已有613人学习下载适合具备一定PyTorch基础、希望打通数据管线以提升训练效率的读者参考。资源围绕自定义Dataset的构建、归一化等预处理、批大小与多线程加载参数设置、随机打乱与数据增强、pin_memory加速以及自定义collate_fn等要点组织代码读者可据此对照实现完整的数据加载流程理解高光谱数据从读取到送入网络的各环节取舍并迁移到自己的高光谱分类或识别任务中。1. 高光谱数据进 PyTorch为什么你的 Dataset 一跑就爆内存高光谱数据跟普通 RGB 图像完全不是一个量级。一个 512×512×224 的立方体按 float32 存就是 200MB 出头一个 batch 塞 8 个样本显存和内存同时告急。很多人第一次用 PyTorch 的 DataLoader 加载高光谱数据写出来的 Dataset 是「__getitem__里直接np.load整个文件再切片」本地小样本跑得通一上真实数据集就卡死或者 OOM。这篇笔记拆的是一个很具体的工程问题怎么用 PyTorch 的 Dataset 和 DataLoader 把高光谱立方体喂进网络既不让 IO 成为瓶颈也不让内存炸掉。适合已经会用 PyTorch 训练普通 CNN、但第一次接触高光谱这种「通道数远大于空间尺寸」数据的人。下面从数据组织方式讲起一路落到采样策略、增强边界和排查手段代码可以直接抄去改。2. 高光谱 Dataset 的骨架从 .mat 到张量的完整链路高光谱数据的常见存储格式是.matMATLAB 导出的立方体、.tifENVI 或 GeoTIFF 多波段和.hdr 裸二进制ENVI 标准格式。不管哪种进 PyTorch 之前都要先想清楚一件事你是按「整幅影像」训练还是按「像素块 patch」训练。分类任务绝大多数走 patch 路线——以每个标注像素为中心取一个p×p的窗口窗口内所有波段一起作为输入标签是该像素的类别。这个选择直接决定了 Dataset 的写法。2.1 先定数据组织patch 采样与索引表patch 路线的核心是一张索引表每行记录(中心行, 中心列, 类别标签)。训练时按索引取 patch而不是每次遍历整幅图。这样做的好处是采样可控、能做过采样平衡类别、也方便划分训练/验证集。索引表一般在预处理阶段一次性生成并缓存成.npy避免每个 epoch 重新扫描标注图。import numpy as np from pathlib import Path def build_index(label_map, ignore_label0, patch_size11): 从标注图生成 patch 索引表。 label_map: H×W 的整型数组0 为未标注 返回 N×3 数组[row, col, label] half patch_size // 2 rows, cols np.where(label_map ignore_label) # 过滤掉贴边的中心点保证 patch 不越界 valid ( (rows half) (rows label_map.shape[0] - half) (cols half) (cols label_map.shape[1] - half) ) rows, cols rows[valid], cols[valid] labels label_map[rows, cols] return np.stack([rows, cols, labels], axis1).astype(np.int64) index build_index(label_map, patch_size11) np.save(train_index.npy, index) print(index.shape, np.bincount(index[:, 2]))这段代码做了三件事定位所有有效标注像素、剔除贴边中心点、把标签一并存进索引。ignore_label0是常见约定未标注区域不参与训练patch_size11是文献里高频出现的取值奇数保证有唯一中心。np.bincount那行是给你看类别分布的如果某类样本极少后面采样器要专门处理。索引表落盘后Dataset 初始化时只读这张表不碰原始立方体启动速度会快很多。2.2 Dataset 的__getitem__怎么写才不拖后腿最直接的写法是在__init__里把整个立方体np.load进内存__getitem__只做切片。小数据集几百 MB这样最省事但真实高光谱动辄几个 GB多进程 DataLoader 每个 worker 都会复制一份内存直接翻倍。更稳的做法是__init__只存文件路径__getitem__里按需读取。如果格式支持内存映射.npy的mmap_moder优先用映射操作系统会帮你做页缓存。import numpy as np import torch from torch.utils.data import Dataset class HyperSpectralPatch(Dataset): def __init__(self, cube_path, index_path, patch_size11, mmapTrue, transformNone): self.cube_path cube_path self.index np.load(index_path) self.patch_size patch_size self.half patch_size // 2 self.transform transform # mmap 模式下不真正读入内存按页加载 self._cube None self._mmap mmap property def cube(self): if self._cube is None: mode r if self._mmap else None self._cube np.load(self.cube_path, mmap_modemode) return self._cube def __len__(self): return len(self.index) def __getitem__(self, idx): r, c, label self.index[idx] patch self.cube[ r - self.half: r self.half 1, c - self.half: c self.half 1, : ].astype(np.float32) # H×W×C - C×H×WPyTorch 卷积要求通道在前 patch np.transpose(patch, (2, 0, 1)) patch torch.from_numpy(patch) if self.transform: patch self.transform(patch) return patch, int(label)关键点在cube这个 property用惰性加载保证每个 worker 第一次访问时才建立映射mmap_moder让大文件不必整体进内存。切片后立刻astype(np.float32)因为原始数据常是uint16不转的话后面归一化和卷积都会出问题。np.transpose((2,0,1))这一步是高光谱新手最容易漏的——原始立方体是「高×宽×波段」PyTorch 要「波段×高×宽」顺序错了网络照样能跑但空间语义全乱精度上不去还查不出原因。transform留成可调用对象归一化和增强都挂这里保持 Dataset 本身干净。2.3 DataLoader 参数worker 数、pin_memory 与 batch 的配合Dataset 写对了DataLoader 的参数配错一样白搭。高光谱 patch 单个样本不大11×11×224 的 float32 约 108KB瓶颈通常在 IO 和 Python 切片开销上所以num_workers要给够。经验值是 CPU 物理核数的一半到全部SSD 上可以拉满机械盘上给 4 就够再多只是排队。from torch.utils.data import DataLoader train_loader DataLoader( train_set, batch_size64, shuffleTrue, num_workers8, pin_memoryTrue, persistent_workersTrue, prefetch_factor4, drop_lastTrue, )pin_memoryTrue配合 GPU 训练能减少主机到设备的拷贝等待persistent_workersTrue避免每个 epoch 重建 worker 进程高光谱 Dataset 初始化虽然轻但反复 fork 仍有开销prefetch_factor4让每个 worker 提前准备 4 个 batchIO 抖动时能兜住。drop_lastTrue在样本数不能被 batch 整除时丢掉尾批避免 BatchNorm 在只有一两个样本的批上统计量失真。这几个参数不是玄学是实打实影响吞吐的配完用nvidia-smi和htop各看一遍GPU 利用率上不去就先怀疑 worker 不够或 IO 卡住。3. 归一化与增强高光谱不能照搬 RGB 那套RGB 图像的归一化是「减均值除标准差」三个通道各一个数。高光谱有几百个波段每个波段的物理量纲和噪声水平都不一样照搬 RGB 的全局归一化会让某些波段被压扁、某些波段主导梯度。这一章讲清楚归一化该按什么粒度做、增强哪些能碰哪些不能碰。3.1 按波段统计量归一化而不是全局一个数正确做法是逐波段计算均值和标准差在训练集上统计一次存下来给验证和测试复用。注意统计必须在训练集上做用全量数据统计属于数据泄漏验证精度会虚高。常见做法是把整个训练立方体的每个波段拉平算mean和std存成两个长度为波段数的数组。def compute_band_stats(cube, train_mask): cube: H×W×C, train_mask: H×W 布尔图 返回每波段的 mean/std形状均为 C pixels cube[train_mask] # N×C mean pixels.mean(axis0) std pixels.std(axis0) std[std 1e-6] 1.0 # 防止除零 return mean.astype(np.float32), std.astype(np.float32) mean, std compute_band_stats(cube, train_mask) np.savez(band_stats.npz, meanmean, stdstd)train_mask只覆盖训练区域的标注像素保证统计量不碰验证集。std里那些接近零的波段通常是坏波段或全零波段置 1 避免除零后产生 inf。统计结果落盘Dataset 的 transform 里加载后做(patch - mean[:,None,None]) / std[:,None,None]注意广播维度要对齐到「波段×高×宽」。这一步做对收敛速度和最终精度都会有肉眼可见的差别做错的话网络可能训练几十个 epoch 都不动。3.2 空间增强可以放开光谱增强要克制高光谱的增强分两个维度空间维和光谱维。空间维的随机翻转、旋转、裁剪是安全的因为地物在空间上的语义不随翻转改变。光谱维就要小心了——波段顺序对应物理波长随意打乱波段等于破坏光谱曲线模型学到的「红边」特征就没了。常见的安全做法是加轻微的光谱噪声或波段丢弃随机把某几个波段置零模拟传感器噪声和缺失波段但不要做波段重排。import random import torch class HyperTransform: def __init__(self, mean, std, p_flip0.5, p_band_drop0.1): self.mean torch.from_numpy(mean).view(-1, 1, 1) self.std torch.from_numpy(std).view(-1, 1, 1) self.p_flip p_flip self.p_band_drop p_band_drop def __call__(self, patch): # 空间翻转安全 if random.random() self.p_flip: patch torch.flip(patch, dims[2]) # 逐波段归一化 patch (patch - self.mean) / self.std # 波段丢弃模拟缺失波段不改变剩余波段顺序 if random.random() self.p_band_drop: n_band patch.shape[0] drop_idx torch.randperm(n_band)[: max(1, n_band // 20)] patch[drop_idx] 0.0 return patch翻转只动dims[2]宽度维不动波段维归一化用预存的逐波段统计量波段丢弃只置零、不重排比例控制在 5% 左右。p_band_drop0.1是概率不是比例实际丢弃的波段数由n_band // 20决定。这套增强在样本量有限的高光谱分类里很实用但验证集上必须关掉随机性只保留归一化否则指标不可复现。3.3 类别不平衡WeightedRandomSampler 的用法与陷阱高光谱标注数据里类别极度不平衡是常态某类几百个像素、另一类几万个。直接shuffleTrue会让模型偏向多数类。标准解法是WeightedRandomSampler给每个样本一个采样权重权重与该类样本数成反比。from torch.utils.data import WeightedRandomSampler labels train_set.index[:, 2] class_count np.bincount(labels) class_weight 1.0 / class_count sample_weight class_weight[labels] sampler WeightedRandomSampler( weightstorch.from_numpy(sample_weight).double(), num_sampleslen(sample_weight), replacementTrue, )replacementTrue是必须的否则少数类被抽完后采样器就停了。num_samples设成样本总数保证每个 epoch 的迭代次数稳定。这里有个坑用了WeightedRandomSampler就不能再设shuffleTrue两者冲突会直接报错很多人第一次配的时候会撞上。另外采样权重只影响「抽到谁」不影响损失函数如果还想进一步压制多数类可以在交叉熵里加weightclass_weight两者叠加要小心过校正。4. 避坑与排查五个真实翻车现场这一章是血泪经验合集。下面五条都是高光谱 DataLoader 场景里高频出现的问题按「现象 → 原因 → 解决」写遇到对得上的直接照方抓药。4.1 训练第一个 epoch 就 OOM但模型明明很小现象模型参数量不大batch_size 设 16 都爆显存。原因Dataset 在__init__里把整个立方体读进内存num_workers8时每个 worker 各持一份副本主机内存先炸随后触发交换导致 GPU 等待超时。解决改成惰性加载加mmap_moder或者把立方体切成多个小块文件按需读。判断方法很简单训练前打印psutil.Process().memory_info().rss看 worker 启动后内存是不是翻了几倍。4.2 精度卡在 60% 上不去换模型也没用现象换了好几个骨干网络验证精度都在一个低水平徘徊。原因np.transpose的维度顺序写错把「高×宽×波段」直接当「波段×高×宽」喂进去空间结构被打乱卷积核学不到有效纹理。解决在 Dataset 里断言patch.shape[0] n_bands并在第一次运行时打印一个 patch 的 shape 和几个波段的均值确认通道维在前。这个错误不报异常最隐蔽。4.3 验证集精度每个 epoch 都在跳现象验证精度波动极大同一模型两次跑结果差十几个点。原因验证集的 transform 里混进了随机增强或者归一化统计量用了当前 batch 的均值而不是训练集预存的。解决验证/测试 Dataset 的 transform 只保留确定性归一化随机翻转和波段丢弃全部关掉统计量从band_stats.npz读不在验证时重算。4.4 DataLoader 卡住不动GPU 利用率 0%现象训练启动后卡在第一个 batchnvidia-smi显示 GPU 空闲。原因num_workers 0时Dataset 或 transform 里用了不可序列化的对象比如打开的文件句柄、lambda 闭包worker 进程 fork 后死锁。解决把 transform 写成模块级类而不是 lambda文件句柄在__getitem__内部打开关闭不要在__init__里长期持有。排查时先把num_workers0跑一遍能跑通就说明是多进程序列化问题。4.5 训练集精度 99%测试集惨不忍睹现象训练集几乎全对测试集掉到随机水平。原因patch 采样时训练和测试的像素来自同一幅影像的相邻位置空间自相关导致信息泄漏或者归一化统计量用了全量数据。解决划分训练/测试时按空间区块划分而不是随机抽像素块与块之间留出缓冲带统计量严格只用训练块。这个坑在高光谱里特别常见因为相邻像素高度相关随机划分等于变相泄漏。5. 进阶把 IO 压到最低的缓存策略与验证方法前面几章解决的是「能跑」这一章解决「跑得快且结果可信」。高光谱训练里 IO 往往是隐藏瓶颈尤其当 patch 数量上万、每个 epoch 都要重新切片时。一个实用技巧是把归一化后的 patch 预计算并缓存成内存映射数组训练时直接按索引读省掉每次的切片和归一化开销。代价是磁盘占用增加但换来的是 epoch 时间大幅下降。def cache_patches(cube, index, mean, std, patch_size, out_path): 把归一化后的 patch 预计算写入 memmap 数组 n len(index) c cube.shape[2] cache np.lib.format.open_memmap( out_path, modew, dtypenp.float32, shape(n, c, patch_size, patch_size) ) half patch_size // 2 for i, (r, col, _) in enumerate(index): p cube[r-half:rhalf1, col-half:colhalf1, :].astype(np.float32) p np.transpose(p, (2, 0, 1)) p (p - mean[:, None, None]) / std[:, None, None] cache[i] p cache.flush() return out_pathopen_memmap写的是标准.npy格式之后用np.load(..., mmap_moder)就能按需读页不用一次性载入。缓存只对训练集做验证集保持实时计算以反映真实推理路径。注意缓存前要确认增强策略——如果训练时还要随机翻转缓存里存的是未翻转版本翻转在 Dataset 里做别把增强也烤进缓存。验证方法上我一般会做两件事。第一固定随机种子跑三次看验证精度的方差方差大说明数据划分或增强有问题。第二用一个小 batch 手动前向一遍打印输入张量的min/max/mean确认归一化后数值落在合理区间大致 -3 到 3如果出现几百上千的极值说明统计量没对上或者有坏波段没处理。这两步花不了几分钟但能挡掉大部分「训练不收敛」的糊涂账。从那以后我每次搭高光谱的 Dataset都强制先跑一遍「单 batch 可视化 统计量检查」再开训宁可前期多花十分钟也不愿后期对着一条平掉的 loss 曲线猜原因。希望帮到你。本文还有配套的精品资源点击获取
