简介面向使用 PyTorch 做深度学习、需要处理高光谱图像HSI的开发者与学习者这份资源聚焦一个核心痛点如何用 DataLoader 高效加载与预处理数百乃至上千光谱通道的高光谱数据。包内共 7 个文件以 3 个 py 脚本为主辅以 2 个 pyc 编译文件与 2 个 mat 数据文件压缩包约 5.69MB体量轻便便于直接运行与二次修改。内容围绕自定义 Dataset 类展开涵盖数据读取、归一化等预处理、批大小设置、多线程加载、随机打乱与数据增强、pin_memory 加速以及自定义 collate_fn 等关键环节并配有 IndianPines 训练脚本与工具模块可帮助读者快速搭建从数据到模型输入的完整链路理解高光谱数据加载中的内存与效率权衡。目前已有 613 人学习适合希望少走弯路、直接复用可运行代码的实践者参考。1. 高光谱数据加载这件事为什么值得单独拆一遍第一次接手高光谱分类任务时我以为最麻烦的是模型结构结果真正卡住进度的是数据读取。高光谱影像一个样本动辄几百个波段文件格式还分.mat、.tif、.hdr好几套直接往Dataset里塞numpy数组训练两轮就内存爆掉换成懒加载又在__getitem__里反复读盘GPU 利用率低得可怜。这个项目要解决的就是这件事用 PyTorch 的Dataset和DataLoader把高光谱数据组织成可迭代的批次让训练循环拿到的是规整的(B, C, H, W)张量而不是一堆散落的原始文件。适合正在做高光谱分类、目标检测或者手里有一批.mat标注数据、想接进 PyTorch 训练流程的开发者。下面按「数据长什么样 → 怎么封装 → 怎么调参 → 怎么改」的顺序拆。2. 数据组织与 Dataset 封装从原始文件到可迭代批次2.1 先看清高光谱数据的形状和存储方式高光谱数据和普通 RGB 图像最大的差别在通道维度。一张 RGB 图是(3, H, W)高光谱影像常见的是(H, W, B)B 从几十到几百不等比如某公开数据集是 145×145 空间尺寸、200 个波段。存储上学术数据集多用 MATLAB 的.mat文件里面通常有两个变量一个是数据立方体一个是地物标注的标签图ground truth。工程里也有用 ENVI 格式的一个二进制数据文件配一个.hdr头文件描述波段数和数据类型。我一般会先写个脚本把数据摸清楚而不是直接开写Datasetimport scipy.io as sio import numpy as np # 读取 .mat 文件先看里面有哪些变量 mat sio.loadmat(data/xxx.mat) for key, value in mat.items(): if not key.startswith(__): # 跳过 MATLAB 元信息字段 print(key, type(value), getattr(value, shape, None)) # 假设数据变量叫 data标签变量叫 gt data mat[data].astype(np.float32) # (H, W, B) gt mat[gt].astype(np.int64) # (H, W)0 表示未标注 print(波段数:, data.shape[-1], 类别数:, len(np.unique(gt)) - 1)这段代码的作用是确认三件事数据立方体的维度顺序、标签图的取值范围、未标注像素用什么值表示。参数上astype(np.float32)是为了后续归一化和送进网络时避免类型转换开销gt转成整型是因为它要当分类标签用。很多.mat文件里标签是uint8直接拿去算交叉熵会报类型不匹配这个坑后面还会提。2.2 Dataset 的两种写法整图加载和 patch 采样高光谱分类有两种主流输入方式。一种是整图输入把(H, W, B)整个送进网络适合全卷积结构另一种是 patch 采样以每个标注像素为中心切一个p×p的小块适合 CNN 分类器。项目里更常见的是后者因为整图输入对显存要求高而且标注像素往往只占一小部分。先看整图版本的Dataset结构最直白import torch from torch.utils.data import Dataset class HyperspectralDataset(Dataset): def __init__(self, data_path, transformNone): mat sio.loadmat(data_path) self.data mat[data].astype(np.float32) # (H, W, B) self.labels mat[gt].astype(np.int64) # (H, W) self.transform transform # 只保留有标注的像素坐标0 视为未标注 self.coords np.argwhere(self.labels 0) def __len__(self): return len(self.coords) def __getitem__(self, idx): row, col self.coords[idx] # 取单个像素的光谱向量形状 (B,) spectrum self.data[row, col, :] label self.labels[row, col] - 1 # 标签从 0 开始 spectrum torch.from_numpy(spectrum) if self.transform: spectrum self.transform(spectrum) return spectrum, torch.tensor(label, dtypetorch.long)逻辑上__init__里一次性把整个数据立方体读进内存coords记录所有有效像素的位置__len__返回的是有效像素数而不是图像像素总数。__getitem__按坐标取光谱向量标签减 1 是因为原始标注通常从 1 开始编号而 PyTorch 的CrossEntropyLoss要求类别索引从 0 开始。参数transform留成可调用对象方便后面接归一化或数据增强。patch 版本在此基础上多一步切片class PatchDataset(Dataset): def __init__(self, data_path, patch_size11): mat sio.loadmat(data_path) self.data mat[data].astype(np.float32) self.labels mat[gt].astype(np.int64) self.patch_size patch_size self.half patch_size // 2 self.coords np.argwhere(self.labels 0) def __len__(self): return len(self.coords) def __getitem__(self, idx): row, col self.coords[idx] # 边界处用 0 填充保证 patch 尺寸固定 padded np.pad( self.data, ((self.half, self.half), (self.half, self.half), (0, 0)), modeconstant ) patch padded[row:row self.patch_size, col:col self.patch_size, :] # 转成 (B, p, p)符合 PyTorch 卷积的通道优先约定 patch np.transpose(patch, (2, 0, 1)) label self.labels[row, col] - 1 return torch.from_numpy(patch), torch.tensor(label, dtypetorch.long)这里的关键是np.pad和np.transpose。高光谱数据是通道在后而 PyTorch 的Conv2d要求通道在前所以必须转置成(B, p, p)。patch_size一般取奇数11、13、15 都常见取奇数是为了让中心像素正好落在 patch 正中。边界像素用 0 填充是常见做法也有用镜像填充的区别在于边缘样本的分布是否自然这个后面在避坑章节展开。2.3 DataLoader 的批次组装与多进程读取Dataset只负责单个样本真正把样本拼成批次的是DataLoader。高光谱数据读取慢num_workers设成大于 0 能明显提速但要注意 Windows 下的多进程限制。from torch.utils.data import DataLoader, random_split dataset PatchDataset(data/xxx.mat, patch_size11) # 按 8:2 划分训练集和验证集 train_size int(0.8 * len(dataset)) val_size len(dataset) - train_size train_set, val_set random_split(dataset, [train_size, val_size]) train_loader DataLoader( train_set, batch_size64, shuffleTrue, # 训练集打乱验证集不打乱 num_workers4, # 子进程数按 CPU 核数调整 pin_memoryTrue, # 锁页内存加速 CPU 到 GPU 的拷贝 drop_lastTrue # 丢弃最后一个不满批次避免 BatchNorm 抖动 ) val_loader DataLoader(val_set, batch_size64, shuffleFalse, num_workers4)参数逐个说batch_size受显存限制patch 尺寸 11、200 波段时64 一般够用shuffleTrue只在训练集开验证集打乱会让指标波动num_workers不是越大越好超过 CPU 物理核数反而因为进程切换变慢pin_memoryTrue配合.cuda()使用才有意义drop_lastTrue在样本数不能被批次整除时避免最后一个批次过小影响批归一化统计。这套配置跑起来训练循环里拿到的就是(64, 200, 11, 11)的张量直接喂给卷积网络即可。3. 训练循环接入让 DataLoader 真正跑起来3.1 一个最小可运行的训练骨架数据管道搭好后要验证它是否真的能驱动训练。我习惯先写一个极简训练循环不追求精度只确认张量形状、标签范围、损失是否下降。import torch.nn as nn import torch.optim as optim device torch.device(cuda if torch.cuda.is_available() else cpu) # 一个极简的 3D 卷积分类器仅用于验证数据管道 class TinyNet(nn.Module): def __init__(self, in_bands, num_classes): super().__init__() self.conv nn.Conv3d(1, 16, kernel_size3, padding1) self.pool nn.AdaptiveAvgPool3d(1) self.fc nn.Linear(16, num_classes) def forward(self, x): # x: (B, C, H, W) - (B, 1, C, H, W) x x.unsqueeze(1) x torch.relu(self.conv(x)) x self.pool(x).flatten(1) return self.fc(x) model TinyNet(in_bands200, num_classes16).to(device) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr1e-3) for epoch in range(5): model.train() for patches, labels in train_loader: patches, labels patches.to(device), labels.to(device) optimizer.zero_grad() logits model(patches) loss criterion(logits, labels) loss.backward() optimizer.step() print(fepoch {epoch}, loss {loss.item():.4f})这段代码的重点不在网络而在数据流patches从DataLoader出来是(B, C, H, W)进网络前unsqueeze(1)补一个维度变成 3D 卷积需要的(B, 1, C, H, W)。num_classes要和标签最大值对齐标签范围错了会直接抛IndexError。跑通这五轮说明Dataset、DataLoader、设备搬运这条链路是通的后面换真正的网络结构只是替换TinyNet。3.2 归一化放在哪一层差别很大高光谱数据的数值范围因传感器而异有的反射率在 0 到 1 之间有的原始 DN 值到几千。归一化放错位置是常见翻车点。放在Dataset.__getitem__里每个样本单独算均值和方差样本间不一致放在DataLoader之后、进网络之前按批次算训练和推理行为不一致。我一般用训练集全局统计量在Dataset初始化时算好class NormalizedPatchDataset(PatchDataset): def __init__(self, data_path, patch_size11): super().__init__(data_path, patch_size) # 用所有有效像素算每个波段的均值和标准差 valid self.data[self.labels 0] # (N, B) self.mean valid.mean(axis0) # (B,) self.std valid.std(axis0) 1e-8 # 防止除零 def __getitem__(self, idx): patch, label super().__getitem__(idx) # patch: (B, p, p)按波段归一化 mean torch.from_numpy(self.mean).view(-1, 1, 1) std torch.from_numpy(self.std).view(-1, 1, 1) return (patch - mean) / std, labelview(-1, 1, 1)是把(B,)的统计量广播到(B, p, p)上逐波段减均值除标准差。1e-8是数值稳定项某些波段方差极小不加会出inf。统计量只用训练集算验证集和测试集复用同一组否则就是数据泄漏指标会虚高。3.3 用一个小脚本验证批次形状和标签分布正式训练前我习惯单独跑一段检查脚本把DataLoader的第一个批次打印出来确认形状、类型、标签范围都对。patches, labels next(iter(train_loader)) print(批次形状:, patches.shape) # 期望 (B, C, p, p) print(数据类型:, patches.dtype) # 期望 float32 print(标签范围:, labels.min().item(), labels.max().item()) print(标签分布:, torch.bincount(labels).tolist())形状不对多半是transpose漏了或者unsqueeze位置错了标签范围超出num_classes说明减 1 没做或者原始标签有异常值标签分布极度不均说明类别采样需要加权可以在DataLoader里加sampler。这一步花两分钟能省掉后面调半天损失不降的玄学排查。4. 避坑与排查高光谱 DataLoader 的五个血泪经验4.1 内存爆掉整图加载遇上大影像现象是程序刚启动就被系统杀掉或者报MemoryError。原因在__init__里把整个数据立方体读进内存几百波段、上千像素的影像轻松上 GB再乘上num_workers个子进程各自持有一份副本内存直接翻倍。解决办法有两个一是把num_workers降到 0 或 1牺牲速度换内存二是改成懒加载__init__只存文件路径和坐标__getitem__里用h5py或memmap按需读取。我一般选后者把数据预处理成 HDF5 格式读取时只取需要的 patch 区域。4.2 多进程在 Windows 下卡死现象是num_workers 0时程序挂起没有任何报错。原因是 Windows 用spawn方式启动子进程Dataset里的对象必须可序列化而且主模块要有if __name__ __main__:保护。解决方式是把训练入口包进main()函数并在文件顶部加保护如果Dataset里存了文件句柄或数据库连接也要改成在__getitem__里按需创建。Linux 下用fork不会遇到这个问题所以同一份代码换平台就翻车很典型。4.3 标签从 1 开始导致 CrossEntropyLoss 越界现象是训练第一步就报IndexError: Target X is out of bounds。原因是原始标注图里类别编号是 1 到 N而CrossEntropyLoss要求 0 到 N-1。解决方式是在__getitem__里统一减 1并且确认未标注像素通常是 0已经被coords过滤掉。如果数据里还有 255 这类无效值也要一并排除否则减 1 之后变成 254照样越界。4.4 归一化统计量用了全量数据现象是验证集精度高得离谱换测试集就崩。原因是归一化的均值和方差在包含验证集的全量数据上算的等于把测试信息泄漏进了训练。解决方式是严格只用训练集的有效像素算统计量验证集和测试集复用。划分数据集要在算统计量之前做顺序反了就是白算。4.5 patch 边界填充方式影响边缘样本现象是图像边缘的像素分类精度明显低于中心区域。原因是边界 patch 用 0 填充引入了大量非真实值网络在边缘学到的分布和中心不一致。解决方式可以改用镜像填充modereflect或者干脆在采样时丢弃距离边界小于half的像素。前者保留样本量后者更干净看任务对边缘精度的要求取舍。5. 二次开发把数据管道改造成自己的形状拿到这份代码后最常改的地方是数据格式适配和采样策略。如果手里的数据是 ENVI 格式而不是.mat把sio.loadmat换成spectral库或gdal读取即可Dataset的其余结构不用动因为对外暴露的只是self.data和self.labels两个数组。我一般会在__init__里加一个格式判断分支把读取逻辑抽成独立函数这样换数据源只改一处。采样策略上patch 版本默认对每个标注像素等概率采样类别不均衡时会让小类别被淹没。改造方式是实现一个WeightedRandomSampler按类别频率的倒数给每个样本赋权from torch.utils.data import WeightedRandomSampler # 统计每个类别的样本数 labels_all [dataset.labels[r, c] - 1 for r, c in dataset.coords] class_counts np.bincount(labels_all) # 每个样本的权重 其类别频率的倒数 sample_weights [1.0 / class_counts[label] for label in labels_all] sampler WeightedRandomSampler( weightssample_weights, num_sampleslen(sample_weights), replacementTrue # 有放回采样保证小类别被重复抽到 ) train_loader DataLoader(train_set, batch_size64, samplersampler, num_workers4)注意用了sampler就不能再设shuffleTrue两者互斥同时设会报错。replacementTrue是有放回采样小类别样本会被重复抽到代价是可能过拟合配合数据增强使用更稳。另一个常见改造是加数据增强。高光谱不能像 RGB 那样随便翻转因为波段间的物理意义固定但空间维度的随机翻转和旋转是安全的。我一般把增强写成Dataset的可选参数在__getitem__返回前对 patch 做torch.flip或torch.rot90标签不变。验证集和测试集必须关掉增强这个开关要显式传参不能靠全局变量否则很容易在评估时忘了关。最后说一个验证改造是否正确的习惯每次改完数据管道先跑一遍第 3 章那个检查脚本确认批次形状、标签范围、归一化后的数值分布均值接近 0、标准差接近 1都对再开训练。有次我图省事跳过了这步结果归一化维度广播错了训练了三个小时 loss 纹丝不动回头查才发现是view的维度写反了。从那以后我每次动Dataset都强制先过一遍形状检查希望这个习惯也能帮到你。本文还有配套的精品资源点击获取
简介面向使用 PyTorch 做深度学习、需要处理高光谱图像HSI的开发者与学习者这份资源聚焦一个核心痛点如何用 DataLoader 高效加载与预处理数百乃至上千光谱通道的高光谱数据。包内共 7 个文件以 3 个 py 脚本为主辅以 2 个 pyc 编译文件与 2 个 mat 数据文件压缩包约 5.69MB体量轻便便于直接运行与二次修改。内容围绕自定义 Dataset 类展开涵盖数据读取、归一化等预处理、批大小设置、多线程加载、随机打乱与数据增强、pin_memory 加速以及自定义 collate_fn 等关键环节并配有 IndianPines 训练脚本与工具模块可帮助读者快速搭建从数据到模型输入的完整链路理解高光谱数据加载中的内存与效率权衡。目前已有 613 人学习适合希望少走弯路、直接复用可运行代码的实践者参考。1. 高光谱数据加载这件事为什么值得单独拆一遍第一次接手高光谱分类任务时我以为最麻烦的是模型结构结果真正卡住进度的是数据读取。高光谱影像一个样本动辄几百个波段文件格式还分.mat、.tif、.hdr好几套直接往Dataset里塞numpy数组训练两轮就内存爆掉换成懒加载又在__getitem__里反复读盘GPU 利用率低得可怜。这个项目要解决的就是这件事用 PyTorch 的Dataset和DataLoader把高光谱数据组织成可迭代的批次让训练循环拿到的是规整的(B, C, H, W)张量而不是一堆散落的原始文件。适合正在做高光谱分类、目标检测或者手里有一批.mat标注数据、想接进 PyTorch 训练流程的开发者。下面按「数据长什么样 → 怎么封装 → 怎么调参 → 怎么改」的顺序拆。2. 数据组织与 Dataset 封装从原始文件到可迭代批次2.1 先看清高光谱数据的形状和存储方式高光谱数据和普通 RGB 图像最大的差别在通道维度。一张 RGB 图是(3, H, W)高光谱影像常见的是(H, W, B)B 从几十到几百不等比如某公开数据集是 145×145 空间尺寸、200 个波段。存储上学术数据集多用 MATLAB 的.mat文件里面通常有两个变量一个是数据立方体一个是地物标注的标签图ground truth。工程里也有用 ENVI 格式的一个二进制数据文件配一个.hdr头文件描述波段数和数据类型。我一般会先写个脚本把数据摸清楚而不是直接开写Datasetimport scipy.io as sio import numpy as np # 读取 .mat 文件先看里面有哪些变量 mat sio.loadmat(data/xxx.mat) for key, value in mat.items(): if not key.startswith(__): # 跳过 MATLAB 元信息字段 print(key, type(value), getattr(value, shape, None)) # 假设数据变量叫 data标签变量叫 gt data mat[data].astype(np.float32) # (H, W, B) gt mat[gt].astype(np.int64) # (H, W)0 表示未标注 print(波段数:, data.shape[-1], 类别数:, len(np.unique(gt)) - 1)这段代码的作用是确认三件事数据立方体的维度顺序、标签图的取值范围、未标注像素用什么值表示。参数上astype(np.float32)是为了后续归一化和送进网络时避免类型转换开销gt转成整型是因为它要当分类标签用。很多.mat文件里标签是uint8直接拿去算交叉熵会报类型不匹配这个坑后面还会提。2.2 Dataset 的两种写法整图加载和 patch 采样高光谱分类有两种主流输入方式。一种是整图输入把(H, W, B)整个送进网络适合全卷积结构另一种是 patch 采样以每个标注像素为中心切一个p×p的小块适合 CNN 分类器。项目里更常见的是后者因为整图输入对显存要求高而且标注像素往往只占一小部分。先看整图版本的Dataset结构最直白import torch from torch.utils.data import Dataset class HyperspectralDataset(Dataset): def __init__(self, data_path, transformNone): mat sio.loadmat(data_path) self.data mat[data].astype(np.float32) # (H, W, B) self.labels mat[gt].astype(np.int64) # (H, W) self.transform transform # 只保留有标注的像素坐标0 视为未标注 self.coords np.argwhere(self.labels 0) def __len__(self): return len(self.coords) def __getitem__(self, idx): row, col self.coords[idx] # 取单个像素的光谱向量形状 (B,) spectrum self.data[row, col, :] label self.labels[row, col] - 1 # 标签从 0 开始 spectrum torch.from_numpy(spectrum) if self.transform: spectrum self.transform(spectrum) return spectrum, torch.tensor(label, dtypetorch.long)逻辑上__init__里一次性把整个数据立方体读进内存coords记录所有有效像素的位置__len__返回的是有效像素数而不是图像像素总数。__getitem__按坐标取光谱向量标签减 1 是因为原始标注通常从 1 开始编号而 PyTorch 的CrossEntropyLoss要求类别索引从 0 开始。参数transform留成可调用对象方便后面接归一化或数据增强。patch 版本在此基础上多一步切片class PatchDataset(Dataset): def __init__(self, data_path, patch_size11): mat sio.loadmat(data_path) self.data mat[data].astype(np.float32) self.labels mat[gt].astype(np.int64) self.patch_size patch_size self.half patch_size // 2 self.coords np.argwhere(self.labels 0) def __len__(self): return len(self.coords) def __getitem__(self, idx): row, col self.coords[idx] # 边界处用 0 填充保证 patch 尺寸固定 padded np.pad( self.data, ((self.half, self.half), (self.half, self.half), (0, 0)), modeconstant ) patch padded[row:row self.patch_size, col:col self.patch_size, :] # 转成 (B, p, p)符合 PyTorch 卷积的通道优先约定 patch np.transpose(patch, (2, 0, 1)) label self.labels[row, col] - 1 return torch.from_numpy(patch), torch.tensor(label, dtypetorch.long)这里的关键是np.pad和np.transpose。高光谱数据是通道在后而 PyTorch 的Conv2d要求通道在前所以必须转置成(B, p, p)。patch_size一般取奇数11、13、15 都常见取奇数是为了让中心像素正好落在 patch 正中。边界像素用 0 填充是常见做法也有用镜像填充的区别在于边缘样本的分布是否自然这个后面在避坑章节展开。2.3 DataLoader 的批次组装与多进程读取Dataset只负责单个样本真正把样本拼成批次的是DataLoader。高光谱数据读取慢num_workers设成大于 0 能明显提速但要注意 Windows 下的多进程限制。from torch.utils.data import DataLoader, random_split dataset PatchDataset(data/xxx.mat, patch_size11) # 按 8:2 划分训练集和验证集 train_size int(0.8 * len(dataset)) val_size len(dataset) - train_size train_set, val_set random_split(dataset, [train_size, val_size]) train_loader DataLoader( train_set, batch_size64, shuffleTrue, # 训练集打乱验证集不打乱 num_workers4, # 子进程数按 CPU 核数调整 pin_memoryTrue, # 锁页内存加速 CPU 到 GPU 的拷贝 drop_lastTrue # 丢弃最后一个不满批次避免 BatchNorm 抖动 ) val_loader DataLoader(val_set, batch_size64, shuffleFalse, num_workers4)参数逐个说batch_size受显存限制patch 尺寸 11、200 波段时64 一般够用shuffleTrue只在训练集开验证集打乱会让指标波动num_workers不是越大越好超过 CPU 物理核数反而因为进程切换变慢pin_memoryTrue配合.cuda()使用才有意义drop_lastTrue在样本数不能被批次整除时避免最后一个批次过小影响批归一化统计。这套配置跑起来训练循环里拿到的就是(64, 200, 11, 11)的张量直接喂给卷积网络即可。3. 训练循环接入让 DataLoader 真正跑起来3.1 一个最小可运行的训练骨架数据管道搭好后要验证它是否真的能驱动训练。我习惯先写一个极简训练循环不追求精度只确认张量形状、标签范围、损失是否下降。import torch.nn as nn import torch.optim as optim device torch.device(cuda if torch.cuda.is_available() else cpu) # 一个极简的 3D 卷积分类器仅用于验证数据管道 class TinyNet(nn.Module): def __init__(self, in_bands, num_classes): super().__init__() self.conv nn.Conv3d(1, 16, kernel_size3, padding1) self.pool nn.AdaptiveAvgPool3d(1) self.fc nn.Linear(16, num_classes) def forward(self, x): # x: (B, C, H, W) - (B, 1, C, H, W) x x.unsqueeze(1) x torch.relu(self.conv(x)) x self.pool(x).flatten(1) return self.fc(x) model TinyNet(in_bands200, num_classes16).to(device) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr1e-3) for epoch in range(5): model.train() for patches, labels in train_loader: patches, labels patches.to(device), labels.to(device) optimizer.zero_grad() logits model(patches) loss criterion(logits, labels) loss.backward() optimizer.step() print(fepoch {epoch}, loss {loss.item():.4f})这段代码的重点不在网络而在数据流patches从DataLoader出来是(B, C, H, W)进网络前unsqueeze(1)补一个维度变成 3D 卷积需要的(B, 1, C, H, W)。num_classes要和标签最大值对齐标签范围错了会直接抛IndexError。跑通这五轮说明Dataset、DataLoader、设备搬运这条链路是通的后面换真正的网络结构只是替换TinyNet。3.2 归一化放在哪一层差别很大高光谱数据的数值范围因传感器而异有的反射率在 0 到 1 之间有的原始 DN 值到几千。归一化放错位置是常见翻车点。放在Dataset.__getitem__里每个样本单独算均值和方差样本间不一致放在DataLoader之后、进网络之前按批次算训练和推理行为不一致。我一般用训练集全局统计量在Dataset初始化时算好class NormalizedPatchDataset(PatchDataset): def __init__(self, data_path, patch_size11): super().__init__(data_path, patch_size) # 用所有有效像素算每个波段的均值和标准差 valid self.data[self.labels 0] # (N, B) self.mean valid.mean(axis0) # (B,) self.std valid.std(axis0) 1e-8 # 防止除零 def __getitem__(self, idx): patch, label super().__getitem__(idx) # patch: (B, p, p)按波段归一化 mean torch.from_numpy(self.mean).view(-1, 1, 1) std torch.from_numpy(self.std).view(-1, 1, 1) return (patch - mean) / std, labelview(-1, 1, 1)是把(B,)的统计量广播到(B, p, p)上逐波段减均值除标准差。1e-8是数值稳定项某些波段方差极小不加会出inf。统计量只用训练集算验证集和测试集复用同一组否则就是数据泄漏指标会虚高。3.3 用一个小脚本验证批次形状和标签分布正式训练前我习惯单独跑一段检查脚本把DataLoader的第一个批次打印出来确认形状、类型、标签范围都对。patches, labels next(iter(train_loader)) print(批次形状:, patches.shape) # 期望 (B, C, p, p) print(数据类型:, patches.dtype) # 期望 float32 print(标签范围:, labels.min().item(), labels.max().item()) print(标签分布:, torch.bincount(labels).tolist())形状不对多半是transpose漏了或者unsqueeze位置错了标签范围超出num_classes说明减 1 没做或者原始标签有异常值标签分布极度不均说明类别采样需要加权可以在DataLoader里加sampler。这一步花两分钟能省掉后面调半天损失不降的玄学排查。4. 避坑与排查高光谱 DataLoader 的五个血泪经验4.1 内存爆掉整图加载遇上大影像现象是程序刚启动就被系统杀掉或者报MemoryError。原因在__init__里把整个数据立方体读进内存几百波段、上千像素的影像轻松上 GB再乘上num_workers个子进程各自持有一份副本内存直接翻倍。解决办法有两个一是把num_workers降到 0 或 1牺牲速度换内存二是改成懒加载__init__只存文件路径和坐标__getitem__里用h5py或memmap按需读取。我一般选后者把数据预处理成 HDF5 格式读取时只取需要的 patch 区域。4.2 多进程在 Windows 下卡死现象是num_workers 0时程序挂起没有任何报错。原因是 Windows 用spawn方式启动子进程Dataset里的对象必须可序列化而且主模块要有if __name__ __main__:保护。解决方式是把训练入口包进main()函数并在文件顶部加保护如果Dataset里存了文件句柄或数据库连接也要改成在__getitem__里按需创建。Linux 下用fork不会遇到这个问题所以同一份代码换平台就翻车很典型。4.3 标签从 1 开始导致 CrossEntropyLoss 越界现象是训练第一步就报IndexError: Target X is out of bounds。原因是原始标注图里类别编号是 1 到 N而CrossEntropyLoss要求 0 到 N-1。解决方式是在__getitem__里统一减 1并且确认未标注像素通常是 0已经被coords过滤掉。如果数据里还有 255 这类无效值也要一并排除否则减 1 之后变成 254照样越界。4.4 归一化统计量用了全量数据现象是验证集精度高得离谱换测试集就崩。原因是归一化的均值和方差在包含验证集的全量数据上算的等于把测试信息泄漏进了训练。解决方式是严格只用训练集的有效像素算统计量验证集和测试集复用。划分数据集要在算统计量之前做顺序反了就是白算。4.5 patch 边界填充方式影响边缘样本现象是图像边缘的像素分类精度明显低于中心区域。原因是边界 patch 用 0 填充引入了大量非真实值网络在边缘学到的分布和中心不一致。解决方式可以改用镜像填充modereflect或者干脆在采样时丢弃距离边界小于half的像素。前者保留样本量后者更干净看任务对边缘精度的要求取舍。5. 二次开发把数据管道改造成自己的形状拿到这份代码后最常改的地方是数据格式适配和采样策略。如果手里的数据是 ENVI 格式而不是.mat把sio.loadmat换成spectral库或gdal读取即可Dataset的其余结构不用动因为对外暴露的只是self.data和self.labels两个数组。我一般会在__init__里加一个格式判断分支把读取逻辑抽成独立函数这样换数据源只改一处。采样策略上patch 版本默认对每个标注像素等概率采样类别不均衡时会让小类别被淹没。改造方式是实现一个WeightedRandomSampler按类别频率的倒数给每个样本赋权from torch.utils.data import WeightedRandomSampler # 统计每个类别的样本数 labels_all [dataset.labels[r, c] - 1 for r, c in dataset.coords] class_counts np.bincount(labels_all) # 每个样本的权重 其类别频率的倒数 sample_weights [1.0 / class_counts[label] for label in labels_all] sampler WeightedRandomSampler( weightssample_weights, num_sampleslen(sample_weights), replacementTrue # 有放回采样保证小类别被重复抽到 ) train_loader DataLoader(train_set, batch_size64, samplersampler, num_workers4)注意用了sampler就不能再设shuffleTrue两者互斥同时设会报错。replacementTrue是有放回采样小类别样本会被重复抽到代价是可能过拟合配合数据增强使用更稳。另一个常见改造是加数据增强。高光谱不能像 RGB 那样随便翻转因为波段间的物理意义固定但空间维度的随机翻转和旋转是安全的。我一般把增强写成Dataset的可选参数在__getitem__返回前对 patch 做torch.flip或torch.rot90标签不变。验证集和测试集必须关掉增强这个开关要显式传参不能靠全局变量否则很容易在评估时忘了关。最后说一个验证改造是否正确的习惯每次改完数据管道先跑一遍第 3 章那个检查脚本确认批次形状、标签范围、归一化后的数值分布均值接近 0、标准差接近 1都对再开训练。有次我图省事跳过了这步结果归一化维度广播错了训练了三个小时 loss 纹丝不动回头查才发现是view的维度写反了。从那以后我每次动Dataset都强制先过一遍形状检查希望这个习惯也能帮到你。本文还有配套的精品资源点击获取
