简介面向小样本学习方向的学习者与研究者这份 PyTorch 实现对应 Prototypical Networks 论文思路可用于理解原型网络在少样本分类中的建模方式并作为课程实验、课题复现或算法入门的参考代码。压缩包共 12 个文件、约 135KB以 7 个 Python 脚本为主体覆盖数据读取、批采样、原型网络结构、损失函数与训练流程另含 2 张示意图、README 说明、许可证及忽略配置目录按源码与文档图像分区便于把握项目组织、依赖关系与运行前提。已有 920 人学习或下载。读者可据此梳理从样本组织、类别原型计算到度量分类的完整链路结合说明与示意图理解各模块职责并在其基础上进行数据集替换、参数调整和对比实验进一步观察训练过程与结果变化内容更适合具备一定 PyTorch 基础、希望把少样本学习理论落到代码实践的人群。1. 每类只有五六张图还要认出新类这套 PyTorch 原型网络解决的就是这件事手上只有每类五六张标注图却要模型分出二十个从没见过的类——这种活交给常规的 ResNet 微调方案基本无法完成几百个 step 下来模型就把这几张图记下来了换到新类立刻回到底层。这个基于 PyTorch 的 Prototypical Networks 实现处理的是另一类问题它不学“怎么分类”学的是“怎么比较”。训练阶段每次喂进去的都是一个模拟的小样本任务模型反复练习“看几张样本、把查询图归到最近的类”学到的是一个可迁移的嵌入空间。它适合三类人要快速拿到 few-shot 基线的算法工程师、课程设计或毕设要做小样本分类的学生、以及想在自己的工业小数据集上试试“没几张嘴脸也能分类”的从业者。代价是它只解决闭集分类且强依赖类别可分性——这两条边界后面会反复提到。2. 原型网络的数学骨架episode 采样、类均值与负距离判决2.1 为什么 few-shot 必须换成 episode 的训练范式常规图像分类的训练逻辑是准备一个固定类别集合比如 1000 类每个 batch 从里面抽图交叉熵回传模型逐步把“猫”“狗”“车”这些具体类别的判别边界刻进参数里。问题在于一旦测试集换成训练时没出现过的类这套参数里关于“猫长什么样”的知识一点都用不上——它压根没学过“怎么根据少量样本判断一个陌生类”。few-shot 的设定把这件事挑明了测试时给你 N 个新类每类只给 K 张带标签的支持样本support然后要你对查询样本query分类。N 通常取 5K 取 1 或 5所以叫 5-way 1-shot、5-way 5-shot。关键约束是测试用到的类训练时一张图都不能出现。episode 训练就是为了对齐这个约束。每个 episode 单独采样从当前可用的类别池里随机抽 N 个类每类抽 K 张当 support、再抽若干张当 query组成一个完整的“迷你任务”。模型在这个任务上算损失、更新参数然后丢掉下一个 episode 重新抽一批类。这样模型见到的不是某一批固定类别而是成千上万个结构相同的小任务它被逼着学“距离度量”而不是“类别记忆”。这里有个容易被忽略的细节episode 内部的类别标签必须从 0 重新编号到 N-1。因为模型输出的永远是 N 类 logits它不认识“第 137 号类别”这种全局 id。第 5 章第一条踩坑记录说的就是这个。2.2 类原型一次前向里到底算了什么原型网络的核心只有一个公式。设嵌入函数为 f_φ一个卷积主干输出 D 维向量第 k 类的原型 c_k 就是该类所有 support 样本嵌入的均值c_k (1 / |S_k|) · Σ f_φ(x_i)其中 x_i 属于第 k 类的 support 集合对每个 query 样本 x计算它到所有原型的距离 d(f_φ(x), c_k)把负距离送进 softmax得到属于第 k 类的概率1-shot 时每类只有一张 support均值退化成它本身整个算法就变成最近邻。5-shot 时均值起到降噪作用一张脏样本不至于把原型拽飞——这也是原型网络在 5-shot 上提升明显、1-shot 提升有限的原因。距离函数这块有个反直觉的结论论文里用的是平方欧氏距离不是余弦相似度。原因是平方欧氏距离展开后等价于在嵌入层后接一个线性解码器而余弦距离丢掉了模长信息在 few-shot 上实测更差。我自己的经验也一致换成 cosine 之后 miniImageNet 5-way 5-shot 会掉三到五个点除非你额外学一个温度系数。还有一个符号问题必须说清楚距离越小表示越相似但 softmax 要的是“分数越大越可能”。所以送进 cross_entropy 的 logits 必须是负距离-d不能是d。这一条我在别人的代码里见过不止一次写反表现是 loss 一路往上爬怎么调学习率都没用。2.3 为什么先上原型网络而不是 MAML 或匹配网络同一个问题上常见的三个候选是原型网络、匹配网络Matching Networks和 MAML。选型的现实理由是这样的MAML 要算二阶梯度或做一阶近似训练图复杂、显存开销大超参对学习率和内循环步数极其敏感调不通的时候你很难判断是内循环坏了还是外循环坏了。匹配网络需要一个双向 LSTM 或 attention 做“上下文编码”把整个 support 集合的信息融进每个样本的表示里结构重、推理时不好做增量。原型网络没有引入任何额外参数——没有注意力、没有元学习器、没有内循环就是一个主干加一个均值参数量和普通分类网络一模一样。这意味着 debug 成本极低。你完全可以先把嵌入维度、距离函数、评估协议这些“外围变量”固定住逐项对比出了问题也容易二分定位——是采样错了、是标签错了、还是主干容量不够。对于要在一两周内交出可用基线的场景这个可调试性比多一两个点的精度值钱得多。精度侧也有参考论文给出的 5-way 5-shot 结果Omniglot 上接近 99%miniImageNet 上 1-shot 约 49%、5-shot 约 68%30-way 15-shot 训练口径。这些数字可以当验收线用但别当硬指标——你换主干、换归一化方式、换 episode 数量浮动三五个点是正常的。3. 把仓库跑起来环境、数据划分与第一个可复现 episode3.1 环境和依赖三个包足够别急着装一整套这个实现依赖很轻PyTorch torchvision 就够跑加 numpy 和 tqdm 做日志。我一般不推荐上来就装一整套实验管理框架小样本这块的实验变量本来就少先把最小闭环跑通更重要。# 建一个干净环境别在系统 Python 里折腾 python -m venv .venv source .venv/bin/activate # Windows 用 .venv\Scripts\activate # 先按自己机器的 CUDA 版本去官方索引页选对应的 wheel # 直接 pip install torch 很容易撞上 CPU 版训练会慢一个数量级 pip install torch torchvision pip install numpy tqdm装完先做一次自检确认 GPU 能用、版本对得上别等到训练跑了十分钟才发现用的是 CPUimport torch print(torch:, torch.__version__) print(cuda available:, torch.cuda.is_available()) print(device count:, torch.cuda.device_count()) if torch.cuda.is_available(): print(device name:, torch.cuda.get_device_name(0))cuda available为 False 时先别改代码去查驱动和 wheel 版本是否匹配。这一步省下来的是后面几个小时的困惑。3.2 数据目录与 split把“见过的类”和“没见过的类”彻底隔开以 Omniglot 为例它的目录结构是alphabet/character/stroke.png两层目录才定位到一个类。取类别键的时候必须带上字母表前缀因为不同字母表下可能都有编号相同的字符只用 character 名会撞。from pathlib import Path import random, json def list_classes(root): Omniglot 的类别键是 alphabet/character不能只用 character 名 out [] for alphabet in sorted(Path(root).iterdir()): if not alphabet.is_dir(): continue for ch in sorted(alphabet.iterdir()): if ch.is_dir(): out.append(str(ch.relative_to(root))) return out train_pool list_classes(data/omniglot/images_background) test_pool list_classes(data/omniglot/images_evaluation) random.seed(0) random.shuffle(train_pool) # 从训练池里再切一部分做验证验证类也必须和训练类不相交 n len(train_pool) val_cls train_pool[: n // 8] train_cls train_pool[n // 8 :] print(len(train_cls), len(val_cls), len(test_pool)) json.dump({train: train_cls, val: val_cls, test: test_pool}, open(splits.json, w), ensure_asciiFalse, indent2)三个池子的职责要分清train_cls只用来采训练 episodeval_cls只用来做模型选择和早停test_cls只在最后跑一次。最常见的自欺欺人做法是拿训练类去验证准确率能虚高十几个点然后上线一塌糊涂。切分结果存成 json 落盘后面所有脚本都读同一份避免“我这边跑出来和你不一样”。3.3 第一个 episode从索引到张量的完整走通采样器是整个流程里最容易写错的一环。先写一个按类别索引的采样器注意它每次 yield 的是两组(索引, 局部标签)import random from collections import defaultdict class EpisodeSampler: def __init__(self, labels, n_way, k_shot, n_query, n_episode, seed0): self.cls_to_idx defaultdict(list) for i, y in enumerate(labels): self.cls_to_idx[y].append(i) self.classes list(self.cls_to_idx.keys()) self.n_way, self.k_shot n_way, k_shot self.n_query, self.n_episode n_query, n_episode self.rng random.Random(seed) def __len__(self): return self.n_episode def __iter__(self): for _ in range(self.n_episode): picked self.rng.sample(self.classes, self.n_way) s_idx, s_y, q_idx, q_y [], [], [], [] for local_label, c in enumerate(picked): # 关键重映射成 0..N-1 pool self.cls_to_idx[c] need self.k_shot self.n_query # 类别样本不足时允许重复采样1-shot 少数类常见 take self.rng.sample(pool, need) if len(pool) need \ else [self.rng.choice(pool) for _ in range(need)] s_idx take[: self.k_shot] s_y [local_label] * self.k_shot q_idx take[self.k_shot :] q_y [local_label] * self.n_query yield (s_idx, s_y), (q_idx, q_y)local_label那行是核心不管原始类别 id 是多少进了这个 episode 一律变成 0 到 N-1。take那段分支是给样本数不足 KQ 的类兜底的Omniglot 每类 20 张一般够用换成自有数据集经常不够没有这个兜底会直接抛ValueError。配套的数据容器为了速度我一般把整份数据集预加载成一个 uint8 张量放在内存里Omniglot 灰度 28×28三万多张也就几十兆训练时再按索引取、转 float、归一化import torch from PIL import Image import numpy as np def load_all(paths, size28): 一次性读进内存返回 [M,1,H,W] 的 uint8 张量 buf np.zeros((len(paths), 1, size, size), dtypenp.uint8) for i, p in enumerate(paths): img Image.open(p).convert(L).resize((size, size)) buf[i, 0] np.array(img) return torch.from_numpy(buf) def to_float(x): # 训练/推理必须用同一套归一化这里统一到 [-1,1] return x.float().div(255.0).sub(0.5).div(0.5)load_all的size参数要和主干网络匹配28 对应 Omniglot84 对应 miniImageNet。to_float里那套sub(0.5).div(0.5)是固定约定验证和测试阶段必须复用同一个函数不要在测试脚本里手写一套新归一化——这是“训练明明好了测试却崩”的高频原因。3.4 主干网络28×28 和 84×84 是两套写法Omniglot 用的主干很浅四个conv-bn-relu-maxpool块每块 64 通道28×28 进、1×1 出展平正好 64 维import torch.nn as nn import torch.nn.functional as F class ConvBlock(nn.Module): def __init__(self, in_c, out_c): super().__init__() self.conv nn.Conv2d(in_c, out_c, 3, padding1, biasFalse) self.bn nn.BatchNorm2d(out_c) def forward(self, x): # 28 - 14 - 7 - 3 - 1四次池化后展平维度正好 64 return F.max_pool2d(F.relu(self.bn(self.conv(x))), 2) class OmniglotEmbedding(nn.Module): def __init__(self, emb_dim64): super().__init__() self.body nn.Sequential( ConvBlock(1, 64), ConvBlock(64, 64), ConvBlock(64, 64), ConvBlock(64, 64), ) self.emb_dim emb_dim def forward(self, x): return self.body(x).flatten(1)biasFalse是因为后面紧跟 BN偏置会被减掉留着纯属浪费参数。展平后是 64 维这个维度不算大但在这个任务上够用——嵌入维度不是越大越好加到 256 而 episode 只有 5 类时反而更容易过拟合到训练类的纹理上。直接把这个主干套到 84×84 的 miniImageNet 上会出问题四次 stride-2 池化把 84 压到 5×5再压下去信息丢得太狠。84 尺寸我一般只用三次池化最后接AdaptiveAvgPool2d(1)或者干脆换 ResNet-12 这类更深的骨干。这个差异在第 5 章第 5 条会展开。4. 训练循环与超参损失、优化器和评估协议的逐行拆解4.1 一次 episode 的完整前向从索引到 loss把前面几块拼起来单个 episode 的计算就是一个函数。这里我习惯把 support 和 query 拼成一次前向理由是让 BN 的 batch 统计覆盖整个 episode比分开前向稳定def run_episode(model, images, support, query, n_way, device): s_idx, s_y support q_idx, q_y query s_x to_float(images[s_idx]).to(device) q_x to_float(images[q_idx]).to(device) s_y torch.as_tensor(s_y, devicedevice) q_y torch.as_tensor(q_y, devicedevice) # 拼一次前向BN 统计覆盖 support query feats model(torch.cat([s_x, q_x], dim0)) s_f, q_f feats[: len(s_x)], feats[len(s_x) :] # 类原型 该类 support 嵌入的均值顺序严格按 0..N-1 protos torch.stack([s_f[s_y c].mean(0) for c in range(n_way)]) # 负的平方欧氏距离千万别忘了这个负号 dist torch.cdist(q_f, protos).pow(2) logits -dist loss F.cross_entropy(logits, q_y) acc (logits.argmax(1) q_y).float().mean().item() return loss, acc逐项说明。torch.cdist(q_f, protos)返回的是欧氏距离.pow(2)才得到论文口径的平方欧氏距离两步不能省。protos用列表推导按c in range(n_way)顺序堆叠保证第 c 个原型对应标签 c如果改成torch.unique(s_y)迭代顺序不一定稳定标签就会错位。logits -dist那行的负号是符号约定写反的表现见第 5 章。还有一点s_f[s_y c].mean(0)在 K1 时就是对单张图取均值结果等于它自己不需要额外分支。4.2 损失函数负距离直接进 cross_entropy别自己写 softmax很多人习惯性地写F.softmax(logits)再取 log或者自己实现-log(softmax)。没必要而且容易在数值稳定性上出问题。F.cross_entropy内部用的是 log-sum-exp 的稳定实现直接吃原始 logits 就行loss F.cross_entropy(logits, q_y) # logits -dist不要再套 softmax如果你确实想看清楚 softmax 在做什么等价写法是log_p F.log_softmax(-dist, dim1) # 正确先取负再 log_softmax loss F.nll_loss(log_p, q_y)注意log_softmax的输入仍然是-dist。写成-F.log_softmax(dist, 1)得到的不是同一个东西虽然单调方向对但归一化常数错了梯度尺度会变。温度系数是可选的logits -dist / tautau取 0.1 到 1 之间。嵌入维度越大、距离数值越分散时加温度能让 softmax 不至于饱和。我一般先在tau1下跑通再决定要不要加——加了就得一起调别两个变量同时动。4.3 超参表与训练循环骨架下面这张表是我实际用的起点左边 Omniglot、右边 miniImageNet训练侧和测试侧的 N-way K-shot 是两套值别混用参数Omniglot 常用值miniImageNet 常用值说明训练 n_way6030训练类别数远大于测试的 5逼模型学度量训练 k_shot515与 query 数一起决定单个 episode 的样本量训练 n_query515太小梯度噪声大太大会拖慢单步测试 n_way / k_shot5 或 20 / 1 或 55 / 1 或 5报告结果时必须写清楚口径训练 episodes1 万2 万2 万3 万看 loss 曲线和验证曲线决定是否提前停优化器Adam, lr1e-3Adam, lr1e-3不要用 SGD小样本上收敛慢很多学习率衰减每 2000 episode ×0.5每 2 万 episode ×0.5阶梯衰减别用 cosine 一路降到底评估 episodes600600少于 200 个置信区间会宽到没意义训练循环本体import torch.optim as optim device cuda if torch.cuda.is_available() else cpu model OmniglotEmbedding().to(device) opt optim.Adam(model.parameters(), lr1e-3) sched_every, sched_gamma 2000, 0.5 train_sampler EpisodeSampler(train_labels, 60, 5, 5, n_episode20000, seed1) val_sampler EpisodeSampler(val_labels, 5, 5, 15, n_episode600, seed2) best_val 0.0 for step, (support, query) in enumerate(train_sampler, 1): model.train() loss, acc run_episode(model, images, support, query, 60, device) opt.zero_grad(set_to_noneTrue) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0) # 防止偶发爆炸 opt.step() if step % sched_every 0: for g in opt.param_groups: g[lr] * sched_gamma if step % 500 0: model.eval() with torch.no_grad(): vac [run_episode(model, images, s, q, 5, device)[1] for s, q in val_sampler] v sum(vac) / len(vac) print(fstep {step} loss {loss.item():.3f} train_acc {acc:.3f} fval_5way5shot {v:.4f} lr {opt.param_groups[0][lr]:.1e}) if v best_val: best_val v torch.save({model: model.state_dict(), step: step}, best.pt) model.train()几个位置值得盯。opt.zero_grad(set_to_noneTrue)比默认的置零稍快一点长期跑能省点时间。clip_grad_norm_在 1-shot 或者样本极少时很有用原型网络偶尔会因为某个 episode 的 support 全是很像的图导致梯度尖峰。验证用model.eval()torch.no_grad()验证完切回model.train()忘了切回去会让后续训练一直用 running stats曲线会变得莫名其妙。val_sampler用的是 5-way 5-shot 15-query和最终测试口径一致——验证口径和测试口径不一致早停选出来的模型未必是你要的那个。4.4 评估协议600 个 episode 和 95% 置信区间只报一个平均数在小样本上是不可信的因为不同 episode 的难度差异极大。标准做法是跑 600 个 episode报均值和 95% 置信区间import math def mean_ci(accs, z1.96): m sum(accs) / len(accs) var sum((a - m) ** 2 for a in accs) / (len(accs) - 1) half z * math.sqrt(var) / math.sqrt(len(accs)) return m, half torch.no_grad() def evaluate(model, images, labels, n_way, k_shot, n_query15, n_episode600): model.eval() sampler EpisodeSampler(labels, n_way, k_shot, n_query, n_episode, seed999) accs [run_episode(model, images, s, q, n_way, device)[1] for s, q in sampler] m, h mean_ci(accs) print(f{n_way}-way {k_shot}-shot: {m*100:.2f} ± {h*200:.2f}%) return m, h注意输出里乘的是h*200这是把半宽换成整段区间宽度的习惯写法如果你要报“均值 ± 半宽”就写h*100。不管用哪种写清楚别让人误解。seed999固定测试 episode 序列这样换模型对比时用的是同一批任务差异才可比。另外两个容易忽略的点测试时 query 数用 15 比用 5 更稳更多的查询样本摊平了单个 episode 的方差报告必须写清楚是 5-way 还是 20-way20-way 的准确率天然低一截混着报没有可比性。5. 五个翻车现场episode 训练里最容易踩空的排查清单5.1 训练 loss 掉到 0.01测试准确率却是随机水平现象训练日志里 loss 从 3 降到 0.01训练准确率 99%一到测试集 5-way 5-shot 只有 20% 出头正好是 1/5也就是随机猜。原因标签没做 episode 内重映射。support 和 query 用的还是原始类别 id比如 137、482、901而模型输出只有 5 个 logits。这时候cross_entropy要么直接报 index 越界要么在某些 id 恰好小于 n_way 的巧合下算出一个“看起来在降”的 loss——模型其实在学一个和当前任务无关的映射。训练集类别少的时候还容易蒙对类别一多立刻现原形。解决在EpisodeSampler里用enumerate(picked)生成 0 到 N-1 的局部标签support 和 query 共用同一套。写完立刻打印一个 episode 的sorted(set(s_y))和sorted(set(q_y))这两个集合必须都等于list(range(n_way))不相等就是采样器的问题先别往下走。5.2 同一个模型跑两次验证准确率差 8 个点现象不改任何代码重复跑两次5-way 5-shot 验证结果一次 62%一次 70%差距大到无法判断改动是否有效。原因有三层。第一验证 episode 数量太少只跑 50 个 episode 时标准差能到 2 个点以上均值的波动自然大。第二验证集和训练集类别有重叠验证分数被虚抬而且虚抬的幅度随采样随机变化。第三没有固定随机种子每次采样器、初始化、数据顺序都不同。解决验证集类别与训练集严格不相交从训练池里切出 1/8 单独存成 json验证 episode 提到 600 个并报 95% 置信区间给 sampler、模型初始化、数据增强各设一个独立的种子并记录到日志里。做完这三条同一配置重复跑的差异通常能压到 1 个点以内这时候再做对比实验才有意义。5.3 损失出现 NaN或者一路往上飙现象训练几百个 episode 后 loss 突然变 NaN或者从一开始就单调上升准确率永远卡在随机水平。原因最常见的是距离符号写反了。logits dist意味着“离得越远分数越高”模型会努力把所有样本推离所有原型loss 自然往上爬。其次是平方距离在嵌入维度大、特征未归一化时数值范围很大几千量级softmax 直接饱和梯度接近 0 或者反向溢出。第三是学习率给到 1e-2 以上配合 BN 在小 batch 上很容易发散。解决先确认符号logits必须是-dist再做数值检查打印一个 episode 的dist.min()和dist.max()正常应该在 0 到几十的量级上千就说明嵌入没有约束好可以加一层 L2 归一化或者引入温度系数tau最后把学习率降回 1e-3加clip_grad_norm_(params, 5.0)兜底。这三步按顺序做完NaN 基本绝迹。5.4 BatchNorm 让 1-shot 结果完全不可复现现象5-shot 结果挺稳切到 1-shot 准确率忽高忽低同一份权重跑两次评估能差五六个点。原因BatchNorm 在训练时用当前 batch 的统计量。如果 support 和 query 分两次前向第一次只过 K1 张图batch 统计几乎就是那张图自己的均值和方差等于把“被查询对象”的信息提前泄漏进了特征里。评估时如果忘了model.eval()用的仍然是 batch 统计而不是 running stats每次跑出来的结果都跟着 episode 组成变。解决support 和 query 拼成一次前向让 BN 的统计覆盖整个 episode第 4 章的run_episode就是这么写的评估函数开头强制model.eval()并用torch.no_grad()装饰器锁死如果 1-shot 依然抖考虑把 BN 换成 InstanceNorm 或 GroupNorm这两者不依赖 batch 统计代价是 5-shot 上可能掉零点几个点。5.5 换成 84×84 数据后准确率反而掉了 15 个点现象Omniglot 上跑到 99%换 miniImageNet 先改size84结果 5-way 5-shot 只有 50% 出头比论文低一截甚至不如 28 尺寸的模型。原因主干没跟着改。四个max_pool2d(2)把 84 压成 5×5再压到 2×2、1×1空间信息被过度压缩最后 64 维特征里几乎只剩全局颜色统计。另一个常见原因是归一化不一致训练用sub(0.5).div(0.5)测试脚本里图省事换了 ImageNet 的 mean/std分布偏移直接把精度打崩。还有一类是数据增强在测试阶段没关。解决84 尺寸的主干只做三次池化或者在第四个块后接AdaptiveAvgPool2d(1)再展平归一化统一走同一个to_float函数训练脚本和评估脚本 import 同一个模块评估时确认没有残留的随机裁剪和翻转。改完这些miniImageNet 5-way 5-shot 回到 65% 上下是比较正常的水平。6. 迁移到自有数据集三种最小改动和一套验收流程自有数据集上跑原型网络改动其实很小关键是别一次动太多变量。6.1 三种改动按代价从低到高第一种是只换数据。把图片整理成类别名/图片文件的两级目录list_classes直接读目录名当类别键重跑load_all就行。这时候唯一要检查的是每类样本数——低于k_shot n_query的类会被采样器的兜底分支反复取同一张图原型会退化建议把这类类别从池子里剔掉或者降低n_query。第二种是换主干。细粒度、纹理复杂的场景工业缺陷、医学影像用 64 维嵌入明显不够换成 ResNet-18 或 ResNet-12输出维度拉到 256 或 512同时把训练n_way从 5 提到 2030。类别数提上去之后每个 episode 的负样本更多嵌入空间被推开得更均匀这是我在小数据集上最稳定有效的一招通常能带来三到五个点的提升。第三种是加温度或换度量。数据量特别少每类不到 10 张时固定tau1容易让 softmax 饱和把tau设成可学习参数初始值 0.5让模型自己找尺度。代价是多了一个要调的量且不同种子间方差会变大务必配合下面这套验收流程。6.2 验收流程五个种子、置信区间、嵌入可视化我现在的固定动作是三步。第一步同一配置跑五个随机种子每次跑 600 个测试 episode报“五个种子的均值 ± 种子间标准差”而不是只报最好那一次。第二步把 support 和 query 的嵌入用 t-SNE 降维画出来看同一类的点是否聚成一团、不同类的团是否分开——如果团是散的说明嵌入没学好调超参没用得回去看数据划分。第三步做一次消融对照每次只改一个变量。检查项合格线不合格时先看哪里五个种子间标准差 1.5 个点学习率、episode 数量是否够测试集是否被污染类别完全不相交重查 splits.json 的生成逻辑t-SNE 类内聚合每类形成独立团嵌入维度、主干深度、归一化1-shot 与 5-shot 差距5-shot 明显更高BN 统计方式、support 是否泄漏最后说个我自己的习惯。这个负号我早期写反过一次训练了三小时 loss 一路涨还以为是学习率的问题换了三轮超参才发现是符号错了。从那以后我每次改完run_episode第一件事就是拿一个手工构造的 episode 跑一遍断言logits.max(dim1).indices必须等于q_y用一个故意好分的玩具数据loss必须小于log(n_way)。这个两行的自检比看曲线快得多几乎能拦住九成的实现级错误。希望帮到你。本文还有配套的精品资源点击获取
简介面向小样本学习方向的学习者与研究者这份 PyTorch 实现对应 Prototypical Networks 论文思路可用于理解原型网络在少样本分类中的建模方式并作为课程实验、课题复现或算法入门的参考代码。压缩包共 12 个文件、约 135KB以 7 个 Python 脚本为主体覆盖数据读取、批采样、原型网络结构、损失函数与训练流程另含 2 张示意图、README 说明、许可证及忽略配置目录按源码与文档图像分区便于把握项目组织、依赖关系与运行前提。已有 920 人学习或下载。读者可据此梳理从样本组织、类别原型计算到度量分类的完整链路结合说明与示意图理解各模块职责并在其基础上进行数据集替换、参数调整和对比实验进一步观察训练过程与结果变化内容更适合具备一定 PyTorch 基础、希望把少样本学习理论落到代码实践的人群。1. 每类只有五六张图还要认出新类这套 PyTorch 原型网络解决的就是这件事手上只有每类五六张标注图却要模型分出二十个从没见过的类——这种活交给常规的 ResNet 微调方案基本无法完成几百个 step 下来模型就把这几张图记下来了换到新类立刻回到底层。这个基于 PyTorch 的 Prototypical Networks 实现处理的是另一类问题它不学“怎么分类”学的是“怎么比较”。训练阶段每次喂进去的都是一个模拟的小样本任务模型反复练习“看几张样本、把查询图归到最近的类”学到的是一个可迁移的嵌入空间。它适合三类人要快速拿到 few-shot 基线的算法工程师、课程设计或毕设要做小样本分类的学生、以及想在自己的工业小数据集上试试“没几张嘴脸也能分类”的从业者。代价是它只解决闭集分类且强依赖类别可分性——这两条边界后面会反复提到。2. 原型网络的数学骨架episode 采样、类均值与负距离判决2.1 为什么 few-shot 必须换成 episode 的训练范式常规图像分类的训练逻辑是准备一个固定类别集合比如 1000 类每个 batch 从里面抽图交叉熵回传模型逐步把“猫”“狗”“车”这些具体类别的判别边界刻进参数里。问题在于一旦测试集换成训练时没出现过的类这套参数里关于“猫长什么样”的知识一点都用不上——它压根没学过“怎么根据少量样本判断一个陌生类”。few-shot 的设定把这件事挑明了测试时给你 N 个新类每类只给 K 张带标签的支持样本support然后要你对查询样本query分类。N 通常取 5K 取 1 或 5所以叫 5-way 1-shot、5-way 5-shot。关键约束是测试用到的类训练时一张图都不能出现。episode 训练就是为了对齐这个约束。每个 episode 单独采样从当前可用的类别池里随机抽 N 个类每类抽 K 张当 support、再抽若干张当 query组成一个完整的“迷你任务”。模型在这个任务上算损失、更新参数然后丢掉下一个 episode 重新抽一批类。这样模型见到的不是某一批固定类别而是成千上万个结构相同的小任务它被逼着学“距离度量”而不是“类别记忆”。这里有个容易被忽略的细节episode 内部的类别标签必须从 0 重新编号到 N-1。因为模型输出的永远是 N 类 logits它不认识“第 137 号类别”这种全局 id。第 5 章第一条踩坑记录说的就是这个。2.2 类原型一次前向里到底算了什么原型网络的核心只有一个公式。设嵌入函数为 f_φ一个卷积主干输出 D 维向量第 k 类的原型 c_k 就是该类所有 support 样本嵌入的均值c_k (1 / |S_k|) · Σ f_φ(x_i)其中 x_i 属于第 k 类的 support 集合对每个 query 样本 x计算它到所有原型的距离 d(f_φ(x), c_k)把负距离送进 softmax得到属于第 k 类的概率1-shot 时每类只有一张 support均值退化成它本身整个算法就变成最近邻。5-shot 时均值起到降噪作用一张脏样本不至于把原型拽飞——这也是原型网络在 5-shot 上提升明显、1-shot 提升有限的原因。距离函数这块有个反直觉的结论论文里用的是平方欧氏距离不是余弦相似度。原因是平方欧氏距离展开后等价于在嵌入层后接一个线性解码器而余弦距离丢掉了模长信息在 few-shot 上实测更差。我自己的经验也一致换成 cosine 之后 miniImageNet 5-way 5-shot 会掉三到五个点除非你额外学一个温度系数。还有一个符号问题必须说清楚距离越小表示越相似但 softmax 要的是“分数越大越可能”。所以送进 cross_entropy 的 logits 必须是负距离-d不能是d。这一条我在别人的代码里见过不止一次写反表现是 loss 一路往上爬怎么调学习率都没用。2.3 为什么先上原型网络而不是 MAML 或匹配网络同一个问题上常见的三个候选是原型网络、匹配网络Matching Networks和 MAML。选型的现实理由是这样的MAML 要算二阶梯度或做一阶近似训练图复杂、显存开销大超参对学习率和内循环步数极其敏感调不通的时候你很难判断是内循环坏了还是外循环坏了。匹配网络需要一个双向 LSTM 或 attention 做“上下文编码”把整个 support 集合的信息融进每个样本的表示里结构重、推理时不好做增量。原型网络没有引入任何额外参数——没有注意力、没有元学习器、没有内循环就是一个主干加一个均值参数量和普通分类网络一模一样。这意味着 debug 成本极低。你完全可以先把嵌入维度、距离函数、评估协议这些“外围变量”固定住逐项对比出了问题也容易二分定位——是采样错了、是标签错了、还是主干容量不够。对于要在一两周内交出可用基线的场景这个可调试性比多一两个点的精度值钱得多。精度侧也有参考论文给出的 5-way 5-shot 结果Omniglot 上接近 99%miniImageNet 上 1-shot 约 49%、5-shot 约 68%30-way 15-shot 训练口径。这些数字可以当验收线用但别当硬指标——你换主干、换归一化方式、换 episode 数量浮动三五个点是正常的。3. 把仓库跑起来环境、数据划分与第一个可复现 episode3.1 环境和依赖三个包足够别急着装一整套这个实现依赖很轻PyTorch torchvision 就够跑加 numpy 和 tqdm 做日志。我一般不推荐上来就装一整套实验管理框架小样本这块的实验变量本来就少先把最小闭环跑通更重要。# 建一个干净环境别在系统 Python 里折腾 python -m venv .venv source .venv/bin/activate # Windows 用 .venv\Scripts\activate # 先按自己机器的 CUDA 版本去官方索引页选对应的 wheel # 直接 pip install torch 很容易撞上 CPU 版训练会慢一个数量级 pip install torch torchvision pip install numpy tqdm装完先做一次自检确认 GPU 能用、版本对得上别等到训练跑了十分钟才发现用的是 CPUimport torch print(torch:, torch.__version__) print(cuda available:, torch.cuda.is_available()) print(device count:, torch.cuda.device_count()) if torch.cuda.is_available(): print(device name:, torch.cuda.get_device_name(0))cuda available为 False 时先别改代码去查驱动和 wheel 版本是否匹配。这一步省下来的是后面几个小时的困惑。3.2 数据目录与 split把“见过的类”和“没见过的类”彻底隔开以 Omniglot 为例它的目录结构是alphabet/character/stroke.png两层目录才定位到一个类。取类别键的时候必须带上字母表前缀因为不同字母表下可能都有编号相同的字符只用 character 名会撞。from pathlib import Path import random, json def list_classes(root): Omniglot 的类别键是 alphabet/character不能只用 character 名 out [] for alphabet in sorted(Path(root).iterdir()): if not alphabet.is_dir(): continue for ch in sorted(alphabet.iterdir()): if ch.is_dir(): out.append(str(ch.relative_to(root))) return out train_pool list_classes(data/omniglot/images_background) test_pool list_classes(data/omniglot/images_evaluation) random.seed(0) random.shuffle(train_pool) # 从训练池里再切一部分做验证验证类也必须和训练类不相交 n len(train_pool) val_cls train_pool[: n // 8] train_cls train_pool[n // 8 :] print(len(train_cls), len(val_cls), len(test_pool)) json.dump({train: train_cls, val: val_cls, test: test_pool}, open(splits.json, w), ensure_asciiFalse, indent2)三个池子的职责要分清train_cls只用来采训练 episodeval_cls只用来做模型选择和早停test_cls只在最后跑一次。最常见的自欺欺人做法是拿训练类去验证准确率能虚高十几个点然后上线一塌糊涂。切分结果存成 json 落盘后面所有脚本都读同一份避免“我这边跑出来和你不一样”。3.3 第一个 episode从索引到张量的完整走通采样器是整个流程里最容易写错的一环。先写一个按类别索引的采样器注意它每次 yield 的是两组(索引, 局部标签)import random from collections import defaultdict class EpisodeSampler: def __init__(self, labels, n_way, k_shot, n_query, n_episode, seed0): self.cls_to_idx defaultdict(list) for i, y in enumerate(labels): self.cls_to_idx[y].append(i) self.classes list(self.cls_to_idx.keys()) self.n_way, self.k_shot n_way, k_shot self.n_query, self.n_episode n_query, n_episode self.rng random.Random(seed) def __len__(self): return self.n_episode def __iter__(self): for _ in range(self.n_episode): picked self.rng.sample(self.classes, self.n_way) s_idx, s_y, q_idx, q_y [], [], [], [] for local_label, c in enumerate(picked): # 关键重映射成 0..N-1 pool self.cls_to_idx[c] need self.k_shot self.n_query # 类别样本不足时允许重复采样1-shot 少数类常见 take self.rng.sample(pool, need) if len(pool) need \ else [self.rng.choice(pool) for _ in range(need)] s_idx take[: self.k_shot] s_y [local_label] * self.k_shot q_idx take[self.k_shot :] q_y [local_label] * self.n_query yield (s_idx, s_y), (q_idx, q_y)local_label那行是核心不管原始类别 id 是多少进了这个 episode 一律变成 0 到 N-1。take那段分支是给样本数不足 KQ 的类兜底的Omniglot 每类 20 张一般够用换成自有数据集经常不够没有这个兜底会直接抛ValueError。配套的数据容器为了速度我一般把整份数据集预加载成一个 uint8 张量放在内存里Omniglot 灰度 28×28三万多张也就几十兆训练时再按索引取、转 float、归一化import torch from PIL import Image import numpy as np def load_all(paths, size28): 一次性读进内存返回 [M,1,H,W] 的 uint8 张量 buf np.zeros((len(paths), 1, size, size), dtypenp.uint8) for i, p in enumerate(paths): img Image.open(p).convert(L).resize((size, size)) buf[i, 0] np.array(img) return torch.from_numpy(buf) def to_float(x): # 训练/推理必须用同一套归一化这里统一到 [-1,1] return x.float().div(255.0).sub(0.5).div(0.5)load_all的size参数要和主干网络匹配28 对应 Omniglot84 对应 miniImageNet。to_float里那套sub(0.5).div(0.5)是固定约定验证和测试阶段必须复用同一个函数不要在测试脚本里手写一套新归一化——这是“训练明明好了测试却崩”的高频原因。3.4 主干网络28×28 和 84×84 是两套写法Omniglot 用的主干很浅四个conv-bn-relu-maxpool块每块 64 通道28×28 进、1×1 出展平正好 64 维import torch.nn as nn import torch.nn.functional as F class ConvBlock(nn.Module): def __init__(self, in_c, out_c): super().__init__() self.conv nn.Conv2d(in_c, out_c, 3, padding1, biasFalse) self.bn nn.BatchNorm2d(out_c) def forward(self, x): # 28 - 14 - 7 - 3 - 1四次池化后展平维度正好 64 return F.max_pool2d(F.relu(self.bn(self.conv(x))), 2) class OmniglotEmbedding(nn.Module): def __init__(self, emb_dim64): super().__init__() self.body nn.Sequential( ConvBlock(1, 64), ConvBlock(64, 64), ConvBlock(64, 64), ConvBlock(64, 64), ) self.emb_dim emb_dim def forward(self, x): return self.body(x).flatten(1)biasFalse是因为后面紧跟 BN偏置会被减掉留着纯属浪费参数。展平后是 64 维这个维度不算大但在这个任务上够用——嵌入维度不是越大越好加到 256 而 episode 只有 5 类时反而更容易过拟合到训练类的纹理上。直接把这个主干套到 84×84 的 miniImageNet 上会出问题四次 stride-2 池化把 84 压到 5×5再压下去信息丢得太狠。84 尺寸我一般只用三次池化最后接AdaptiveAvgPool2d(1)或者干脆换 ResNet-12 这类更深的骨干。这个差异在第 5 章第 5 条会展开。4. 训练循环与超参损失、优化器和评估协议的逐行拆解4.1 一次 episode 的完整前向从索引到 loss把前面几块拼起来单个 episode 的计算就是一个函数。这里我习惯把 support 和 query 拼成一次前向理由是让 BN 的 batch 统计覆盖整个 episode比分开前向稳定def run_episode(model, images, support, query, n_way, device): s_idx, s_y support q_idx, q_y query s_x to_float(images[s_idx]).to(device) q_x to_float(images[q_idx]).to(device) s_y torch.as_tensor(s_y, devicedevice) q_y torch.as_tensor(q_y, devicedevice) # 拼一次前向BN 统计覆盖 support query feats model(torch.cat([s_x, q_x], dim0)) s_f, q_f feats[: len(s_x)], feats[len(s_x) :] # 类原型 该类 support 嵌入的均值顺序严格按 0..N-1 protos torch.stack([s_f[s_y c].mean(0) for c in range(n_way)]) # 负的平方欧氏距离千万别忘了这个负号 dist torch.cdist(q_f, protos).pow(2) logits -dist loss F.cross_entropy(logits, q_y) acc (logits.argmax(1) q_y).float().mean().item() return loss, acc逐项说明。torch.cdist(q_f, protos)返回的是欧氏距离.pow(2)才得到论文口径的平方欧氏距离两步不能省。protos用列表推导按c in range(n_way)顺序堆叠保证第 c 个原型对应标签 c如果改成torch.unique(s_y)迭代顺序不一定稳定标签就会错位。logits -dist那行的负号是符号约定写反的表现见第 5 章。还有一点s_f[s_y c].mean(0)在 K1 时就是对单张图取均值结果等于它自己不需要额外分支。4.2 损失函数负距离直接进 cross_entropy别自己写 softmax很多人习惯性地写F.softmax(logits)再取 log或者自己实现-log(softmax)。没必要而且容易在数值稳定性上出问题。F.cross_entropy内部用的是 log-sum-exp 的稳定实现直接吃原始 logits 就行loss F.cross_entropy(logits, q_y) # logits -dist不要再套 softmax如果你确实想看清楚 softmax 在做什么等价写法是log_p F.log_softmax(-dist, dim1) # 正确先取负再 log_softmax loss F.nll_loss(log_p, q_y)注意log_softmax的输入仍然是-dist。写成-F.log_softmax(dist, 1)得到的不是同一个东西虽然单调方向对但归一化常数错了梯度尺度会变。温度系数是可选的logits -dist / tautau取 0.1 到 1 之间。嵌入维度越大、距离数值越分散时加温度能让 softmax 不至于饱和。我一般先在tau1下跑通再决定要不要加——加了就得一起调别两个变量同时动。4.3 超参表与训练循环骨架下面这张表是我实际用的起点左边 Omniglot、右边 miniImageNet训练侧和测试侧的 N-way K-shot 是两套值别混用参数Omniglot 常用值miniImageNet 常用值说明训练 n_way6030训练类别数远大于测试的 5逼模型学度量训练 k_shot515与 query 数一起决定单个 episode 的样本量训练 n_query515太小梯度噪声大太大会拖慢单步测试 n_way / k_shot5 或 20 / 1 或 55 / 1 或 5报告结果时必须写清楚口径训练 episodes1 万2 万2 万3 万看 loss 曲线和验证曲线决定是否提前停优化器Adam, lr1e-3Adam, lr1e-3不要用 SGD小样本上收敛慢很多学习率衰减每 2000 episode ×0.5每 2 万 episode ×0.5阶梯衰减别用 cosine 一路降到底评估 episodes600600少于 200 个置信区间会宽到没意义训练循环本体import torch.optim as optim device cuda if torch.cuda.is_available() else cpu model OmniglotEmbedding().to(device) opt optim.Adam(model.parameters(), lr1e-3) sched_every, sched_gamma 2000, 0.5 train_sampler EpisodeSampler(train_labels, 60, 5, 5, n_episode20000, seed1) val_sampler EpisodeSampler(val_labels, 5, 5, 15, n_episode600, seed2) best_val 0.0 for step, (support, query) in enumerate(train_sampler, 1): model.train() loss, acc run_episode(model, images, support, query, 60, device) opt.zero_grad(set_to_noneTrue) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0) # 防止偶发爆炸 opt.step() if step % sched_every 0: for g in opt.param_groups: g[lr] * sched_gamma if step % 500 0: model.eval() with torch.no_grad(): vac [run_episode(model, images, s, q, 5, device)[1] for s, q in val_sampler] v sum(vac) / len(vac) print(fstep {step} loss {loss.item():.3f} train_acc {acc:.3f} fval_5way5shot {v:.4f} lr {opt.param_groups[0][lr]:.1e}) if v best_val: best_val v torch.save({model: model.state_dict(), step: step}, best.pt) model.train()几个位置值得盯。opt.zero_grad(set_to_noneTrue)比默认的置零稍快一点长期跑能省点时间。clip_grad_norm_在 1-shot 或者样本极少时很有用原型网络偶尔会因为某个 episode 的 support 全是很像的图导致梯度尖峰。验证用model.eval()torch.no_grad()验证完切回model.train()忘了切回去会让后续训练一直用 running stats曲线会变得莫名其妙。val_sampler用的是 5-way 5-shot 15-query和最终测试口径一致——验证口径和测试口径不一致早停选出来的模型未必是你要的那个。4.4 评估协议600 个 episode 和 95% 置信区间只报一个平均数在小样本上是不可信的因为不同 episode 的难度差异极大。标准做法是跑 600 个 episode报均值和 95% 置信区间import math def mean_ci(accs, z1.96): m sum(accs) / len(accs) var sum((a - m) ** 2 for a in accs) / (len(accs) - 1) half z * math.sqrt(var) / math.sqrt(len(accs)) return m, half torch.no_grad() def evaluate(model, images, labels, n_way, k_shot, n_query15, n_episode600): model.eval() sampler EpisodeSampler(labels, n_way, k_shot, n_query, n_episode, seed999) accs [run_episode(model, images, s, q, n_way, device)[1] for s, q in sampler] m, h mean_ci(accs) print(f{n_way}-way {k_shot}-shot: {m*100:.2f} ± {h*200:.2f}%) return m, h注意输出里乘的是h*200这是把半宽换成整段区间宽度的习惯写法如果你要报“均值 ± 半宽”就写h*100。不管用哪种写清楚别让人误解。seed999固定测试 episode 序列这样换模型对比时用的是同一批任务差异才可比。另外两个容易忽略的点测试时 query 数用 15 比用 5 更稳更多的查询样本摊平了单个 episode 的方差报告必须写清楚是 5-way 还是 20-way20-way 的准确率天然低一截混着报没有可比性。5. 五个翻车现场episode 训练里最容易踩空的排查清单5.1 训练 loss 掉到 0.01测试准确率却是随机水平现象训练日志里 loss 从 3 降到 0.01训练准确率 99%一到测试集 5-way 5-shot 只有 20% 出头正好是 1/5也就是随机猜。原因标签没做 episode 内重映射。support 和 query 用的还是原始类别 id比如 137、482、901而模型输出只有 5 个 logits。这时候cross_entropy要么直接报 index 越界要么在某些 id 恰好小于 n_way 的巧合下算出一个“看起来在降”的 loss——模型其实在学一个和当前任务无关的映射。训练集类别少的时候还容易蒙对类别一多立刻现原形。解决在EpisodeSampler里用enumerate(picked)生成 0 到 N-1 的局部标签support 和 query 共用同一套。写完立刻打印一个 episode 的sorted(set(s_y))和sorted(set(q_y))这两个集合必须都等于list(range(n_way))不相等就是采样器的问题先别往下走。5.2 同一个模型跑两次验证准确率差 8 个点现象不改任何代码重复跑两次5-way 5-shot 验证结果一次 62%一次 70%差距大到无法判断改动是否有效。原因有三层。第一验证 episode 数量太少只跑 50 个 episode 时标准差能到 2 个点以上均值的波动自然大。第二验证集和训练集类别有重叠验证分数被虚抬而且虚抬的幅度随采样随机变化。第三没有固定随机种子每次采样器、初始化、数据顺序都不同。解决验证集类别与训练集严格不相交从训练池里切出 1/8 单独存成 json验证 episode 提到 600 个并报 95% 置信区间给 sampler、模型初始化、数据增强各设一个独立的种子并记录到日志里。做完这三条同一配置重复跑的差异通常能压到 1 个点以内这时候再做对比实验才有意义。5.3 损失出现 NaN或者一路往上飙现象训练几百个 episode 后 loss 突然变 NaN或者从一开始就单调上升准确率永远卡在随机水平。原因最常见的是距离符号写反了。logits dist意味着“离得越远分数越高”模型会努力把所有样本推离所有原型loss 自然往上爬。其次是平方距离在嵌入维度大、特征未归一化时数值范围很大几千量级softmax 直接饱和梯度接近 0 或者反向溢出。第三是学习率给到 1e-2 以上配合 BN 在小 batch 上很容易发散。解决先确认符号logits必须是-dist再做数值检查打印一个 episode 的dist.min()和dist.max()正常应该在 0 到几十的量级上千就说明嵌入没有约束好可以加一层 L2 归一化或者引入温度系数tau最后把学习率降回 1e-3加clip_grad_norm_(params, 5.0)兜底。这三步按顺序做完NaN 基本绝迹。5.4 BatchNorm 让 1-shot 结果完全不可复现现象5-shot 结果挺稳切到 1-shot 准确率忽高忽低同一份权重跑两次评估能差五六个点。原因BatchNorm 在训练时用当前 batch 的统计量。如果 support 和 query 分两次前向第一次只过 K1 张图batch 统计几乎就是那张图自己的均值和方差等于把“被查询对象”的信息提前泄漏进了特征里。评估时如果忘了model.eval()用的仍然是 batch 统计而不是 running stats每次跑出来的结果都跟着 episode 组成变。解决support 和 query 拼成一次前向让 BN 的统计覆盖整个 episode第 4 章的run_episode就是这么写的评估函数开头强制model.eval()并用torch.no_grad()装饰器锁死如果 1-shot 依然抖考虑把 BN 换成 InstanceNorm 或 GroupNorm这两者不依赖 batch 统计代价是 5-shot 上可能掉零点几个点。5.5 换成 84×84 数据后准确率反而掉了 15 个点现象Omniglot 上跑到 99%换 miniImageNet 先改size84结果 5-way 5-shot 只有 50% 出头比论文低一截甚至不如 28 尺寸的模型。原因主干没跟着改。四个max_pool2d(2)把 84 压成 5×5再压到 2×2、1×1空间信息被过度压缩最后 64 维特征里几乎只剩全局颜色统计。另一个常见原因是归一化不一致训练用sub(0.5).div(0.5)测试脚本里图省事换了 ImageNet 的 mean/std分布偏移直接把精度打崩。还有一类是数据增强在测试阶段没关。解决84 尺寸的主干只做三次池化或者在第四个块后接AdaptiveAvgPool2d(1)再展平归一化统一走同一个to_float函数训练脚本和评估脚本 import 同一个模块评估时确认没有残留的随机裁剪和翻转。改完这些miniImageNet 5-way 5-shot 回到 65% 上下是比较正常的水平。6. 迁移到自有数据集三种最小改动和一套验收流程自有数据集上跑原型网络改动其实很小关键是别一次动太多变量。6.1 三种改动按代价从低到高第一种是只换数据。把图片整理成类别名/图片文件的两级目录list_classes直接读目录名当类别键重跑load_all就行。这时候唯一要检查的是每类样本数——低于k_shot n_query的类会被采样器的兜底分支反复取同一张图原型会退化建议把这类类别从池子里剔掉或者降低n_query。第二种是换主干。细粒度、纹理复杂的场景工业缺陷、医学影像用 64 维嵌入明显不够换成 ResNet-18 或 ResNet-12输出维度拉到 256 或 512同时把训练n_way从 5 提到 2030。类别数提上去之后每个 episode 的负样本更多嵌入空间被推开得更均匀这是我在小数据集上最稳定有效的一招通常能带来三到五个点的提升。第三种是加温度或换度量。数据量特别少每类不到 10 张时固定tau1容易让 softmax 饱和把tau设成可学习参数初始值 0.5让模型自己找尺度。代价是多了一个要调的量且不同种子间方差会变大务必配合下面这套验收流程。6.2 验收流程五个种子、置信区间、嵌入可视化我现在的固定动作是三步。第一步同一配置跑五个随机种子每次跑 600 个测试 episode报“五个种子的均值 ± 种子间标准差”而不是只报最好那一次。第二步把 support 和 query 的嵌入用 t-SNE 降维画出来看同一类的点是否聚成一团、不同类的团是否分开——如果团是散的说明嵌入没学好调超参没用得回去看数据划分。第三步做一次消融对照每次只改一个变量。检查项合格线不合格时先看哪里五个种子间标准差 1.5 个点学习率、episode 数量是否够测试集是否被污染类别完全不相交重查 splits.json 的生成逻辑t-SNE 类内聚合每类形成独立团嵌入维度、主干深度、归一化1-shot 与 5-shot 差距5-shot 明显更高BN 统计方式、support 是否泄漏最后说个我自己的习惯。这个负号我早期写反过一次训练了三小时 loss 一路涨还以为是学习率的问题换了三轮超参才发现是符号错了。从那以后我每次改完run_episode第一件事就是拿一个手工构造的 episode 跑一遍断言logits.max(dim1).indices必须等于q_y用一个故意好分的玩具数据loss必须小于log(n_way)。这个两行的自检比看曲线快得多几乎能拦住九成的实现级错误。希望帮到你。本文还有配套的精品资源点击获取
