简介基于ExpertNet与Resnet50的多任务学习网络项目使用Python实现聚焦医疗图像分析。其核心结合Resnet50残差网络的特征提取能力与ExpertNet多专家模块为不同任务分配独立子网络并采用无监督自适应策略可在标注数据不足时完成肿瘤、病变等多任务识别对医学影像研究方向的中高级开发者颇具参考意义。压缩包共16个文件大小仅27KB以10个Python脚本为核心辅以文本说明、配置文件、License及README。脚本覆盖数据预处理、模型构建、训练与评估等关键流程层次划分清晰便于按模块阅读与复用。已有254人学习浏览。读者可借此理解多任务学习与无监督机制在实际项目中的代码组织方式同时参考其中的数据加载、模型生成与测试脚本将相关思路迁移到自己的实验或应用开发中。1. 医疗图像分析里最贵的不是模型是标注ExpertNet-ResNet50 这套源码卡住了哪件事医疗图像分析真正烧钱的地方不在算力而在标注。一个肺部CT结节要医生手工框出来跨中心还要统一标准一张眼底图要筛糖尿病视网膜病变标注成本甚至高过模型训练本身。ExpertNet-Resnet50 这套 Python 源码想解决的正是标注不足场景下的两件事一是同时承担多个医疗图像识别任务相当于多任务学习网络二是通过无监督自适应模型让已有网络迁移到新数据时不重新标注、也不塌缩。项目主体是一套两阶段训练体系先训练自编码器重建无标签图像再以 Resnet50 为骨干、ExpertNet 为多任务分支做下游识别。适合有 Python 基础、跑过分类网络、手头正好有大量无标签医学影像的研究者。下面把架构逻辑、脚本串联、参数设置和翻车点一次说清。2. 先理解这套架构为什么是“两个编码器加多条任务分支”从 autoencoder.py 到 ExpertNet 的组装方式2.1 自编码器预训练无监督自适应模型的基石这套源码里最容易被忽略的文件是autoencoder.py和encoder_utils.py。很多人拿到项目直接跑model_train.py发现效果不如预期回头查才发现第一步应该是initial_model_train.py因为整个无监督自适应模型的地基是先做一个自编码器预训练。自编码器的目标很单纯输入一张医疗图像让网络重建出同一张图不依赖任何医生标注。重建损失迫使编码器把图像里最核心的解剖结构和病灶纹理压缩到隐向量里这个隐向量就是后续 ExpertNet 和 Resnet50 的初始化特征。常见做法是对重建损失做加权比如把 L1 和 L2 混合。医疗图像和自然图像不同CT、核磁这类影像噪声大、对比度低纯 L2 重建出来的边缘偏模糊L1 对边缘和细节更友好。我一般会把重建损失设置为 0.7 的 L1 加 0.3 的 L2。源码里encoder_train.py承担的就是这个训练循环核心部分大致对应下面的结构# encoder_train.py 预训练阶段的核心训练循环示意结构 for epoch in range(start_epoch, epochs): for batch in loader: images batch[image].to(device) recon, z autoencoder(images) # 重建图 编码后的隐向量 loss_l1 F.l1_loss(recon, images) # 保边缘细节 loss_l2 F.mse_loss(recon, images) # 保整体平滑 loss 0.7 * loss_l1 0.3 * loss_l2 optimizer.zero_grad() loss.backward() optimizer.step() # 每轮记录 loss 并保存 encoder 权重供第二阶段加载这段代码里有几个地方值得注意。autoencoder(images)返回两个东西前面是重建输出后面是压缩特征 zz 在预训练阶段可能用不上但第二阶段初始化 ExpertNet 时非常关键。损失权重 0.7 和 0.3 不是固定的如果发现重建图像边缘模糊就提高 L1 的权重如果发现图像整体亮度震荡、灰度分布不稳定就提高 L2 的权重。start_epoch是为了支持断点续训训练中断后不用从头跑直接指定上一个保存的 epoch 继续。2.2 多任务学习的关键专家模块处理不同任务特征多任务学习网络的常规设计是共享 backbone然后每个任务接一个全连接头。这个项目里的 ExpertNet 不是这么做的它采用了专家模块的结构Resnet50 提取的共享特征会被分发到多个专家分支每个专家聚焦学习一类特征最后用路由机制把专家输出组合给到不同任务。这种设计的好处是任务之间“有共享但不互相淹没”比如同一张肺部 CT一个专家分支更关注结节边缘另一个专家分支更关注毛刺纹理路由模块决定当前任务更依赖哪个专家。generate_models.py在源码里做模型组装它通常负责把 Resnet50 的骨干和 ExpertNet 的专家模块拼起来。专家模块的实际效果和一个参数直接相关专家数量。数量太少各个任务抢特征数量太多每个专家的训练样本被摊薄参数利用率下降。以医疗图像二分类这类任务规模来看我建议先设置 4 到 6 个专家模块跑基线再逐个往上加观察验证集指标是否还在提升。# generate_models.py 中构建 ExpertNet Resnet50 的组装示意 resnet_backbone models.resnet50(pretrainedFalse) expert_modules nn.ModuleList([ ExpertBlock(channels2048, hidden_dim512) for _ in range(num_experts) ]) router GatingNetwork(input_dim2048, num_expertsnum_experts) def forward(x, task_id): features resnet_backbone(x) # 输出 2048 维共享特征 expert_out [e(features) for e in expert_modules] weights router(features, task_id) # 根据任务分配专家权重 out sum(w * e for w, e in zip(weights, expert_out)) return task_heads[task_id](out)路由模块GatingNetwork接收当前任务标识输出一组和为 1 的权重。多任务学习里最忌讳的是每个任务的梯度在共享层互相抵消专家模块把共享层与任务专属头的耦合拆开了至少能让任务头之间的干扰从“直接叠加”变成“加权组合”。这里resnet_backbone的pretrained参数在第 2 章开头可以保持 False因为第一阶段已经用无监督自编码器训练了权重第二阶段再决定要不要加载 ImageNet 预训练。2.3 Resnet50 在架构里的角色残差连接保证网络深而不瘫Resnet50 在这个项目里不是独立的分类型模型而是 ExpertNet 的共享骨干。选它而不是 VGG 或 DenseNet核心原因是残差块带来的训练稳定性。医疗图像的尺寸通常比 ImageNet 大比如 512x512 的 CT 切片网络一旦加深梯度消失会非常明显。Resnet50 的跳跃连接让梯度可以跨层直达即使叠加到几十层反向传播的信号也不会被中间的非线性激活层磨光。实际使用时要特别注意 Resnet50 最后一层特征图的空间分辨率。输入 256x256 图像时经过 Resnet50 的降采样到 8x8再送到 ExpertNet 的专家模块。如果任务包含分割需求需要把骨干输出改回来常见做法是把最后一个 stage 的 stride 从 2 改成 1并配合空洞卷积保持感受野。这个项目源码里没有单独的分割头但generate_models.py组装模型时预留了隐藏层维度参数需要做分割的人通常从这里把特征图张量接出去。# 使用 Resnet50 作为共享骨干时的输入规格与特征输出示意 encoder_out, z autoencoder(images) features resnet50_stem(images) # 改造后保留更高分辨率 # 注意预训练好的 encoder 权重会被拷贝到 resnet50_stem 的前几层需要确认的事情是预训练得到的编码器和 Resnet50 的 layers 在通道数上不一定一一对应常见做法是只拷贝前两个 stage 的权重后面几个 stage 用随机初始化加较小的学习率训练。这算是一个超参数级别的取舍后面第 5 章会专门讲这一点。3. 把数据准备和两阶段训练流程落地data_prep.py 到 model_train.py 的完整串联3.1 数据目录组织与预处理约定医疗图像数据集的格式比自然图像复杂不是所有图都能直接用 PIL 打开读取。常见的格式包括 DICOM 系列、NIfTI 的 nii.gz 文件以及导出后的 PNG/JPEG。源码里data_prep.py的作用就是把这些异构格式统一转成模型可读的张量。建议在项目根目录下先建立如下目录结构ExpertNet-Resnet50-master/ ├── data/ │ ├── raw/ # 原始 DICOM / nii.gz 文件 │ ├── processed/ # 预处理后的 npy 或 png │ └── splits/ # train.txt / val.txt 数据划分 ├── logs/ # tensorboard 或训练日志 ├── checkpoints/预处理的核心步骤包括灰度归一化、裁剪和增强。医疗图像的一个特点是像素值范围不固定CT 的 HU 值范围是 -1000 到 3000 左右而普通 PNG 是 0 到 255。直接把原始像素喂给 Resnet50前几层卷积的权重更新会很挣扎。data_prep.py 里通常做的是将每个样本裁剪到固定窗口比如肺窗 -1200 到 600然后归一化到 0 到 1或者生成 mean 和 std 做标准化。# data_prep.py 中常见预处理逻辑示意 def preprocess_image(path, target_size(256, 256)): img load_dicom_or_nifti(path) # 兼容 .dcm 和 .nii.gz img numpy_window(img, -1200, 600) # 肺窗裁剪可换成软组织窗 img (img - img.min()) / (img.max() - img.min() 1e-8) img cv2.resize(img, target_size) return img.astype(np.float32)这里numpy_window是窗口化处理把 CT 值截断到指定范围后做最大最小归一化这一步能压掉空气和组织背景的干扰。训练阶段建议再做随机翻转和随机旋转的数据增强增强幅度不要太大医疗图像与自然图像不同过强的弹性变换会扭曲解剖结构模型学到的是变形后的纹理而不是真实病灶形态。安装依赖时也要留意requirements.txt里通常会锁 numpy、torch、opencv-python 等版本。常见做法是先确认 torch 版本与本地 CUDA 匹配再pip install -r requirements.txt。如果遇到 numpy 编译问题多半是 numpy 版本比 torch 要求的太新指定numpy1.24.0这一类版本能解决。3.2 第一阶段预训练跑通 autoencoder 与 initial_model_train.py数据准备好后第一个要执行的是initial_model_train.py时间比较长网络规模不大但迭代次数多。因为无监督预训练没有标签可言训练目标就是让重建损失收敛。python initial_model_train.py \ --data_dir data/processed \ --epochs 200 \ --batch_size 16 \ --lr 1e-3 \ --img_size 256 \ --save_dir checkpoints/encoder_pretrain.pth推荐参数对应的是 256x256 输入、单卡 12GB 显存的情况。batch_size 建议从 16 起步显存不够就降到 8同时把--img_size降到 224。学习率 1e-3 对 Adam 是安全的起点如果使用 SGD需要提高到 1e-2 并配合 momentum0.9。预训练 epoch 我一般不低于 150 轮重建损失下降曲线会很长前期下降快后期慢慢磨细节纹理。跑完看保存的encoder_pretrain.pth是否出现在 checkpoints 目录顺便记录一下最后的 loss 值——如果它比随机初始化时高一个数量级说明预处理数据有问题不要急着进入第二阶段。3.3 第二阶段model_train.py 执行多任务联合训练第二阶段才是真正做医疗图像分类或检测任务加载第一阶段保存的编码器权重再配合 Resnet50 骨干和 ExpertNet 专家模块联合训练。这个阶段的关键参数是哪些层冻结、哪些层放开。python model_train.py \ --resume checkpoints/encoder_pretrain.pth \ --train_list data/splits/train.txt \ --val_list data/splits/val.txt \ --task_type classify \ --epochs 120 \ --batch_size 32 \ --lr 2e-4 \ --freeze_backbone 20--freeze_backbone 20的含义是骨干前 20 个 epoch 冻结专家模块和任务头从第一步就开始更新20 轮之后再统一微调骨干。这个思路是防止随机初始化的专家头在初期产生过大梯度反向冲击预训练的特征。训练阶段的总损失通常是任务损失加正则项# 多任务联合训练时的损失组合 loss_task nn.BCEWithLogitsLoss()(logits, labels) loss_recon 0.1 * F.l1_loss(decoder_feat, encoder_feat) loss_total loss_task loss_reconloss_recon在这里起的是正则作用强制当前模型的特征分布不要彻底偏离无监督阶段学到的结构。权重 0.1 是经验值太大会让分类任务服从重建任务太小则起不到稳定特征的作用。观察验证指标比观察训练 loss 更重要这部分结果会记录在 results.txt 里。3.4 results.txt 的诊断价值源码根目录的 results.txt 不是摆设我建议把它当作实验记录手册每一轮训练的以下信息按行追加epoch、train_loss、val_loss、val_auc、val_f1、当前 lr。抄写下来之后判断训练是否出问题的依据就建立起来了。比如 train_loss 总体下降val_auc 却持续不涨说明模型过拟合到了训练集的纹理噪声上需要增强数据或加大冻结比例如果 train_loss 和 val_loss 同时在 50 轮左右突然上升几乎可以确定是学习率过大导致的震荡此时应加载 40 轮左右的 checkpoint 把 lr 调低一半再训练。等模型最终稳定后results.txt 里每个方案的对比就能直观看出 ExpertNet 相比单任务基线提升了多少。4. 无监督自适应与推理让模型在新数据上不掉点的工作流4.1 两种可落地的无监督自适应实现场景最常遇到的困境是模型在一个医疗中心的数据上训练得很好换到另一台扫描设备的数据上指标明显下跌。原因是不同设备的成像参数、患者分布都存在偏移这就是典型的领域漂移问题。无监督自适应模型的目标就是在没有目标域标签的情况下让模型适应新分布。常见做法有两种。第一种是特征分布对齐假设源域和目标域经共享编码器后的特征应该服从相似分布用最大均值差异 MMD 计算两个域特征的距离把它加进总损失。第二种是对抗式对齐额外加一个领域判别器编码器试图欺骗判别器分不出特征是来自源域还是目标域。# 对抗式域对齐的损失计算示意 feat_src encoder(images_src) feat_tgt encoder(images_tgt) domain_loss discriminator(feat_tgt, label1) # 目标是让判别器认为来自源域 encoder_loss -domain_loss # 对抗更新编码器对抗对齐在自然图像域适应里表现很强但医疗图像上要更谨慎。因为医疗图像对结构和细节的保真度极为敏感对抗损失容易把编码器带偏让它丢弃对诊断有用的纹理。我一般先试 MMD 这种温和的分布对齐不收敛再换对抗式。源码里encoder_utils.py提供了计算特征统计量的工具可以对齐均值、方差或更高阶统计量这是最轻量的一类实现。伪标签自训练是另一条路用源域训练好的模型对目标域无标签图像预测把置信度高于阈值比如 0.95的样本打上伪标签再和源域真实标签混合训练。迭代若干轮后模型会慢慢适应目标域的特有分布。医疗图像上置信度阈值一定要设高0.9 以下造出来的伪标签会把假病灶当正样本教给模型。4.2 推理脚本与批量预测源码根目录下test_models.py即评估脚本。它做的事情是加载训练好的模型对测试图像批量推理输出概率保存为 CSV 或直接给出评估指标。推理阶段的代码比训练简单但有一个容易翻车的点输入的预处理必须和训练时完全一致包括窗口值、尺寸、归一化方式。# test_models.py 推理流程示意 model.eval() predictions, filenames [], [] with torch.no_grad(): for batch in test_loader: images batch[image].to(device) logits model(images, task_id0) # 指定任务 probs torch.sigmoid(logits) predictions.extend(probs.cpu().numpy()) filenames.extend(batch[filename]) # 保存结果供医生二次审核 write_predictions(filenames, predictions, threshold0.5, output_csveval_results.csv)推理时指定task_id是因为共享编码器后每个任务有不同的输出头。write_predictions通常把概率大于阈值的样本标为阳性同时保留概率原值这一点很重要医生会基于概率做二次排疑而不是直接按二分类结果下判断。4.3 自适应效果如何量化验证无监督自适应经常被说成“玄学”因为它没有标签去计算标准指标。我的方法是建立一组“代理指标”把目标域的少量有标注数据留出来做验证不参与自适应训练。自适应前先测一次基线指标然后跑完一轮自适应后对比指标变化。真实项目里可以记录如下格式指标自适应前一轮自适应后变化方向AUC0.8120.847上升F1-score0.5140.589上升伪标签阳性比率8.2%6.7%下降并接近源域上表的数据只是用于说明对比方法不是这个项目在具体数据集上的实测值。关键在于观察趋势AUC 和 F1 上升的同时目标域预测的阳性比率应该朝源域数据集的比例靠拢。如果 AUC 上升但阳性比率异常飙升通常说明模型学会了“取巧”比如把目标域的噪声纹理误认为病灶特征。5. 跑这套源码的常见问题与避坑训练不收敛、显存溢出与任务头互相干扰5.1 预训练 Loss 不下降或重建图像全为均值现象initial_model_train.py训练了几十个 epoch重建损失始终在 0.6 到 0.8 之间震荡没有任何下降迹象。原因排查首要原因是数据预处理把像素值缩得太狠归一化后图像灰度过低编码器完全识别不到结构其次是输入张量缺少通道维灰度图只有一个通道而 Resnet50 期望三个通道模型随机初始化后学到的是无效特征。解决在data_prep.py里检查输出数组的 shape确认是否为[256, 256]且最大值在 1.0 附近如果只有一个通道用复制的方式扩展成三个通道或者把网络第一层卷积的输入通道改成 1如下# 将灰度图扩展到三通道兼容预训练权重 img np.repeat(img[..., np.newaxis], 3, axis-1)还有一个容易被忽视的点是用 L2 损失时如果图像像素值位于 0 到 1 之间初始 loss 在 0.5 左右是正常的因为它对应的是预测接近 0.5 的均值和真实值之间的误差。此时耐心等到 100 轮如果 100 轮还不下降再回头查预处理。5.2 分类损失下降但验证指标不动现象第二阶段model_train.py训练过程中train_loss平滑下降val_auc却始终在 0.5 到 0.6 附近徘徊跟随机猜测差不多。原因排查这是典型的数据集划分问题而不是网络结构问题。检查train.txt和val.txt两个列表是否来自同一个病人的不同切片如果训练和验证包含同一患者的数据模型在验证集上表现虚高如果验证集和训练集来自完全不同的扫描设备指标自然偏低。还有一种情况是数据增强太强训练时模型看到的图像形态过于夸张验证集恢复正常形态模型反而找不到正确特征。解决按患者 ID 划分数据集确保同一个患者的图像不跨集出现。增强强度收紧旋转不超过 15 度翻转正常保留。医疗图像的标签稀疏正样本可能只占 5% 甚至更低AUC 0.5 不代表模型完全没学可以看正样本类别的召回率如果召回率在提升说明特征方向是对的只是阈值设得不对。5.3 显存溢出与 batch size 限制现象模型跑起来不到几十步就报CUDA out of memory显存直接打满。最常见的原因是 512x512 尺寸的图像进入 Resnet50 后特征图显存占用极大加上门控网络和专家模块并行计算显存开销远超单分类网络。解决优先减小--img_size到 256 或 224医疗图像中的病灶分辨率损失可以接受只要不是检测微小钙化这类任务。其次是减少专家模块的数量比如从 6 个降到 3 个显存占用几乎是线性下降。最有效率的调整是梯度累积把 batch_size 降到 4每 8 个 mini-batch 做一次参数更新等效 batch 是 32# 梯度累积实现等效大 batch for idx, batch in enumerate(loader): loss compute_loss(batch) / accumulation_steps loss.backward() if (idx 1) % accumulation_steps 0: optimizer.step() optimizer.zero_grad()accumulation_steps设为 8实际显存占用只相当于 batch_size4但更新频率相当于 batch_size32。需要留意的是 BatchNorm 在梯度累积下的表现batch_size 太小时 BN 的统计量不稳定可以考虑把 BN 换成 GroupNorm 或冻结 BN 的 running stats。5.4 多任务头之间互相干扰现象联合训练两个任务比如结节分类和病变分割时分类任务指标正常分割任务的 loss 不降或振荡明显提高分割权重后分类指标又掉。原因排查两个任务的损失函数量级不同交叉熵一般在 0.5 到 2 之间而分割的 Dice 损失在 0.2 到 0.9 之间简单相加后梯度方向被量级更大的任务主导。ExpertNet 虽然把任务分支拆开了但共享的 Resnet50 骨干仍然接收两个任务的梯度。解决引入任务不确定度加权把每个任务的损失除以可学习的噪声参数这是多任务学习里常见的做法可以给任务分配自适应权重。更简单的方案是先让一个有标签的主任务收敛 20 轮再放开第二任务训练# 分阶段开任务前 20 轮只训练任务 A if epoch 20: loss loss_task_a else: loss loss_task_a loss_task_b真实项目中我还会检查两个任务是否真的共享底层特征。病灶分类主要关注中心区域纹理分割关注边缘像素分类如果两个任务对特征尺度的需求不同一个方向是拆开 Resnet50 最后几个 stage让不同任务各自接一个 stage两个分支只在中间层共享特征。5.5 训练结果与测试不符的保存问题现象验证集指标不错重新用test_models.py推理结果却差很多甚至文件路径都报错。原因排查绝大多数是模型保存和加载时带了训练状态包括 BatchNorm 的 running mean 和 running variance推理时忘记切换model.eval()导致预测时使用了正常的训练统计量、但数据统计分布不一致。解决保存模型时用checkpoint {model_state: model.state_dict(), config: config}加载后先model.load_state_dict再model.eval()同时保留一份config.json记录预处理参数。推理脚本里最容易被忽略的是灰度窗口参数是否和训练时一致比如训练用肺窗 -1200 到 600推理时改成软组织窗 -160 到 240影像特征完全不同模型输出的概率会整体偏移。我每次跑新一批数据都会先从测试集抽三张图把预处理后的图和原图对比一遍确认窗口和归一化生效再批量推理。6. 把模型输出做成交付级置信度校准、小样本抽查与实验记录习惯6.1 置信度校准让概率可以被医生当作用深度学习分类器输出的概率往往不是真实概率尤其是医疗图像正样本极少时模型预测概率普遍偏向保守。一个常见做法是做温度缩放校准在验证集上学习一个温度参数 T把 logits 除以 T 后再计算 sigmoid。T 大于 1 会让概率分布更集中T 小于 1 会让概率更分散。# 用验证集拟合温度参数 T best_T, best_brier 1.0, float(inf) for T in np.linspace(0.5, 3.0, 50): prob_calibrated sigmoid(logits / T) brier np.mean((prob_calibrated - labels) ** 2) if brier best_brier: best_brier, best_T brier, T校准完成后模型的输出概率才适合写进辅助诊断报告。这个步骤看似简单实际效果非常明显未校准的概率在 0.7 附近时误诊率波动大校准后 0.7 概率对应的真实阳性率通常更接近 0.7。有 PyTorch 环境可以直接用sklearn.calibration.CalibratedClassifierCV完成同样的任务但自定义温度缩放代码更轻量。6.2 五折小样本抽查没有大量标注也能验证无监督自适应的最后一道防线不是指标而是人工抽查。我的习惯是每次跑完自适应从目标域数据里随机抽 100 个样本把预测概率排序看正样本置信度最高和最低的各 20 个图像。重点观察低置信度假阳性也就是模型最“勉强”判为阳性的那批图像它们往往暴露模型学到了什么不该学的东西。多数情况是图像上有文字水印或异物模型把水印边缘当成了病灶。从那以后我每次跑新数据集都强制走一遍先确认重建损失低于阈值、再固定随机种子训练、最后抽查低置信度样本而不是直接看 AUC 就收工。无监督模型的指标太容易被取巧了只有人工抽查过的模型才敢拿出去给人用。希望帮到你。本文还有配套的精品资源点击获取
简介基于ExpertNet与Resnet50的多任务学习网络项目使用Python实现聚焦医疗图像分析。其核心结合Resnet50残差网络的特征提取能力与ExpertNet多专家模块为不同任务分配独立子网络并采用无监督自适应策略可在标注数据不足时完成肿瘤、病变等多任务识别对医学影像研究方向的中高级开发者颇具参考意义。压缩包共16个文件大小仅27KB以10个Python脚本为核心辅以文本说明、配置文件、License及README。脚本覆盖数据预处理、模型构建、训练与评估等关键流程层次划分清晰便于按模块阅读与复用。已有254人学习浏览。读者可借此理解多任务学习与无监督机制在实际项目中的代码组织方式同时参考其中的数据加载、模型生成与测试脚本将相关思路迁移到自己的实验或应用开发中。1. 医疗图像分析里最贵的不是模型是标注ExpertNet-ResNet50 这套源码卡住了哪件事医疗图像分析真正烧钱的地方不在算力而在标注。一个肺部CT结节要医生手工框出来跨中心还要统一标准一张眼底图要筛糖尿病视网膜病变标注成本甚至高过模型训练本身。ExpertNet-Resnet50 这套 Python 源码想解决的正是标注不足场景下的两件事一是同时承担多个医疗图像识别任务相当于多任务学习网络二是通过无监督自适应模型让已有网络迁移到新数据时不重新标注、也不塌缩。项目主体是一套两阶段训练体系先训练自编码器重建无标签图像再以 Resnet50 为骨干、ExpertNet 为多任务分支做下游识别。适合有 Python 基础、跑过分类网络、手头正好有大量无标签医学影像的研究者。下面把架构逻辑、脚本串联、参数设置和翻车点一次说清。2. 先理解这套架构为什么是“两个编码器加多条任务分支”从 autoencoder.py 到 ExpertNet 的组装方式2.1 自编码器预训练无监督自适应模型的基石这套源码里最容易被忽略的文件是autoencoder.py和encoder_utils.py。很多人拿到项目直接跑model_train.py发现效果不如预期回头查才发现第一步应该是initial_model_train.py因为整个无监督自适应模型的地基是先做一个自编码器预训练。自编码器的目标很单纯输入一张医疗图像让网络重建出同一张图不依赖任何医生标注。重建损失迫使编码器把图像里最核心的解剖结构和病灶纹理压缩到隐向量里这个隐向量就是后续 ExpertNet 和 Resnet50 的初始化特征。常见做法是对重建损失做加权比如把 L1 和 L2 混合。医疗图像和自然图像不同CT、核磁这类影像噪声大、对比度低纯 L2 重建出来的边缘偏模糊L1 对边缘和细节更友好。我一般会把重建损失设置为 0.7 的 L1 加 0.3 的 L2。源码里encoder_train.py承担的就是这个训练循环核心部分大致对应下面的结构# encoder_train.py 预训练阶段的核心训练循环示意结构 for epoch in range(start_epoch, epochs): for batch in loader: images batch[image].to(device) recon, z autoencoder(images) # 重建图 编码后的隐向量 loss_l1 F.l1_loss(recon, images) # 保边缘细节 loss_l2 F.mse_loss(recon, images) # 保整体平滑 loss 0.7 * loss_l1 0.3 * loss_l2 optimizer.zero_grad() loss.backward() optimizer.step() # 每轮记录 loss 并保存 encoder 权重供第二阶段加载这段代码里有几个地方值得注意。autoencoder(images)返回两个东西前面是重建输出后面是压缩特征 zz 在预训练阶段可能用不上但第二阶段初始化 ExpertNet 时非常关键。损失权重 0.7 和 0.3 不是固定的如果发现重建图像边缘模糊就提高 L1 的权重如果发现图像整体亮度震荡、灰度分布不稳定就提高 L2 的权重。start_epoch是为了支持断点续训训练中断后不用从头跑直接指定上一个保存的 epoch 继续。2.2 多任务学习的关键专家模块处理不同任务特征多任务学习网络的常规设计是共享 backbone然后每个任务接一个全连接头。这个项目里的 ExpertNet 不是这么做的它采用了专家模块的结构Resnet50 提取的共享特征会被分发到多个专家分支每个专家聚焦学习一类特征最后用路由机制把专家输出组合给到不同任务。这种设计的好处是任务之间“有共享但不互相淹没”比如同一张肺部 CT一个专家分支更关注结节边缘另一个专家分支更关注毛刺纹理路由模块决定当前任务更依赖哪个专家。generate_models.py在源码里做模型组装它通常负责把 Resnet50 的骨干和 ExpertNet 的专家模块拼起来。专家模块的实际效果和一个参数直接相关专家数量。数量太少各个任务抢特征数量太多每个专家的训练样本被摊薄参数利用率下降。以医疗图像二分类这类任务规模来看我建议先设置 4 到 6 个专家模块跑基线再逐个往上加观察验证集指标是否还在提升。# generate_models.py 中构建 ExpertNet Resnet50 的组装示意 resnet_backbone models.resnet50(pretrainedFalse) expert_modules nn.ModuleList([ ExpertBlock(channels2048, hidden_dim512) for _ in range(num_experts) ]) router GatingNetwork(input_dim2048, num_expertsnum_experts) def forward(x, task_id): features resnet_backbone(x) # 输出 2048 维共享特征 expert_out [e(features) for e in expert_modules] weights router(features, task_id) # 根据任务分配专家权重 out sum(w * e for w, e in zip(weights, expert_out)) return task_heads[task_id](out)路由模块GatingNetwork接收当前任务标识输出一组和为 1 的权重。多任务学习里最忌讳的是每个任务的梯度在共享层互相抵消专家模块把共享层与任务专属头的耦合拆开了至少能让任务头之间的干扰从“直接叠加”变成“加权组合”。这里resnet_backbone的pretrained参数在第 2 章开头可以保持 False因为第一阶段已经用无监督自编码器训练了权重第二阶段再决定要不要加载 ImageNet 预训练。2.3 Resnet50 在架构里的角色残差连接保证网络深而不瘫Resnet50 在这个项目里不是独立的分类型模型而是 ExpertNet 的共享骨干。选它而不是 VGG 或 DenseNet核心原因是残差块带来的训练稳定性。医疗图像的尺寸通常比 ImageNet 大比如 512x512 的 CT 切片网络一旦加深梯度消失会非常明显。Resnet50 的跳跃连接让梯度可以跨层直达即使叠加到几十层反向传播的信号也不会被中间的非线性激活层磨光。实际使用时要特别注意 Resnet50 最后一层特征图的空间分辨率。输入 256x256 图像时经过 Resnet50 的降采样到 8x8再送到 ExpertNet 的专家模块。如果任务包含分割需求需要把骨干输出改回来常见做法是把最后一个 stage 的 stride 从 2 改成 1并配合空洞卷积保持感受野。这个项目源码里没有单独的分割头但generate_models.py组装模型时预留了隐藏层维度参数需要做分割的人通常从这里把特征图张量接出去。# 使用 Resnet50 作为共享骨干时的输入规格与特征输出示意 encoder_out, z autoencoder(images) features resnet50_stem(images) # 改造后保留更高分辨率 # 注意预训练好的 encoder 权重会被拷贝到 resnet50_stem 的前几层需要确认的事情是预训练得到的编码器和 Resnet50 的 layers 在通道数上不一定一一对应常见做法是只拷贝前两个 stage 的权重后面几个 stage 用随机初始化加较小的学习率训练。这算是一个超参数级别的取舍后面第 5 章会专门讲这一点。3. 把数据准备和两阶段训练流程落地data_prep.py 到 model_train.py 的完整串联3.1 数据目录组织与预处理约定医疗图像数据集的格式比自然图像复杂不是所有图都能直接用 PIL 打开读取。常见的格式包括 DICOM 系列、NIfTI 的 nii.gz 文件以及导出后的 PNG/JPEG。源码里data_prep.py的作用就是把这些异构格式统一转成模型可读的张量。建议在项目根目录下先建立如下目录结构ExpertNet-Resnet50-master/ ├── data/ │ ├── raw/ # 原始 DICOM / nii.gz 文件 │ ├── processed/ # 预处理后的 npy 或 png │ └── splits/ # train.txt / val.txt 数据划分 ├── logs/ # tensorboard 或训练日志 ├── checkpoints/预处理的核心步骤包括灰度归一化、裁剪和增强。医疗图像的一个特点是像素值范围不固定CT 的 HU 值范围是 -1000 到 3000 左右而普通 PNG 是 0 到 255。直接把原始像素喂给 Resnet50前几层卷积的权重更新会很挣扎。data_prep.py 里通常做的是将每个样本裁剪到固定窗口比如肺窗 -1200 到 600然后归一化到 0 到 1或者生成 mean 和 std 做标准化。# data_prep.py 中常见预处理逻辑示意 def preprocess_image(path, target_size(256, 256)): img load_dicom_or_nifti(path) # 兼容 .dcm 和 .nii.gz img numpy_window(img, -1200, 600) # 肺窗裁剪可换成软组织窗 img (img - img.min()) / (img.max() - img.min() 1e-8) img cv2.resize(img, target_size) return img.astype(np.float32)这里numpy_window是窗口化处理把 CT 值截断到指定范围后做最大最小归一化这一步能压掉空气和组织背景的干扰。训练阶段建议再做随机翻转和随机旋转的数据增强增强幅度不要太大医疗图像与自然图像不同过强的弹性变换会扭曲解剖结构模型学到的是变形后的纹理而不是真实病灶形态。安装依赖时也要留意requirements.txt里通常会锁 numpy、torch、opencv-python 等版本。常见做法是先确认 torch 版本与本地 CUDA 匹配再pip install -r requirements.txt。如果遇到 numpy 编译问题多半是 numpy 版本比 torch 要求的太新指定numpy1.24.0这一类版本能解决。3.2 第一阶段预训练跑通 autoencoder 与 initial_model_train.py数据准备好后第一个要执行的是initial_model_train.py时间比较长网络规模不大但迭代次数多。因为无监督预训练没有标签可言训练目标就是让重建损失收敛。python initial_model_train.py \ --data_dir data/processed \ --epochs 200 \ --batch_size 16 \ --lr 1e-3 \ --img_size 256 \ --save_dir checkpoints/encoder_pretrain.pth推荐参数对应的是 256x256 输入、单卡 12GB 显存的情况。batch_size 建议从 16 起步显存不够就降到 8同时把--img_size降到 224。学习率 1e-3 对 Adam 是安全的起点如果使用 SGD需要提高到 1e-2 并配合 momentum0.9。预训练 epoch 我一般不低于 150 轮重建损失下降曲线会很长前期下降快后期慢慢磨细节纹理。跑完看保存的encoder_pretrain.pth是否出现在 checkpoints 目录顺便记录一下最后的 loss 值——如果它比随机初始化时高一个数量级说明预处理数据有问题不要急着进入第二阶段。3.3 第二阶段model_train.py 执行多任务联合训练第二阶段才是真正做医疗图像分类或检测任务加载第一阶段保存的编码器权重再配合 Resnet50 骨干和 ExpertNet 专家模块联合训练。这个阶段的关键参数是哪些层冻结、哪些层放开。python model_train.py \ --resume checkpoints/encoder_pretrain.pth \ --train_list data/splits/train.txt \ --val_list data/splits/val.txt \ --task_type classify \ --epochs 120 \ --batch_size 32 \ --lr 2e-4 \ --freeze_backbone 20--freeze_backbone 20的含义是骨干前 20 个 epoch 冻结专家模块和任务头从第一步就开始更新20 轮之后再统一微调骨干。这个思路是防止随机初始化的专家头在初期产生过大梯度反向冲击预训练的特征。训练阶段的总损失通常是任务损失加正则项# 多任务联合训练时的损失组合 loss_task nn.BCEWithLogitsLoss()(logits, labels) loss_recon 0.1 * F.l1_loss(decoder_feat, encoder_feat) loss_total loss_task loss_reconloss_recon在这里起的是正则作用强制当前模型的特征分布不要彻底偏离无监督阶段学到的结构。权重 0.1 是经验值太大会让分类任务服从重建任务太小则起不到稳定特征的作用。观察验证指标比观察训练 loss 更重要这部分结果会记录在 results.txt 里。3.4 results.txt 的诊断价值源码根目录的 results.txt 不是摆设我建议把它当作实验记录手册每一轮训练的以下信息按行追加epoch、train_loss、val_loss、val_auc、val_f1、当前 lr。抄写下来之后判断训练是否出问题的依据就建立起来了。比如 train_loss 总体下降val_auc 却持续不涨说明模型过拟合到了训练集的纹理噪声上需要增强数据或加大冻结比例如果 train_loss 和 val_loss 同时在 50 轮左右突然上升几乎可以确定是学习率过大导致的震荡此时应加载 40 轮左右的 checkpoint 把 lr 调低一半再训练。等模型最终稳定后results.txt 里每个方案的对比就能直观看出 ExpertNet 相比单任务基线提升了多少。4. 无监督自适应与推理让模型在新数据上不掉点的工作流4.1 两种可落地的无监督自适应实现场景最常遇到的困境是模型在一个医疗中心的数据上训练得很好换到另一台扫描设备的数据上指标明显下跌。原因是不同设备的成像参数、患者分布都存在偏移这就是典型的领域漂移问题。无监督自适应模型的目标就是在没有目标域标签的情况下让模型适应新分布。常见做法有两种。第一种是特征分布对齐假设源域和目标域经共享编码器后的特征应该服从相似分布用最大均值差异 MMD 计算两个域特征的距离把它加进总损失。第二种是对抗式对齐额外加一个领域判别器编码器试图欺骗判别器分不出特征是来自源域还是目标域。# 对抗式域对齐的损失计算示意 feat_src encoder(images_src) feat_tgt encoder(images_tgt) domain_loss discriminator(feat_tgt, label1) # 目标是让判别器认为来自源域 encoder_loss -domain_loss # 对抗更新编码器对抗对齐在自然图像域适应里表现很强但医疗图像上要更谨慎。因为医疗图像对结构和细节的保真度极为敏感对抗损失容易把编码器带偏让它丢弃对诊断有用的纹理。我一般先试 MMD 这种温和的分布对齐不收敛再换对抗式。源码里encoder_utils.py提供了计算特征统计量的工具可以对齐均值、方差或更高阶统计量这是最轻量的一类实现。伪标签自训练是另一条路用源域训练好的模型对目标域无标签图像预测把置信度高于阈值比如 0.95的样本打上伪标签再和源域真实标签混合训练。迭代若干轮后模型会慢慢适应目标域的特有分布。医疗图像上置信度阈值一定要设高0.9 以下造出来的伪标签会把假病灶当正样本教给模型。4.2 推理脚本与批量预测源码根目录下test_models.py即评估脚本。它做的事情是加载训练好的模型对测试图像批量推理输出概率保存为 CSV 或直接给出评估指标。推理阶段的代码比训练简单但有一个容易翻车的点输入的预处理必须和训练时完全一致包括窗口值、尺寸、归一化方式。# test_models.py 推理流程示意 model.eval() predictions, filenames [], [] with torch.no_grad(): for batch in test_loader: images batch[image].to(device) logits model(images, task_id0) # 指定任务 probs torch.sigmoid(logits) predictions.extend(probs.cpu().numpy()) filenames.extend(batch[filename]) # 保存结果供医生二次审核 write_predictions(filenames, predictions, threshold0.5, output_csveval_results.csv)推理时指定task_id是因为共享编码器后每个任务有不同的输出头。write_predictions通常把概率大于阈值的样本标为阳性同时保留概率原值这一点很重要医生会基于概率做二次排疑而不是直接按二分类结果下判断。4.3 自适应效果如何量化验证无监督自适应经常被说成“玄学”因为它没有标签去计算标准指标。我的方法是建立一组“代理指标”把目标域的少量有标注数据留出来做验证不参与自适应训练。自适应前先测一次基线指标然后跑完一轮自适应后对比指标变化。真实项目里可以记录如下格式指标自适应前一轮自适应后变化方向AUC0.8120.847上升F1-score0.5140.589上升伪标签阳性比率8.2%6.7%下降并接近源域上表的数据只是用于说明对比方法不是这个项目在具体数据集上的实测值。关键在于观察趋势AUC 和 F1 上升的同时目标域预测的阳性比率应该朝源域数据集的比例靠拢。如果 AUC 上升但阳性比率异常飙升通常说明模型学会了“取巧”比如把目标域的噪声纹理误认为病灶特征。5. 跑这套源码的常见问题与避坑训练不收敛、显存溢出与任务头互相干扰5.1 预训练 Loss 不下降或重建图像全为均值现象initial_model_train.py训练了几十个 epoch重建损失始终在 0.6 到 0.8 之间震荡没有任何下降迹象。原因排查首要原因是数据预处理把像素值缩得太狠归一化后图像灰度过低编码器完全识别不到结构其次是输入张量缺少通道维灰度图只有一个通道而 Resnet50 期望三个通道模型随机初始化后学到的是无效特征。解决在data_prep.py里检查输出数组的 shape确认是否为[256, 256]且最大值在 1.0 附近如果只有一个通道用复制的方式扩展成三个通道或者把网络第一层卷积的输入通道改成 1如下# 将灰度图扩展到三通道兼容预训练权重 img np.repeat(img[..., np.newaxis], 3, axis-1)还有一个容易被忽视的点是用 L2 损失时如果图像像素值位于 0 到 1 之间初始 loss 在 0.5 左右是正常的因为它对应的是预测接近 0.5 的均值和真实值之间的误差。此时耐心等到 100 轮如果 100 轮还不下降再回头查预处理。5.2 分类损失下降但验证指标不动现象第二阶段model_train.py训练过程中train_loss平滑下降val_auc却始终在 0.5 到 0.6 附近徘徊跟随机猜测差不多。原因排查这是典型的数据集划分问题而不是网络结构问题。检查train.txt和val.txt两个列表是否来自同一个病人的不同切片如果训练和验证包含同一患者的数据模型在验证集上表现虚高如果验证集和训练集来自完全不同的扫描设备指标自然偏低。还有一种情况是数据增强太强训练时模型看到的图像形态过于夸张验证集恢复正常形态模型反而找不到正确特征。解决按患者 ID 划分数据集确保同一个患者的图像不跨集出现。增强强度收紧旋转不超过 15 度翻转正常保留。医疗图像的标签稀疏正样本可能只占 5% 甚至更低AUC 0.5 不代表模型完全没学可以看正样本类别的召回率如果召回率在提升说明特征方向是对的只是阈值设得不对。5.3 显存溢出与 batch size 限制现象模型跑起来不到几十步就报CUDA out of memory显存直接打满。最常见的原因是 512x512 尺寸的图像进入 Resnet50 后特征图显存占用极大加上门控网络和专家模块并行计算显存开销远超单分类网络。解决优先减小--img_size到 256 或 224医疗图像中的病灶分辨率损失可以接受只要不是检测微小钙化这类任务。其次是减少专家模块的数量比如从 6 个降到 3 个显存占用几乎是线性下降。最有效率的调整是梯度累积把 batch_size 降到 4每 8 个 mini-batch 做一次参数更新等效 batch 是 32# 梯度累积实现等效大 batch for idx, batch in enumerate(loader): loss compute_loss(batch) / accumulation_steps loss.backward() if (idx 1) % accumulation_steps 0: optimizer.step() optimizer.zero_grad()accumulation_steps设为 8实际显存占用只相当于 batch_size4但更新频率相当于 batch_size32。需要留意的是 BatchNorm 在梯度累积下的表现batch_size 太小时 BN 的统计量不稳定可以考虑把 BN 换成 GroupNorm 或冻结 BN 的 running stats。5.4 多任务头之间互相干扰现象联合训练两个任务比如结节分类和病变分割时分类任务指标正常分割任务的 loss 不降或振荡明显提高分割权重后分类指标又掉。原因排查两个任务的损失函数量级不同交叉熵一般在 0.5 到 2 之间而分割的 Dice 损失在 0.2 到 0.9 之间简单相加后梯度方向被量级更大的任务主导。ExpertNet 虽然把任务分支拆开了但共享的 Resnet50 骨干仍然接收两个任务的梯度。解决引入任务不确定度加权把每个任务的损失除以可学习的噪声参数这是多任务学习里常见的做法可以给任务分配自适应权重。更简单的方案是先让一个有标签的主任务收敛 20 轮再放开第二任务训练# 分阶段开任务前 20 轮只训练任务 A if epoch 20: loss loss_task_a else: loss loss_task_a loss_task_b真实项目中我还会检查两个任务是否真的共享底层特征。病灶分类主要关注中心区域纹理分割关注边缘像素分类如果两个任务对特征尺度的需求不同一个方向是拆开 Resnet50 最后几个 stage让不同任务各自接一个 stage两个分支只在中间层共享特征。5.5 训练结果与测试不符的保存问题现象验证集指标不错重新用test_models.py推理结果却差很多甚至文件路径都报错。原因排查绝大多数是模型保存和加载时带了训练状态包括 BatchNorm 的 running mean 和 running variance推理时忘记切换model.eval()导致预测时使用了正常的训练统计量、但数据统计分布不一致。解决保存模型时用checkpoint {model_state: model.state_dict(), config: config}加载后先model.load_state_dict再model.eval()同时保留一份config.json记录预处理参数。推理脚本里最容易被忽略的是灰度窗口参数是否和训练时一致比如训练用肺窗 -1200 到 600推理时改成软组织窗 -160 到 240影像特征完全不同模型输出的概率会整体偏移。我每次跑新一批数据都会先从测试集抽三张图把预处理后的图和原图对比一遍确认窗口和归一化生效再批量推理。6. 把模型输出做成交付级置信度校准、小样本抽查与实验记录习惯6.1 置信度校准让概率可以被医生当作用深度学习分类器输出的概率往往不是真实概率尤其是医疗图像正样本极少时模型预测概率普遍偏向保守。一个常见做法是做温度缩放校准在验证集上学习一个温度参数 T把 logits 除以 T 后再计算 sigmoid。T 大于 1 会让概率分布更集中T 小于 1 会让概率更分散。# 用验证集拟合温度参数 T best_T, best_brier 1.0, float(inf) for T in np.linspace(0.5, 3.0, 50): prob_calibrated sigmoid(logits / T) brier np.mean((prob_calibrated - labels) ** 2) if brier best_brier: best_brier, best_T brier, T校准完成后模型的输出概率才适合写进辅助诊断报告。这个步骤看似简单实际效果非常明显未校准的概率在 0.7 附近时误诊率波动大校准后 0.7 概率对应的真实阳性率通常更接近 0.7。有 PyTorch 环境可以直接用sklearn.calibration.CalibratedClassifierCV完成同样的任务但自定义温度缩放代码更轻量。6.2 五折小样本抽查没有大量标注也能验证无监督自适应的最后一道防线不是指标而是人工抽查。我的习惯是每次跑完自适应从目标域数据里随机抽 100 个样本把预测概率排序看正样本置信度最高和最低的各 20 个图像。重点观察低置信度假阳性也就是模型最“勉强”判为阳性的那批图像它们往往暴露模型学到了什么不该学的东西。多数情况是图像上有文字水印或异物模型把水印边缘当成了病灶。从那以后我每次跑新数据集都强制走一遍先确认重建损失低于阈值、再固定随机种子训练、最后抽查低置信度样本而不是直接看 AUC 就收工。无监督模型的指标太容易被取巧了只有人工抽查过的模型才敢拿出去给人用。希望帮到你。本文还有配套的精品资源点击获取
