简介基于PyTorch与U-Net架构的医学肝脏MRI图像分割系统实现面向计算机科学与技术专业高年级学生、毕业设计者及医学影像深度学习入门者。项目在导师指导下完成学术评审得分98分涵盖数据预处理、模型构建、训练验证与性能评估全流程其中包含经过标注的医学影像数据集、完整训练代码和预训练模型可直接复现肝脏区域自动分割效果也可作为课程实践或项目实训的扩展基线。压缩包共1285个文件大小21.79MB以1065张png切片图像为主体另有Python源码、zbak备份文件、zip数据包与README说明文件目录结构清晰便于按模块查阅。目前已有45人学习下载。从中可系统掌握PyTorch与U-Net在MRI肝脏分割任务中的落地流程包括数据读取、图像增强、模型训练、权重保存与结果评估等关键环节对完成毕设课题具有较强的参考价值。1. 为什么说肝脏 MRI 分割比 CT 分割更值得做打开一张腹部MRI横断面让医生手动沿肝包膜勾一圈轮廓平均要花3到5分钟。肝脏和周围组织灰度接近、边界时有时无勾线往往在血管、胆管和脂肪间隙处走偏。基于PyTorch与UNet架构的医学肝脏MRI图像分割系统要做的就是把这一步替换成自动或半自动掩膜输入是原始MRI序列输出是像素级肝脏/背景掩膜可直接用于肝体积测量、放疗计划和辅助诊断。对这个场景感兴趣的人通常不是来跑一个demo的而是手里有几十上百例标注数据想拿深度学习替代人工标注。别指望零基础直接白训一个模型就能用医学数据量小、标注贵、灰度差异大真正的功夫在预训练迁移、数据增强和损失函数调参上。2. 为什么是 UNet 而不是 VGG/ResNet肝脏 MRI 分割的网络选型2.1 肝脏 MRI 分割的三个核心难点肝脏MRI的难点不是“这个器官在不在画面上”而是“边界到底在哪、灰度稳不稳定”。在T2加权序列上肝包膜与腹壁、肾周脂肪的对比度有时低到几乎看不见肝脏内部若有脂肪浸润或炎症信号分布还会变得不均匀。我处理过的序列里同一台设备扫出来的不同患者肝实质的灰度均值能差30%以上这是CT里很少遇到的事。难点拆开是三条。第一条是边界模糊肝包膜与周围组织的过渡带常常只有几个像素人工判读都要靠上一张和下一张切片的位置关系来猜。第二条是灰度不统一MRI没有CT那种绝对的HU值T1、T2、压脂序列的信号强度都不一样无法用一套固定阈值搞定。第三条是类不平衡肝脏在多数切片里只占20%到40%背景占大头如果再带肿瘤或转移灶目标区域更小。这三条叠加之后一个“所有像素都预测为背景”的模型,准确率就能到80%以上Dice却还是0这是医学分割最坑的入门陷阱。2.2 UNet 的 U 形结构怎么保住肝脏边界经典UNet是一个对称的编码器-解码器结构。编码器每层做两三次卷积加一次池化把空间分辨率从512降到16特征从“边缘纹理”逐步变成“这片区域是肝还是脾”。解码器再把特征图上采样回原分辨率。关键在跳跃连接每个编码器层的特征图会沿通道方向拼到对应的解码器层而不是像FCN那样只在最后一层上采样。这样解码器既知道“这里有肝脏”又知道“肝包膜在这几个像素上最亮”边缘恢复能力比纯分类头强很多。对肝脏MRI这种边界模糊的任务跳跃连接带来的浅层特征很重要。完整5层UNet的参数约31M而换成ResNet-101做编码器再配一个粗解码头显存和训练时间直接翻倍边界不一定更好。我一般建议第一次做肝脏分割的团队先上标准UNet拿到baseline再考虑Attention UNet、UNet这些改进。结构越简单后处理的接口越清楚。2.3 PyTorch 在这个场景里的三个优势选PyTorch而不是TensorFlow不是因为前者一定更强而是它和这个任务的调试习惯更合拍。第一个优势是动态图MRI预处理过程总有意外比如某个患者的体位反了、标签图和原图错位动态图能打断点直观看到张量内容定位问题效率高。第二个优势是预训练生态torchvision里直接有ResNet等ImageNet权重UNet的编码器可以先从这些权重初始化对小样本医学数据集帮助很大。第三个优势是内存控制混合精度、梯度裁剪、多个loss反传在PyTorch里都是几行配置的事。环境搭建是很多人进门的第一个坎。我习惯用conda新建一个独立环境然后按官方命令安装GPU版PyTorch不要用系统Python直接pip包依赖容易搞乱。conda create -n liver_seg python3.9 -y conda activate liver_seg conda install pytorch torchvision torchaudio cudatoolkit11.3 -c pytorchcudatoolkit11.3要按你机器的NVIDIA驱动选驱动版本不是越新越好得和PyTorch的CUDA要求匹配。如果只是想先跑通流程没有GPU就装CPU版conda install pytorch torchvision torchaudio cpuonly -c pytorch。CPU版训练512×512的UNet非常慢但至少能验证代码路径。装好后跑一句python -c import torch; print(torch.cuda.is_available())输出True才算GPU环境就绪。3. 搭建肝脏 MRI 分割 UNet 的最小闭环数据、模型与训练3.1 数据预处理从 NIfTI 到可训练的 2D 切片医院导出的肝脏MRI通常是DICOM或NIfTI格式。NIfTI更干净是一个三维体数据加一个同名mask文件。常见公开数据集如LiTS17就是这种格式。常见做法是用SimpleITK读取体数据沿z轴逐层切成2D切片再转成float32一张张送入网络。先别想着做全3D模型二维UNet起步快、显存可控、调试方便。import SimpleITK as sitk import numpy as np def load_and_slice(volume_path, mask_pathNone): # 用SimpleITK读取三维MRI和对应标注 volume sitk.GetArrayFromImage(sitk.ReadImage(volume_path)) # (D, H, W) if mask_path: mask sitk.GetArrayFromImage(sitk.ReadImage(mask_path)) else: mask None # MRI没有统一量纲使用每个样本自己的min-max归一化 if volume.dtype np.int16: volume (volume - volume.min()) / (volume.max() - volume.min() 1e-8) volume volume.astype(np.float32) if mask is not None: mask (mask 0).astype(np.uint8) return volume, mask这套逻辑里MRI的归一化用的是单个volume内部的最小最大值而不是所有样本全局统计。因为不同患者的MRI灰度分布差异很大全局归一化会让对比度弱的样本在输入层信息被压制。mask做的是“大于0置1”这样能处理多类别label后续做二分类就不用改代码。(D, H, W)的默认排列每个库略有不同最好打印一次shape确认避免后面出现维度没转的经典翻车。切片保存时我常用npy或者npz落盘训练时再用np.load读取。这样能省去每次训练读NIfTI再切片的IO时间。至于要不要只选含肝脏的切片我的经验是首版全量保留让模型自己学“哪些切片没有肝脏”否则前处理就引入了主观偏差。3.2 UNet 模型实现PyTorch标准UNet的代码不复杂但几个关键点值得说清楚编码器用3×3卷积激活用ReLU归一化用BatchNorm解码器的上采样用转置卷积而不是插值。下面这份代码是完整可训练的输入是(B, 3, H, W)输出是(B, 1, H, W)。import torch import torch.nn as nn class DoubleConv(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue), nn.Conv2d(out_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue) ) def forward(self, x): return self.conv(x) class UNet(nn.Module): def __init__(self, in_ch3, out_ch1, base64): super().__init__() self.inc DoubleConv(in_ch, base) self.d1 nn.Sequential(nn.MaxPool2d(2), DoubleConv(base, base * 2)) self.d2 nn.Sequential(nn.MaxPool2d(2), DoubleConv(base * 2, base * 4)) self.d3 nn.Sequential(nn.MaxPool2d(2), DoubleConv(base * 4, base * 8)) self.d4 nn.Sequential(nn.MaxPool2d(2), DoubleConv(base * 8, base * 16)) self.u1 nn.ConvTranspose2d(base * 16, base * 8, kernel_size2, stride2) self.c1 DoubleConv(base * 16, base * 8) self.u2 nn.ConvTranspose2d(base * 8, base * 4, kernel_size2, stride2) self.c2 DoubleConv(base * 8, base * 4) self.u3 nn.ConvTranspose2d(base * 4, base * 2, kernel_size2, stride2) self.c3 DoubleConv(base * 4, base * 2) self.u4 nn.ConvTranspose2d(base * 2, base, kernel_size2, stride2) self.c4 DoubleConv(base * 2, base) self.outc nn.Conv2d(base, out_ch, kernel_size1) def forward(self, x): e0 self.inc(x) e1 self.d1(e0) e2 self.d2(e1) e3 self.d3(e2) e4 self.d4(e3) d self.u1(e4) d self.c1(torch.cat([d, e3], dim1)) d self.u2(d) d self.c2(torch.cat([d, e2], dim1)) d self.u3(d) d self.c3(torch.cat([d, e1], dim1)) d self.u4(d) d self.c4(torch.cat([d, e0], dim1)) return self.outc(d)我把base64作为一个超参暴露出来。显存紧张时把base改成32模型参数量会降到原来的四分之一训练速度明显变快肝脏这么大器官的分割损失通常可接受。输入通道设为3是因为后面要接ImageNet预训练Encoder如果你的MRI是单通道就在预处理时把灰度图复制成三份再做和ImageNet相同的归一化。注意解码器拼接时要把下采样特征图e3等传进来很多人初写时容易忘记在forward里保存这些中间量。3.3 训练脚本损失函数、优化器与评估指标损失函数是医学分割里最值得花时间的部分。我常用的组合是BCEWithLogitsLoss加一个自定义Dice Loss。BCE给每个像素提供稳定的梯度Dice让网络更关注前景区域的整体重合度。Dice的梯度在某些像素上可能异常但配合BCE一般能稳住。def dice_loss(pred, target, smooth1e-6): # pred是logitstarget是[0,1]的mask pred torch.sigmoid(pred) p pred.flatten() t target.flatten() intersection (p * t).sum() return 1 - (2. * intersection smooth) / (p.sum() t.sum() smooth) # 训练循环核心片段 optimizer torch.optim.Adam(model.parameters(), lr1e-3) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max50) for epoch in range(50): model.train() for images, labels in train_loader: images images.cuda() labels labels.cuda().unsqueeze(1) # (B,1,H,W) optimizer.zero_grad() logits model(images) loss nn.BCEWithLogitsLoss()(logits, labels) dice_loss(logits, labels) loss.backward() optimizer.step() model.eval() val_dice evaluate(model, val_loader) print(epoch, loss.item(), val_dice) scheduler.step()这里labels.unsqueeze(1)是把本来是(B,H,W)的mask加一个通道维度。dice_loss内部已经做了sigmoid所以和BCEWithLogitsLoss一起用时没有重复计算的问题。学习率1e-3对Adam来说是个偏大的起点如果loss在前几个epoch震荡就降到3e-4。CosanAnnealingLR的T_max设成训练总epoch数让它把学习率从1e-3平滑余弦降到接近0。数据加载里另外一个小技巧DataLoader里设num_workers4, pin_memoryTrue。多进程读取能把GPU喂得更满pin_memory能减少CPU到GPU的传输等待。如果你的机器是Windowsnum_workers设成0最省心多进程在Windows下容易报错。4. 数据不够时怎么用预训练模型迁移学习与数据增强的落地参数4.1 把 torchvision 预训练 ResNet34 编码器嫁接进 UNet医学影像和ImageNet里的自然图像差异很大但网络浅层学习的边缘、纹理、对比度特征仍然可以通用。把UNet的编码器换成torchvision.models.resnet34(pretrainedTrue)的前几层是速度最快、效果最稳的迁移做法。ResNet34比ResNet50参数量小在小数据集上不容易过拟合特征能力对肝脏这种大器官足够。from torchvision.models import resnet34 class UNetRes(nn.Module): def __init__(self, pretrainedTrue, out_ch1): super().__init__() backbone resnet34(pretrainedpretrained) # 用ResNet的前四层做编码器 self.encoder1 nn.Sequential(backbone.conv1, backbone.bn1, backbone.relu) self.pool backbone.maxpool self.encoder2 backbone.layer1 self.encoder3 backbone.layer2 self.encoder4 backbone.layer3 self.center backbone.layer4 # 解码器通道数必须和ResNet输出对齐 self.up1 nn.ConvTranspose2d(512, 256, 2, stride2) self.dec1 DoubleConv(512, 256) self.up2 nn.ConvTranspose2d(256, 128, 2, stride2) self.dec2 DoubleConv(256, 128) self.up3 nn.ConvTranspose2d(128, 64, 2, stride2) self.dec3 DoubleConv(128, 64) self.up4 nn.ConvTranspose2d(64, 64, 2, stride2) self.dec4 DoubleConv(128, 64) self.outc nn.Conv2d(64, out_ch, 1) def forward(self, x): e1 self.encoder1(x) # 64 e2 self.encoder2(self.pool(e1)) # 64 e3 self.encoder3(e2) # 128 e4 self.encoder4(e3) # 256 c self.center(e4) # 512 d self.dec1(torch.cat([self.up1(c), e4], dim1)) d self.dec2(torch.cat([self.up2(d), e3], dim1)) d self.dec3(torch.cat([self.up3(d), e2], dim1)) d self.dec4(torch.cat([self.up4(d), e1], dim1)) return self.outc(d)这段代码里encoder1的输出和最后dec4拼接时通道数是6464128所以dec4的输入通道是128。ResNet34的layer3输出256layer4输出512不要看错。加载预训练权重时如果发现conv1.weight形状对不上先检查你的输入通道是不是3。MRI单通道切片复制成3通道就能对上。4.2 数据增强参数旋转、仿射、弹性形变训练数据有限时数据增强几乎决定了模型泛化能力的上限。肝脏MRI没有固定方向但大幅旋转没有意义人体解剖位置大体一致。我常用的albumentations配置如下import albumentations as A from albumentations.pytorch import ToTensorV2 train_transform A.Compose([ A.RandomRotate90(p0.5), A.ShiftScaleRotate(shift_limit0.05, scale_limit0.1, rotate_limit15, p0.5), A.ElasticTransform(alpha60, sigma120 * 0.05, alpha_affine120 * 0.03, p0.3), A.GaussNoise(var_limit(10.0, 30.0), p0.2), A.Normalize(mean(0.485, 0.456, 0.406), std(0.229, 0.224, 0.225)), ToTensorV2(), ])ShiftScaleRotate的rotate_limit15表示最大旋转15度太大容易把肝脏扭成不真实的形态。ElasticTransform对医学图像特别有效模拟呼吸运动和软组织形变但alpha太大可能让边界扭曲到失真一般从alpha60起步。GaussNoise适合MRI因为MRI本身有热噪声。Normalize里的mean/std直接复用ImageNet统计量虽然MRI灰度分布不同但对训练稳定性没有坏影响如果你想较真就在训练前统计自己数据集的均值和方差再填进去。4.3 冻结与微调策略数据集越小越应该冻结编码器的一部分。我常见的做法是前三层完全冻结只微调后面的编码器层和解码器。这样既能保留ImageNet学到的通用纹理特征又不会让头部淹没掉肝脏的语义信息。# 冻结encoder1和encoder2 for name, param in model.named_parameters(): if name.startswith(encoder1) or name.startswith(encoder2): param.requires_grad False optimizer torch.optim.Adam([ {params: model.decoder.parameters(), lr: 1e-3}, {params: model.encoder3.parameters(), lr: 1e-4}, {params: model.encoder4.parameters(), lr: 1e-4}, ])通常先跑10个epoch看loss曲线如果验证Dice还在涨就把冻结层逐步解冻把学习率调低到1e-4继续微调。要注意的是BatchNorm层即使requires_gradFalse如果模型在train模式下仍会更新running mean和running variance。想让BatchNorm也冻结就得把模型切成submodule单独调参数这个坑在迁移学习里经常出现。5. 肝脏 MRI 分割常见问题排查5 个坑的现象、原因与解法5.1 GPU 显存不够batch size 只能等于 1现象是512×512输入、5层UNet、batch4时直接CUDA OOM训练根本跑不起来。原因是UNet解码器每层都做通道拼接特征图数量大显存占用比分类模型高很多。解决方向有三个把batch size降到1或2验证流程把base从64改成32在输入前把图像裁剪到256×256但这样会损失边界信息。另外使用混合精度是一个无损的显存优化手段。scaler torch.cuda.amp.GradScaler() for images, labels in train_loader: optimizer.zero_grad() with torch.cuda.amp.autocast(): logits model(images) loss nn.BCEWithLogitsLoss()(logits, labels.unsqueeze(1)) dice_loss(logits, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()混合精度在NVIDIA的Turing架构及以后收益大老架构可能反而变慢。显存仍然不够时最实在的方法是把切片尺寸缩到384×384肝脏这种大目标通常不会因此丢精度。5.2 Dice 分数不错但医生还是抱怨边界毛刺现象是验证集Dice到了0.93临床医生却觉得生成的肝脏轮廓边缘有毛刺、体积偏大。原因是Dice对整体重叠敏感边缘几个像素的误差对Dice影响很小但对医生画放疗靶区来说就是不可接受的问题。解决思路是在推理后处理阶段用形态学操作清掉毛边import cv2 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5)) mask cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel, iterations2) mask cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel, iterations1)先闭运算填补内部小孔再开运算去掉外缘毛刺。除非mask的断裂超过1-2个像素否则这个操作不会改变肝脏的整体体积。5.3 加载预训练权重时报 size mismatch现象是调用load_state_dict时出现size mismatch for conv1.weight或Missing key(s)。原因是torchvision里的ResNet权重key是conv1.weight、layer1.0.conv1.weight而你的模型key是encoder1.0.weight这种自定义名字。简单粗暴的做法是只加载形状匹配的keypretrained torch.hub.load_state_dict_from_url( https://download.pytorch.org/models/resnet34-333f7ec4.pth, map_locationcpu) matched {} for k, v in pretrained.items(): if k in model.state_dict() and model.state_dict()[k].shape v.shape: matched[k] v model.load_state_dict(matched, strictFalse)这样掉文件里的预训练key名和模型不完全一样但只要shape匹配对应的卷积层权重就能正确初始化。strictFalse会忽略缺失和多余的key打印信息时注意看哪些层没有加载而不是放任不管。5.4 验证 loss 一直降Dice 却卡住不动现象是训练集loss稳定下降验证集loss也下降但验证Dice停在0.85附近不再涨。先检查是不是阈值问题模型输出的概率图可能整体偏灰默认0.5阈值把边缘像素都滤掉了。把预测概率输出做一个直方图看到双峰不明显的分布时把阈值从0.5调到0.35-0.45再做二值化Dice通常会跳一截。如果调阈值也无效就要看损失权重的配置。BCE Dice组合里BCE对背景占比大的样本梯度贡献多Dice权重不够时会因为背景主导而让前景边界被优化得很慢。可以临时把dice_loss乘以一个小系数比如loss bce_loss 0.8 * dice_loss让Dice的梯度更强势。5.5 不同机器推理结果不一样随机种子和 cudnn现象是同一个模型在两个GPU机器上预测同一张切片边界像素出现肉眼可见的差异。原因有两层一个是训练时随机种子没固定两次训练的网络权重本来就不一样另一个是推理时cuDNN为选最快的卷积算法结果在不同硬件上会选不同路径。解决做法是在训练和推理脚本开头固定随机种子并关闭确定性算法random.seed(0) np.random.seed(0) torch.manual_seed(0) torch.cuda.manual_seed_all(0) torch.backends.cudnn.benchmark False torch.use_deterministic_algorithms(True)torch.use_deterministic_algorithms(True)会让PyTorch只使用有确定实现的算子代价是部分操作变慢。在离线训练时无所谓在线推理时如果吞吐优先可以只固定随机种子关闭benchmark。这个坑不是玄学是cuDNN算法选择导致的可复现性问题。6. 部署把 PyTorch 模型转 ONNX 并做最后一道后处理6.1 转 ONNX 的最小代码和验证方式模型训练好后要让它在不依赖PyTorch的环境里跑起来最常见做法是导出ONNX。注意导出时加dynamic_axes因为医院来的MRI切片高度宽度不一定固定。model.eval() x torch.randn(1, 3, 512, 512) torch.onnx.export( model, x, unet_liver.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch, 2: height, 3: width}, output: {0: batch, 2: height, 3: width}}, opset_version11 )导出后一定要用ONNX Runtime验证一遍import onnxruntime as ort sess ort.InferenceSession(unet_liver.onnx) ort_out sess.run(None, {input: x.numpy()})[0] torch_out torch.sigmoid(model(x)).detach().numpy() print(max abs diff:, np.abs(ort_out - torch_out).max())这个差值通常在1e-6量级。如果差距过大检查模型里是否有训练模式下才运行的Dropout以及BatchNorm是否处于eval状态。验证一致后再包装成分割接口别人用起来才放心。6.2 一个实用的后处理只保留最大连通域肝脏在单张切片上通常是一个连通的区域偶尔会被血管或门静脉断开成几块。推理后我只保留面积最大的连通域再补上小孔能明显减少假阳性。cnts, _ cv2.findContours(mask.astype(np.uint8), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if cnts: largest max(cnts, keycv2.contourArea) final_mask np.zeros_like(mask) cv2.drawContours(final_mask, [largest], -1, 1, thickness-1)这个后处理对没有明显转移灶的肝脏分割很安全。如果你的标签里确实包含分开的肝段或大肿瘤不要用最大连通域改用“按面积阈值删除孤立小区域”更合适。我最早做医用分割时总想一步到位上3D网络结果被显存和预处理折磨到一周没调通。后来老老实实把2D UNet跑扎实再往深了走才发现很多问题都可以从数据和后处理上解决。转ONNX也是一定要早做别等模型改进完再推倒重来。希望帮到你。本文还有配套的精品资源点击获取
简介基于PyTorch与U-Net架构的医学肝脏MRI图像分割系统实现面向计算机科学与技术专业高年级学生、毕业设计者及医学影像深度学习入门者。项目在导师指导下完成学术评审得分98分涵盖数据预处理、模型构建、训练验证与性能评估全流程其中包含经过标注的医学影像数据集、完整训练代码和预训练模型可直接复现肝脏区域自动分割效果也可作为课程实践或项目实训的扩展基线。压缩包共1285个文件大小21.79MB以1065张png切片图像为主体另有Python源码、zbak备份文件、zip数据包与README说明文件目录结构清晰便于按模块查阅。目前已有45人学习下载。从中可系统掌握PyTorch与U-Net在MRI肝脏分割任务中的落地流程包括数据读取、图像增强、模型训练、权重保存与结果评估等关键环节对完成毕设课题具有较强的参考价值。1. 为什么说肝脏 MRI 分割比 CT 分割更值得做打开一张腹部MRI横断面让医生手动沿肝包膜勾一圈轮廓平均要花3到5分钟。肝脏和周围组织灰度接近、边界时有时无勾线往往在血管、胆管和脂肪间隙处走偏。基于PyTorch与UNet架构的医学肝脏MRI图像分割系统要做的就是把这一步替换成自动或半自动掩膜输入是原始MRI序列输出是像素级肝脏/背景掩膜可直接用于肝体积测量、放疗计划和辅助诊断。对这个场景感兴趣的人通常不是来跑一个demo的而是手里有几十上百例标注数据想拿深度学习替代人工标注。别指望零基础直接白训一个模型就能用医学数据量小、标注贵、灰度差异大真正的功夫在预训练迁移、数据增强和损失函数调参上。2. 为什么是 UNet 而不是 VGG/ResNet肝脏 MRI 分割的网络选型2.1 肝脏 MRI 分割的三个核心难点肝脏MRI的难点不是“这个器官在不在画面上”而是“边界到底在哪、灰度稳不稳定”。在T2加权序列上肝包膜与腹壁、肾周脂肪的对比度有时低到几乎看不见肝脏内部若有脂肪浸润或炎症信号分布还会变得不均匀。我处理过的序列里同一台设备扫出来的不同患者肝实质的灰度均值能差30%以上这是CT里很少遇到的事。难点拆开是三条。第一条是边界模糊肝包膜与周围组织的过渡带常常只有几个像素人工判读都要靠上一张和下一张切片的位置关系来猜。第二条是灰度不统一MRI没有CT那种绝对的HU值T1、T2、压脂序列的信号强度都不一样无法用一套固定阈值搞定。第三条是类不平衡肝脏在多数切片里只占20%到40%背景占大头如果再带肿瘤或转移灶目标区域更小。这三条叠加之后一个“所有像素都预测为背景”的模型,准确率就能到80%以上Dice却还是0这是医学分割最坑的入门陷阱。2.2 UNet 的 U 形结构怎么保住肝脏边界经典UNet是一个对称的编码器-解码器结构。编码器每层做两三次卷积加一次池化把空间分辨率从512降到16特征从“边缘纹理”逐步变成“这片区域是肝还是脾”。解码器再把特征图上采样回原分辨率。关键在跳跃连接每个编码器层的特征图会沿通道方向拼到对应的解码器层而不是像FCN那样只在最后一层上采样。这样解码器既知道“这里有肝脏”又知道“肝包膜在这几个像素上最亮”边缘恢复能力比纯分类头强很多。对肝脏MRI这种边界模糊的任务跳跃连接带来的浅层特征很重要。完整5层UNet的参数约31M而换成ResNet-101做编码器再配一个粗解码头显存和训练时间直接翻倍边界不一定更好。我一般建议第一次做肝脏分割的团队先上标准UNet拿到baseline再考虑Attention UNet、UNet这些改进。结构越简单后处理的接口越清楚。2.3 PyTorch 在这个场景里的三个优势选PyTorch而不是TensorFlow不是因为前者一定更强而是它和这个任务的调试习惯更合拍。第一个优势是动态图MRI预处理过程总有意外比如某个患者的体位反了、标签图和原图错位动态图能打断点直观看到张量内容定位问题效率高。第二个优势是预训练生态torchvision里直接有ResNet等ImageNet权重UNet的编码器可以先从这些权重初始化对小样本医学数据集帮助很大。第三个优势是内存控制混合精度、梯度裁剪、多个loss反传在PyTorch里都是几行配置的事。环境搭建是很多人进门的第一个坎。我习惯用conda新建一个独立环境然后按官方命令安装GPU版PyTorch不要用系统Python直接pip包依赖容易搞乱。conda create -n liver_seg python3.9 -y conda activate liver_seg conda install pytorch torchvision torchaudio cudatoolkit11.3 -c pytorchcudatoolkit11.3要按你机器的NVIDIA驱动选驱动版本不是越新越好得和PyTorch的CUDA要求匹配。如果只是想先跑通流程没有GPU就装CPU版conda install pytorch torchvision torchaudio cpuonly -c pytorch。CPU版训练512×512的UNet非常慢但至少能验证代码路径。装好后跑一句python -c import torch; print(torch.cuda.is_available())输出True才算GPU环境就绪。3. 搭建肝脏 MRI 分割 UNet 的最小闭环数据、模型与训练3.1 数据预处理从 NIfTI 到可训练的 2D 切片医院导出的肝脏MRI通常是DICOM或NIfTI格式。NIfTI更干净是一个三维体数据加一个同名mask文件。常见公开数据集如LiTS17就是这种格式。常见做法是用SimpleITK读取体数据沿z轴逐层切成2D切片再转成float32一张张送入网络。先别想着做全3D模型二维UNet起步快、显存可控、调试方便。import SimpleITK as sitk import numpy as np def load_and_slice(volume_path, mask_pathNone): # 用SimpleITK读取三维MRI和对应标注 volume sitk.GetArrayFromImage(sitk.ReadImage(volume_path)) # (D, H, W) if mask_path: mask sitk.GetArrayFromImage(sitk.ReadImage(mask_path)) else: mask None # MRI没有统一量纲使用每个样本自己的min-max归一化 if volume.dtype np.int16: volume (volume - volume.min()) / (volume.max() - volume.min() 1e-8) volume volume.astype(np.float32) if mask is not None: mask (mask 0).astype(np.uint8) return volume, mask这套逻辑里MRI的归一化用的是单个volume内部的最小最大值而不是所有样本全局统计。因为不同患者的MRI灰度分布差异很大全局归一化会让对比度弱的样本在输入层信息被压制。mask做的是“大于0置1”这样能处理多类别label后续做二分类就不用改代码。(D, H, W)的默认排列每个库略有不同最好打印一次shape确认避免后面出现维度没转的经典翻车。切片保存时我常用npy或者npz落盘训练时再用np.load读取。这样能省去每次训练读NIfTI再切片的IO时间。至于要不要只选含肝脏的切片我的经验是首版全量保留让模型自己学“哪些切片没有肝脏”否则前处理就引入了主观偏差。3.2 UNet 模型实现PyTorch标准UNet的代码不复杂但几个关键点值得说清楚编码器用3×3卷积激活用ReLU归一化用BatchNorm解码器的上采样用转置卷积而不是插值。下面这份代码是完整可训练的输入是(B, 3, H, W)输出是(B, 1, H, W)。import torch import torch.nn as nn class DoubleConv(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue), nn.Conv2d(out_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue) ) def forward(self, x): return self.conv(x) class UNet(nn.Module): def __init__(self, in_ch3, out_ch1, base64): super().__init__() self.inc DoubleConv(in_ch, base) self.d1 nn.Sequential(nn.MaxPool2d(2), DoubleConv(base, base * 2)) self.d2 nn.Sequential(nn.MaxPool2d(2), DoubleConv(base * 2, base * 4)) self.d3 nn.Sequential(nn.MaxPool2d(2), DoubleConv(base * 4, base * 8)) self.d4 nn.Sequential(nn.MaxPool2d(2), DoubleConv(base * 8, base * 16)) self.u1 nn.ConvTranspose2d(base * 16, base * 8, kernel_size2, stride2) self.c1 DoubleConv(base * 16, base * 8) self.u2 nn.ConvTranspose2d(base * 8, base * 4, kernel_size2, stride2) self.c2 DoubleConv(base * 8, base * 4) self.u3 nn.ConvTranspose2d(base * 4, base * 2, kernel_size2, stride2) self.c3 DoubleConv(base * 4, base * 2) self.u4 nn.ConvTranspose2d(base * 2, base, kernel_size2, stride2) self.c4 DoubleConv(base * 2, base) self.outc nn.Conv2d(base, out_ch, kernel_size1) def forward(self, x): e0 self.inc(x) e1 self.d1(e0) e2 self.d2(e1) e3 self.d3(e2) e4 self.d4(e3) d self.u1(e4) d self.c1(torch.cat([d, e3], dim1)) d self.u2(d) d self.c2(torch.cat([d, e2], dim1)) d self.u3(d) d self.c3(torch.cat([d, e1], dim1)) d self.u4(d) d self.c4(torch.cat([d, e0], dim1)) return self.outc(d)我把base64作为一个超参暴露出来。显存紧张时把base改成32模型参数量会降到原来的四分之一训练速度明显变快肝脏这么大器官的分割损失通常可接受。输入通道设为3是因为后面要接ImageNet预训练Encoder如果你的MRI是单通道就在预处理时把灰度图复制成三份再做和ImageNet相同的归一化。注意解码器拼接时要把下采样特征图e3等传进来很多人初写时容易忘记在forward里保存这些中间量。3.3 训练脚本损失函数、优化器与评估指标损失函数是医学分割里最值得花时间的部分。我常用的组合是BCEWithLogitsLoss加一个自定义Dice Loss。BCE给每个像素提供稳定的梯度Dice让网络更关注前景区域的整体重合度。Dice的梯度在某些像素上可能异常但配合BCE一般能稳住。def dice_loss(pred, target, smooth1e-6): # pred是logitstarget是[0,1]的mask pred torch.sigmoid(pred) p pred.flatten() t target.flatten() intersection (p * t).sum() return 1 - (2. * intersection smooth) / (p.sum() t.sum() smooth) # 训练循环核心片段 optimizer torch.optim.Adam(model.parameters(), lr1e-3) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max50) for epoch in range(50): model.train() for images, labels in train_loader: images images.cuda() labels labels.cuda().unsqueeze(1) # (B,1,H,W) optimizer.zero_grad() logits model(images) loss nn.BCEWithLogitsLoss()(logits, labels) dice_loss(logits, labels) loss.backward() optimizer.step() model.eval() val_dice evaluate(model, val_loader) print(epoch, loss.item(), val_dice) scheduler.step()这里labels.unsqueeze(1)是把本来是(B,H,W)的mask加一个通道维度。dice_loss内部已经做了sigmoid所以和BCEWithLogitsLoss一起用时没有重复计算的问题。学习率1e-3对Adam来说是个偏大的起点如果loss在前几个epoch震荡就降到3e-4。CosanAnnealingLR的T_max设成训练总epoch数让它把学习率从1e-3平滑余弦降到接近0。数据加载里另外一个小技巧DataLoader里设num_workers4, pin_memoryTrue。多进程读取能把GPU喂得更满pin_memory能减少CPU到GPU的传输等待。如果你的机器是Windowsnum_workers设成0最省心多进程在Windows下容易报错。4. 数据不够时怎么用预训练模型迁移学习与数据增强的落地参数4.1 把 torchvision 预训练 ResNet34 编码器嫁接进 UNet医学影像和ImageNet里的自然图像差异很大但网络浅层学习的边缘、纹理、对比度特征仍然可以通用。把UNet的编码器换成torchvision.models.resnet34(pretrainedTrue)的前几层是速度最快、效果最稳的迁移做法。ResNet34比ResNet50参数量小在小数据集上不容易过拟合特征能力对肝脏这种大器官足够。from torchvision.models import resnet34 class UNetRes(nn.Module): def __init__(self, pretrainedTrue, out_ch1): super().__init__() backbone resnet34(pretrainedpretrained) # 用ResNet的前四层做编码器 self.encoder1 nn.Sequential(backbone.conv1, backbone.bn1, backbone.relu) self.pool backbone.maxpool self.encoder2 backbone.layer1 self.encoder3 backbone.layer2 self.encoder4 backbone.layer3 self.center backbone.layer4 # 解码器通道数必须和ResNet输出对齐 self.up1 nn.ConvTranspose2d(512, 256, 2, stride2) self.dec1 DoubleConv(512, 256) self.up2 nn.ConvTranspose2d(256, 128, 2, stride2) self.dec2 DoubleConv(256, 128) self.up3 nn.ConvTranspose2d(128, 64, 2, stride2) self.dec3 DoubleConv(128, 64) self.up4 nn.ConvTranspose2d(64, 64, 2, stride2) self.dec4 DoubleConv(128, 64) self.outc nn.Conv2d(64, out_ch, 1) def forward(self, x): e1 self.encoder1(x) # 64 e2 self.encoder2(self.pool(e1)) # 64 e3 self.encoder3(e2) # 128 e4 self.encoder4(e3) # 256 c self.center(e4) # 512 d self.dec1(torch.cat([self.up1(c), e4], dim1)) d self.dec2(torch.cat([self.up2(d), e3], dim1)) d self.dec3(torch.cat([self.up3(d), e2], dim1)) d self.dec4(torch.cat([self.up4(d), e1], dim1)) return self.outc(d)这段代码里encoder1的输出和最后dec4拼接时通道数是6464128所以dec4的输入通道是128。ResNet34的layer3输出256layer4输出512不要看错。加载预训练权重时如果发现conv1.weight形状对不上先检查你的输入通道是不是3。MRI单通道切片复制成3通道就能对上。4.2 数据增强参数旋转、仿射、弹性形变训练数据有限时数据增强几乎决定了模型泛化能力的上限。肝脏MRI没有固定方向但大幅旋转没有意义人体解剖位置大体一致。我常用的albumentations配置如下import albumentations as A from albumentations.pytorch import ToTensorV2 train_transform A.Compose([ A.RandomRotate90(p0.5), A.ShiftScaleRotate(shift_limit0.05, scale_limit0.1, rotate_limit15, p0.5), A.ElasticTransform(alpha60, sigma120 * 0.05, alpha_affine120 * 0.03, p0.3), A.GaussNoise(var_limit(10.0, 30.0), p0.2), A.Normalize(mean(0.485, 0.456, 0.406), std(0.229, 0.224, 0.225)), ToTensorV2(), ])ShiftScaleRotate的rotate_limit15表示最大旋转15度太大容易把肝脏扭成不真实的形态。ElasticTransform对医学图像特别有效模拟呼吸运动和软组织形变但alpha太大可能让边界扭曲到失真一般从alpha60起步。GaussNoise适合MRI因为MRI本身有热噪声。Normalize里的mean/std直接复用ImageNet统计量虽然MRI灰度分布不同但对训练稳定性没有坏影响如果你想较真就在训练前统计自己数据集的均值和方差再填进去。4.3 冻结与微调策略数据集越小越应该冻结编码器的一部分。我常见的做法是前三层完全冻结只微调后面的编码器层和解码器。这样既能保留ImageNet学到的通用纹理特征又不会让头部淹没掉肝脏的语义信息。# 冻结encoder1和encoder2 for name, param in model.named_parameters(): if name.startswith(encoder1) or name.startswith(encoder2): param.requires_grad False optimizer torch.optim.Adam([ {params: model.decoder.parameters(), lr: 1e-3}, {params: model.encoder3.parameters(), lr: 1e-4}, {params: model.encoder4.parameters(), lr: 1e-4}, ])通常先跑10个epoch看loss曲线如果验证Dice还在涨就把冻结层逐步解冻把学习率调低到1e-4继续微调。要注意的是BatchNorm层即使requires_gradFalse如果模型在train模式下仍会更新running mean和running variance。想让BatchNorm也冻结就得把模型切成submodule单独调参数这个坑在迁移学习里经常出现。5. 肝脏 MRI 分割常见问题排查5 个坑的现象、原因与解法5.1 GPU 显存不够batch size 只能等于 1现象是512×512输入、5层UNet、batch4时直接CUDA OOM训练根本跑不起来。原因是UNet解码器每层都做通道拼接特征图数量大显存占用比分类模型高很多。解决方向有三个把batch size降到1或2验证流程把base从64改成32在输入前把图像裁剪到256×256但这样会损失边界信息。另外使用混合精度是一个无损的显存优化手段。scaler torch.cuda.amp.GradScaler() for images, labels in train_loader: optimizer.zero_grad() with torch.cuda.amp.autocast(): logits model(images) loss nn.BCEWithLogitsLoss()(logits, labels.unsqueeze(1)) dice_loss(logits, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()混合精度在NVIDIA的Turing架构及以后收益大老架构可能反而变慢。显存仍然不够时最实在的方法是把切片尺寸缩到384×384肝脏这种大目标通常不会因此丢精度。5.2 Dice 分数不错但医生还是抱怨边界毛刺现象是验证集Dice到了0.93临床医生却觉得生成的肝脏轮廓边缘有毛刺、体积偏大。原因是Dice对整体重叠敏感边缘几个像素的误差对Dice影响很小但对医生画放疗靶区来说就是不可接受的问题。解决思路是在推理后处理阶段用形态学操作清掉毛边import cv2 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5)) mask cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel, iterations2) mask cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel, iterations1)先闭运算填补内部小孔再开运算去掉外缘毛刺。除非mask的断裂超过1-2个像素否则这个操作不会改变肝脏的整体体积。5.3 加载预训练权重时报 size mismatch现象是调用load_state_dict时出现size mismatch for conv1.weight或Missing key(s)。原因是torchvision里的ResNet权重key是conv1.weight、layer1.0.conv1.weight而你的模型key是encoder1.0.weight这种自定义名字。简单粗暴的做法是只加载形状匹配的keypretrained torch.hub.load_state_dict_from_url( https://download.pytorch.org/models/resnet34-333f7ec4.pth, map_locationcpu) matched {} for k, v in pretrained.items(): if k in model.state_dict() and model.state_dict()[k].shape v.shape: matched[k] v model.load_state_dict(matched, strictFalse)这样掉文件里的预训练key名和模型不完全一样但只要shape匹配对应的卷积层权重就能正确初始化。strictFalse会忽略缺失和多余的key打印信息时注意看哪些层没有加载而不是放任不管。5.4 验证 loss 一直降Dice 却卡住不动现象是训练集loss稳定下降验证集loss也下降但验证Dice停在0.85附近不再涨。先检查是不是阈值问题模型输出的概率图可能整体偏灰默认0.5阈值把边缘像素都滤掉了。把预测概率输出做一个直方图看到双峰不明显的分布时把阈值从0.5调到0.35-0.45再做二值化Dice通常会跳一截。如果调阈值也无效就要看损失权重的配置。BCE Dice组合里BCE对背景占比大的样本梯度贡献多Dice权重不够时会因为背景主导而让前景边界被优化得很慢。可以临时把dice_loss乘以一个小系数比如loss bce_loss 0.8 * dice_loss让Dice的梯度更强势。5.5 不同机器推理结果不一样随机种子和 cudnn现象是同一个模型在两个GPU机器上预测同一张切片边界像素出现肉眼可见的差异。原因有两层一个是训练时随机种子没固定两次训练的网络权重本来就不一样另一个是推理时cuDNN为选最快的卷积算法结果在不同硬件上会选不同路径。解决做法是在训练和推理脚本开头固定随机种子并关闭确定性算法random.seed(0) np.random.seed(0) torch.manual_seed(0) torch.cuda.manual_seed_all(0) torch.backends.cudnn.benchmark False torch.use_deterministic_algorithms(True)torch.use_deterministic_algorithms(True)会让PyTorch只使用有确定实现的算子代价是部分操作变慢。在离线训练时无所谓在线推理时如果吞吐优先可以只固定随机种子关闭benchmark。这个坑不是玄学是cuDNN算法选择导致的可复现性问题。6. 部署把 PyTorch 模型转 ONNX 并做最后一道后处理6.1 转 ONNX 的最小代码和验证方式模型训练好后要让它在不依赖PyTorch的环境里跑起来最常见做法是导出ONNX。注意导出时加dynamic_axes因为医院来的MRI切片高度宽度不一定固定。model.eval() x torch.randn(1, 3, 512, 512) torch.onnx.export( model, x, unet_liver.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch, 2: height, 3: width}, output: {0: batch, 2: height, 3: width}}, opset_version11 )导出后一定要用ONNX Runtime验证一遍import onnxruntime as ort sess ort.InferenceSession(unet_liver.onnx) ort_out sess.run(None, {input: x.numpy()})[0] torch_out torch.sigmoid(model(x)).detach().numpy() print(max abs diff:, np.abs(ort_out - torch_out).max())这个差值通常在1e-6量级。如果差距过大检查模型里是否有训练模式下才运行的Dropout以及BatchNorm是否处于eval状态。验证一致后再包装成分割接口别人用起来才放心。6.2 一个实用的后处理只保留最大连通域肝脏在单张切片上通常是一个连通的区域偶尔会被血管或门静脉断开成几块。推理后我只保留面积最大的连通域再补上小孔能明显减少假阳性。cnts, _ cv2.findContours(mask.astype(np.uint8), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if cnts: largest max(cnts, keycv2.contourArea) final_mask np.zeros_like(mask) cv2.drawContours(final_mask, [largest], -1, 1, thickness-1)这个后处理对没有明显转移灶的肝脏分割很安全。如果你的标签里确实包含分开的肝段或大肿瘤不要用最大连通域改用“按面积阈值删除孤立小区域”更合适。我最早做医用分割时总想一步到位上3D网络结果被显存和预处理折磨到一周没调通。后来老老实实把2D UNet跑扎实再往深了走才发现很多问题都可以从数据和后处理上解决。转ONNX也是一定要早做别等模型改进完再推倒重来。希望帮到你。本文还有配套的精品资源点击获取
