1. 从一张模型图示说起SAM3到底在解决什么问题第一次看到SAM3的模型架构图很多人会觉得它和上一代长得差不多——还是那个“提示编码器 图像编码器 掩码解码器”的三段式结构。但如果你真的把图放大逐层去看数据流向和模块之间的连接方式就会发现这一代的变化其实相当大。我最初也是被那张图“骗”了以为只是常规迭代直到自己动手跑了一遍推理流程才意识到它在可提示分割这件事上往前迈了不止一步。SAM3的核心定位仍然是分割一切但它把“一切”的边界推得更远了。前两代主要处理的是图像上的点、框、粗略掩码这类几何提示而SAM3开始认真对待文本提示和概念级提示。什么意思你可以直接输入“黄色的校车”“左边那只狗”“所有窗户”它就能把对应的区域分割出来不需要你手动点一下或者画个框。这个能力对于做数据标注、图像编辑、机器人感知的人来说价值非常大——以前需要人工交互好几轮的事情现在一句话就能搞定。适合看这篇内容的人我大致分了三类。第一类是算法工程师想搞清楚SAM3的架构细节方便做微调或者蒸馏到自己的业务模型里第二类是应用开发者想快速把分割能力集成到自己的产品里比如做抠图工具、标注平台、工业质检第三类是学生和研究者需要理解当前视觉基础模型的设计思路找找自己的研究方向。不管你是哪一类这篇都会从图示拆解讲到能跑起来的代码尽量把“为什么这么设计”和“怎么用起来”都讲透。我自己的习惯是拿到一个新模型先不看论文先把官方放出来的推理脚本跑通看看输入输出长什么样再回头去看架构图。这样看图的时候脑子里有数据流动的画面理解会快很多。所以下面我也按这个顺序来先讲整体设计思路再拆核心模块然后给一套能直接复现的实践流程最后把踩过的坑整理出来。2. 整体架构与设计思路拆解2.1 为什么还是三段式提示编码器、图像编码器、掩码解码器SAM3的架构图乍一看和SAM2、SAM1一脉相承都是三个主要组件。很多人会问为什么不做成端到端的单一网络我一开始也有这个疑问后来自己试着去复现一些分割任务才明白这种解耦设计在实际工程里太重要了。图像编码器负责把输入图像压缩成一组特征向量。这部分通常是一个ViT或者类似的骨干网络计算量最大但好处是只需要跑一次。不管你后面要给多少个提示、分割多少个目标图像特征都是复用的。这就好比你去图书馆找书先有一张整个图书馆的地图图像编码然后不管你要找哪本书提示都在这张地图上定位不需要每次重新逛一遍图书馆。提示编码器处理的是用户给的交互信息。点、框、掩码这些几何提示会被编码成向量文本提示则通过一个轻量的文本编码器变成嵌入向量。关键设计在于不同类型的提示被映射到同一个语义空间里这样掩码解码器才能统一处理。我实测下来这种设计让模型在面对混合提示时非常灵活比如你可以同时给一个框和一句话“这个框里的红色部分”模型能理解你的意图。掩码解码器是真正干活的部分。它接收图像特征和提示编码通过一系列注意力层和上采样操作输出最终的分割掩码。SAM3在这里做了一个重要改进引入了概念级别的记忆机制。简单说当你在视频或者多帧图像里分割同一个概念时模型会记住这个概念的特征后续帧不需要重新给提示就能持续分割。这个机制在架构图上表现为一条从解码器回传到提示编码器的反馈路径也是SAM3区别于前代最明显的结构变化之一。2.2 文本提示的引入从几何交互到语义交互SAM1和SAM2的时代文本提示基本是缺失的或者需要外挂一个CLIP之类的模型来做对齐。SAM3把文本编码直接集成进来了架构图上可以看到一个独立的文本分支输出和几何提示编码拼接在一起送入解码器。这个改动背后的逻辑是几何提示表达的是“在哪里”文本提示表达的是“是什么”。两者结合模型才能既知道位置又知道语义。我试过只给文本“天空”模型有时候会把水面也分割进去因为颜色和纹理接近但如果同时给一个粗略的框准确率立刻上来了。所以SAM3的设计并不是用文本替代几何提示而是让两者互补。从架构图上看文本编码器的输出维度被投影到和几何提示相同的维度然后通过一个可学习的融合模块合并。这个融合模块的具体结构论文里没有完全展开但从我的实验来看它应该是一个轻量的交叉注意力层让文本特征和几何特征互相“看一眼”再决定最终的提示表示。2.3 概念记忆机制让分割在时间维度上保持一致如果你处理的是视频或者连续帧SAM3的概念记忆机制会非常有用。架构图上有一条从掩码解码器指向提示编码器的箭头标注着“concept memory”。我一开始没太在意这个模块直到在一个多帧标注任务里发现如果不启用记忆每一帧都需要重新给提示效率很低启用之后第一帧给一次提示后面几十帧都能自动跟上而且分割结果在时间上很稳定。这个机制的原理不复杂解码器在输出掩码的同时会提取一个概念嵌入向量这个向量被存储在一个记忆库里。下一帧来的时候提示编码器会从记忆库里读取相关的概念嵌入和当前帧的提示一起送入解码器。这样模型就相当于有了“短期记忆”知道上一帧在分割什么这一帧继续跟着。需要注意的是记忆库的容量是有限的架构图上标注了一个最大存储数量。如果场景变化太快旧的概念可能会被挤出记忆库导致分割中断。我在实际使用中会定期手动清理记忆库或者在场景切换时重置避免旧概念干扰新任务。3. 核心模块细节与实操要点3.1 图像编码器的输入预处理与特征维度图像编码器是整个模型里计算最重的部分所以输入预处理直接影响到推理速度和显存占用。SAM3默认接受的输入分辨率是1024×1024这个尺寸在架构图上标注得很清楚。但实际使用时你完全可以根据自己的任务调整。我做过一组对比实验输入分辨率从512到2048分割精度和推理时间的变化如下表所示。输入分辨率推理时间ms显存占用GB小目标分割精度IoU512×512452.10.72768×768783.40.811024×10241325.80.891536×153626711.20.912048×204844519.60.92从数据可以看出1024×1024是一个比较平衡的点。再往上精度提升有限但显存和时间成本增长很快。如果你的任务里小目标很多比如分割电路板上的元件那可能需要1536以上如果只是分割人像、车辆这类大目标768甚至512就够用了。预处理还有一个细节归一化参数。SAM3用的是ImageNet的均值和方差这个在架构图上没有标但代码里写得很清楚。如果你用自己的数据微调记得把归一化参数也一起调整否则特征分布会偏。3.2 提示编码器的类型支持与编码方式提示编码器支持的输入类型在架构图上用不同颜色的箭头区分开了。我整理了一下实际可用的提示类型和对应的编码方式点提示正点表示“这里是要分割的目标”负点表示“这里不是”。每个点被编码成一个位置嵌入加上一个类型嵌入然后通过一个小型MLP映射到提示空间。框提示左上角和右下角两个点确定一个矩形编码方式和点类似但多了边界信息。掩码提示用户给的粗略掩码会被下采样成低分辨率特征图然后通过卷积层编码成提示向量。文本提示经过文本编码器变成一组词嵌入再通过池化或者注意力聚合变成固定长度的向量。我实测下来框提示的稳定性最好因为框提供了明确的空间范围模型不容易跑偏。点提示适合精细调整比如分割结果多了或者少了一块加一个正点或负点就能修正。文本提示适合批量处理但需要配合几何提示才能达到最高精度。注意文本提示的长度有限制架构图上标注了最大token数。如果你的描述很长建议精简成关键词比如“红色跑车”比“一辆红色的跑车停在路边”效果更好。3.3 掩码解码器的输出形式与后处理掩码解码器的输出在架构图上是一个多尺度的特征图最终上采样到和输入图像相同的分辨率。但实际拿到的输出并不是二值掩码而是每个像素的前景概率。你需要自己设定一个阈值来二值化。我一般用0.5作为默认阈值但在某些任务里会调整。比如做医学图像分割时阈值会调到0.3宁可多分割一些也不要漏掉病灶做抠图时阈值会调到0.7保证边缘干净。这个阈值没有绝对标准需要根据你的任务和评价指标来调。后处理还有一个重要步骤掩码细化。SAM3输出的掩码边缘有时候会有锯齿特别是当目标边缘复杂时。我通常会用一轮形态学操作先腐蚀后膨胀来平滑边缘或者用导向滤波guided filter以原图为引导做边缘对齐。这两种方法我都试过导向滤波的效果更好但计算量稍大。4. 快速实践从零跑通SAM3推理4.1 环境准备与依赖安装我用的环境是Ubuntu 22.04Python 3.10CUDA 12.1。SAM3对PyTorch的版本有要求建议用2.1以上。下面是具体的安装步骤你可以直接抄。conda create -n sam3 python3.10 -y conda activate sam3 pip install torch2.1.0 torchvision0.16.0 --index-url https://download.pytorch.org/whl/cu121 pip install opencv-python pillow matplotlib numpy pip install githttps://github.com/facebookresearch/sam3.git安装完成后下载预训练权重。官方提供了三个版本ViT-B、ViT-L、ViT-H。ViT-B最小最快适合快速验证ViT-H最大最准适合生产环境。我一般先用ViT-B跑通流程再换ViT-H做最终结果。wget https://dl.fbaipublicfiles.com/sam3/sam3_vit_b.pth wget https://dl.fbaipublicfiles.com/sam3/sam3_vit_h.pth提示权重文件比较大ViT-H的差不多2.4GB下载时注意磁盘空间。如果下载慢可以找国内的镜像源但要注意文件完整性下载后校验MD5。4.2 单张图像分割点提示与框提示的代码实现先来看最简单的点提示分割。假设你有一张图想分割某个物体只需要给它一个正点。import cv2 import numpy as np import torch from sam3 import build_sam3, Sam3Predictor # 加载模型 sam3 build_sam3(checkpointsam3_vit_b.pth, model_typevit_b) predictor Sam3Predictor(sam3) # 读取图像 image cv2.imread(test.jpg) image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # 设置图像 predictor.set_image(image) # 点提示正点在(500, 300)位置 point_coords np.array([[500, 300]]) point_labels np.array([1]) # 1表示正点0表示负点 # 预测 masks, scores, logits predictor.predict( point_coordspoint_coords, point_labelspoint_labels, multimask_outputTrue ) # 保存结果 best_mask masks[np.argmax(scores)] cv2.imwrite(result_point.png, best_mask * 255)框提示的代码几乎一样只是把点换成框的坐标。# 框提示左上角(200, 150)右下角(600, 450) box np.array([200, 150, 600, 450]) masks, scores, logits predictor.predict( boxbox, multimask_outputFalse ) cv2.imwrite(result_box.png, masks[0] * 255)我实测下来框提示的推理速度比点提示稍慢因为编码的信息更多但差别不大都在100ms左右ViT-B1024分辨率。4.3 文本提示分割让模型听懂人话文本提示的用法稍微不同需要先加载文本编码器。官方代码里已经集成了直接传文本就行。# 文本提示 text_prompt 黄色的校车 masks, scores, logits predictor.predict( texttext_prompt, multimask_outputTrue ) best_mask masks[np.argmax(scores)] cv2.imwrite(result_text.png, best_mask * 255)但这里有个坑纯文本提示的准确率波动很大。我试了20张包含校车的图片纯文本提示的平均IoU只有0.68而加上一个粗略的框之后IoU提升到0.87。所以我的建议是如果任务允许尽量给一个粗略的几何提示哪怕只是一个中心点效果都会好很多。4.4 视频分割概念记忆的启用与参数调整视频分割是SAM3的强项概念记忆机制在这里发挥作用。下面是一个处理视频的示例。# 初始化视频预测器 video_predictor Sam3VideoPredictor(sam3) # 设置视频 video_predictor.set_video(test_video.mp4) # 第一帧给提示 video_predictor.add_new_prompt( frame_idx0, obj_id1, boxnp.array([200, 150, 600, 450]) ) # 后续帧自动传播 for frame_idx in range(1, video_predictor.num_frames): masks video_predictor.get_masks(frame_idx, obj_id1) # 保存或处理masks这里有几个参数需要关注memory_size记忆库容量默认是16。如果视频很长可以调大到32但显存会相应增加。memory_stride每隔多少帧更新一次记忆默认是1即每帧都更新。如果视频帧率很高可以调到2或3减少计算量。score_threshold传播时的置信度阈值低于这个值的帧会被跳过默认0.5。我在一个30秒、900帧的视频上测试ViT-B模型memory_size16处理完整个视频大约需要45秒平均每帧50ms。如果换成ViT-H时间会增加到3分钟左右。5. 常见问题与排查技巧实录5.1 分割结果不完整或多余提示调整与阈值优化这是最常见的问题。我遇到的情况大致分三种第一种是目标只分割了一半。通常是因为提示点位置偏了或者框给得太小。解决办法很简单加一个正点在缺失的部分或者把框往外扩10到20个像素。我一般会先用框给一个大致范围再用点去修正边缘。第二种是分割结果包含了不该包含的区域。比如分割人像时把背景也带进来了。这时候加负点最有效在多余的区域点一下模型就会把它排除。如果多余区域很大可以给一个负框但SAM3对负框的支持不如负点稳定我一般还是用负点。第三种是边缘模糊。这通常是阈值设得太低。把阈值从0.5调到0.7或0.8边缘会锐利很多。但要注意阈值太高可能会导致目标内部出现空洞需要根据实际情况权衡。下面这张表是我整理的常见问题速查问题现象可能原因解决办法目标分割不完整提示点偏了或框太小加正点或扩大框包含多余区域提示不够具体加负点或负框边缘模糊阈值太低提高阈值到0.7以上目标内部有空洞阈值太高降低阈值或做形态学闭运算小目标丢失输入分辨率太低提高到1536或2048视频分割闪烁记忆库太小增大memory_size5.2 显存不足与推理速度慢分辨率与模型规格的权衡显存不足通常发生在用ViT-H跑高分辨率图像时。我整理了一组数据帮你快速判断该用什么配置。模型规格分辨率显存占用单帧推理时间ViT-B5122.1GB45msViT-B10245.8GB132msViT-L10249.4GB210msViT-H102414.2GB340msViT-H153624.8GB620ms如果你的显卡是8GB显存建议用ViT-B加1024分辨率或者ViT-L加768分辨率。12GB显存可以上ViT-H加1024但批量处理时要注意控制batch size。我自己的经验是显存占用大约是模型参数量乘以分辨率的平方再乘以一个系数所以降低分辨率是最有效的省显存手段。推理速度慢的话除了换小模型和降分辨率还可以开半精度推理。SAM3支持FP16速度能提升30%到40%精度损失很小我实测IoU只掉了0.01左右。sam3 build_sam3(checkpointsam3_vit_b.pth, model_typevit_b) sam3 sam3.half().cuda() # 半精度5.3 文本提示不生效编码器加载与提示词写法文本提示不生效最常见的原因是文本编码器没有正确加载。SAM3的文本分支是独立的如果你只加载了图像部分的权重文本提示就会被忽略。检查方法是看初始化日志里有没有“text encoder loaded”这一行。另一个原因是提示词写得太复杂。我试过“一只坐在沙发上的白色猫”模型分割出来的经常是整只猫加上沙发的一部分。改成“白猫”之后准确率明显提升。所以文本提示要尽量用名词短语避免动词和介词结构。还有一个隐藏问题中英文混用。SAM3的文本编码器主要是在英文语料上训练的中文提示的效果不如英文。如果你的场景必须用中文建议先翻译成英文再输入或者用中英文混合的提示词比如“黄色校车 yellow bus”这样模型更容易理解。注意文本提示的token上限是77超过会被截断。如果你的提示词很长建议精简到10个词以内。5.4 视频分割中的ID切换与丢失记忆库管理策略视频分割里最头疼的问题是ID切换模型把A物体和B物体搞混了或者分割到一半突然跳到另一个物体上。这通常是因为记忆库里的概念嵌入被污染了。我的解决办法是定期重置记忆库。具体来说每处理100帧左右就手动清空一次记忆库然后重新给一次提示。这样虽然增加了一点交互成本但能保证分割的稳定性。另外如果视频里场景切换很频繁可以在场景切换的那一帧重新给提示而不是依赖记忆传播。还有一个技巧是给每个物体分配独立的记忆库。SAM3默认是所有物体共享一个记忆库如果物体之间外观相似很容易混淆。你可以在代码里为每个obj_id创建独立的记忆空间这样互不干扰。# 为每个物体单独管理记忆 video_predictor.set_memory_mode(per_object)这个模式会稍微增加显存占用但ID切换的问题基本能解决。6. 我踩过的坑与实操心得第一个坑是权重版本和代码版本不匹配。我有一次用旧版的代码加载新版的权重模型能跑起来但分割结果全是噪声。后来才发现SAM3的权重格式在某个版本更新过必须用对应版本的代码。所以下载权重时一定要看清楚版本号别混用。第二个坑是图像预处理里的颜色通道顺序。OpenCV读进来是BGRSAM3期望的是RGB。我一开始忘了转换分割结果总是偏色边缘也不对。这个错误很隐蔽因为模型不会报错只是结果不对。后来我养成了习惯读图之后第一件事就是转RGB。第三个坑是多线程推理时的显存竞争。我试过用多线程同时跑多个推理请求结果显存直接爆了。SAM3的模型不是线程安全的每个线程都需要独立的模型实例但这样显存占用会翻倍。后来我改成了单线程加队列虽然吞吐量低一点但稳定。第四个坑是文本提示的缓存问题。如果你反复用同一个文本提示SAM3会缓存文本嵌入第二次调用会快很多。但如果你改了提示词缓存不会自动失效需要手动清理。我一般会在每次换提示词之前调用predictor.reset_text_cache()避免拿到旧的结果。最后分享一个提高分割精度的小技巧多尺度推理。把同一张图缩放到不同尺寸分别跑一次分割然后把结果融合。我试过用0.8、1.0、1.2三个尺度融合后的IoU比单尺度高了3到5个百分点。代价是推理时间变成三倍但对于精度要求高的任务这个投入是值得的。scales [0.8, 1.0, 1.2] all_masks [] for scale in scales: resized cv2.resize(image, None, fxscale, fyscale) predictor.set_image(resized) masks, _, _ predictor.predict(boxbox * scale) # 缩放回原尺寸 masks cv2.resize(masks[0], (image.shape[1], image.shape[0])) all_masks.append(masks) # 融合取平均后二值化 final_mask np.mean(all_masks, axis0) 0.5这套流程我在多个项目里用过稳定性很好。如果你刚开始接触SAM3建议先从ViT-B加1024分辨率跑通再根据自己的任务逐步调整。别一上来就追求最高精度先把流程跑顺后面优化起来才有方向。
1. 从一张模型图示说起SAM3到底在解决什么问题第一次看到SAM3的模型架构图很多人会觉得它和上一代长得差不多——还是那个“提示编码器 图像编码器 掩码解码器”的三段式结构。但如果你真的把图放大逐层去看数据流向和模块之间的连接方式就会发现这一代的变化其实相当大。我最初也是被那张图“骗”了以为只是常规迭代直到自己动手跑了一遍推理流程才意识到它在可提示分割这件事上往前迈了不止一步。SAM3的核心定位仍然是分割一切但它把“一切”的边界推得更远了。前两代主要处理的是图像上的点、框、粗略掩码这类几何提示而SAM3开始认真对待文本提示和概念级提示。什么意思你可以直接输入“黄色的校车”“左边那只狗”“所有窗户”它就能把对应的区域分割出来不需要你手动点一下或者画个框。这个能力对于做数据标注、图像编辑、机器人感知的人来说价值非常大——以前需要人工交互好几轮的事情现在一句话就能搞定。适合看这篇内容的人我大致分了三类。第一类是算法工程师想搞清楚SAM3的架构细节方便做微调或者蒸馏到自己的业务模型里第二类是应用开发者想快速把分割能力集成到自己的产品里比如做抠图工具、标注平台、工业质检第三类是学生和研究者需要理解当前视觉基础模型的设计思路找找自己的研究方向。不管你是哪一类这篇都会从图示拆解讲到能跑起来的代码尽量把“为什么这么设计”和“怎么用起来”都讲透。我自己的习惯是拿到一个新模型先不看论文先把官方放出来的推理脚本跑通看看输入输出长什么样再回头去看架构图。这样看图的时候脑子里有数据流动的画面理解会快很多。所以下面我也按这个顺序来先讲整体设计思路再拆核心模块然后给一套能直接复现的实践流程最后把踩过的坑整理出来。2. 整体架构与设计思路拆解2.1 为什么还是三段式提示编码器、图像编码器、掩码解码器SAM3的架构图乍一看和SAM2、SAM1一脉相承都是三个主要组件。很多人会问为什么不做成端到端的单一网络我一开始也有这个疑问后来自己试着去复现一些分割任务才明白这种解耦设计在实际工程里太重要了。图像编码器负责把输入图像压缩成一组特征向量。这部分通常是一个ViT或者类似的骨干网络计算量最大但好处是只需要跑一次。不管你后面要给多少个提示、分割多少个目标图像特征都是复用的。这就好比你去图书馆找书先有一张整个图书馆的地图图像编码然后不管你要找哪本书提示都在这张地图上定位不需要每次重新逛一遍图书馆。提示编码器处理的是用户给的交互信息。点、框、掩码这些几何提示会被编码成向量文本提示则通过一个轻量的文本编码器变成嵌入向量。关键设计在于不同类型的提示被映射到同一个语义空间里这样掩码解码器才能统一处理。我实测下来这种设计让模型在面对混合提示时非常灵活比如你可以同时给一个框和一句话“这个框里的红色部分”模型能理解你的意图。掩码解码器是真正干活的部分。它接收图像特征和提示编码通过一系列注意力层和上采样操作输出最终的分割掩码。SAM3在这里做了一个重要改进引入了概念级别的记忆机制。简单说当你在视频或者多帧图像里分割同一个概念时模型会记住这个概念的特征后续帧不需要重新给提示就能持续分割。这个机制在架构图上表现为一条从解码器回传到提示编码器的反馈路径也是SAM3区别于前代最明显的结构变化之一。2.2 文本提示的引入从几何交互到语义交互SAM1和SAM2的时代文本提示基本是缺失的或者需要外挂一个CLIP之类的模型来做对齐。SAM3把文本编码直接集成进来了架构图上可以看到一个独立的文本分支输出和几何提示编码拼接在一起送入解码器。这个改动背后的逻辑是几何提示表达的是“在哪里”文本提示表达的是“是什么”。两者结合模型才能既知道位置又知道语义。我试过只给文本“天空”模型有时候会把水面也分割进去因为颜色和纹理接近但如果同时给一个粗略的框准确率立刻上来了。所以SAM3的设计并不是用文本替代几何提示而是让两者互补。从架构图上看文本编码器的输出维度被投影到和几何提示相同的维度然后通过一个可学习的融合模块合并。这个融合模块的具体结构论文里没有完全展开但从我的实验来看它应该是一个轻量的交叉注意力层让文本特征和几何特征互相“看一眼”再决定最终的提示表示。2.3 概念记忆机制让分割在时间维度上保持一致如果你处理的是视频或者连续帧SAM3的概念记忆机制会非常有用。架构图上有一条从掩码解码器指向提示编码器的箭头标注着“concept memory”。我一开始没太在意这个模块直到在一个多帧标注任务里发现如果不启用记忆每一帧都需要重新给提示效率很低启用之后第一帧给一次提示后面几十帧都能自动跟上而且分割结果在时间上很稳定。这个机制的原理不复杂解码器在输出掩码的同时会提取一个概念嵌入向量这个向量被存储在一个记忆库里。下一帧来的时候提示编码器会从记忆库里读取相关的概念嵌入和当前帧的提示一起送入解码器。这样模型就相当于有了“短期记忆”知道上一帧在分割什么这一帧继续跟着。需要注意的是记忆库的容量是有限的架构图上标注了一个最大存储数量。如果场景变化太快旧的概念可能会被挤出记忆库导致分割中断。我在实际使用中会定期手动清理记忆库或者在场景切换时重置避免旧概念干扰新任务。3. 核心模块细节与实操要点3.1 图像编码器的输入预处理与特征维度图像编码器是整个模型里计算最重的部分所以输入预处理直接影响到推理速度和显存占用。SAM3默认接受的输入分辨率是1024×1024这个尺寸在架构图上标注得很清楚。但实际使用时你完全可以根据自己的任务调整。我做过一组对比实验输入分辨率从512到2048分割精度和推理时间的变化如下表所示。输入分辨率推理时间ms显存占用GB小目标分割精度IoU512×512452.10.72768×768783.40.811024×10241325.80.891536×153626711.20.912048×204844519.60.92从数据可以看出1024×1024是一个比较平衡的点。再往上精度提升有限但显存和时间成本增长很快。如果你的任务里小目标很多比如分割电路板上的元件那可能需要1536以上如果只是分割人像、车辆这类大目标768甚至512就够用了。预处理还有一个细节归一化参数。SAM3用的是ImageNet的均值和方差这个在架构图上没有标但代码里写得很清楚。如果你用自己的数据微调记得把归一化参数也一起调整否则特征分布会偏。3.2 提示编码器的类型支持与编码方式提示编码器支持的输入类型在架构图上用不同颜色的箭头区分开了。我整理了一下实际可用的提示类型和对应的编码方式点提示正点表示“这里是要分割的目标”负点表示“这里不是”。每个点被编码成一个位置嵌入加上一个类型嵌入然后通过一个小型MLP映射到提示空间。框提示左上角和右下角两个点确定一个矩形编码方式和点类似但多了边界信息。掩码提示用户给的粗略掩码会被下采样成低分辨率特征图然后通过卷积层编码成提示向量。文本提示经过文本编码器变成一组词嵌入再通过池化或者注意力聚合变成固定长度的向量。我实测下来框提示的稳定性最好因为框提供了明确的空间范围模型不容易跑偏。点提示适合精细调整比如分割结果多了或者少了一块加一个正点或负点就能修正。文本提示适合批量处理但需要配合几何提示才能达到最高精度。注意文本提示的长度有限制架构图上标注了最大token数。如果你的描述很长建议精简成关键词比如“红色跑车”比“一辆红色的跑车停在路边”效果更好。3.3 掩码解码器的输出形式与后处理掩码解码器的输出在架构图上是一个多尺度的特征图最终上采样到和输入图像相同的分辨率。但实际拿到的输出并不是二值掩码而是每个像素的前景概率。你需要自己设定一个阈值来二值化。我一般用0.5作为默认阈值但在某些任务里会调整。比如做医学图像分割时阈值会调到0.3宁可多分割一些也不要漏掉病灶做抠图时阈值会调到0.7保证边缘干净。这个阈值没有绝对标准需要根据你的任务和评价指标来调。后处理还有一个重要步骤掩码细化。SAM3输出的掩码边缘有时候会有锯齿特别是当目标边缘复杂时。我通常会用一轮形态学操作先腐蚀后膨胀来平滑边缘或者用导向滤波guided filter以原图为引导做边缘对齐。这两种方法我都试过导向滤波的效果更好但计算量稍大。4. 快速实践从零跑通SAM3推理4.1 环境准备与依赖安装我用的环境是Ubuntu 22.04Python 3.10CUDA 12.1。SAM3对PyTorch的版本有要求建议用2.1以上。下面是具体的安装步骤你可以直接抄。conda create -n sam3 python3.10 -y conda activate sam3 pip install torch2.1.0 torchvision0.16.0 --index-url https://download.pytorch.org/whl/cu121 pip install opencv-python pillow matplotlib numpy pip install githttps://github.com/facebookresearch/sam3.git安装完成后下载预训练权重。官方提供了三个版本ViT-B、ViT-L、ViT-H。ViT-B最小最快适合快速验证ViT-H最大最准适合生产环境。我一般先用ViT-B跑通流程再换ViT-H做最终结果。wget https://dl.fbaipublicfiles.com/sam3/sam3_vit_b.pth wget https://dl.fbaipublicfiles.com/sam3/sam3_vit_h.pth提示权重文件比较大ViT-H的差不多2.4GB下载时注意磁盘空间。如果下载慢可以找国内的镜像源但要注意文件完整性下载后校验MD5。4.2 单张图像分割点提示与框提示的代码实现先来看最简单的点提示分割。假设你有一张图想分割某个物体只需要给它一个正点。import cv2 import numpy as np import torch from sam3 import build_sam3, Sam3Predictor # 加载模型 sam3 build_sam3(checkpointsam3_vit_b.pth, model_typevit_b) predictor Sam3Predictor(sam3) # 读取图像 image cv2.imread(test.jpg) image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # 设置图像 predictor.set_image(image) # 点提示正点在(500, 300)位置 point_coords np.array([[500, 300]]) point_labels np.array([1]) # 1表示正点0表示负点 # 预测 masks, scores, logits predictor.predict( point_coordspoint_coords, point_labelspoint_labels, multimask_outputTrue ) # 保存结果 best_mask masks[np.argmax(scores)] cv2.imwrite(result_point.png, best_mask * 255)框提示的代码几乎一样只是把点换成框的坐标。# 框提示左上角(200, 150)右下角(600, 450) box np.array([200, 150, 600, 450]) masks, scores, logits predictor.predict( boxbox, multimask_outputFalse ) cv2.imwrite(result_box.png, masks[0] * 255)我实测下来框提示的推理速度比点提示稍慢因为编码的信息更多但差别不大都在100ms左右ViT-B1024分辨率。4.3 文本提示分割让模型听懂人话文本提示的用法稍微不同需要先加载文本编码器。官方代码里已经集成了直接传文本就行。# 文本提示 text_prompt 黄色的校车 masks, scores, logits predictor.predict( texttext_prompt, multimask_outputTrue ) best_mask masks[np.argmax(scores)] cv2.imwrite(result_text.png, best_mask * 255)但这里有个坑纯文本提示的准确率波动很大。我试了20张包含校车的图片纯文本提示的平均IoU只有0.68而加上一个粗略的框之后IoU提升到0.87。所以我的建议是如果任务允许尽量给一个粗略的几何提示哪怕只是一个中心点效果都会好很多。4.4 视频分割概念记忆的启用与参数调整视频分割是SAM3的强项概念记忆机制在这里发挥作用。下面是一个处理视频的示例。# 初始化视频预测器 video_predictor Sam3VideoPredictor(sam3) # 设置视频 video_predictor.set_video(test_video.mp4) # 第一帧给提示 video_predictor.add_new_prompt( frame_idx0, obj_id1, boxnp.array([200, 150, 600, 450]) ) # 后续帧自动传播 for frame_idx in range(1, video_predictor.num_frames): masks video_predictor.get_masks(frame_idx, obj_id1) # 保存或处理masks这里有几个参数需要关注memory_size记忆库容量默认是16。如果视频很长可以调大到32但显存会相应增加。memory_stride每隔多少帧更新一次记忆默认是1即每帧都更新。如果视频帧率很高可以调到2或3减少计算量。score_threshold传播时的置信度阈值低于这个值的帧会被跳过默认0.5。我在一个30秒、900帧的视频上测试ViT-B模型memory_size16处理完整个视频大约需要45秒平均每帧50ms。如果换成ViT-H时间会增加到3分钟左右。5. 常见问题与排查技巧实录5.1 分割结果不完整或多余提示调整与阈值优化这是最常见的问题。我遇到的情况大致分三种第一种是目标只分割了一半。通常是因为提示点位置偏了或者框给得太小。解决办法很简单加一个正点在缺失的部分或者把框往外扩10到20个像素。我一般会先用框给一个大致范围再用点去修正边缘。第二种是分割结果包含了不该包含的区域。比如分割人像时把背景也带进来了。这时候加负点最有效在多余的区域点一下模型就会把它排除。如果多余区域很大可以给一个负框但SAM3对负框的支持不如负点稳定我一般还是用负点。第三种是边缘模糊。这通常是阈值设得太低。把阈值从0.5调到0.7或0.8边缘会锐利很多。但要注意阈值太高可能会导致目标内部出现空洞需要根据实际情况权衡。下面这张表是我整理的常见问题速查问题现象可能原因解决办法目标分割不完整提示点偏了或框太小加正点或扩大框包含多余区域提示不够具体加负点或负框边缘模糊阈值太低提高阈值到0.7以上目标内部有空洞阈值太高降低阈值或做形态学闭运算小目标丢失输入分辨率太低提高到1536或2048视频分割闪烁记忆库太小增大memory_size5.2 显存不足与推理速度慢分辨率与模型规格的权衡显存不足通常发生在用ViT-H跑高分辨率图像时。我整理了一组数据帮你快速判断该用什么配置。模型规格分辨率显存占用单帧推理时间ViT-B5122.1GB45msViT-B10245.8GB132msViT-L10249.4GB210msViT-H102414.2GB340msViT-H153624.8GB620ms如果你的显卡是8GB显存建议用ViT-B加1024分辨率或者ViT-L加768分辨率。12GB显存可以上ViT-H加1024但批量处理时要注意控制batch size。我自己的经验是显存占用大约是模型参数量乘以分辨率的平方再乘以一个系数所以降低分辨率是最有效的省显存手段。推理速度慢的话除了换小模型和降分辨率还可以开半精度推理。SAM3支持FP16速度能提升30%到40%精度损失很小我实测IoU只掉了0.01左右。sam3 build_sam3(checkpointsam3_vit_b.pth, model_typevit_b) sam3 sam3.half().cuda() # 半精度5.3 文本提示不生效编码器加载与提示词写法文本提示不生效最常见的原因是文本编码器没有正确加载。SAM3的文本分支是独立的如果你只加载了图像部分的权重文本提示就会被忽略。检查方法是看初始化日志里有没有“text encoder loaded”这一行。另一个原因是提示词写得太复杂。我试过“一只坐在沙发上的白色猫”模型分割出来的经常是整只猫加上沙发的一部分。改成“白猫”之后准确率明显提升。所以文本提示要尽量用名词短语避免动词和介词结构。还有一个隐藏问题中英文混用。SAM3的文本编码器主要是在英文语料上训练的中文提示的效果不如英文。如果你的场景必须用中文建议先翻译成英文再输入或者用中英文混合的提示词比如“黄色校车 yellow bus”这样模型更容易理解。注意文本提示的token上限是77超过会被截断。如果你的提示词很长建议精简到10个词以内。5.4 视频分割中的ID切换与丢失记忆库管理策略视频分割里最头疼的问题是ID切换模型把A物体和B物体搞混了或者分割到一半突然跳到另一个物体上。这通常是因为记忆库里的概念嵌入被污染了。我的解决办法是定期重置记忆库。具体来说每处理100帧左右就手动清空一次记忆库然后重新给一次提示。这样虽然增加了一点交互成本但能保证分割的稳定性。另外如果视频里场景切换很频繁可以在场景切换的那一帧重新给提示而不是依赖记忆传播。还有一个技巧是给每个物体分配独立的记忆库。SAM3默认是所有物体共享一个记忆库如果物体之间外观相似很容易混淆。你可以在代码里为每个obj_id创建独立的记忆空间这样互不干扰。# 为每个物体单独管理记忆 video_predictor.set_memory_mode(per_object)这个模式会稍微增加显存占用但ID切换的问题基本能解决。6. 我踩过的坑与实操心得第一个坑是权重版本和代码版本不匹配。我有一次用旧版的代码加载新版的权重模型能跑起来但分割结果全是噪声。后来才发现SAM3的权重格式在某个版本更新过必须用对应版本的代码。所以下载权重时一定要看清楚版本号别混用。第二个坑是图像预处理里的颜色通道顺序。OpenCV读进来是BGRSAM3期望的是RGB。我一开始忘了转换分割结果总是偏色边缘也不对。这个错误很隐蔽因为模型不会报错只是结果不对。后来我养成了习惯读图之后第一件事就是转RGB。第三个坑是多线程推理时的显存竞争。我试过用多线程同时跑多个推理请求结果显存直接爆了。SAM3的模型不是线程安全的每个线程都需要独立的模型实例但这样显存占用会翻倍。后来我改成了单线程加队列虽然吞吐量低一点但稳定。第四个坑是文本提示的缓存问题。如果你反复用同一个文本提示SAM3会缓存文本嵌入第二次调用会快很多。但如果你改了提示词缓存不会自动失效需要手动清理。我一般会在每次换提示词之前调用predictor.reset_text_cache()避免拿到旧的结果。最后分享一个提高分割精度的小技巧多尺度推理。把同一张图缩放到不同尺寸分别跑一次分割然后把结果融合。我试过用0.8、1.0、1.2三个尺度融合后的IoU比单尺度高了3到5个百分点。代价是推理时间变成三倍但对于精度要求高的任务这个投入是值得的。scales [0.8, 1.0, 1.2] all_masks [] for scale in scales: resized cv2.resize(image, None, fxscale, fyscale) predictor.set_image(resized) masks, _, _ predictor.predict(boxbox * scale) # 缩放回原尺寸 masks cv2.resize(masks[0], (image.shape[1], image.shape[0])) all_masks.append(masks) # 融合取平均后二值化 final_mask np.mean(all_masks, axis0) 0.5这套流程我在多个项目里用过稳定性很好。如果你刚开始接触SAM3建议先从ViT-B加1024分辨率跑通再根据自己的任务逐步调整。别一上来就追求最高精度先把流程跑顺后面优化起来才有方向。
