这套配置我前后折腾了两周期间无数次怀疑是不是主板供电或者转接卡出了问题。最后看到nvidia-smi里整整齐齐列出四张 T10 计算卡时才确信这个看起来有点离谱的组合——一台巴掌大的 NUC带四张计算卡——是真的能稳定跑起来的。“四张 T10 NUC 计算卡”这个方案本质上是给边缘推理、视频转码、小规模并行计算场景搭一个低成本的多卡节点。它不是什么高不可攀的服务器方案也不需要专门的机架和机房一张普通办公桌上就能放下。如果你手里正好有 T10 计算卡又不想为此买一台笨重的工作站或者你正在纠结 NUC 到底能不能带多卡、供电怎么解决、驱动怎么认卡那这篇文章应该能帮你避掉不少坑。下面内容全程来自我的实际装机记录包含完整的硬件清单、BIOS 设置、驱动部署、性能实测和故障排查所有步骤都是我踩过坑之后整理出来的尽量写得直白一点方便你直接照着操作。1. 方案思路为什么是“NUC 四张 T10”1.1 需求倒推这台机器要解决什么问题很多人看到这个标题第一反应是NUC 这么小的机器怎么可能插四张卡确实NUC 主板上连一条标准 PCIe x16 插槽都没有单从物理接口看它和“多卡装机”完全是两个世界的事情。但换个思路想我们需要的不是把卡插进 NUC 内部而是让 NUC 通过某种方式把 PCIe 总线扩展出去外接一个能插多张卡的空间。那为什么不直接上一台二手服务器或者 ATX 工作站我当时的场景很明确需要在办公环境长期跑一个多路视频流推理服务要求噪声低、体积小、功耗可控。服务器那种暴力风扇一开机整个办公室都听得见放家里更是没法接受。相比之下NUC 虽然单机算力不强但它作为宿主机去调度外置计算卡CPU 占用其实非常低更多时候只是做数据分发和任务调度。至于为什么是四张 T10而不是一张大显存卡原因也很简单。T10 这类计算卡单位功耗下的性价比高单卡显存虽然不算夸张但四张拼起来总显存和并发吞吐都上去了。而且推理任务大多是“多路并行”而不是“单任务强依赖”四张卡可以分别处理不同的视频流、不同的模型实例互不干扰。比起买一张价格翻好几倍的大卡这种“多小卡并联”的方式在成本和调度灵活性上都更有优势。1.2 NUC 当宿主机的底气与短板可能有人会问NUC 性能就那么点带四张计算卡会不会带不动实际用下来只要你不是在 NUC 自身上跑重型训练问题不大。NUC 高端型号配备的是 i7 级别的移动处理器内存到 32GB应付推理任务的数据预处理和多进程调度绰绰有余。我这里跑的是多路视频流预处理CPU 占用一直控制在 30% 左右瓶颈从头到尾都在 PCIe 带宽上。NUC 的短板也很明确PCIe 通道数太少。桌面级 CPU 一般给 x16 直连显卡而 NUC 的 M.2 插槽通常只有 x4 通道雷电口更是要经过额外的控制芯片。换句话说无论你用什么方式外扩四张卡都只能共享一条 x4 的 PCIe 链路而不是每张卡独占 x16。这个限制决定了它不适合做通信密集型的大模型并行训练但用在推理和转码这类“数据搬得少、计算耗得多”的场景折损完全可以接受。我在实测中发现四张 T10 同时跑推理任务时共享的 PCIe x4 Gen3 链路会在高并发下接近占满但单卡的核心利用率依然能稳定在 85% 以上。这是 NUC 多卡方案能不能成立的关键计算卡的算力消耗主要在核心上而不是在不停地搬数据上。如果你的任务需要频繁把大量数据从内存搬到显存再搬回来那这套方案会非常难受。1.3 三种外扩方案怎么选把 PCIe 从 NUC 引出来市面上常见的有三条路M.2 转 PCIe、雷电Thunderbolt扩展坞、OCuLink 外接扩展箱。我分别说一下优劣。M.2 转 PCIe 是最直接的方式把 NUC 主板上空闲的 M.2 接口通过转接卡变成 PCIe x16 物理插槽再接入一个四卡扩展笼。优点是带宽最大M.2 直连 CPU路径最短延迟也最低。缺点是需要拆机而且转接卡和扩展笼之间的线材、供电都得自己解决非常 DIY。雷电扩展坞是很多人第一反应想到的方案毕竟插上就能用。但雷电的带宽固定在 PCIe x4 Gen3 左右经过雷电控制器后实际可用带宽还会折损一部分而且市面上几乎没有支持四张全高卡的雷电扩展坞大多只能上一张卡。想靠雷电解决四卡问题基本走不通。OCuLink 是后起之秀它本身就是为外接 PCIe 设计的带宽和延迟表现不错很多显卡坞和 JHL 扩展箱都在用。但 NUC 原生不带 OCuLink 接口还需要用 M.2 转 OCuLink 再转 PCIe等于多了一层转换成本没有比 M.2 方案低多少。所以我最终的方案是NUC 空闲 M.2 接口插一张 M.2 转 PCIe x16 转接卡再接一个带 PCIe 拆分的四卡扩展笼。这条链路硬件最少、带宽最大也比较可控。2. 硬件配单把每一分钱花在刀刃上2.1 T10 计算卡选型注意T10 这个型号在不同渠道里差异挺大买之前一定要确认清楚几个细节。首先看散热结构我手里这批 T10 是单槽半高、主动涡轮散热。涡轮散热的优势是排热方向固定可以从扩展笼尾部直接吹出去多卡并排的时候不会像开放式散热那样互相加热。如果你收到的是被动散热版本那扩展笼内的风道必须非常强否则四张卡一起满载很容易过热降频。其次看供电接口。部分 T10 卡只需要从 PCIe 金手指取电最高功耗控制在 75W 以内这种卡对扩展笼比较友好但也有一部分版本会有额外的 6pin 或 8pin 辅助供电装机前务必要把电源方案留够余量。我这边四张卡满载时单卡功耗大约 65W 到 70W四张加起来接近 280W这还不算扩展笼里风扇的功耗。最后看有没有视频输出接口。计算卡通常没有显示输出画面仍然要走 NUC 的核显 HDMI 输出。这一点很重要因为很多人第一次插上计算卡后发现显示器不亮以为卡坏了其实只是计算卡根本没接显示器的功能。2.2 NUC 型号怎么挑接口怎么确认NUC 也有不同版本选之前要确认两个条件。第一必须带至少一个空闲的 M.2 插槽。多数 NUC 有两个 M.2一个给系统盘另一个可以拿来转 PCIe有些低配版只有一个装完系统盘就没有多余位置了。第二BIOS 里要能看到 PCIe 相关的高级选项尤其是 Above 4G Decoding这一步很关键后面会详细说。我自己用的是 Intel NUC 12 厚版i7 处理器两个 M.2 插槽其中一个走了 PCIe x4 Gen3 通道。如果你手里是 AMD 平台的 NUC 或者其他迷你主机思路也一样关键是确认 M.2 插槽的走线和 BIOS 选项。买之前最好先去官网下载对应机型的 BIOS 说明书看一眼有没有 Above 4G 和 Resizable BAR 选项这一步能省去后面很多折腾。另外要注意 NUC 本身的外壳空间。插上 M.2 转 PCIe 转接卡后转接卡会横在主板和底盖之间原来的底盖大概率盖不上。我的做法是找了一条带线缆的 M.2 转 PCIe 延长线把转接卡和背板之间的距离拉开让线材从 NUC 底部开孔位置引出来。破坏原装外壳之前建议先量好尺寸用美工刀慢慢修不要把主板走线区域弄脏或者刮伤。2.3 供电、转接、散热的完整清单这块是我整个方案里最容易被低估的部分。NUC 原装电源只给主机本身供电外接扩展笼和四张计算卡必须单独供电。一定不要试图从 NUC 的 M.2 接口取电给计算卡M.2 插槽的供电能力非常有限强行拉电轻则掉卡重则烧板。我最终的硬件清单如下部件规格备注NUC 宿主机Intel NUC 12 厚版i7双 M.2雷电口留作调试备用T10 计算卡四张单槽涡轮散热每张 65~70W金手指供电M.2 转 PCIe 转接卡M.2 2280 转 PCIe x16带线缆线缆长度 20cm方便拉出机箱四卡扩展笼支持 PCIe 拆分带两个 12cm 风扇位面板上有 24pin 和 CPU 8pin 供电接口ATX 电源额定 500W 铜牌以上给扩展笼和计算卡独立供电内存32GB16GB×2NUC 支持双通道 DDR4系统盘1TB NVMe SSD装在第一个 M.2 插槽定制供电线24pin 延长线、CPU 8pin 转双 PCIe 8pin走线更整洁避免接口冲突扩展笼的供电方案要注意一个细节很多扩展笼为了让主板识别需要接一条主板 24pin 供电线。但我们这里并没有用 ATX 主板所以需要短接 24pin 里 PS_ON 和 GND 两个针脚让电源直接启动再通过扩展笼上的供电接口给四张卡和风扇供电。具体短接方式是拿一根短导线或杜邦线把 24pin 接口里绿色线对应的针和任意黑色地线针短接电源就会持续输出。操作前记得断电别带电玩这个。3. 装机实录从拆机到点亮四卡3.1 M.2 转 PCIe 的第一条通路装机的第一步是把 NUC 拆开。翻到机器底部拧掉四颗脚垫下面的螺丝就可以把底盖卸下来。NUC 内部布局很紧凑内存和 M.2 都在主板上注意断电后等几秒再动。找到空闲的那个 M.2 插槽把 M.2 转 PCIe 转接卡斜着插进去然后压下转接卡并用原来的 M.2 固定螺丝锁紧。这里有个非常重要的细节转接卡的固定不能只靠 M.2 插槽的卡扣因为转接卡的体积比 SSD 大很多高负载下轻微的震动都可能导致接触不良。我的做法是在转接卡另一端和 NUC 外壳之间垫一块耐高温泡棉让转接卡保持水平并压紧这样才能最大限度减少掉卡的概率。线缆从转接卡一端引出我选择从 NUC 底部散热孔附近穿出去然后用扎带在线缆出线位置固定好防止线缆拖动时把 M.2 接口带松。线缆另一端接到四卡扩展笼的 PCIe x16 插槽上。扩展笼内部一般是竖插结构四张卡并排插在同一个背板上背板再把四路 PCIe 信号汇聚到一个上行接口。这里涉及一个概念叫 PCIe bifurcation也就是把上行 x16 物理链路拆分成四条 x4 链路。四张卡插好后背板会把拆分后的信号分给每一张卡。如果你的扩展笼不支持拆分那逻辑上可能只认到一张卡所以买扩展笼时要确认清楚是否支持 x16 转 4×x4 拆分。3.2 四卡扩展笼的供电与接线顺序插卡之前先把四张 T10 从防静电袋里取出来检查金手指和散热鳍片确认没有明显磕碰。然后把扩展笼平放在桌面上一张一张插卡。插卡时对准 PCIe 插槽垂直用力压到底听到卡扣弹响才说明到位。单槽卡之间挨得很近插卡的时候尽量别碰旁边的卡。四张卡全部插好后接供电线。我的扩展笼面板上有两组供电接口一组 24pin一组 CPU 8pin。24pin 接 ATX 电源的主板接口CPU 8pin 接到电源的 CPU/PCIe 输出口上。这里有个容易搞混的地方有些电源的 8pin 输出标注的是 CPU有些标注的是 PCIe接口形状一样但脚位定义不一定兼容。安全起见我直接用定制线从电源引出两根 PCIe 8pin 到扩展笼避免用错线烧掉卡。接线顺序也有讲究。先把 ATX 电源连接到扩展笼然后用短接方式启动电源这时候扩展笼的风扇应该开始转四张卡如果有独立电源指示灯也会亮起来。确认扩展笼这边已经稳定带电后再开 NUC 主机。千万不要反过来先把 NUC 开了再接扩展笼电源那样相当于对着一张已经通着 PCIe 信号链路的卡做热插拔很容易出现系统崩溃或者设备直接消失的情况。3.3 BIOS 里必须调的五个开关NUC 开机后按 F2 进 BIOS这步是能不能点亮四卡的关键。我按顺序检查了下面这些选项建议你也一样一样来别跳步。第一开启 Above 4G Decoding。这个选项英文名叫 Above 4G Decoding 或者大于 4G 地址解码作用是把 PCIe 设备的 BAR 空间映射到 64 位地址区域。四张计算卡需要不小的 I/O 地址空间不开启的话其中部分卡会认不到。不同版本 NUC 的 BIOS 把这项藏得比较深一般在 Advanced PCIe Configuration 或者 Advanced Boot Performance 附近找不到就用 BIOS 里的搜索功能直接搜。第二开启 Resizable BAR。它和 Above 4G 是搭配使用的允许 CPU 一次访问更大的显存映射区域。NUC 的 BIOS 里默认可能是禁用要手动打开。这个选项对游戏卡提升明显计算卡在推理场景下也有小幅帮助主要是减少了 CPU 访问显存时的地址切换开销。第三关闭 Secure Boot。这一点主要为了后面装驱动顺利尤其是自己编译内核模块时安全启动会挡住 NVIDA 等闭源驱动的加载。如果你坚持要开 Secure Boot那后续驱动安装就得签注 MOK 密钥徒增很多麻烦。我建议在实验机器上直接关掉。第四把 PCIe 速度手动锁定在 Gen3。M.2 转接卡和线缆质量参差不齐自动协商有时候会出现链路降速或者不稳定手动锁定 Gen3 能让训练和推理时的 PCIe 信号更稳定。如果你的转接卡支持 Gen4NUC 本身也支持那可以设成 Gen4但前提是线缆足够短、屏蔽足够好。第五确认启动设备顺序。因为系统盘是 NVMe而 M.2 转接卡也挂在 M.2 控制器下BIOS 有时候会把它们混在一起导致启动时卡在找不到引导盘的界面。把装有系统的那个 M.2 设为第一启动项即可。BIOS 设置完保存退出正常进入系统之后先跑一下lspci | grep -i nvidia或者lspci | grep -i T10看看系统到底认到了几张卡。我第一次在这里只看到两张卡后来排查发现是扩展笼有一路电源接口接触不良重新插拔之后才全部认到。所以不用担心多卡认不全太正常了后面会专门说排查方法。4. 驱动与运行环境让四张卡真正跑起来4.1 驱动安装与内核匹配系统认到卡只是第一步要让计算卡真正能用还得装对应的驱动。我这里以 NVIDIA 系的 T10 计算卡为例如果你的卡是其他厂商的流程类似但务必去官网确认配套的驱动版本和内核要求别直接照搬命令。我用的系统是 Ubuntu 22.04内核版本 5.15。驱动安装我试过两种方式一种是包管理器自动装一种是官方 runfile 手动装。对新手来说先用包管理器比较稳妥。先执行ubuntu-drivers devices看系统推荐哪个版本再执行sudo apt update sudo apt install ubuntu-drivers-common ubuntu-drivers devices输出里会列出当前机器所有计算卡支持的驱动版本。选标注 recommended 的版本安装即可比如sudo apt install nvidia-driver-535装完重启然后跑nvidia-smi。如果输出正常说明驱动已经加载成功。如果你更青睐 runfile 安装那要注意在安装前先禁用系统自带的 nouveau 驱动否则会冲突。禁用方式echo blacklist nouveau | sudo tee /etc/modprobe.d/blacklist-nouveau.conf sudo update-initramfs -u然后重启再进入纯命令行模式安装 runfile。整个安装过程要留意日志里有没有编译错误runfile 会现场编译内核模块如果你的系统没有装内核头文件会直接失败。提前执行sudo apt install linux-headers-$(uname -r)这一条建议不管用哪种安装方式都先装上后面能省不少事。4.2 多卡识别与状态验证驱动装好后nvidia-smi是最直接的验证工具。正常情况你应该看到四张卡全部列在输出列表里每张卡的温度、功耗、显存占用都会显示。如果只显示两张或者三张先别急着重装系统优先怀疑供电、接触和 BIOS 设置。我还习惯用nvidia-smi -L快速查看所有卡的 UUID 和型号这个在容器里指定设备时很有用。多卡机器上还要学会看 PCIe 链路状态nvidia-smi --query-gpuindex,pcie_link_gen_current,pcie_link_width_current --formatcsv如果看到当前链路宽度不是 x4甚至变成 x1 或者 x2说明接触或者线材质量有问题。这种情况通常在高负载时会掉卡或者出现 Xid 错误。我的四张卡在稳定后都显示 x4 链路宽度速度是 Gen3。日常监控我建议开一个终端跑watch -n 1 nvidia-smi观察每张卡的利用率、温度、功耗。如果是长时间满载任务还可以看显存温度和风扇转速。T10 涡轮卡在高负载下风扇转速会明显升高不要被噪声吓到这是正常现象。4.3 容器、环境变量与并行框架的接入驱动装好后接下来就是让应用真正用到四张卡。如果你是直接在宿主机上跑最简单的方式是用环境变量控制对哪些卡可见export CUDA_VISIBLE_DEVICES0,1,2,3这样跑 TensorFlow、PyTorch 的时候默认就会只看到这四张卡程序内部可以用torch.cuda.device_count()来确认。如果你更喜欢容器化部署那需要装 NVIDIA Container Toolkitdistribution$(. /etc/os-release;echo $ID$VERSION_ID) curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed s#deb https://#deb [signed-by/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update sudo apt-get install -y nvidia-container-toolkit sudo nvidia-ctk runtime configure --runtimedocker sudo systemctl restart docker然后运行容器时加上--gpus alldocker run --rm --gpus all --shm-size8g nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi这里有个小坑容器默认共享内存只有 64MB多卡并行任务里经常不够用所以我在上面加了--shm-size8g。如果你的任务大量用 DataLoader 多进程读取数据这个参数会直接影响稳定性。如果是多卡数据并行训练PyTorch 上可以用torchrun直接拉起多进程torchrun --nproc_per_node4 train.py它会自动把四个进程分配到四张卡上每张卡一个进程。在 NUC 这种共享带宽的架构下数据并行能跑但不要指望线性加速这点放到下一节细说重点在于先确认环境能稳定调用四卡。5. 性能实测与并发调优四卡不是简单的四倍5.1 实测数据功耗、温度与带宽折损整套系统稳定跑起来后我做了一轮负载测试。测试场景是四路视频流推理服务每张卡各跑一个模型实例输入是 1080p 视频流模型是轻量级目标检测网络。这里不是跑理论峰值只是想看看真实使用里 NUC 多卡方案的表现在什么水平。先看功耗。四张 T10 满载时nvidia-smi显示单卡功耗在 62W 到 70W 之间浮动四卡合计大约 265W再加上扩展笼的两个 12cm 风扇和 NUC 本身整机从墙插测得的功耗在 330W 左右。我用的额定 500W 电源负载在 70% 以下稳定性没有问题。如果后续要升级成功耗更高的卡电源余量就得按至少 1.5 倍算。再看温度。涡轮卡满载运行半小时后核心温度稳定在 78°C 到 83°C 之间显存温度稍高一点但还在合理范围。扩展笼背板风扇转速在 1800 转左右噪声可以接受放在办公室不会有太大存在感。值得注意的是四张卡并排时卡与卡之间的缝隙很小涡轮卡排出的热风会被相邻卡的进风区吸走一部分形成了局部热循环。我的解决办法是在扩展笼外侧再加一个 12cm 风扇贴着卡尾部往外排热这样温度大约降了 5°C。带宽这块是 NUC 方案最容易让人焦虑的地方。我用nvidia-smi dmon观察并发时的 PCIe 读写吞吐四卡同时高负载时共享上行链路确实会被打满。单卡推理延迟从 12ms 涨到了 14ms但整体吞吐因为并发四路依然提升了约 3.6 倍。这说明在推理场景下共享带宽造成的折损大约 10% 到 15%完全在可接受范围内。如果换成通信密集型任务比如神经网络训练时每一轮都要同步梯度情况就完全不一样了多卡之间会互相等待整体吞吐可能连单卡的两倍都到不了。5.2 多卡并发策略怎么分配任务才合理既然带宽有限那怎么分配任务就很有讲究。我在实际使用中总结了一个原则优先做“横向多路并发”不要做“纵向多卡协同”。所谓横向并发就是每张卡独立处理不同的数据流比如四台摄像头的视频流分别交给四张卡卡和卡之间基本没有通信这种情况下共享带宽的影响最小。所谓纵向协同就是把一个大的模型拆到多张卡上并行计算这会频繁产生梯度同步和中间结果传输在共享链路上很容易卡死瓶颈。如果你的应用必须要做多卡协同那尽量把通信频率降下来。比如在分布式训练里梯度累积步数调大一些减少同步次数或者用 PyTorch 的ZeroRedundancyOptimizer代替全量梯度同步让通信量小不少。我这边实际跑过一个较小规模的微调任务在四卡上做数据并行开启梯度累积后训练吞吐大约是单卡的 2.8 倍勉强能接受但和真正的多卡服务器相比还是差不少。调度的另一个思路是让 NUC 只做“总控”把任务分发到计算卡上后就不再频繁干预。我这边用的是一个简单的多进程 Python 框架主进程只负责读取任务队列和汇总结果真正推理的进程各自绑定一张卡。代码逻辑上主要是通过CUDA_VISIBLE_DEVICES把每个子进程限制到单卡上避免进程间争抢显存导致 OOM。6. 常见问题与排查技巧实录6.1 翻车现场六类典型故障和处理思路我在这套设备上遇到的问题不少我把典型的六类故障和排查思路整理成速查表希望能节省你折腾的时间。现象可能原因排查和处理系统只认到一两张卡扩展笼供电接触不良、PCIe 拆分设置错误、卡没插到位先重新插拔卡和供电线再确认 BIOS 里 PCIe Bifurcation 模式是否为 4×x4最后看lspci输出中卡的顺序开机黑屏无信号计算卡没有视频输出、NUC 核显驱动异常显示线必须插在 NUC 主板的 HDMI/DP 口上不是插在计算卡上计算卡没有显示输出运行一段时间会掉卡电源供电不稳、PCIe 线缆接触不良、温度过高用nvidia-smi记录温度曲线检查电源 12V 输出是否稳定锁 PCIe Gen3 降低链路协商压力驱动安装后无法启动桌面内核模块加载顺序问题进入恢复模式卸载相关驱动后重新安装如果用的是 runfile先apt purge掉包管理器版本四卡能识别但负载上不去共享上行带宽瓶颈、CPU 数据供给速度不够用nvidia-smi dmon看卡的空闲率降低 batch size 减少内存与显存拷贝或者优化数据读取管线扩展笼风扇不转24pin 短接不对、风扇插座供电不足检查电源 PS_ON 是否短接用万用表测 12V 输出风扇别接在主板风扇接口上直接走电源供电除了上面这些我还遇到过一种很隐蔽的情况四张卡里有一张在系统启动时偶尔会消失重启后又恢复。查了半天才发现是扩展笼背板上一颗固定卡的螺丝拧得太紧导致卡尾端微微翘起金手指和插槽之间形成了细微偏移。后来把螺丝松开一点故障就消失了。多卡机器上“固定”和“压紧”之间一定要留一点余量别以为螺丝越紧越好。6.2 容易被忽略但影响很大的三条经验第一M.2 转接卡线缆的摆放位置会直接影响稳定性。我一开始把线缆贴着 NUC 内部散热器走高负载时线缆被烤得很热出现过周期性掉卡。后来把线缆改从外壳底部引出避开散热区域问题没有再复发。线缆尽量短走线尽量远离发热源这是真金白银换来的教训。第二供电线材别图便宜。四张卡满载的瞬时电流不低细线在负载跳动时会产生明显的压降导致某张卡供电不够而掉卡。我后来换了一批 18AWG 的定制线压降小了很多。判断线材好坏很简单满载时摸一摸线材外表如果明显发烫说明线阻太大赶紧换线。第三一定要养成先看日志的习惯。很多问题并不是硬件坏了而是系统层面报错被忽略。排查掉卡问题时我习惯第一时间执行dmesg | grep -i nvidia journalctl -u nvidia-persistenced --since today如果日志里出现 Xid 错误比如 Xid 79 或者 Xid 56那大多是 PCIe 链路问题或者供电问题而不是卡本身坏了。这时候优先检查物理链路而不是重装系统。我以前在服务器上也遇到过类似情况折腾了半天的驱动最后发现是 PCIe 插槽旁边积灰导致接触不良清灰之后一切正常。最后再分享一个小习惯我每次开机后会先跑一条命令把所有卡的状态存成日志文件方便事后追查。命令很简单但确实帮我定位了好几次“莫名其妙掉卡”的时间点。nvidia-smi --query-gpuindex,temperature.gpu,utilization.gpu,pcie_link_gen_current,pcie_link_width_current --formatcsv -l 10 /var/log/t10-smi.log 这套四张 T10 加 NUC 的组合我没有把它当主力训练机用更多时候是当边缘推理节点和实验台。它的甜点区间很明确需要四卡并发、但对绝对带宽不敏感的任务。如果你也想折腾类似方案先把上面的硬件和供电逻辑理清楚后面的软件配置就都是水到渠成的事了。
这套配置我前后折腾了两周期间无数次怀疑是不是主板供电或者转接卡出了问题。最后看到nvidia-smi里整整齐齐列出四张 T10 计算卡时才确信这个看起来有点离谱的组合——一台巴掌大的 NUC带四张计算卡——是真的能稳定跑起来的。“四张 T10 NUC 计算卡”这个方案本质上是给边缘推理、视频转码、小规模并行计算场景搭一个低成本的多卡节点。它不是什么高不可攀的服务器方案也不需要专门的机架和机房一张普通办公桌上就能放下。如果你手里正好有 T10 计算卡又不想为此买一台笨重的工作站或者你正在纠结 NUC 到底能不能带多卡、供电怎么解决、驱动怎么认卡那这篇文章应该能帮你避掉不少坑。下面内容全程来自我的实际装机记录包含完整的硬件清单、BIOS 设置、驱动部署、性能实测和故障排查所有步骤都是我踩过坑之后整理出来的尽量写得直白一点方便你直接照着操作。1. 方案思路为什么是“NUC 四张 T10”1.1 需求倒推这台机器要解决什么问题很多人看到这个标题第一反应是NUC 这么小的机器怎么可能插四张卡确实NUC 主板上连一条标准 PCIe x16 插槽都没有单从物理接口看它和“多卡装机”完全是两个世界的事情。但换个思路想我们需要的不是把卡插进 NUC 内部而是让 NUC 通过某种方式把 PCIe 总线扩展出去外接一个能插多张卡的空间。那为什么不直接上一台二手服务器或者 ATX 工作站我当时的场景很明确需要在办公环境长期跑一个多路视频流推理服务要求噪声低、体积小、功耗可控。服务器那种暴力风扇一开机整个办公室都听得见放家里更是没法接受。相比之下NUC 虽然单机算力不强但它作为宿主机去调度外置计算卡CPU 占用其实非常低更多时候只是做数据分发和任务调度。至于为什么是四张 T10而不是一张大显存卡原因也很简单。T10 这类计算卡单位功耗下的性价比高单卡显存虽然不算夸张但四张拼起来总显存和并发吞吐都上去了。而且推理任务大多是“多路并行”而不是“单任务强依赖”四张卡可以分别处理不同的视频流、不同的模型实例互不干扰。比起买一张价格翻好几倍的大卡这种“多小卡并联”的方式在成本和调度灵活性上都更有优势。1.2 NUC 当宿主机的底气与短板可能有人会问NUC 性能就那么点带四张计算卡会不会带不动实际用下来只要你不是在 NUC 自身上跑重型训练问题不大。NUC 高端型号配备的是 i7 级别的移动处理器内存到 32GB应付推理任务的数据预处理和多进程调度绰绰有余。我这里跑的是多路视频流预处理CPU 占用一直控制在 30% 左右瓶颈从头到尾都在 PCIe 带宽上。NUC 的短板也很明确PCIe 通道数太少。桌面级 CPU 一般给 x16 直连显卡而 NUC 的 M.2 插槽通常只有 x4 通道雷电口更是要经过额外的控制芯片。换句话说无论你用什么方式外扩四张卡都只能共享一条 x4 的 PCIe 链路而不是每张卡独占 x16。这个限制决定了它不适合做通信密集型的大模型并行训练但用在推理和转码这类“数据搬得少、计算耗得多”的场景折损完全可以接受。我在实测中发现四张 T10 同时跑推理任务时共享的 PCIe x4 Gen3 链路会在高并发下接近占满但单卡的核心利用率依然能稳定在 85% 以上。这是 NUC 多卡方案能不能成立的关键计算卡的算力消耗主要在核心上而不是在不停地搬数据上。如果你的任务需要频繁把大量数据从内存搬到显存再搬回来那这套方案会非常难受。1.3 三种外扩方案怎么选把 PCIe 从 NUC 引出来市面上常见的有三条路M.2 转 PCIe、雷电Thunderbolt扩展坞、OCuLink 外接扩展箱。我分别说一下优劣。M.2 转 PCIe 是最直接的方式把 NUC 主板上空闲的 M.2 接口通过转接卡变成 PCIe x16 物理插槽再接入一个四卡扩展笼。优点是带宽最大M.2 直连 CPU路径最短延迟也最低。缺点是需要拆机而且转接卡和扩展笼之间的线材、供电都得自己解决非常 DIY。雷电扩展坞是很多人第一反应想到的方案毕竟插上就能用。但雷电的带宽固定在 PCIe x4 Gen3 左右经过雷电控制器后实际可用带宽还会折损一部分而且市面上几乎没有支持四张全高卡的雷电扩展坞大多只能上一张卡。想靠雷电解决四卡问题基本走不通。OCuLink 是后起之秀它本身就是为外接 PCIe 设计的带宽和延迟表现不错很多显卡坞和 JHL 扩展箱都在用。但 NUC 原生不带 OCuLink 接口还需要用 M.2 转 OCuLink 再转 PCIe等于多了一层转换成本没有比 M.2 方案低多少。所以我最终的方案是NUC 空闲 M.2 接口插一张 M.2 转 PCIe x16 转接卡再接一个带 PCIe 拆分的四卡扩展笼。这条链路硬件最少、带宽最大也比较可控。2. 硬件配单把每一分钱花在刀刃上2.1 T10 计算卡选型注意T10 这个型号在不同渠道里差异挺大买之前一定要确认清楚几个细节。首先看散热结构我手里这批 T10 是单槽半高、主动涡轮散热。涡轮散热的优势是排热方向固定可以从扩展笼尾部直接吹出去多卡并排的时候不会像开放式散热那样互相加热。如果你收到的是被动散热版本那扩展笼内的风道必须非常强否则四张卡一起满载很容易过热降频。其次看供电接口。部分 T10 卡只需要从 PCIe 金手指取电最高功耗控制在 75W 以内这种卡对扩展笼比较友好但也有一部分版本会有额外的 6pin 或 8pin 辅助供电装机前务必要把电源方案留够余量。我这边四张卡满载时单卡功耗大约 65W 到 70W四张加起来接近 280W这还不算扩展笼里风扇的功耗。最后看有没有视频输出接口。计算卡通常没有显示输出画面仍然要走 NUC 的核显 HDMI 输出。这一点很重要因为很多人第一次插上计算卡后发现显示器不亮以为卡坏了其实只是计算卡根本没接显示器的功能。2.2 NUC 型号怎么挑接口怎么确认NUC 也有不同版本选之前要确认两个条件。第一必须带至少一个空闲的 M.2 插槽。多数 NUC 有两个 M.2一个给系统盘另一个可以拿来转 PCIe有些低配版只有一个装完系统盘就没有多余位置了。第二BIOS 里要能看到 PCIe 相关的高级选项尤其是 Above 4G Decoding这一步很关键后面会详细说。我自己用的是 Intel NUC 12 厚版i7 处理器两个 M.2 插槽其中一个走了 PCIe x4 Gen3 通道。如果你手里是 AMD 平台的 NUC 或者其他迷你主机思路也一样关键是确认 M.2 插槽的走线和 BIOS 选项。买之前最好先去官网下载对应机型的 BIOS 说明书看一眼有没有 Above 4G 和 Resizable BAR 选项这一步能省去后面很多折腾。另外要注意 NUC 本身的外壳空间。插上 M.2 转 PCIe 转接卡后转接卡会横在主板和底盖之间原来的底盖大概率盖不上。我的做法是找了一条带线缆的 M.2 转 PCIe 延长线把转接卡和背板之间的距离拉开让线材从 NUC 底部开孔位置引出来。破坏原装外壳之前建议先量好尺寸用美工刀慢慢修不要把主板走线区域弄脏或者刮伤。2.3 供电、转接、散热的完整清单这块是我整个方案里最容易被低估的部分。NUC 原装电源只给主机本身供电外接扩展笼和四张计算卡必须单独供电。一定不要试图从 NUC 的 M.2 接口取电给计算卡M.2 插槽的供电能力非常有限强行拉电轻则掉卡重则烧板。我最终的硬件清单如下部件规格备注NUC 宿主机Intel NUC 12 厚版i7双 M.2雷电口留作调试备用T10 计算卡四张单槽涡轮散热每张 65~70W金手指供电M.2 转 PCIe 转接卡M.2 2280 转 PCIe x16带线缆线缆长度 20cm方便拉出机箱四卡扩展笼支持 PCIe 拆分带两个 12cm 风扇位面板上有 24pin 和 CPU 8pin 供电接口ATX 电源额定 500W 铜牌以上给扩展笼和计算卡独立供电内存32GB16GB×2NUC 支持双通道 DDR4系统盘1TB NVMe SSD装在第一个 M.2 插槽定制供电线24pin 延长线、CPU 8pin 转双 PCIe 8pin走线更整洁避免接口冲突扩展笼的供电方案要注意一个细节很多扩展笼为了让主板识别需要接一条主板 24pin 供电线。但我们这里并没有用 ATX 主板所以需要短接 24pin 里 PS_ON 和 GND 两个针脚让电源直接启动再通过扩展笼上的供电接口给四张卡和风扇供电。具体短接方式是拿一根短导线或杜邦线把 24pin 接口里绿色线对应的针和任意黑色地线针短接电源就会持续输出。操作前记得断电别带电玩这个。3. 装机实录从拆机到点亮四卡3.1 M.2 转 PCIe 的第一条通路装机的第一步是把 NUC 拆开。翻到机器底部拧掉四颗脚垫下面的螺丝就可以把底盖卸下来。NUC 内部布局很紧凑内存和 M.2 都在主板上注意断电后等几秒再动。找到空闲的那个 M.2 插槽把 M.2 转 PCIe 转接卡斜着插进去然后压下转接卡并用原来的 M.2 固定螺丝锁紧。这里有个非常重要的细节转接卡的固定不能只靠 M.2 插槽的卡扣因为转接卡的体积比 SSD 大很多高负载下轻微的震动都可能导致接触不良。我的做法是在转接卡另一端和 NUC 外壳之间垫一块耐高温泡棉让转接卡保持水平并压紧这样才能最大限度减少掉卡的概率。线缆从转接卡一端引出我选择从 NUC 底部散热孔附近穿出去然后用扎带在线缆出线位置固定好防止线缆拖动时把 M.2 接口带松。线缆另一端接到四卡扩展笼的 PCIe x16 插槽上。扩展笼内部一般是竖插结构四张卡并排插在同一个背板上背板再把四路 PCIe 信号汇聚到一个上行接口。这里涉及一个概念叫 PCIe bifurcation也就是把上行 x16 物理链路拆分成四条 x4 链路。四张卡插好后背板会把拆分后的信号分给每一张卡。如果你的扩展笼不支持拆分那逻辑上可能只认到一张卡所以买扩展笼时要确认清楚是否支持 x16 转 4×x4 拆分。3.2 四卡扩展笼的供电与接线顺序插卡之前先把四张 T10 从防静电袋里取出来检查金手指和散热鳍片确认没有明显磕碰。然后把扩展笼平放在桌面上一张一张插卡。插卡时对准 PCIe 插槽垂直用力压到底听到卡扣弹响才说明到位。单槽卡之间挨得很近插卡的时候尽量别碰旁边的卡。四张卡全部插好后接供电线。我的扩展笼面板上有两组供电接口一组 24pin一组 CPU 8pin。24pin 接 ATX 电源的主板接口CPU 8pin 接到电源的 CPU/PCIe 输出口上。这里有个容易搞混的地方有些电源的 8pin 输出标注的是 CPU有些标注的是 PCIe接口形状一样但脚位定义不一定兼容。安全起见我直接用定制线从电源引出两根 PCIe 8pin 到扩展笼避免用错线烧掉卡。接线顺序也有讲究。先把 ATX 电源连接到扩展笼然后用短接方式启动电源这时候扩展笼的风扇应该开始转四张卡如果有独立电源指示灯也会亮起来。确认扩展笼这边已经稳定带电后再开 NUC 主机。千万不要反过来先把 NUC 开了再接扩展笼电源那样相当于对着一张已经通着 PCIe 信号链路的卡做热插拔很容易出现系统崩溃或者设备直接消失的情况。3.3 BIOS 里必须调的五个开关NUC 开机后按 F2 进 BIOS这步是能不能点亮四卡的关键。我按顺序检查了下面这些选项建议你也一样一样来别跳步。第一开启 Above 4G Decoding。这个选项英文名叫 Above 4G Decoding 或者大于 4G 地址解码作用是把 PCIe 设备的 BAR 空间映射到 64 位地址区域。四张计算卡需要不小的 I/O 地址空间不开启的话其中部分卡会认不到。不同版本 NUC 的 BIOS 把这项藏得比较深一般在 Advanced PCIe Configuration 或者 Advanced Boot Performance 附近找不到就用 BIOS 里的搜索功能直接搜。第二开启 Resizable BAR。它和 Above 4G 是搭配使用的允许 CPU 一次访问更大的显存映射区域。NUC 的 BIOS 里默认可能是禁用要手动打开。这个选项对游戏卡提升明显计算卡在推理场景下也有小幅帮助主要是减少了 CPU 访问显存时的地址切换开销。第三关闭 Secure Boot。这一点主要为了后面装驱动顺利尤其是自己编译内核模块时安全启动会挡住 NVIDA 等闭源驱动的加载。如果你坚持要开 Secure Boot那后续驱动安装就得签注 MOK 密钥徒增很多麻烦。我建议在实验机器上直接关掉。第四把 PCIe 速度手动锁定在 Gen3。M.2 转接卡和线缆质量参差不齐自动协商有时候会出现链路降速或者不稳定手动锁定 Gen3 能让训练和推理时的 PCIe 信号更稳定。如果你的转接卡支持 Gen4NUC 本身也支持那可以设成 Gen4但前提是线缆足够短、屏蔽足够好。第五确认启动设备顺序。因为系统盘是 NVMe而 M.2 转接卡也挂在 M.2 控制器下BIOS 有时候会把它们混在一起导致启动时卡在找不到引导盘的界面。把装有系统的那个 M.2 设为第一启动项即可。BIOS 设置完保存退出正常进入系统之后先跑一下lspci | grep -i nvidia或者lspci | grep -i T10看看系统到底认到了几张卡。我第一次在这里只看到两张卡后来排查发现是扩展笼有一路电源接口接触不良重新插拔之后才全部认到。所以不用担心多卡认不全太正常了后面会专门说排查方法。4. 驱动与运行环境让四张卡真正跑起来4.1 驱动安装与内核匹配系统认到卡只是第一步要让计算卡真正能用还得装对应的驱动。我这里以 NVIDIA 系的 T10 计算卡为例如果你的卡是其他厂商的流程类似但务必去官网确认配套的驱动版本和内核要求别直接照搬命令。我用的系统是 Ubuntu 22.04内核版本 5.15。驱动安装我试过两种方式一种是包管理器自动装一种是官方 runfile 手动装。对新手来说先用包管理器比较稳妥。先执行ubuntu-drivers devices看系统推荐哪个版本再执行sudo apt update sudo apt install ubuntu-drivers-common ubuntu-drivers devices输出里会列出当前机器所有计算卡支持的驱动版本。选标注 recommended 的版本安装即可比如sudo apt install nvidia-driver-535装完重启然后跑nvidia-smi。如果输出正常说明驱动已经加载成功。如果你更青睐 runfile 安装那要注意在安装前先禁用系统自带的 nouveau 驱动否则会冲突。禁用方式echo blacklist nouveau | sudo tee /etc/modprobe.d/blacklist-nouveau.conf sudo update-initramfs -u然后重启再进入纯命令行模式安装 runfile。整个安装过程要留意日志里有没有编译错误runfile 会现场编译内核模块如果你的系统没有装内核头文件会直接失败。提前执行sudo apt install linux-headers-$(uname -r)这一条建议不管用哪种安装方式都先装上后面能省不少事。4.2 多卡识别与状态验证驱动装好后nvidia-smi是最直接的验证工具。正常情况你应该看到四张卡全部列在输出列表里每张卡的温度、功耗、显存占用都会显示。如果只显示两张或者三张先别急着重装系统优先怀疑供电、接触和 BIOS 设置。我还习惯用nvidia-smi -L快速查看所有卡的 UUID 和型号这个在容器里指定设备时很有用。多卡机器上还要学会看 PCIe 链路状态nvidia-smi --query-gpuindex,pcie_link_gen_current,pcie_link_width_current --formatcsv如果看到当前链路宽度不是 x4甚至变成 x1 或者 x2说明接触或者线材质量有问题。这种情况通常在高负载时会掉卡或者出现 Xid 错误。我的四张卡在稳定后都显示 x4 链路宽度速度是 Gen3。日常监控我建议开一个终端跑watch -n 1 nvidia-smi观察每张卡的利用率、温度、功耗。如果是长时间满载任务还可以看显存温度和风扇转速。T10 涡轮卡在高负载下风扇转速会明显升高不要被噪声吓到这是正常现象。4.3 容器、环境变量与并行框架的接入驱动装好后接下来就是让应用真正用到四张卡。如果你是直接在宿主机上跑最简单的方式是用环境变量控制对哪些卡可见export CUDA_VISIBLE_DEVICES0,1,2,3这样跑 TensorFlow、PyTorch 的时候默认就会只看到这四张卡程序内部可以用torch.cuda.device_count()来确认。如果你更喜欢容器化部署那需要装 NVIDIA Container Toolkitdistribution$(. /etc/os-release;echo $ID$VERSION_ID) curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed s#deb https://#deb [signed-by/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update sudo apt-get install -y nvidia-container-toolkit sudo nvidia-ctk runtime configure --runtimedocker sudo systemctl restart docker然后运行容器时加上--gpus alldocker run --rm --gpus all --shm-size8g nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi这里有个小坑容器默认共享内存只有 64MB多卡并行任务里经常不够用所以我在上面加了--shm-size8g。如果你的任务大量用 DataLoader 多进程读取数据这个参数会直接影响稳定性。如果是多卡数据并行训练PyTorch 上可以用torchrun直接拉起多进程torchrun --nproc_per_node4 train.py它会自动把四个进程分配到四张卡上每张卡一个进程。在 NUC 这种共享带宽的架构下数据并行能跑但不要指望线性加速这点放到下一节细说重点在于先确认环境能稳定调用四卡。5. 性能实测与并发调优四卡不是简单的四倍5.1 实测数据功耗、温度与带宽折损整套系统稳定跑起来后我做了一轮负载测试。测试场景是四路视频流推理服务每张卡各跑一个模型实例输入是 1080p 视频流模型是轻量级目标检测网络。这里不是跑理论峰值只是想看看真实使用里 NUC 多卡方案的表现在什么水平。先看功耗。四张 T10 满载时nvidia-smi显示单卡功耗在 62W 到 70W 之间浮动四卡合计大约 265W再加上扩展笼的两个 12cm 风扇和 NUC 本身整机从墙插测得的功耗在 330W 左右。我用的额定 500W 电源负载在 70% 以下稳定性没有问题。如果后续要升级成功耗更高的卡电源余量就得按至少 1.5 倍算。再看温度。涡轮卡满载运行半小时后核心温度稳定在 78°C 到 83°C 之间显存温度稍高一点但还在合理范围。扩展笼背板风扇转速在 1800 转左右噪声可以接受放在办公室不会有太大存在感。值得注意的是四张卡并排时卡与卡之间的缝隙很小涡轮卡排出的热风会被相邻卡的进风区吸走一部分形成了局部热循环。我的解决办法是在扩展笼外侧再加一个 12cm 风扇贴着卡尾部往外排热这样温度大约降了 5°C。带宽这块是 NUC 方案最容易让人焦虑的地方。我用nvidia-smi dmon观察并发时的 PCIe 读写吞吐四卡同时高负载时共享上行链路确实会被打满。单卡推理延迟从 12ms 涨到了 14ms但整体吞吐因为并发四路依然提升了约 3.6 倍。这说明在推理场景下共享带宽造成的折损大约 10% 到 15%完全在可接受范围内。如果换成通信密集型任务比如神经网络训练时每一轮都要同步梯度情况就完全不一样了多卡之间会互相等待整体吞吐可能连单卡的两倍都到不了。5.2 多卡并发策略怎么分配任务才合理既然带宽有限那怎么分配任务就很有讲究。我在实际使用中总结了一个原则优先做“横向多路并发”不要做“纵向多卡协同”。所谓横向并发就是每张卡独立处理不同的数据流比如四台摄像头的视频流分别交给四张卡卡和卡之间基本没有通信这种情况下共享带宽的影响最小。所谓纵向协同就是把一个大的模型拆到多张卡上并行计算这会频繁产生梯度同步和中间结果传输在共享链路上很容易卡死瓶颈。如果你的应用必须要做多卡协同那尽量把通信频率降下来。比如在分布式训练里梯度累积步数调大一些减少同步次数或者用 PyTorch 的ZeroRedundancyOptimizer代替全量梯度同步让通信量小不少。我这边实际跑过一个较小规模的微调任务在四卡上做数据并行开启梯度累积后训练吞吐大约是单卡的 2.8 倍勉强能接受但和真正的多卡服务器相比还是差不少。调度的另一个思路是让 NUC 只做“总控”把任务分发到计算卡上后就不再频繁干预。我这边用的是一个简单的多进程 Python 框架主进程只负责读取任务队列和汇总结果真正推理的进程各自绑定一张卡。代码逻辑上主要是通过CUDA_VISIBLE_DEVICES把每个子进程限制到单卡上避免进程间争抢显存导致 OOM。6. 常见问题与排查技巧实录6.1 翻车现场六类典型故障和处理思路我在这套设备上遇到的问题不少我把典型的六类故障和排查思路整理成速查表希望能节省你折腾的时间。现象可能原因排查和处理系统只认到一两张卡扩展笼供电接触不良、PCIe 拆分设置错误、卡没插到位先重新插拔卡和供电线再确认 BIOS 里 PCIe Bifurcation 模式是否为 4×x4最后看lspci输出中卡的顺序开机黑屏无信号计算卡没有视频输出、NUC 核显驱动异常显示线必须插在 NUC 主板的 HDMI/DP 口上不是插在计算卡上计算卡没有显示输出运行一段时间会掉卡电源供电不稳、PCIe 线缆接触不良、温度过高用nvidia-smi记录温度曲线检查电源 12V 输出是否稳定锁 PCIe Gen3 降低链路协商压力驱动安装后无法启动桌面内核模块加载顺序问题进入恢复模式卸载相关驱动后重新安装如果用的是 runfile先apt purge掉包管理器版本四卡能识别但负载上不去共享上行带宽瓶颈、CPU 数据供给速度不够用nvidia-smi dmon看卡的空闲率降低 batch size 减少内存与显存拷贝或者优化数据读取管线扩展笼风扇不转24pin 短接不对、风扇插座供电不足检查电源 PS_ON 是否短接用万用表测 12V 输出风扇别接在主板风扇接口上直接走电源供电除了上面这些我还遇到过一种很隐蔽的情况四张卡里有一张在系统启动时偶尔会消失重启后又恢复。查了半天才发现是扩展笼背板上一颗固定卡的螺丝拧得太紧导致卡尾端微微翘起金手指和插槽之间形成了细微偏移。后来把螺丝松开一点故障就消失了。多卡机器上“固定”和“压紧”之间一定要留一点余量别以为螺丝越紧越好。6.2 容易被忽略但影响很大的三条经验第一M.2 转接卡线缆的摆放位置会直接影响稳定性。我一开始把线缆贴着 NUC 内部散热器走高负载时线缆被烤得很热出现过周期性掉卡。后来把线缆改从外壳底部引出避开散热区域问题没有再复发。线缆尽量短走线尽量远离发热源这是真金白银换来的教训。第二供电线材别图便宜。四张卡满载的瞬时电流不低细线在负载跳动时会产生明显的压降导致某张卡供电不够而掉卡。我后来换了一批 18AWG 的定制线压降小了很多。判断线材好坏很简单满载时摸一摸线材外表如果明显发烫说明线阻太大赶紧换线。第三一定要养成先看日志的习惯。很多问题并不是硬件坏了而是系统层面报错被忽略。排查掉卡问题时我习惯第一时间执行dmesg | grep -i nvidia journalctl -u nvidia-persistenced --since today如果日志里出现 Xid 错误比如 Xid 79 或者 Xid 56那大多是 PCIe 链路问题或者供电问题而不是卡本身坏了。这时候优先检查物理链路而不是重装系统。我以前在服务器上也遇到过类似情况折腾了半天的驱动最后发现是 PCIe 插槽旁边积灰导致接触不良清灰之后一切正常。最后再分享一个小习惯我每次开机后会先跑一条命令把所有卡的状态存成日志文件方便事后追查。命令很简单但确实帮我定位了好几次“莫名其妙掉卡”的时间点。nvidia-smi --query-gpuindex,temperature.gpu,utilization.gpu,pcie_link_gen_current,pcie_link_width_current --formatcsv -l 10 /var/log/t10-smi.log 这套四张 T10 加 NUC 的组合我没有把它当主力训练机用更多时候是当边缘推理节点和实验台。它的甜点区间很明确需要四卡并发、但对绝对带宽不敏感的任务。如果你也想折腾类似方案先把上面的硬件和供电逻辑理清楚后面的软件配置就都是水到渠成的事了。
