聊到本地大模型部署显卡就是绕不开的“发动机”。当前市面上可用的显卡从几百块到几十万一块的都有但真正能胜任大模型本地部署的基本被 NVIDIA 主导的生态所覆盖苹果和 AMD 则在差异化赛道上追赶。下面从数据中心、消费级、专业工作站、苹果统一内存方案和 AMD 追赶者五个维度为你拆解当前最值得关注的“显卡兵器谱”。一、数据中心王者为训练和推理而生的“核武器”这些卡是云服务商和大型企业的标配价格以万到十万人民币计核心优势是巨大的显存、极致的带宽和多卡互联能力。1. NVIDIA H200 / H100Hopper 架构—— 当前绝对主流规格H100 SXM80GB HBM3带宽 3.35 TB/s。FP16 算力约 990 TFLOPS。H200 SXM141GB HBM3e带宽 4.8 TB/s这是目前单卡推理能力的天花板。算力与H100基本持平。为什么关键显存容量和带宽直接决定了能跑多大的模型、生成 token 速度有多快。141GB 的 H200 可以单卡流畅运行未量化的 70B 模型约140GB FP16或经过量化的 130B 模型。多卡通过 NVLink 互联可以组成超大显存池是运行 1.7TB 级 K3 这种怪物模型的唯一选择。适用场景大规模线上推理服务、全参数微调SFT、超大规模模型的单机多卡部署。注意由于出口管制中国大陆买到的是阉割互联带宽的 H800 或后续特供版 H20。H20 显存 96GB HBM3带宽 4.0 TB/s但算力被大幅削减专门为推理优化。2. NVIDIA B100 / B200Blackwell 架构—— 新一代性能怪兽规格B100192GB HBM3e带宽 8 TB/s。B200同样 192GB但算力更高且可以两块 B200 通过 NVLink-HBI 融合成一块“超级芯片”GB200共享 384GB 统一显存。目前状态2026 年的当下Blackwell 卡正处在量产爬坡和云厂商大规模铺货阶段价格极其昂贵且稀缺。对于绝大多数本地部署者而言它还是“未来之物”但代表了密度进一步提升的趋势。适用场景万亿参数级模型的训练以及未来超大规模 MoE 模型的推理。3. NVIDIA A100Ampere 架构—— 依然老当益壮规格40GB / 80GB HBM2e带宽 2.0 TB/s。价值虽然 A100 已发布多年但 80GB 版本是很多中小企业和研究机构的“真香之选”。它支持 NVLink能跑 70B 模型二手或云上租用价格相对亲民生态最成熟稳定没有它跑不动的框架。对于预算有限但需要多卡并行能力的团队A100 仍然是极其实在的选择。4. NVIDIA L40S / L20Ada Lovelace 架构—— 轻量级推理新贵规格L40S 有 48GB GDDR6 ECC 显存带宽 864 GB/s。不带 NVLink但功耗低300W适合高密度部署。L20 是针对中国特供的推理卡规格类似。价值相比 H 系列它便宜很多且 48GB 显存可以运行一个 4-bit 量化的 70B 模型或 FP16 的 13B 模型。如果你不需要多卡互联只是想单机单卡跑中等大小的模型作为内部服务L40S 是性价比极高的选择。二、消费级性价比之王开发者桌面的生产力工具这些是我们个人或小团队能直接买到的游戏卡价格几千到一万多CUDA 生态完整但显存和互联能力被精准刀法限制。1. NVIDIA RTX 4090 / 4090 DAda Lovelace—— 24GB 显存的“甜点级”大模型卡规格24GB GDDR6X带宽 1.0 TB/s。FP16 算力约 330 TFLOPS开启 Tensor Cores。地位这是目前个人开发者跑大模型的绝对标杆。24GB 显存可以流畅运行 4-bit 量化的 70B 模型约占 17-20GB或高精度的 13B 模型。借助 ExLlamaV2 等专门针对消费卡优化的引擎生成速度极快。单卡售价约 1.5 万元是学习、调试、原型开发的最佳选择。局限24GB 显存是硬伤。跑不了全精度 70B更与 MoE 模型如 Mixtral 8x7B的完整加载无缘。且不支持 NVLink双卡也无法叠加显存做张量并行只能做流水线并行或各自运行实例。2. NVIDIA RTX 5090Blackwell 架构—— 新一代消费卡皇规格传言/预期显存可能提升至 28GB 或 32GB带宽大幅增长GDDR7。性能显著提升。价值如果显存增大到 32GB那么它能运行的模型范围将直接提升一个档次比如更从容地处理 70B 量化版或 MoE 模型。到 2026 年这应该是追求极致的个人开发者升级的目标。但核心限制依然是单卡显存容量和缺乏高速卡间互联。3. NVIDIA RTX 3090 / 3090 TiAmpere二手市场规格24GB GDDR6X带宽约 936 GB/s。价值RTX 4090 的前代显存同为 24GB但算力和带宽稍弱。关键优势是二手价格很低是预算极度有限的学生的入门神器。它也支持 NVLink 桥但游戏中已弃用在推理中部分框架可利用它实现双 3090 的显存池扩展尽管带宽有限操作复杂算一个独特的小优点。三、专业工作站卡单卡大显存的静谧猛兽介于游戏卡和数据中心卡之间适合需要单机大显存但无法部署服务器环境的场景比如研究室、边缘服务器。1. NVIDIA RTX 6000 Ada Generation规格48GB GDDR6 ECC 显存带宽 960 GB/s。FP16 算力约 365 TFLOPS。核心优势48GB 显存这在单卡中是一个质变。你可以直接运行全精度 FP16 的 30B 模型或者非常舒适地运行 4-bit 的 70B 模型而不像 4090 那样显存吃紧。并且功耗仅 300W涡轮风扇适合服务器机箱多卡部署。价格约 4-5 万元。适用场景单机部署中等规模模型30B-70B 量化提供内部微服务或者做全参数微调 7B 模型。它没有 NVLink所以多卡依然无法显存池化但胜在单卡显存足够大、省心稳定。四、苹果统一内存方案非NVIDIA的另一条路苹果的 M 系列芯片M2 Ultra / M3 Ultra 等不是显卡但它们的统一内存架构为本地大模型推理提供了一个极具魅力的选择。原理CPU 和 GPU 共享同一块物理内存内存带宽极高可达 800 GB/s - 1 TB/s。一块 Mac Studio 配置 192GB 统一内存其中约 150GB 以上可以直接给 GPU 用作“显存”。代表搭载 M2 Ultra76 核 GPU、192GB 内存的 Mac Studio 或 Mac Pro。价值可以在 10 万元级别的个人设备上直接运行 FP16 的 70B 模型甚至 4-bit 量化的 180B 模型。这在 N 卡阵营需要几块 A100 才能做到。借助 MLX 或 llama.cpp 的 Metal 加速生成速度可接受。而且功耗极低安静无噪音。局限模型加载和预热慢并发性能远不如 GPU 服务器。生态较新很多高效算子仍待优化。它最适合对延迟不敏感的巨型模型个人使用或本地开发验证。五、AMD与Intel打破垄断的追光者AMD Instinct MI300X192GB HBM3带宽 5.3 TB/s纸面规格直逼 H200。通过 ROCm 生态现在已可以用 vLLM 等框架进行推理。对追求开源、希望摆脱 CUDA 锁定的大规模部署者来说它是正在成熟的“第二选择”。Intel Gaudi 3专为深度学习定制的加速器主打高性价比和大显存128GB HBM2e软件生态基于 SynapseAI兼容 PyTorch。在特定客户中有一定份额。六、选择指南一张表看懂从大模型本地部署需求出发选择显卡的核心决策顺序永远是显存容量 显存带宽 算力 互联能力 成本。预算目标模型推荐方案成本估算极低7B (4-bit)二手 RTX 3060 12GB / 2060 12GB 1500 元学生入门7B (FP16) / 13B (4-bit)RTX 4060 Ti 16GB / 二手 3090 24GB3000-6000 元开发者主力13B (FP16) / 34B (4-bit) / 70B (4-bit)RTX 4090 24GB最甜点1.5 万左右单人玩巨型模型70B (FP16) / 180B (4-bit)Mac Studio M2 Ultra 192GB8-10 万元小团队服务70B (4-bit 高并发)2x RTX 6000 Ada (48GB) 或 单卡 L40S5-8 万元生产级70B (FP16) 高吞吐2-4x A100 80GB (NVLink) 或 H20020-100 万元企业未来超大规模 MoE 模型H200/B200 单机集群数百万以上总结一句话对个人而言RTX 4090 是甜点对团队而言A100 80GB/H200 是核心生产力而苹果的 Mac 则提供了一条独特的“大内存”路径。选择哪一把剑取决于你要挑战的模型有多大以及你的钱包有多深。
聊到本地大模型部署显卡就是绕不开的“发动机”。当前市面上可用的显卡从几百块到几十万一块的都有但真正能胜任大模型本地部署的基本被 NVIDIA 主导的生态所覆盖苹果和 AMD 则在差异化赛道上追赶。下面从数据中心、消费级、专业工作站、苹果统一内存方案和 AMD 追赶者五个维度为你拆解当前最值得关注的“显卡兵器谱”。一、数据中心王者为训练和推理而生的“核武器”这些卡是云服务商和大型企业的标配价格以万到十万人民币计核心优势是巨大的显存、极致的带宽和多卡互联能力。1. NVIDIA H200 / H100Hopper 架构—— 当前绝对主流规格H100 SXM80GB HBM3带宽 3.35 TB/s。FP16 算力约 990 TFLOPS。H200 SXM141GB HBM3e带宽 4.8 TB/s这是目前单卡推理能力的天花板。算力与H100基本持平。为什么关键显存容量和带宽直接决定了能跑多大的模型、生成 token 速度有多快。141GB 的 H200 可以单卡流畅运行未量化的 70B 模型约140GB FP16或经过量化的 130B 模型。多卡通过 NVLink 互联可以组成超大显存池是运行 1.7TB 级 K3 这种怪物模型的唯一选择。适用场景大规模线上推理服务、全参数微调SFT、超大规模模型的单机多卡部署。注意由于出口管制中国大陆买到的是阉割互联带宽的 H800 或后续特供版 H20。H20 显存 96GB HBM3带宽 4.0 TB/s但算力被大幅削减专门为推理优化。2. NVIDIA B100 / B200Blackwell 架构—— 新一代性能怪兽规格B100192GB HBM3e带宽 8 TB/s。B200同样 192GB但算力更高且可以两块 B200 通过 NVLink-HBI 融合成一块“超级芯片”GB200共享 384GB 统一显存。目前状态2026 年的当下Blackwell 卡正处在量产爬坡和云厂商大规模铺货阶段价格极其昂贵且稀缺。对于绝大多数本地部署者而言它还是“未来之物”但代表了密度进一步提升的趋势。适用场景万亿参数级模型的训练以及未来超大规模 MoE 模型的推理。3. NVIDIA A100Ampere 架构—— 依然老当益壮规格40GB / 80GB HBM2e带宽 2.0 TB/s。价值虽然 A100 已发布多年但 80GB 版本是很多中小企业和研究机构的“真香之选”。它支持 NVLink能跑 70B 模型二手或云上租用价格相对亲民生态最成熟稳定没有它跑不动的框架。对于预算有限但需要多卡并行能力的团队A100 仍然是极其实在的选择。4. NVIDIA L40S / L20Ada Lovelace 架构—— 轻量级推理新贵规格L40S 有 48GB GDDR6 ECC 显存带宽 864 GB/s。不带 NVLink但功耗低300W适合高密度部署。L20 是针对中国特供的推理卡规格类似。价值相比 H 系列它便宜很多且 48GB 显存可以运行一个 4-bit 量化的 70B 模型或 FP16 的 13B 模型。如果你不需要多卡互联只是想单机单卡跑中等大小的模型作为内部服务L40S 是性价比极高的选择。二、消费级性价比之王开发者桌面的生产力工具这些是我们个人或小团队能直接买到的游戏卡价格几千到一万多CUDA 生态完整但显存和互联能力被精准刀法限制。1. NVIDIA RTX 4090 / 4090 DAda Lovelace—— 24GB 显存的“甜点级”大模型卡规格24GB GDDR6X带宽 1.0 TB/s。FP16 算力约 330 TFLOPS开启 Tensor Cores。地位这是目前个人开发者跑大模型的绝对标杆。24GB 显存可以流畅运行 4-bit 量化的 70B 模型约占 17-20GB或高精度的 13B 模型。借助 ExLlamaV2 等专门针对消费卡优化的引擎生成速度极快。单卡售价约 1.5 万元是学习、调试、原型开发的最佳选择。局限24GB 显存是硬伤。跑不了全精度 70B更与 MoE 模型如 Mixtral 8x7B的完整加载无缘。且不支持 NVLink双卡也无法叠加显存做张量并行只能做流水线并行或各自运行实例。2. NVIDIA RTX 5090Blackwell 架构—— 新一代消费卡皇规格传言/预期显存可能提升至 28GB 或 32GB带宽大幅增长GDDR7。性能显著提升。价值如果显存增大到 32GB那么它能运行的模型范围将直接提升一个档次比如更从容地处理 70B 量化版或 MoE 模型。到 2026 年这应该是追求极致的个人开发者升级的目标。但核心限制依然是单卡显存容量和缺乏高速卡间互联。3. NVIDIA RTX 3090 / 3090 TiAmpere二手市场规格24GB GDDR6X带宽约 936 GB/s。价值RTX 4090 的前代显存同为 24GB但算力和带宽稍弱。关键优势是二手价格很低是预算极度有限的学生的入门神器。它也支持 NVLink 桥但游戏中已弃用在推理中部分框架可利用它实现双 3090 的显存池扩展尽管带宽有限操作复杂算一个独特的小优点。三、专业工作站卡单卡大显存的静谧猛兽介于游戏卡和数据中心卡之间适合需要单机大显存但无法部署服务器环境的场景比如研究室、边缘服务器。1. NVIDIA RTX 6000 Ada Generation规格48GB GDDR6 ECC 显存带宽 960 GB/s。FP16 算力约 365 TFLOPS。核心优势48GB 显存这在单卡中是一个质变。你可以直接运行全精度 FP16 的 30B 模型或者非常舒适地运行 4-bit 的 70B 模型而不像 4090 那样显存吃紧。并且功耗仅 300W涡轮风扇适合服务器机箱多卡部署。价格约 4-5 万元。适用场景单机部署中等规模模型30B-70B 量化提供内部微服务或者做全参数微调 7B 模型。它没有 NVLink所以多卡依然无法显存池化但胜在单卡显存足够大、省心稳定。四、苹果统一内存方案非NVIDIA的另一条路苹果的 M 系列芯片M2 Ultra / M3 Ultra 等不是显卡但它们的统一内存架构为本地大模型推理提供了一个极具魅力的选择。原理CPU 和 GPU 共享同一块物理内存内存带宽极高可达 800 GB/s - 1 TB/s。一块 Mac Studio 配置 192GB 统一内存其中约 150GB 以上可以直接给 GPU 用作“显存”。代表搭载 M2 Ultra76 核 GPU、192GB 内存的 Mac Studio 或 Mac Pro。价值可以在 10 万元级别的个人设备上直接运行 FP16 的 70B 模型甚至 4-bit 量化的 180B 模型。这在 N 卡阵营需要几块 A100 才能做到。借助 MLX 或 llama.cpp 的 Metal 加速生成速度可接受。而且功耗极低安静无噪音。局限模型加载和预热慢并发性能远不如 GPU 服务器。生态较新很多高效算子仍待优化。它最适合对延迟不敏感的巨型模型个人使用或本地开发验证。五、AMD与Intel打破垄断的追光者AMD Instinct MI300X192GB HBM3带宽 5.3 TB/s纸面规格直逼 H200。通过 ROCm 生态现在已可以用 vLLM 等框架进行推理。对追求开源、希望摆脱 CUDA 锁定的大规模部署者来说它是正在成熟的“第二选择”。Intel Gaudi 3专为深度学习定制的加速器主打高性价比和大显存128GB HBM2e软件生态基于 SynapseAI兼容 PyTorch。在特定客户中有一定份额。六、选择指南一张表看懂从大模型本地部署需求出发选择显卡的核心决策顺序永远是显存容量 显存带宽 算力 互联能力 成本。预算目标模型推荐方案成本估算极低7B (4-bit)二手 RTX 3060 12GB / 2060 12GB 1500 元学生入门7B (FP16) / 13B (4-bit)RTX 4060 Ti 16GB / 二手 3090 24GB3000-6000 元开发者主力13B (FP16) / 34B (4-bit) / 70B (4-bit)RTX 4090 24GB最甜点1.5 万左右单人玩巨型模型70B (FP16) / 180B (4-bit)Mac Studio M2 Ultra 192GB8-10 万元小团队服务70B (4-bit 高并发)2x RTX 6000 Ada (48GB) 或 单卡 L40S5-8 万元生产级70B (FP16) 高吞吐2-4x A100 80GB (NVLink) 或 H20020-100 万元企业未来超大规模 MoE 模型H200/B200 单机集群数百万以上总结一句话对个人而言RTX 4090 是甜点对团队而言A100 80GB/H200 是核心生产力而苹果的 Mac 则提供了一条独特的“大内存”路径。选择哪一把剑取决于你要挑战的模型有多大以及你的钱包有多深。
第六项NDA获受理)
