做模型推理部署时最让人头疼的往往不是模型效果而是显存和算力。模型文件几个 GB 起步单卡放不下就得分词、上多机推理吞吐也上不去。因此这两年 INT8、INT4、FP8 等量化方案层出不穷。在这条路上有一类方案看起来把“极致压缩”走到了头权重不放 8 位也不放 4 位而是只用 -1、0、1 三个数值。这就是本文要展开的主题1.58 位大模型。很多人第一次听到这个概念时会反问权重只剩 -1、0、1模型还能跑精度不会崩吗矩阵计算还算得动吗这篇文章会从量化原理、训练方式、推理过程、实际收益和落地限制几个角度完整拆解并给出可运行的 Python 模拟代码帮助大家理解 1.58 位权重到底如何工作。本文适合对 LLM 推理优化感兴趣的开发者、算法工程师和 AI Infra 方向的同学。读完之后你不仅能理解 BitNet b1.58 这类模型的核心思想还能自己动手模拟三值化的前向传播过程搞清楚 1.58 位模型在现有硬件上的真实边界。1. 背景与核心概念1.1 什么是 1.58 位大模型1.58 位大模型通常指基于 BitNet b1.58 这类方案训练的语言模型。它的核心特点是每一个权重参数在被量化之后只能取三个值分别是 -1、0、1。从信息论角度看三个取值对应的信息熵上限是 log2(3) ≈ 1.585 bit所以论文里把这种三值权重方案称为 1.58 位。这里需要先澄清一个常见误解1.58 位不等于“每个权重只占用 1.58 个比特的物理存储空间”。为了在计算机里区分 -1、0、1 三种状态至少需要 2 个 bit也就是 00、01、10、11 四种编码组合可以容纳三个状态。1.58 是一个理论信息量的参考值表示这种三值编码的信息密度接近 1.58 bit而不是物理存储上限。实际工程中可以用 2 bit 存储也可以用更紧凑的方式做硬编码匹配。理解这一点后面很多问题就不会混淆。1.2 为什么只有 -1、0、1 还能正常工作直觉上一位 LLM 的权重如果只能取三个值模型容量似乎会断崖式下降。但实际效果并没有想象中那么差原因要从深度学习的两层冗余来看。第一层冗余是参数精度冗余。一个模型的权重在训练收敛后很多参数并不需要那么高的数值精度。研究量化的团队很早就发现把 FP16 权重压缩到 INT8模型精度损失很小即使压缩到 INT4配合校准和混合精度策略也能维持不错的效果。这说明模型对权重数值范围的敏感度是有限的关键信息往往体现在某个值是大是小、是正是负而不是它的具体第几位小数。第二层冗余是模型规模带来的补偿。1.58 位模型并不是把已有的 FP16 大模型直接转成三值而是从训练阶段就采用三值约束同时适当扩大参数量和层数。作者在论文中的实验显示在相同参数量级下BitNet b1.58 的困惑度可以接近全精度 LLaMA 模型而内存占用和计算量大幅下降。换句话说三值权重相当于换了一种参数分布方式每个参数只有“负向、零、正向”三种状态模型通过更宽的宽度、更深的层数和更强的缩放机制来弥补单个参数表达能力下降的问题。1.3 1.58 位与 1 位、二值网络的区别很多文章会把 1.58 位模型和“二值网络”混在一起说这是不准确的。传统二值网络通常把权重约束为 -1 和 1也就是 1 bit 权重没有“零”这个状态。这样的矩阵乘法虽然也没有乘法器但所有参数都在参与计算。三值网络则多了一个 0 状态好处是模型可以主动把某些连接“剪掉”相当于在参数内部引入了某种稀疏性表达能力更强也更容易逼近真实训练出的权重分布。所以 1.58 位并不是从 1 位模型改名来的它属于三值量化的范畴只是三值状态的数量从信息熵角度看正好对应 1.585 bit。理解这个区别再看后续计算过程就不会搞混。2. 从传统量化到三值量化2.1 传统量化为什么能压缩模型传统量化做的是把浮点数值映射到离散整数网格。最简单的方式是线性量化可以写成q round((x - zero_point) / scale)其中 scale 是缩放系数zero_point 是零点偏移。反量化则有x_approx q * scale zero_point例如 FP16 的权重范围是 [-6, 6]我们用 INT8 表示每个区块对应一个缩放因子把原来的连续浮点值“分档”到 256 个整数档位。这样权重从 FP16 的 2 字节降为 1 字节显存占用减半。INT4 则进一步把档位压缩到 16 个存储只占 0.5 字节。但不管 INT8 还是 INT4权重在计算时仍然要执行“乘加”操作因为反量化之后权重是某个整数乘以 scale实际前向计算还是浮点乘加。三值量化的本质区别不只是降低存储位数而是把乘法本身消掉了。2.2 三值量化的本质三值量化把权重约束在 {-1, 0, 1}。在没有缩放因子时权重和激活值的乘法只有三种结果x * 1 x x * 0 0 x * (-1) -x也就是说前向传播中的“乘法”全部变成了“选原值、清零、取相反数”这三种操作。在通用计算单元里取反和清零都可以用加法器和布尔操作完成不需要调用乘法器。这在硬件实现上可以省掉大量乘法器资源同时降低功耗和延时。当然实际模型不会直接把 -1、0、1 的三值结果原样输出通常会配合一个缩放因子将三值矩阵乘法的结果恢复到合理的数值范围。这个缩放因子相当于一个逐层或逐通道的标量计算量可以忽略不计。2.3 不同量化精度对比为了更直观地理解三值量化在量化家族中的位置可对比如下精度方案权重大致取值物理存储示意推理时是否有乘法典型应用场景FP16连续浮点数2 字节有全精度模型训练与推理INT8256 个整数档位1 字节有配合 scale 缩放通用推理优化INT416 个整数档位0.5 字节有配合 scale 缩放端侧推理、显存压缩1.58 位三值-1、0、1约 2 bit 编码基本无乘法只有加减和跳过专用硬件、CPU 推理、FPGA这里的“基本无乘法”是核心变化。三值模型的性质决定了矩阵乘法的算力不再是瓶颈内存访问带宽和加法树深度反而成了更重要的因素。3. 1.58 位模型核心原理拆解3.1 权重约束与 absmean 量化BitNet b1.58 中使用的量化方法叫作 absmean 量化。步骤如下对权重矩阵的每一行或每一层取元素的绝对值并计算平均值作为缩放因子 alpha。用原权重除以 alpha会得到一个以 1 为中心幅度的数值范围。把结果裁剪到 [-1, 1] 区间。四舍五入到最近的整数得到 -1、0、1 三值结果。前向计算时将三值矩阵乘法的结果再乘以 alpha恢复数值尺度。这个流程用公式可以表示成W_q alpha * round(clip(W / alpha, -1, 1))其中 alpha 的典型计算方式是alpha mean(abs(W))这样做的目的是尽量保证量化前后的数值分布均值接近原始分布减少因为统一缩放带来的整体偏移。实际工程中缩放粒度可能进一步细化到通道维或行维需要根据硬件算子能力决定。3.2 激活值仍保留低比特精度只量化权重还不够因为前向传播是权重和激活值的交互过程。BitNet 系列的方案中激活值通常也会采用量化方式只不过激活值一般保留 8 bit 左右的精度而不是三值。原因是激活值在每一层都会变化且不同 token 之间的数值范围差异很大如果也直接约束成三值信息损失会非常严重。保留低比特整数格式可以在“算得快”和“表达能力强”之间取得平衡。这也是 1.58 位模型名称容易让人误解的地方它并不是全模型所有张量都是 -1、0、1而是主要指权重矩阵。注意力、归一化层、输出层仍然需要较高精度的中间表示。3.3 矩阵乘法如何退化为加减法假设输入激活 X 是一个形状为 (M, K) 的矩阵权重三值化后是 (K, N) 的三值矩阵 W_q。传统 GEMM 需要计算Y[m][n] sum_k X[m][k] * W_q[k][n]因为 W_q[k][n] 只有 -1、0、1 三种取值这个求和可以改写为Y[m][n] sum_{k, W1} X[m][k] - sum_{k, W-1} X[m][k]也就是说把激活矩阵里对应权重为 1 的位置全部相加对应权重为 -1 的位置全部相减权重为 0 的位置直接跳过。整个过程只需要加法器和符号转换逻辑不出现 X 和 W 相乘的算子。从计算效率上讲这等价于把一个稠密 GEMM 变成了一种“带符号的向量求和”运算密度大幅下降。在专用硬件中还可以结合稀疏跳过逻辑对 0 权重对应的数据读取直接跳过进一步降低内存带宽压力。3.4 训练策略直通估计器与潜在权重三值模型不是训练完 FP16 模型之后直接 round 就得到的。直接 round 现有模型权重误差会非常大因为全精度模型中的数值分布并不天然匹配三值网格。BitNet 系列采用的方法是在训练过程中直接使用三值权重前向传播同时维护一份高精度的潜在权重用于参数更新。具体来说训练流程可以简化为W_potential保持 FP16/FB32 精度的可训练权重 每次前向传播时对 W_potential 做三值化得到 W_q 使用 W_q 计算 loss 反向传播时利用直通估计器把梯度直接传回 W_potential W_potential 按正常优化器更新直通估计器的作用是解决量化函数不可导的问题。因为 round、clip 这些操作的导数几乎处处为 0如果按普通链式法则传播梯度会很快消失模型无法训练。直通估计器在反向传播时直接把梯度“原样透传”给量化前权重使得参数可以继续更新。这套训练方式意味着如果你要得到一个真正能落地的 1.58 位模型就应该从预训练阶段就采用三值约束而不是把现成的 LLaMA 或 Qwen 权重直接转换。这个区别直接影响工程路线选择。4. 代码模拟三值权重推理到底怎么跑为了把原理变成可观察的流程下面用 Python NumPy 实现一个最小化的三值线性层并对比三值模型和全精度模型的内存占用差异。4.1 环境准备本文示例使用 Python 3.9 和 NumPy 即可运行。如果尚未安装 NumPy可以执行pip install numpy示例不依赖 GPU也不需要 PyTorch重点在于展示三值量化和前向计算的核心逻辑。4.2 实现三值量化函数# 文件路径ternary_quantize.py import numpy as np def absmean_quantize(w): # 按行计算缩放因子 alpha np.mean(np.abs(w), axis-1, keepdimsTrue) # 裁剪并四舍五入到 {-1, 0, 1} w_scaled np.clip(w / alpha, -1.0, 1.0) w_ternary np.round(w_scaled) return w_ternary.astype(np.int8), alpha说明np.abs(w)取绝对值。np.mean(..., axis-1, keepdimsTrue)求出每一行的绝对均值作为缩放因子。原权重除以缩放因子后数值范围被归一化到 [-1, 1] 附近。np.clip限制取值范围np.round将连续值归一到 -1、0、1 三档。4.3 三值线性层前向传播# 文件路径ternary_linear.py import numpy as np from ternary_quantize import absmean_quantize def ternary_linear_forward(x, w, bNone): w_ternary, alpha absmean_quantize(w) # 等价于 x w_ternary # 这里仍用矩阵乘法但 w_ternary 已经是 -1/0/1 y x w_ternary.T # 恢复尺度 y y * alpha.T if b is not None: y y b return y, w_ternary这段代码里我仍然使用x w_ternary.T来模拟前向计算但因为w_ternary只有三个取值理论上可以用定点加法实现。如果后续要做真实的高性能推理会替换为专门的算子。下面构造一个小矩阵观察输出变化# 文件路径run_demo.py import numpy as np from ternary_linear import ternary_linear_forward np.random.seed(42) # 模拟批量大小为 1、特征维度为 8 的输入 x np.random.randn(1, 8).astype(np.float32) # 模拟全精度权重形状为 [4, 8] w np.random.randn(4, 8).astype(np.float32) * 0.5 # 使用全精度权重直接前向 y_dense x w.T # 使用三值权重前向 y_ternary, w_ternary ternary_linear_forward(x, w, bNone) print(全精度输出, y_dense) print(三值输出, y_ternary) print(三值权重\n, w_ternary)输出中会看到三值权重矩阵的元素全部是 -1、0、1。输出数值和全精度输出存在差异但数量级保持接近这正说明了缩放因子和三值化组合可以在压缩权重后保留基本的数值尺度信息。4.4 参数量与内存占用估算为了直观展示 1.58 位模型的收益可以用下面这段代码估算一个 7B 参数规模模型的权重存储占用# 文件路径memory_estimate.py import math total_params 7_000_000_000 # FP16每参数 2 字节 fp16_bytes total_params * 2 # 4 bit每参数 0.5 字节 int4_bytes total_params * 0.5 # 三值按 2 bit 编码三种状态实际存储可做到 0.25 字节左右 ternary_bytes total_params * 2 / 8 print(fFP16 权重占用: {fp16_bytes / 1024**3:.2f} GB) print(fINT4 权重占用: {int4_bytes / 1024**3:.2f} GB) print(f三值(2bit存储)权重占用: {ternary_bytes / 1024**3:.2f} GB)在 7B 模型上结果大致为FP16 权重占用: 13.04 GB INT4 权重占用: 3.26 GB 三值(2bit存储)权重占用: 1.63 GB可以看到相比 FP16三值权重在存储上压掉了近 90%。当然实际部署还要考虑激活、KV Cache、中间缓存、缩放因子等额外开销但这个数量级足以说明它的显存优势。4.5 运行结果解读运行上面几个脚本后你能直观感受到三值化对权重分布的影响大部分连续浮点数被映射到整数网格矩阵乘法的“名义数值”变成离散的算术关系。对 AI Infra 同学来说真正的启发不只是显存变小而是算子层面的实现可以从通用 GEMM 改成专用加法和跳过逻辑这也是硬件设计团队近年来关注极低比特量化的原因。5. 1.58 位模型能带来什么收益5.1 显存和带宽压力大幅下降大模型推理的瓶颈之一是把权重从显存搬到计算单元。FP16 的 7B 模型权重超过 13 GB三值权重则只需 1.6 GB 左右。这意味着单卡可以放进更大的模型或者在相同显存下放入更长的上下文缓存。内存带宽的节省同样重要。在处理器上一次矩阵乘法的耗时往往取决于数据搬运时间而不是 FLOPs。权重数据量减少近 90% 后单位时间可以处理更多的 token对吞吐和延迟都有正向影响。5.2 计算从乘法变成加法普通 GEMM 中乘加器是核心计算单元乘法器面积和功耗都比较高。三值权重把矩阵乘法的基本操作变成加法、减法和跳过专用处理器可以省掉大量乘法器阵把面积留给加法树和调度逻辑。这也是论文中反复强调的硬件优势在 FPGA 或定制 ASIC 上1.58 位模型可以设计出比通用 GPU 更高效的推理单元。CPU 上也能通过查表和向量化加法和逻辑绕开部分乘法开销但实际提速取决于指令集和算子实现水平。5.3 精度损失与模型规模补偿很多人担心三值模型效果断崖但论文实验表明通过适当扩大模型规模BitNet b1.58 的困惑度和全精度基准可以拉回到接近水平。也就是说三值模型更适合“同样成本下做得更大或者同样效果下做得更省”的路线。不过要注意这里的“接近”不是无代价的。三值模型对训练超参、数据规模和学习率更加敏感收敛难度也更高。很多结论来自论文中的特定数据组合换到真实业务数据后需要重新验证。5.4 通用硬件的现实限制1.58 位模型在很多“通用 GPU”上并不能直接获得论文里那种飞跃式加速。原因是 NVIDIA GPU 等通用硬件的 Tensor Core 是为 FP16、BF16、INT8 设计的没有原生的三值张量核心。即便权重存储降到 2 bit实际跑矩阵乘法时仍需要把三值展开成适合 SIMD 的数据格式或者调用定制 Kernel有时反而会引入额外的格式转换开销。因此1.58 位模型更适合以下场景专用推理芯片或 FPGA 平台。CPU 推理配合三值 GEMM 实现。对显存极度敏感的端侧或私有化部署场景。在现有 GPU 上用 PyTorch 直接加载三值权重做常规矩阵乘法只能收获显存收益无法获得理论上的计算加速。6. 常见误区与高频问题6.1 只存 1.58 bit所以权重占用比 INT4 还小是的权重占用会显著小于 INT4。1.58 位模型通常按至少 2 bit 编码存储也就是每参数 0.25 字节而 INT4 是 0.5 字节。如果要精确表示三种状态2 bit 编码具有冗余但在专用硬件中可以直接通过查找表或专用内存单元处理。真实工程里还需要考虑缩放因子和额外元数据的开销。6.2 零权重会不会浪费计算在数学上零权重对应的乘积为零。通用算子如果仍然遍历所有元素会有部分计算时间花在“乘零”上。但三值专用算子可以把零状态当作跳过标志直接跳过这部分数据读取和累加。实际收益取决于实现方式。如果使用传统稠密 GEMM 模拟零权重可能并不能带来实际稀疏加速。6.3 能否把现有的 LLaMA 权重直接转成三值就能用不建议这样做。训练收敛后的权重分布是为了适配浮点模型设计的直接四舍五入到三值会丢掉绝大部分连续信息模型输出很可能退化到不可用状态。正确路线是从头或继续预训练阶段就加入三值约束让模型逐步适应。6.4 1.58 位模型和 GPTQ、AWQ 有什么区别GPTQ、AWQ 属于训练后量化只需要少量校准数据就可以把已有模型量化到 INT4/INT8。BitNet b1.58 属于训练期量化需要在训练阶段改变权重表示。两者路线完全不同。训练后量化成本低、适配现有模型快训练期量化压缩比更大但需要重新训练或继续预训练成本高。6.5 三值模型会不会出现过拟合三值模型参数量相同但单个参数的“状态数”变少理论上表达能力变弱不容易记住细碎噪音这是它的优势之一。但由于训练过程需要通过直通估计器传梯度实际训练稳定性比普通模型更难控制需要更强的调参经验。表格汇总问题结论权重实际占几位至少 2 bit 编码三种状态1.58 是信息熵激活值也是三值吗不是通常保留 8 bit 左右整数精度现有模型能直接转换吗不行需要训练期约束GPU 上立刻加速吗存储收益明显计算加速受算子限制和二值网络的区别多了一个零状态表达能力和剪枝特性不同7. 工程落地与最佳实践7.1 先在标准模型上验证效果不要一上来就在核心业务模型上大规模改造。建议先选择小规模模型例如 0.5B 到 3B按 BitNet b1.58 的方式做小规模训练或继续预训练对比困惑度和下游任务指标。记录训练稳定性、loss 曲线、显存占用和推理延迟确认自己的数据和任务对三值化是否敏感。7.2 认真评估算子生态1.58 位模型的工程价值高度依赖算子和硬件支持。在选型之前至少确认以下事项训练框架是否内置了三值化算子和直通估计器。推理端是自定义算子还是走通用矩阵乘法。目标硬件是否有优秀的三值 GEMM 实现。是否能接受额外的格式转换开销。如果推理端只能退化为通用 GEMM那么三值模型在现有 GPU 上的实际收益会大打折扣。7.3 混合精度与部分层量化实际业务中并不是所有层都适合三值化。Embedding、输出层、注意力打分等对精度敏感的模块可以保留更高精度Transformer 主干的一部分线性层再做三值化。这种混合精度策略往往是效果和压缩比之间的折中方案。推荐做法先用全精度模型做基线再逐层做三值化敏感性分析挑出权重数值分布平坦、量化后 loss 变化小的层优先进行三值化。7.4 生产环境安全与发布规范如果最终要把三值模型发布到生产环境需要遵守基本的软件工程和运维规范。例如先在测试环境验证推理结果和目标任务的指标。对小流量用户灰度发布对比线上指标。对权重文件和配置做版本管理与备份。涉及内部数据时确保模型训练和部署数据权限最小化。监控显存、延迟、吞吐和错误率设置回滚预案。三值模型的推理结果与全精度模型不会完全一致业务方需要提前知晓这种差异尤其是在对数值精确度敏感的金融、医疗等场景下建议先做充分评估。7.5 关注论文和开源社区更新1.58 位模型属于快速发展的方向论文细节、开源代码和硬件方案更新都很快。在落地时不要只依赖一篇论文优先查阅官方代码仓库的 README、issue 和 benchmark了解不同版本之间的差异。如果社区中的实现缺少训练脚本或推理优化可以先构造最小复现实验再决定是否应用到自己的业务中。8. 总结与学习建议现在回到开头的问题权重只用 -1、0、1模型还能跑吗答案是能跑而且在特定硬件和场景下可以跑得非常高效。1.58 位大模型通过训练期量化、缩放因子和专用算子把权重的信息表示压缩到理论极限附近同时把矩阵乘法从乘加变成加减法为推理硬件设计留出了很大的优化空间。通过这篇文章你应该掌握了以下几个核心知识点1.58 位来自三值状态的信息熵 log2(3)真实物理存储至少 2 bit。三值权重通过 absmean 量化和缩放因子恢复数值尺度。训练阶段需要直通估计器不能直接转换现成模型。推理计算中乘法退化为加、减和跳过。收益主要在显存、带宽和专用硬件计算效率通用 GPU 上需要算子支持。如果接下来想深入学习建议按以下路线推进精读 BitNet b1.58 原始论文重点看实验设置和训练细节。跑通开源代码仓库里的预训练或推理示例观察三值权重的实际分布。尝试在小型自定义数据集上做三值化训练实验记录收敛情况。研究低比特量化工具链如 llama.cpp 社区对 BitNet 的支持进展。如果对硬件感兴趣可以阅读 FPGA 上低比特 GEMM 的实现案例。AI Infra 方向的价值判断标准始终是同样的效果花多少成本同样的成本能做多大模型。1.58 位大模型把“省”做到了一个新的量级也把算法、算子、硬件之间的协同设计提升到了更紧密的程度。无论你属于算法还是工程背景理解这条路线都会对今后的模型部署选型有很大帮助。遇到实际项目时建议先用小模型验证、按业务数据评估、对比算子和硬件支持再决定是否全量接入。
做模型推理部署时最让人头疼的往往不是模型效果而是显存和算力。模型文件几个 GB 起步单卡放不下就得分词、上多机推理吞吐也上不去。因此这两年 INT8、INT4、FP8 等量化方案层出不穷。在这条路上有一类方案看起来把“极致压缩”走到了头权重不放 8 位也不放 4 位而是只用 -1、0、1 三个数值。这就是本文要展开的主题1.58 位大模型。很多人第一次听到这个概念时会反问权重只剩 -1、0、1模型还能跑精度不会崩吗矩阵计算还算得动吗这篇文章会从量化原理、训练方式、推理过程、实际收益和落地限制几个角度完整拆解并给出可运行的 Python 模拟代码帮助大家理解 1.58 位权重到底如何工作。本文适合对 LLM 推理优化感兴趣的开发者、算法工程师和 AI Infra 方向的同学。读完之后你不仅能理解 BitNet b1.58 这类模型的核心思想还能自己动手模拟三值化的前向传播过程搞清楚 1.58 位模型在现有硬件上的真实边界。1. 背景与核心概念1.1 什么是 1.58 位大模型1.58 位大模型通常指基于 BitNet b1.58 这类方案训练的语言模型。它的核心特点是每一个权重参数在被量化之后只能取三个值分别是 -1、0、1。从信息论角度看三个取值对应的信息熵上限是 log2(3) ≈ 1.585 bit所以论文里把这种三值权重方案称为 1.58 位。这里需要先澄清一个常见误解1.58 位不等于“每个权重只占用 1.58 个比特的物理存储空间”。为了在计算机里区分 -1、0、1 三种状态至少需要 2 个 bit也就是 00、01、10、11 四种编码组合可以容纳三个状态。1.58 是一个理论信息量的参考值表示这种三值编码的信息密度接近 1.58 bit而不是物理存储上限。实际工程中可以用 2 bit 存储也可以用更紧凑的方式做硬编码匹配。理解这一点后面很多问题就不会混淆。1.2 为什么只有 -1、0、1 还能正常工作直觉上一位 LLM 的权重如果只能取三个值模型容量似乎会断崖式下降。但实际效果并没有想象中那么差原因要从深度学习的两层冗余来看。第一层冗余是参数精度冗余。一个模型的权重在训练收敛后很多参数并不需要那么高的数值精度。研究量化的团队很早就发现把 FP16 权重压缩到 INT8模型精度损失很小即使压缩到 INT4配合校准和混合精度策略也能维持不错的效果。这说明模型对权重数值范围的敏感度是有限的关键信息往往体现在某个值是大是小、是正是负而不是它的具体第几位小数。第二层冗余是模型规模带来的补偿。1.58 位模型并不是把已有的 FP16 大模型直接转成三值而是从训练阶段就采用三值约束同时适当扩大参数量和层数。作者在论文中的实验显示在相同参数量级下BitNet b1.58 的困惑度可以接近全精度 LLaMA 模型而内存占用和计算量大幅下降。换句话说三值权重相当于换了一种参数分布方式每个参数只有“负向、零、正向”三种状态模型通过更宽的宽度、更深的层数和更强的缩放机制来弥补单个参数表达能力下降的问题。1.3 1.58 位与 1 位、二值网络的区别很多文章会把 1.58 位模型和“二值网络”混在一起说这是不准确的。传统二值网络通常把权重约束为 -1 和 1也就是 1 bit 权重没有“零”这个状态。这样的矩阵乘法虽然也没有乘法器但所有参数都在参与计算。三值网络则多了一个 0 状态好处是模型可以主动把某些连接“剪掉”相当于在参数内部引入了某种稀疏性表达能力更强也更容易逼近真实训练出的权重分布。所以 1.58 位并不是从 1 位模型改名来的它属于三值量化的范畴只是三值状态的数量从信息熵角度看正好对应 1.585 bit。理解这个区别再看后续计算过程就不会搞混。2. 从传统量化到三值量化2.1 传统量化为什么能压缩模型传统量化做的是把浮点数值映射到离散整数网格。最简单的方式是线性量化可以写成q round((x - zero_point) / scale)其中 scale 是缩放系数zero_point 是零点偏移。反量化则有x_approx q * scale zero_point例如 FP16 的权重范围是 [-6, 6]我们用 INT8 表示每个区块对应一个缩放因子把原来的连续浮点值“分档”到 256 个整数档位。这样权重从 FP16 的 2 字节降为 1 字节显存占用减半。INT4 则进一步把档位压缩到 16 个存储只占 0.5 字节。但不管 INT8 还是 INT4权重在计算时仍然要执行“乘加”操作因为反量化之后权重是某个整数乘以 scale实际前向计算还是浮点乘加。三值量化的本质区别不只是降低存储位数而是把乘法本身消掉了。2.2 三值量化的本质三值量化把权重约束在 {-1, 0, 1}。在没有缩放因子时权重和激活值的乘法只有三种结果x * 1 x x * 0 0 x * (-1) -x也就是说前向传播中的“乘法”全部变成了“选原值、清零、取相反数”这三种操作。在通用计算单元里取反和清零都可以用加法器和布尔操作完成不需要调用乘法器。这在硬件实现上可以省掉大量乘法器资源同时降低功耗和延时。当然实际模型不会直接把 -1、0、1 的三值结果原样输出通常会配合一个缩放因子将三值矩阵乘法的结果恢复到合理的数值范围。这个缩放因子相当于一个逐层或逐通道的标量计算量可以忽略不计。2.3 不同量化精度对比为了更直观地理解三值量化在量化家族中的位置可对比如下精度方案权重大致取值物理存储示意推理时是否有乘法典型应用场景FP16连续浮点数2 字节有全精度模型训练与推理INT8256 个整数档位1 字节有配合 scale 缩放通用推理优化INT416 个整数档位0.5 字节有配合 scale 缩放端侧推理、显存压缩1.58 位三值-1、0、1约 2 bit 编码基本无乘法只有加减和跳过专用硬件、CPU 推理、FPGA这里的“基本无乘法”是核心变化。三值模型的性质决定了矩阵乘法的算力不再是瓶颈内存访问带宽和加法树深度反而成了更重要的因素。3. 1.58 位模型核心原理拆解3.1 权重约束与 absmean 量化BitNet b1.58 中使用的量化方法叫作 absmean 量化。步骤如下对权重矩阵的每一行或每一层取元素的绝对值并计算平均值作为缩放因子 alpha。用原权重除以 alpha会得到一个以 1 为中心幅度的数值范围。把结果裁剪到 [-1, 1] 区间。四舍五入到最近的整数得到 -1、0、1 三值结果。前向计算时将三值矩阵乘法的结果再乘以 alpha恢复数值尺度。这个流程用公式可以表示成W_q alpha * round(clip(W / alpha, -1, 1))其中 alpha 的典型计算方式是alpha mean(abs(W))这样做的目的是尽量保证量化前后的数值分布均值接近原始分布减少因为统一缩放带来的整体偏移。实际工程中缩放粒度可能进一步细化到通道维或行维需要根据硬件算子能力决定。3.2 激活值仍保留低比特精度只量化权重还不够因为前向传播是权重和激活值的交互过程。BitNet 系列的方案中激活值通常也会采用量化方式只不过激活值一般保留 8 bit 左右的精度而不是三值。原因是激活值在每一层都会变化且不同 token 之间的数值范围差异很大如果也直接约束成三值信息损失会非常严重。保留低比特整数格式可以在“算得快”和“表达能力强”之间取得平衡。这也是 1.58 位模型名称容易让人误解的地方它并不是全模型所有张量都是 -1、0、1而是主要指权重矩阵。注意力、归一化层、输出层仍然需要较高精度的中间表示。3.3 矩阵乘法如何退化为加减法假设输入激活 X 是一个形状为 (M, K) 的矩阵权重三值化后是 (K, N) 的三值矩阵 W_q。传统 GEMM 需要计算Y[m][n] sum_k X[m][k] * W_q[k][n]因为 W_q[k][n] 只有 -1、0、1 三种取值这个求和可以改写为Y[m][n] sum_{k, W1} X[m][k] - sum_{k, W-1} X[m][k]也就是说把激活矩阵里对应权重为 1 的位置全部相加对应权重为 -1 的位置全部相减权重为 0 的位置直接跳过。整个过程只需要加法器和符号转换逻辑不出现 X 和 W 相乘的算子。从计算效率上讲这等价于把一个稠密 GEMM 变成了一种“带符号的向量求和”运算密度大幅下降。在专用硬件中还可以结合稀疏跳过逻辑对 0 权重对应的数据读取直接跳过进一步降低内存带宽压力。3.4 训练策略直通估计器与潜在权重三值模型不是训练完 FP16 模型之后直接 round 就得到的。直接 round 现有模型权重误差会非常大因为全精度模型中的数值分布并不天然匹配三值网格。BitNet 系列采用的方法是在训练过程中直接使用三值权重前向传播同时维护一份高精度的潜在权重用于参数更新。具体来说训练流程可以简化为W_potential保持 FP16/FB32 精度的可训练权重 每次前向传播时对 W_potential 做三值化得到 W_q 使用 W_q 计算 loss 反向传播时利用直通估计器把梯度直接传回 W_potential W_potential 按正常优化器更新直通估计器的作用是解决量化函数不可导的问题。因为 round、clip 这些操作的导数几乎处处为 0如果按普通链式法则传播梯度会很快消失模型无法训练。直通估计器在反向传播时直接把梯度“原样透传”给量化前权重使得参数可以继续更新。这套训练方式意味着如果你要得到一个真正能落地的 1.58 位模型就应该从预训练阶段就采用三值约束而不是把现成的 LLaMA 或 Qwen 权重直接转换。这个区别直接影响工程路线选择。4. 代码模拟三值权重推理到底怎么跑为了把原理变成可观察的流程下面用 Python NumPy 实现一个最小化的三值线性层并对比三值模型和全精度模型的内存占用差异。4.1 环境准备本文示例使用 Python 3.9 和 NumPy 即可运行。如果尚未安装 NumPy可以执行pip install numpy示例不依赖 GPU也不需要 PyTorch重点在于展示三值量化和前向计算的核心逻辑。4.2 实现三值量化函数# 文件路径ternary_quantize.py import numpy as np def absmean_quantize(w): # 按行计算缩放因子 alpha np.mean(np.abs(w), axis-1, keepdimsTrue) # 裁剪并四舍五入到 {-1, 0, 1} w_scaled np.clip(w / alpha, -1.0, 1.0) w_ternary np.round(w_scaled) return w_ternary.astype(np.int8), alpha说明np.abs(w)取绝对值。np.mean(..., axis-1, keepdimsTrue)求出每一行的绝对均值作为缩放因子。原权重除以缩放因子后数值范围被归一化到 [-1, 1] 附近。np.clip限制取值范围np.round将连续值归一到 -1、0、1 三档。4.3 三值线性层前向传播# 文件路径ternary_linear.py import numpy as np from ternary_quantize import absmean_quantize def ternary_linear_forward(x, w, bNone): w_ternary, alpha absmean_quantize(w) # 等价于 x w_ternary # 这里仍用矩阵乘法但 w_ternary 已经是 -1/0/1 y x w_ternary.T # 恢复尺度 y y * alpha.T if b is not None: y y b return y, w_ternary这段代码里我仍然使用x w_ternary.T来模拟前向计算但因为w_ternary只有三个取值理论上可以用定点加法实现。如果后续要做真实的高性能推理会替换为专门的算子。下面构造一个小矩阵观察输出变化# 文件路径run_demo.py import numpy as np from ternary_linear import ternary_linear_forward np.random.seed(42) # 模拟批量大小为 1、特征维度为 8 的输入 x np.random.randn(1, 8).astype(np.float32) # 模拟全精度权重形状为 [4, 8] w np.random.randn(4, 8).astype(np.float32) * 0.5 # 使用全精度权重直接前向 y_dense x w.T # 使用三值权重前向 y_ternary, w_ternary ternary_linear_forward(x, w, bNone) print(全精度输出, y_dense) print(三值输出, y_ternary) print(三值权重\n, w_ternary)输出中会看到三值权重矩阵的元素全部是 -1、0、1。输出数值和全精度输出存在差异但数量级保持接近这正说明了缩放因子和三值化组合可以在压缩权重后保留基本的数值尺度信息。4.4 参数量与内存占用估算为了直观展示 1.58 位模型的收益可以用下面这段代码估算一个 7B 参数规模模型的权重存储占用# 文件路径memory_estimate.py import math total_params 7_000_000_000 # FP16每参数 2 字节 fp16_bytes total_params * 2 # 4 bit每参数 0.5 字节 int4_bytes total_params * 0.5 # 三值按 2 bit 编码三种状态实际存储可做到 0.25 字节左右 ternary_bytes total_params * 2 / 8 print(fFP16 权重占用: {fp16_bytes / 1024**3:.2f} GB) print(fINT4 权重占用: {int4_bytes / 1024**3:.2f} GB) print(f三值(2bit存储)权重占用: {ternary_bytes / 1024**3:.2f} GB)在 7B 模型上结果大致为FP16 权重占用: 13.04 GB INT4 权重占用: 3.26 GB 三值(2bit存储)权重占用: 1.63 GB可以看到相比 FP16三值权重在存储上压掉了近 90%。当然实际部署还要考虑激活、KV Cache、中间缓存、缩放因子等额外开销但这个数量级足以说明它的显存优势。4.5 运行结果解读运行上面几个脚本后你能直观感受到三值化对权重分布的影响大部分连续浮点数被映射到整数网格矩阵乘法的“名义数值”变成离散的算术关系。对 AI Infra 同学来说真正的启发不只是显存变小而是算子层面的实现可以从通用 GEMM 改成专用加法和跳过逻辑这也是硬件设计团队近年来关注极低比特量化的原因。5. 1.58 位模型能带来什么收益5.1 显存和带宽压力大幅下降大模型推理的瓶颈之一是把权重从显存搬到计算单元。FP16 的 7B 模型权重超过 13 GB三值权重则只需 1.6 GB 左右。这意味着单卡可以放进更大的模型或者在相同显存下放入更长的上下文缓存。内存带宽的节省同样重要。在处理器上一次矩阵乘法的耗时往往取决于数据搬运时间而不是 FLOPs。权重数据量减少近 90% 后单位时间可以处理更多的 token对吞吐和延迟都有正向影响。5.2 计算从乘法变成加法普通 GEMM 中乘加器是核心计算单元乘法器面积和功耗都比较高。三值权重把矩阵乘法的基本操作变成加法、减法和跳过专用处理器可以省掉大量乘法器阵把面积留给加法树和调度逻辑。这也是论文中反复强调的硬件优势在 FPGA 或定制 ASIC 上1.58 位模型可以设计出比通用 GPU 更高效的推理单元。CPU 上也能通过查表和向量化加法和逻辑绕开部分乘法开销但实际提速取决于指令集和算子实现水平。5.3 精度损失与模型规模补偿很多人担心三值模型效果断崖但论文实验表明通过适当扩大模型规模BitNet b1.58 的困惑度和全精度基准可以拉回到接近水平。也就是说三值模型更适合“同样成本下做得更大或者同样效果下做得更省”的路线。不过要注意这里的“接近”不是无代价的。三值模型对训练超参、数据规模和学习率更加敏感收敛难度也更高。很多结论来自论文中的特定数据组合换到真实业务数据后需要重新验证。5.4 通用硬件的现实限制1.58 位模型在很多“通用 GPU”上并不能直接获得论文里那种飞跃式加速。原因是 NVIDIA GPU 等通用硬件的 Tensor Core 是为 FP16、BF16、INT8 设计的没有原生的三值张量核心。即便权重存储降到 2 bit实际跑矩阵乘法时仍需要把三值展开成适合 SIMD 的数据格式或者调用定制 Kernel有时反而会引入额外的格式转换开销。因此1.58 位模型更适合以下场景专用推理芯片或 FPGA 平台。CPU 推理配合三值 GEMM 实现。对显存极度敏感的端侧或私有化部署场景。在现有 GPU 上用 PyTorch 直接加载三值权重做常规矩阵乘法只能收获显存收益无法获得理论上的计算加速。6. 常见误区与高频问题6.1 只存 1.58 bit所以权重占用比 INT4 还小是的权重占用会显著小于 INT4。1.58 位模型通常按至少 2 bit 编码存储也就是每参数 0.25 字节而 INT4 是 0.5 字节。如果要精确表示三种状态2 bit 编码具有冗余但在专用硬件中可以直接通过查找表或专用内存单元处理。真实工程里还需要考虑缩放因子和额外元数据的开销。6.2 零权重会不会浪费计算在数学上零权重对应的乘积为零。通用算子如果仍然遍历所有元素会有部分计算时间花在“乘零”上。但三值专用算子可以把零状态当作跳过标志直接跳过这部分数据读取和累加。实际收益取决于实现方式。如果使用传统稠密 GEMM 模拟零权重可能并不能带来实际稀疏加速。6.3 能否把现有的 LLaMA 权重直接转成三值就能用不建议这样做。训练收敛后的权重分布是为了适配浮点模型设计的直接四舍五入到三值会丢掉绝大部分连续信息模型输出很可能退化到不可用状态。正确路线是从头或继续预训练阶段就加入三值约束让模型逐步适应。6.4 1.58 位模型和 GPTQ、AWQ 有什么区别GPTQ、AWQ 属于训练后量化只需要少量校准数据就可以把已有模型量化到 INT4/INT8。BitNet b1.58 属于训练期量化需要在训练阶段改变权重表示。两者路线完全不同。训练后量化成本低、适配现有模型快训练期量化压缩比更大但需要重新训练或继续预训练成本高。6.5 三值模型会不会出现过拟合三值模型参数量相同但单个参数的“状态数”变少理论上表达能力变弱不容易记住细碎噪音这是它的优势之一。但由于训练过程需要通过直通估计器传梯度实际训练稳定性比普通模型更难控制需要更强的调参经验。表格汇总问题结论权重实际占几位至少 2 bit 编码三种状态1.58 是信息熵激活值也是三值吗不是通常保留 8 bit 左右整数精度现有模型能直接转换吗不行需要训练期约束GPU 上立刻加速吗存储收益明显计算加速受算子限制和二值网络的区别多了一个零状态表达能力和剪枝特性不同7. 工程落地与最佳实践7.1 先在标准模型上验证效果不要一上来就在核心业务模型上大规模改造。建议先选择小规模模型例如 0.5B 到 3B按 BitNet b1.58 的方式做小规模训练或继续预训练对比困惑度和下游任务指标。记录训练稳定性、loss 曲线、显存占用和推理延迟确认自己的数据和任务对三值化是否敏感。7.2 认真评估算子生态1.58 位模型的工程价值高度依赖算子和硬件支持。在选型之前至少确认以下事项训练框架是否内置了三值化算子和直通估计器。推理端是自定义算子还是走通用矩阵乘法。目标硬件是否有优秀的三值 GEMM 实现。是否能接受额外的格式转换开销。如果推理端只能退化为通用 GEMM那么三值模型在现有 GPU 上的实际收益会大打折扣。7.3 混合精度与部分层量化实际业务中并不是所有层都适合三值化。Embedding、输出层、注意力打分等对精度敏感的模块可以保留更高精度Transformer 主干的一部分线性层再做三值化。这种混合精度策略往往是效果和压缩比之间的折中方案。推荐做法先用全精度模型做基线再逐层做三值化敏感性分析挑出权重数值分布平坦、量化后 loss 变化小的层优先进行三值化。7.4 生产环境安全与发布规范如果最终要把三值模型发布到生产环境需要遵守基本的软件工程和运维规范。例如先在测试环境验证推理结果和目标任务的指标。对小流量用户灰度发布对比线上指标。对权重文件和配置做版本管理与备份。涉及内部数据时确保模型训练和部署数据权限最小化。监控显存、延迟、吞吐和错误率设置回滚预案。三值模型的推理结果与全精度模型不会完全一致业务方需要提前知晓这种差异尤其是在对数值精确度敏感的金融、医疗等场景下建议先做充分评估。7.5 关注论文和开源社区更新1.58 位模型属于快速发展的方向论文细节、开源代码和硬件方案更新都很快。在落地时不要只依赖一篇论文优先查阅官方代码仓库的 README、issue 和 benchmark了解不同版本之间的差异。如果社区中的实现缺少训练脚本或推理优化可以先构造最小复现实验再决定是否应用到自己的业务中。8. 总结与学习建议现在回到开头的问题权重只用 -1、0、1模型还能跑吗答案是能跑而且在特定硬件和场景下可以跑得非常高效。1.58 位大模型通过训练期量化、缩放因子和专用算子把权重的信息表示压缩到理论极限附近同时把矩阵乘法从乘加变成加减法为推理硬件设计留出了很大的优化空间。通过这篇文章你应该掌握了以下几个核心知识点1.58 位来自三值状态的信息熵 log2(3)真实物理存储至少 2 bit。三值权重通过 absmean 量化和缩放因子恢复数值尺度。训练阶段需要直通估计器不能直接转换现成模型。推理计算中乘法退化为加、减和跳过。收益主要在显存、带宽和专用硬件计算效率通用 GPU 上需要算子支持。如果接下来想深入学习建议按以下路线推进精读 BitNet b1.58 原始论文重点看实验设置和训练细节。跑通开源代码仓库里的预训练或推理示例观察三值权重的实际分布。尝试在小型自定义数据集上做三值化训练实验记录收敛情况。研究低比特量化工具链如 llama.cpp 社区对 BitNet 的支持进展。如果对硬件感兴趣可以阅读 FPGA 上低比特 GEMM 的实现案例。AI Infra 方向的价值判断标准始终是同样的效果花多少成本同样的成本能做多大模型。1.58 位大模型把“省”做到了一个新的量级也把算法、算子、硬件之间的协同设计提升到了更紧密的程度。无论你属于算法还是工程背景理解这条路线都会对今后的模型部署选型有很大帮助。遇到实际项目时建议先用小模型验证、按业务数据评估、对比算子和硬件支持再决定是否全量接入。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
