解读 INT8 量化经典论文《Integer Quantization for Deep Learning Inference》什么叫量化、为什么选量化这条路线、还有哪些替代方案——原理、校准与产业应用本文作为笔者个人备忘的文章不喜勿喷。以及 AI 生成。全文基于 NVIDIA 论文《Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation》Wu Hao 等NVIDIA TensorRT 团队2020、NVIDIA 白皮书/文档校准算法、QAT/PTQ、CSDN、腾讯云、百度云等公开资料并结合笔者此前《为什么 7B 的 int8 模型显存约 7GB》《深度学习数值精度格式全景解析》两篇整理。此篇聚焦推理侧定点量化这条路是怎么来的、凭什么成为工业界首选。一、论文身份推理量化的圣经之一《Integer Quantization for Deep Learning Inference》是NVIDIA TensorRT 团队发表的一篇关于整数INT8量化推理的论文也是 TensorRT 官方 INT8 量化机制的原理阐述常被称作量化白皮书。它系统讲清楚了怎么把 FP32 神经网络无损近真地转成 INT8 整数网络并部署到硬件对称/非对称量化、饱和 vs 非饱和取值、scale 与 zero-point的计算训练后量化PTQ与量化感知训练QAT的区别以及 INT8 相比 FP32/FP16 在吞吐/体积/延迟上的收益。它是理解为什么推理偏爱低比特整数的源头文献。二、什么叫量化为什么叫量化2.1 概念溯源从连续到离散量化Quantization一词来自信号处理把连续的模拟量映射成有限个离散等级的过程比如 ADC 模数转换器把连续电压切成 0~255 的离散档位。量子quantum就是指最小不可再分的离散单位量化 把连续值切分/归入一个个离散阶梯。在深度学习里量化就是把原来用 FP3232 位浮点连续取值表示的权重/激活映射到低比特整数如 INT8/INT4的有限离散取值上。例一个权重原来可能是3.141592FP32量化成 INT8 后变成3附近的整数配合一个scale 缩放因子还原数量级一句话量化 用有限个整数 缩放因子近似连续浮点。2.2 为什么叫量化而不是压缩/编码它本质上仍是信号处理的量化——把精度信息砍掉、把值归一到离散档和压缩的区别压缩一般指更高效地编码同一信息可无损/有损但不改变数据本质而量化是主动改变数值表示的精度有损、不可逆和编码/定点化定点化只是其中一种具体实现量化的范围更广还可量化到整数、低位浮点甚至 1-bit。三、论文核心原理对称均匀量化 校准3.1 量化映射公式论文/工程中常用线性均匀量化INT8 round( clip( FP32 / scale ) zero_point , qmin, qmax ) 反量化: FP32 ≈ ( INT8 - zero_point ) × scalescale缩放因子决定一个整数单位对应多少浮点值zero_point零点偏移FP32 的 0 对应哪个整数对称量化zero_point0scale 由max(|x|)/127决定常用在权重分布近似对称非对称量化zero_point≠0适合偏置分布常用在激活值ReLU 后非负。3.2 饱和 vs 非饱和论文关键洞察量化时选择数据的动态范围有两种非饱和MinMax直接用最小~最大作为范围简单但极端离群值会拉宽范围、把中间精度挤没饱和Saturation主动截断长尾选一个更紧的阈值宁牺牲极少数离群点换取中段更高的精度。论文实证饱和量化通常显著优于非饱和——这是 INT8 能几乎无损的关键。3.3 校准Calibration算法用少量代表性数据校准集统计每层激活的分布为每层确定最优 scale/zero-point。TensorRT 提供几种MinMax最简EntropyEntropyCalibrator2默认对每个通道统计概率直方图用 KL 散度最小化量化前后分布差异找到截断长尾的最优阈值——论文与工程首选Percentile按分位数截断。校准集注意别用训练集重复样本拉偏直方图建议从验证集抽500~2000张有代表性的样本且前处理必须与真实推理一致。3.4 两条量化路径PTQ 与 QAT方式做法精度成本PTQ 训练后量化预训练完成后直接量化校准无需重训损失较小1~3% 可接受快、低成本QAT 量化感知训练训练/微调时插入QDQquantize/dequantize伪量化节点模拟低精度让网络适应精度保持最好需重训/微调成本高论文及 NVIDIA 后续GTC的结论想精度极致用 QAT图省事用 PTQ两者配合 TensorRT 都能显著降延迟。四、为什么当时选量化INT8 定点这条路线还有哪些方式这是理解整件事的关键。要让推理更快、更省主流有四条技术路线4.1 其他三条路线当时备选路线原理优点短板知识蒸馏用大模型(教师)教小模型(学生)精度保持极佳依赖高质量教师、学生不能无限压缩剪枝去掉不重要通道/权重真正精简结构策略复杂、微调成本高、非结构化需专用稀疏硬件低位浮点FP16/BF16/FP8降低浮点位宽动态范围/精度好依赖硬件代际FP8 需 Hopper仍是浮点4.2 为什么工业界最终选INT8 定点量化硬件原生支持几乎所有CPU/GPU/NPU 都原生支持 INT8 整数推理无需特殊能力落地零门槛整数 Tensor Core 是纯算利器整数运算面积小、能耗低、吞吐高——INT8 通常带来2~4 倍推理加速实测吞吐可提升到 FP32 的 ~2.5 倍、体积降至 1/4配合校准几乎无损饱和量化 Entropy 校准让 INT8 逼近 FP32 精度成本最低、全平台兼容PTQ 不做重训即可拿到收益是快速、低成本、全平台的工业界第一选择蒸馏精好但依赖大教师剪枝落地难FP8 受限于新硬件。结论论文和产业共同选择 INT8 量化是因为它在加速幅度 × 落地难度 × 硬件兼容 × 精度保持四点综合最优最适合大规模生产部署。五、行业应用INT8 量化在真实世界怎么用NVIDIA TensorRT把训练好的模型PyTorch/TensorFlow/ONNX转成 INT8 引擎用 EntropyCalibrator2 校准后部署到云端/边缘 GPUYOLO 等目标检测CNNs 用 INT8 per-channel 量化挽回 0.3~0.5 个 mAP配合校准集可几乎不掉点TensorFlow Lite / PyTorch Quantization移动端与边缘动态范围量化、全整数量化、QAT云推理默认精度趋势在需要极致的推理吞吐场景INT8 是历史主力而 FP8 作为浮点路线的延续在 H100/B200 等新卡上正成为云端新可选——INT8 定点和 FP8 浮点两条路线并行演进。六、为什么会有这些 / 怎么想到的 / 核心解决什么问题怎么想到的逻辑链 1. 推理是memory-bound瓶颈在带宽不在算力且部署端要兼顾吞吐、体积、功耗、成本 2. 浮点FP32/FP16在精度×效率上的性价比有天花板而整数 Tensor Core / 整数指令天然为高效计算设计 3. 受信号处理量化思想启发——把连续值离散化、配合缩放因子还原于是用INT8 scale 饱和截断 校准去逼近 FP32 4. 反复验证发现饱和量化 分布校准能把精度损失压到几乎可忽略于是确认这条路可产业化。核心解决的问题在几乎不损失精度的前提下把深度学习推理的体积、延迟、功耗、成本大幅降下来让大模型/深度模型能在通用 CPU、消费级/边缘 GPU、NPU上高效运行——这直接支撑了从云端到手机端的大规模 AI 落地。七、参考来源论文Wu Hao《Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation》NVIDIA TensorRT2020NVIDIA 开发者博客/GTCFP8 训练挑战与最佳实践、Converting FP to INT8PTQ vs QAT、TensorRT INT8 校准算法MinMax/Entropy/PercentileNVIDIA TensorRT 文档EntropyCalibrator2、QAT(QDQ)、INT8 引擎构建CSDNYOLOv7/YOLOv9 TensorRT INT8 量化与校准实践、TensorRT 量化机制与 INT8 优化腾讯云大模型瘦身——量化/蒸馏/剪枝基础原理与应用场景百度云大模型优化三板斧——量化/剪枝/蒸馏技术解析与实践尧图网/CSDNPyTorch-Quantization 工具包实战QuantDescriptor/TensorQuantizer、四种校准、QAT、TensorRT 部署NVIDIA On-DemandPTQ vs QAT 与 QDQ 节点介绍渠道说明小红书 App 对该底层量化主题的专业覆盖有限本文以 NVIDIA 论文/文档、CSDN、腾讯云、百度云为主要深度来源。本文作为笔者个人备忘的文章不喜勿喷。以及 AI 生成。
解读 INT8 量化经典论文《Integer Quantization for Deep Learning Inference》什么叫量化、为什么选量化这条路线、还有哪些替代方案——原理、校准与产业应用本文作为笔者个人备忘的文章不喜勿喷。以及 AI 生成。全文基于 NVIDIA 论文《Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation》Wu Hao 等NVIDIA TensorRT 团队2020、NVIDIA 白皮书/文档校准算法、QAT/PTQ、CSDN、腾讯云、百度云等公开资料并结合笔者此前《为什么 7B 的 int8 模型显存约 7GB》《深度学习数值精度格式全景解析》两篇整理。此篇聚焦推理侧定点量化这条路是怎么来的、凭什么成为工业界首选。一、论文身份推理量化的圣经之一《Integer Quantization for Deep Learning Inference》是NVIDIA TensorRT 团队发表的一篇关于整数INT8量化推理的论文也是 TensorRT 官方 INT8 量化机制的原理阐述常被称作量化白皮书。它系统讲清楚了怎么把 FP32 神经网络无损近真地转成 INT8 整数网络并部署到硬件对称/非对称量化、饱和 vs 非饱和取值、scale 与 zero-point的计算训练后量化PTQ与量化感知训练QAT的区别以及 INT8 相比 FP32/FP16 在吞吐/体积/延迟上的收益。它是理解为什么推理偏爱低比特整数的源头文献。二、什么叫量化为什么叫量化2.1 概念溯源从连续到离散量化Quantization一词来自信号处理把连续的模拟量映射成有限个离散等级的过程比如 ADC 模数转换器把连续电压切成 0~255 的离散档位。量子quantum就是指最小不可再分的离散单位量化 把连续值切分/归入一个个离散阶梯。在深度学习里量化就是把原来用 FP3232 位浮点连续取值表示的权重/激活映射到低比特整数如 INT8/INT4的有限离散取值上。例一个权重原来可能是3.141592FP32量化成 INT8 后变成3附近的整数配合一个scale 缩放因子还原数量级一句话量化 用有限个整数 缩放因子近似连续浮点。2.2 为什么叫量化而不是压缩/编码它本质上仍是信号处理的量化——把精度信息砍掉、把值归一到离散档和压缩的区别压缩一般指更高效地编码同一信息可无损/有损但不改变数据本质而量化是主动改变数值表示的精度有损、不可逆和编码/定点化定点化只是其中一种具体实现量化的范围更广还可量化到整数、低位浮点甚至 1-bit。三、论文核心原理对称均匀量化 校准3.1 量化映射公式论文/工程中常用线性均匀量化INT8 round( clip( FP32 / scale ) zero_point , qmin, qmax ) 反量化: FP32 ≈ ( INT8 - zero_point ) × scalescale缩放因子决定一个整数单位对应多少浮点值zero_point零点偏移FP32 的 0 对应哪个整数对称量化zero_point0scale 由max(|x|)/127决定常用在权重分布近似对称非对称量化zero_point≠0适合偏置分布常用在激活值ReLU 后非负。3.2 饱和 vs 非饱和论文关键洞察量化时选择数据的动态范围有两种非饱和MinMax直接用最小~最大作为范围简单但极端离群值会拉宽范围、把中间精度挤没饱和Saturation主动截断长尾选一个更紧的阈值宁牺牲极少数离群点换取中段更高的精度。论文实证饱和量化通常显著优于非饱和——这是 INT8 能几乎无损的关键。3.3 校准Calibration算法用少量代表性数据校准集统计每层激活的分布为每层确定最优 scale/zero-point。TensorRT 提供几种MinMax最简EntropyEntropyCalibrator2默认对每个通道统计概率直方图用 KL 散度最小化量化前后分布差异找到截断长尾的最优阈值——论文与工程首选Percentile按分位数截断。校准集注意别用训练集重复样本拉偏直方图建议从验证集抽500~2000张有代表性的样本且前处理必须与真实推理一致。3.4 两条量化路径PTQ 与 QAT方式做法精度成本PTQ 训练后量化预训练完成后直接量化校准无需重训损失较小1~3% 可接受快、低成本QAT 量化感知训练训练/微调时插入QDQquantize/dequantize伪量化节点模拟低精度让网络适应精度保持最好需重训/微调成本高论文及 NVIDIA 后续GTC的结论想精度极致用 QAT图省事用 PTQ两者配合 TensorRT 都能显著降延迟。四、为什么当时选量化INT8 定点这条路线还有哪些方式这是理解整件事的关键。要让推理更快、更省主流有四条技术路线4.1 其他三条路线当时备选路线原理优点短板知识蒸馏用大模型(教师)教小模型(学生)精度保持极佳依赖高质量教师、学生不能无限压缩剪枝去掉不重要通道/权重真正精简结构策略复杂、微调成本高、非结构化需专用稀疏硬件低位浮点FP16/BF16/FP8降低浮点位宽动态范围/精度好依赖硬件代际FP8 需 Hopper仍是浮点4.2 为什么工业界最终选INT8 定点量化硬件原生支持几乎所有CPU/GPU/NPU 都原生支持 INT8 整数推理无需特殊能力落地零门槛整数 Tensor Core 是纯算利器整数运算面积小、能耗低、吞吐高——INT8 通常带来2~4 倍推理加速实测吞吐可提升到 FP32 的 ~2.5 倍、体积降至 1/4配合校准几乎无损饱和量化 Entropy 校准让 INT8 逼近 FP32 精度成本最低、全平台兼容PTQ 不做重训即可拿到收益是快速、低成本、全平台的工业界第一选择蒸馏精好但依赖大教师剪枝落地难FP8 受限于新硬件。结论论文和产业共同选择 INT8 量化是因为它在加速幅度 × 落地难度 × 硬件兼容 × 精度保持四点综合最优最适合大规模生产部署。五、行业应用INT8 量化在真实世界怎么用NVIDIA TensorRT把训练好的模型PyTorch/TensorFlow/ONNX转成 INT8 引擎用 EntropyCalibrator2 校准后部署到云端/边缘 GPUYOLO 等目标检测CNNs 用 INT8 per-channel 量化挽回 0.3~0.5 个 mAP配合校准集可几乎不掉点TensorFlow Lite / PyTorch Quantization移动端与边缘动态范围量化、全整数量化、QAT云推理默认精度趋势在需要极致的推理吞吐场景INT8 是历史主力而 FP8 作为浮点路线的延续在 H100/B200 等新卡上正成为云端新可选——INT8 定点和 FP8 浮点两条路线并行演进。六、为什么会有这些 / 怎么想到的 / 核心解决什么问题怎么想到的逻辑链 1. 推理是memory-bound瓶颈在带宽不在算力且部署端要兼顾吞吐、体积、功耗、成本 2. 浮点FP32/FP16在精度×效率上的性价比有天花板而整数 Tensor Core / 整数指令天然为高效计算设计 3. 受信号处理量化思想启发——把连续值离散化、配合缩放因子还原于是用INT8 scale 饱和截断 校准去逼近 FP32 4. 反复验证发现饱和量化 分布校准能把精度损失压到几乎可忽略于是确认这条路可产业化。核心解决的问题在几乎不损失精度的前提下把深度学习推理的体积、延迟、功耗、成本大幅降下来让大模型/深度模型能在通用 CPU、消费级/边缘 GPU、NPU上高效运行——这直接支撑了从云端到手机端的大规模 AI 落地。七、参考来源论文Wu Hao《Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation》NVIDIA TensorRT2020NVIDIA 开发者博客/GTCFP8 训练挑战与最佳实践、Converting FP to INT8PTQ vs QAT、TensorRT INT8 校准算法MinMax/Entropy/PercentileNVIDIA TensorRT 文档EntropyCalibrator2、QAT(QDQ)、INT8 引擎构建CSDNYOLOv7/YOLOv9 TensorRT INT8 量化与校准实践、TensorRT 量化机制与 INT8 优化腾讯云大模型瘦身——量化/蒸馏/剪枝基础原理与应用场景百度云大模型优化三板斧——量化/剪枝/蒸馏技术解析与实践尧图网/CSDNPyTorch-Quantization 工具包实战QuantDescriptor/TensorQuantizer、四种校准、QAT、TensorRT 部署NVIDIA On-DemandPTQ vs QAT 与 QDQ 节点介绍渠道说明小红书 App 对该底层量化主题的专业覆盖有限本文以 NVIDIA 论文/文档、CSDN、腾讯云、百度云为主要深度来源。本文作为笔者个人备忘的文章不喜勿喷。以及 AI 生成。
