目录一、ASR 技术演进全景二、ASR 的本质：从波形到文字的序列映射三、经典时代：HMM-GMM 与 DNN-HMM3.1 HMM-GMM：统治了 30 年的基线3.2 DNN-HMM：深度学习的首次介入四、端到端 ASR 的三大流派4.1 CTC（Connectionist Temporal Classification）4.2 RNN-Transducer（RNN-T）4.3 Attention-based Encoder-Decoder（AED）五、Conformer：当前 ASR 的主流编码器六、大模型时代的 ASR 范式6.1 自监督预训练6.2 弱监督大规模预训练6.3 大语言模型 + ASR 的融合七、ASR 的核心评价指标7.1 准确率指标7.2 实时率与延迟八、工程实践建议九、总结一、ASR 技术演进全景ASR 的技术演进大致可分为三个阶段：（1）经典统计时代：HMM-GMM 主导，依赖专家知识和强制对齐（2）深度学习介入：DNN-HMM 混合系统，用神经网络替换 GMM（3）端到端时代：CTC、RNN-T、AED 三大流派，再到自监督预训练和大模型融合二、ASR 的本质：从波形到文字的序列映射语音识别（Automatic Speech Recognition, ASR）要解决的核心问题可以形式化地表述为：给定一段音频特征序列X= (x₁, x₂, ..., x_T)，找到最可能的文字序列W*：W* = argmax_W P(W|X)这个看似简洁的概率公式背后，经历了从统计模型到深度神经网络，再到端到端系统的三次范式转移。本文将带你完整走过这段进化之路。三、经典时代：HMM-GMM 与 DNN-HMM3.1 HMM-GMM：统治了 30 年的基线在深度学习出现之前，ASR 的主流框架是 HMM-GMM（隐马尔可夫模型 + 高斯混合模型）：HMM 的三个经典问题：问题含义算法评估给定模型和观测，计算概率前向-后向算法解码给定模型和观测，找最可能的状态序列Viterbi 算法学习给定观测序列，估计模型参数Baum-Welch（EM）算法HMM-GMM 的问题：GMM 对高维非线性数据的建模能力有限需要 HMM 状态与语音帧之间的强制对齐（Forced Alignment），依赖专家标注上下文相关音素（Triphone）导致状态空间爆炸决策树状态聚类（State Tying）虽然缓解了数据稀疏，但限制了模型容量3.2 DNN-HMM：深度学习的首次介入2011-2012 年，DNN 开始替换 GMM，形成 DNN-HMM 混合系统。核心变化是：用 DNN 直接预测每个 HMM 状态的后验概率 P(s_t |x_t)，而非 GMM 的似然建模。相比 GMM 的优势：DNN 能利用长达 11-21 帧的上下文窗口，建模能力远超 GMM不需要对特征分布做对角协方差假设在相同数据量下，WER 相对 GMM 降低 20-30%代表模型：TDNN（时延神经网络）：通过一维卷积沿时间轴捕获上下文，是最早用于 ASR 的深度模型之一LSTM（长短期记忆网络）：解决了长序列梯度消失问题，显著提升了远距离上下文建模能力TDNN-F（因子化 TDNN）：Kaldi 中的主力声学模型，通过矩阵分解大幅减少参数量四、端到端 ASR 的三大流派端到端 ASR 的核心思想是：不再需要 HMM、发音词典、强制对齐，用一个神经网络直接从音频映射到文字。先介绍一个将这些流派落地到工业场景的工具包——FunASR。它由阿里达摩院开源，定位是“基础端到端语音识别工具包”，集成了多种模型架构和完整的服务部署能力。FunASR 的核心价值在于：它不是一个单一模型，而是一套可组合的端到端流水线。以实时语音听写场景为例，一个典型的 FunASR 服务链路包含多个协同工作的模块这种设计的核心思路是：流式模型负责“快”，非流式模型负责“准”。流式 Paraformer 每 600ms 输出一次中间结果，保证实时性；当检测到说话停顿（VAD 判定句尾）时，切换到非流式 Paraformer 对整句做一次高精度推理，用更准的结果修正之前的流式输出。这种“实时+修正”的两遍策略，在延迟和准确率之间取得了很好的平衡。
目录一、ASR 技术演进全景二、ASR 的本质：从波形到文字的序列映射三、经典时代：HMM-GMM 与 DNN-HMM3.1 HMM-GMM：统治了 30 年的基线3.2 DNN-HMM：深度学习的首次介入四、端到端 ASR 的三大流派4.1 CTC（Connectionist Temporal Classification）4.2 RNN-Transducer（RNN-T）4.3 Attention-based Encoder-Decoder（AED）五、Conformer：当前 ASR 的主流编码器六、大模型时代的 ASR 范式6.1 自监督预训练6.2 弱监督大规模预训练6.3 大语言模型 + ASR 的融合七、ASR 的核心评价指标7.1 准确率指标7.2 实时率与延迟八、工程实践建议九、总结一、ASR 技术演进全景ASR 的技术演进大致可分为三个阶段：（1）经典统计时代：HMM-GMM 主导，依赖专家知识和强制对齐（2）深度学习介入：DNN-HMM 混合系统，用神经网络替换 GMM（3）端到端时代：CTC、RNN-T、AED 三大流派，再到自监督预训练和大模型融合二、ASR 的本质：从波形到文字的序列映射语音识别（Automatic Speech Recognition, ASR）要解决的核心问题可以形式化地表述为：给定一段音频特征序列X= (x₁, x₂, ..., x_T)，找到最可能的文字序列W*：W* = argmax_W P(W|X)这个看似简洁的概率公式背后，经历了从统计模型到深度神经网络，再到端到端系统的三次范式转移。本文将带你完整走过这段进化之路。三、经典时代：HMM-GMM 与 DNN-HMM3.1 HMM-GMM：统治了 30 年的基线在深度学习出现之前，ASR 的主流框架是 HMM-GMM（隐马尔可夫模型 + 高斯混合模型）：HMM 的三个经典问题：问题含义算法评估给定模型和观测，计算概率前向-后向算法解码给定模型和观测，找最可能的状态序列Viterbi 算法学习给定观测序列，估计模型参数Baum-Welch（EM）算法HMM-GMM 的问题：GMM 对高维非线性数据的建模能力有限需要 HMM 状态与语音帧之间的强制对齐（Forced Alignment），依赖专家标注上下文相关音素（Triphone）导致状态空间爆炸决策树状态聚类（State Tying）虽然缓解了数据稀疏，但限制了模型容量3.2 DNN-HMM：深度学习的首次介入2011-2012 年，DNN 开始替换 GMM，形成 DNN-HMM 混合系统。核心变化是：用 DNN 直接预测每个 HMM 状态的后验概率 P(s_t |x_t)，而非 GMM 的似然建模。相比 GMM 的优势：DNN 能利用长达 11-21 帧的上下文窗口，建模能力远超 GMM不需要对特征分布做对角协方差假设在相同数据量下，WER 相对 GMM 降低 20-30%代表模型：TDNN（时延神经网络）：通过一维卷积沿时间轴捕获上下文，是最早用于 ASR 的深度模型之一LSTM（长短期记忆网络）：解决了长序列梯度消失问题，显著提升了远距离上下文建模能力TDNN-F（因子化 TDNN）：Kaldi 中的主力声学模型，通过矩阵分解大幅减少参数量四、端到端 ASR 的三大流派端到端 ASR 的核心思想是：不再需要 HMM、发音词典、强制对齐，用一个神经网络直接从音频映射到文字。先介绍一个将这些流派落地到工业场景的工具包——FunASR。它由阿里达摩院开源，定位是“基础端到端语音识别工具包”，集成了多种模型架构和完整的服务部署能力。FunASR 的核心价值在于：它不是一个单一模型，而是一套可组合的端到端流水线。以实时语音听写场景为例，一个典型的 FunASR 服务链路包含多个协同工作的模块这种设计的核心思路是：流式模型负责“快”，非流式模型负责“准”。流式 Paraformer 每 600ms 输出一次中间结果，保证实时性；当检测到说话停顿（VAD 判定句尾）时，切换到非流式 Paraformer 对整句做一次高精度推理，用更准的结果修正之前的流式输出。这种“实时+修正”的两遍策略，在延迟和准确率之间取得了很好的平衡。
