上篇我聊了语音降噪从模拟滤波一路走到谱减法、维纳滤波、MMSE 估计、子空间分解这段历史那些方法今天还在各种嵌入式设备和开源库里服役但它们的“天花板”也确实明显。这篇《语音降噪风雨六十载下》接着往下讲——深度学习如何在语音降噪领域掀起一场真正的革命以及这波革命把行业带到了什么地方。我从 2016 年开始接触深度语音增强正好踩在传统 DSP 向神经网络切换的节点上。那几年开会时大家讨论最多的还是“怎么把谱减法做得更干净”“怎么抑制音乐噪声”到了 2018 年前后风向基本变完了所有人都在聊掩蔽、U-Net、端到端。回头再看与其说深度学习给语音降噪加了点新工具不如说它把整个问题的定义方式都改了以前我们是靠人工设计对噪声和语音的先验假设现在是从数据里直接学一个“干净语音长什么样”的模型。这篇我会按脑中的逻辑线把这段历程拆开重点放在架构选择、数据工程、指标评估、落地部署和未来方向最后把踩过的坑一并交底。1. 传统方法的“天花板”到底卡在哪1.1 平稳性假设与现实噪声的鸿沟传统 DSP 降噪不是没有过辉煌。谱减法实现简单维纳滤波那套最优线性估计的理论很优雅MMSE-LSA 在平稳噪声下的增益很漂亮子空间方法在低信噪比下也有稳定表现。可这些方法全部共享一个致命前置条件噪声是平稳的或者至少在短期内能估准。实际场景里这个假设基本不成立。地铁进站那种渐强渐弱的轮轨噪声键盘打字那种瞬态冲击声旁边人突然说话形成的语音干扰全是非平稳的。噪声估计器永远在猜帧长设长了跟不上变化帧长设短了把语音也当噪声抹了。我们在传统方案上调参时最常遇到的问题就是“降噪开着像打地鼠”这帧噪声估高了下一帧语音被削掉一块再下一帧噪声突然冒出来听感反而更累。另一个传统方法绕不过去的坎是“音乐噪声”。谱减法和维纳滤波在估计误差较大的频点上会产生随机尖峰听起来像水烧开前那种咕嘟咕嘟的细碎杂音。为了压音乐噪声只能引入平滑因子或者谱下限约束但代价是语音变得沉闷、发闷像隔着棉被说话。我见过不少项目最后为了保自然度宁可在降噪强度上打七折也不敢把算法开满。1.2 传统方法的“糟粕”正是深度学习的切入点深度学习入场前很多研究者已经意识到问题核心语音和噪声在时频谱上高度纠缠人工设计的特征很难把两者干净分开。与其继续在频谱估计、增益函数上做文章不如换个思路——让模型从大量成对的“带噪-干净”语音里直接学习映射关系。这才是真正的拐点。神经网络本质上是一种非线性函数逼近器它可以学习到远比“噪声谱估计 维纳增益”更复杂的决策边界。尤其当中高层特征被组合起来后模型能同时利用频谱局部结构、时序上下文、甚至语言级别的信息来判断某个时频区域到底该不该保留。这就是传统方法很难做到的事它不知道“人类语音的共振峰走势”长什么样但深度学习模型能从海量语料里隐式学到。所以深度学习语音降噪从一开始就不是简单地把滤波器换成神经网络而是把整个建模思路从“估计噪声”换成了“学习干净语音的分布”从“逐帧物理推导”换成了“全局数据拟合”。恰恰是这种转变让困扰传统方法几十年的平稳性假设、音乐噪声、相位估计三大难题都有了新的破解路径。2. 核心架构演进从频谱掩蔽到时域端到端2.1 DNN/RNN 的首轮冲击掩蔽成为主流范式深度学习语音增强最早的一批工作集中在“频谱映射”和“频谱掩蔽”上。频谱映射很直接模型输入带噪语音的幅度谱输出对应干净语音的幅度谱训练时用均方误差一类损失约束。频谱掩蔽则更接近人耳尺度——模型预测一个 0 到 1 之间的增益矩阵作用在带噪幅度谱上相当于给每个时频点做“放行或压制”。理想比例掩蔽IRM是当时的核心概念它的定义很简单在某个时频点上干净语音能量占总能量的比例。信噪比高就接近 1信噪比低就接近 0。这个目标比直接回归频谱更稳健因为它对动态范围的敏感度更低而且物理意义清晰。我印象很深的一件事是同一个模型用 IRM 训练后音乐噪声明显比用幅度谱映射训练少得多——因为模型被引导去“选频”而非“重构”天然减少了对频谱细节的幻觉。随后几年RNN/LSTM 几乎成了标配。原因也不复杂语音增强本质上是序列任务前一帧的决策会影响后一帧LSTM 能利用几十帧的上下文来稳定掩蔽的输出解决单帧 DNN 逐帧抖动的问题。我们在 CPU 上跑实时推理时轻量 GRU 比 LSTM 少 1/3 左右参数效果差距很小这也是后来不少嵌入式方案选择 GRU 的原因。2.2 U-Net 和复数域建模让相位不再“裸奔”频谱幅度变干净了但相位还是原封不动的带噪相位这会让听感出现“空洞感”和“回声感”。所以后来大家把矛头指向了复数域不再只估计幅度而是同时估计实部和虚部或者直接预测复数理想比掩蔽cIRM。cIRM 通过带噪的复数频谱计算出“还原干净复数频谱需要乘的复数增益”幅度和相位都能被修正。这一阶段架构上最流行的就是 U-Net。带卷积的编码器不断下采样把时频谱压到低维抽象再通过解码器逐步上采样恢复到原始分辨率跳跃连接把底层的精细纹理传给解码器这样既能抓住全局结构又保留细节。我在实践中对比过U-Net 相比纯全连接 DNN参数更少但感知质量更高尤其是语音边缘和元音过渡段的连续性好了很多。复数域建模的工程坑也在那段时间集中暴露直接预测 cIRM 时如果 loss 只约束复数增益的数值训练很容易震荡。我试过在复数 Loss 之外额外加一个幅度谱 Loss 做辅助约束稳定效果很明显这算是一个后来很多开源代码里也能看到的技巧。2.3 端到端时域模型抛弃短时傅里叶变换2018 年前后另一个流派把事情做得更彻底既然 STFT 的窗函数、帧移、频点数都是人工设定的不如把这些“人工设定”也交给网络学习。时域模型把波形直接送入一个编码器让网络学出类似“滤波组”的表示做完掩蔽后再用解码器重建时间信号。Conv-TasNet 和后来一系列 Wave-U-Net 风格模型都是这条思路的代表。时域端到端的好处是表达不受 STFT 分辨率约束低频高频的分割完全由数据决定有时候能学到比固定频带更优的分解方式。另外时域模型天然不存在“相位恢复”问题只要波形重建得足够好相位就一并恢复了。但代价也很实在训练数据量要求更大模型规模普遍偏大实时推理的算力门槛高。我实际把 Conv-TasNet 搬到嵌入式平台时光量化剪枝就做了三轮才把 CPU 占用压到可接受范围。总体而言频谱域模型和时域模型在今天并不是谁取代谁的关系产业链里的现实选择往往是离线高质量处理用大参数复数域模型实时低延迟场景用轻量 RNN 或小卷积模型端到端模型则更适合算力充裕的服务器场景。3. 让模型真正可用数据、指标与部署3.1 数据是降噪模型的“胜负手”很多刚入行的朋友会把精力全放在模型结构上但我带过不少项目后可以负责任地讲语音降噪这类监督学习任务数据质量对最终效果的影响远大于网络结构。一个经典案例是用同一种 U-Net 结构分别在三种数据组合上训练效果差距可以达到 2 到 3 个 PESQ 点而换网络结构往往只能带来 0.1 到 0.2 的提升。训练数据的核心是“带噪-干净”配对。干净语音可以从公开数据集获取比如 LibriSpeech、AISHELL、Common Voice工业场景也会自建播音棚录音。噪声来源一般分两类一类是纯噪声库比如 MUSAN、MS-SNSD、AudioSet 里切出来的噪声片段另一类是“干扰人声”——也就是背景里有人说话。后者常被忽略但真实场景里咖啡馆、电话会议室最典型的就是“人声噪声”如果训练数据里完全没有这类样本模型上线后大概率会被旁白说话声带偏。合成带噪数据时要特别注意信噪比的采样范围。我在项目里习惯让信噪比在 -5dB 到 20dB 之间按均匀或对数分布采集保证低信噪比样本占比不少于三成。因为模型对低信噪比的泛化能力几乎完全取决于训练时是否见过足够多低信噪比样本——这和传统 DSP 里的“噪声估计器灵敏度”是同一个道理但在深度学习中表现得更为极端。混响也是不能忽视的一环。真实场景里很多“噪声”其实是混响带来的语音浑浊感单纯加加性噪声是学不会去混响的。用图像源法生成随机房间冲激响应把干净语音和噪声分别卷积后再叠加能显著提升模型在真实房间环境下的表现。凡是在模拟数据上训练完直接上线用的基本都会被现实教做人。3.2 评价指标PESQ 和 STOI 之外我们到底该看什么模型训得好不好总得有个量化指标。早期大家惯用 PESQ语音质量感知评估和 STOI短时客观可懂度前者偏重听感质量后者偏重可懂度。这两个指标的优点是有标准实现、可复现但它们都是需要干净参考信号的侵入式指标而且对“非线性失真”和“强降噪导致的语音损伤”惩罚方式跟人耳感知并不完全一致。我踩过的最大一个坑就是某个模型 PESQ 分数刷得很高但主观试听发现声音“假、干、脆”背景噪声是没了语音本身也变得像合成音。原因很简单模型学会了用比较激进的掩蔽把背景全部挖掉代价是元音部分的频谱细节也被抹平了。后来我们形成了一套组合评价流程自动指标先用 PESQ、STOI 做粗筛再用 DNSMOS、NISQA 这类无参考 MOS 估计模型做第二轮筛选最后必须人工盲听覆盖干净背景、车内噪声、街道噪声、双人同聊几种固定场景。主观环节尽管费时但往往是发现“指标造假”的唯一手段。尤其在做产品化落地时甲方听得舒服比报告里多 0.2 的 PESQ 重要得多。3.3 实时性、因果性与嵌入式部署的取舍从研究到工程最大的落差就是实时性。离线做增强可以用双向 LSTM、全局注意力、反复迭代的模型但产品里降噪几乎都是串在实时通话链路里的每个 buffer 进来必须在几毫秒内处理完而且不能用未来帧。这就给模型设计加了两条硬约束因果性只能看当前和过去和低延迟。处理“因果性”的常用做法是把双向 RNN 改成单向把带未来上下文的卷积改成因果卷积或者用“未来帧缓存一小段”的折中方式换取增益。哪怕只允许 20ms 的 lookahead模型质量都能肉眼可见提升所以很多中高端通话方案愿意接受 30-40ms 的算法延迟来保持更好的降噪效果。部署层面的消耗也必须精打细算。参数是 32 位浮点、16 位半精度还是 INT8 量化往往直接决定能否跑在目标芯片上。我们在某款低功耗嵌入式芯片上部署 RNN 模型时先做了动态范围分析激活值分布大致在 -6 到 6 之间权重的动态范围也不大INT8 量化后精度损失可以控制在 0.1 PESQ 以内。但有个容易翻车的地方是 RNN 的隐藏状态和遗忘门对量化很敏感必须用校准数据集把激活值的截断范围定准否则长时间运行后数值漂移会越来越明显。4. 实战中的翻车现场与排查经验4.1 训练表现好、上线就崩的典型原因先说一个最常见也最坑的翻车场景模型在测试集上 PESQ 到了 3.2主观试听也不错一上手机就完蛋。追查下来绝大多数情况是训练数据和真实数据之间存在“领域差距”。比如训练数据全是 16kHz 采样率而真实通话链路里麦克风采集后做了重采样和 AGC频谱形态已经变了又比如训练数据里说话人都是标准普通话或英文真实用户带口音、带方言甚至鼻音重模型就会因为没见过相近分布而表现不稳定。解决这个问题没有捷径只能从两条腿走路一是数据侧做“域扩充”把多种采样率、多种麦克风特性、压缩编解码损伤都模拟进去二是模型侧在端上做轻量的自适应比如用无标签的在线数据做统计归一化或者跑一个极小的微调层。我在项目里试过最简单有效的一招把训练数据切出一部分专门做“电话信道模拟”包含窄带滤波和语音编解码模型在真实通话录音上的增强效果立刻起来了。另一个容易被忽视的坑是“训练-推理不一致”。很多模型训练时用的是整句随机裁剪做输入推理时却按固定帧长流式输入两者在时间维度的上下文分布不一致导致输出的掩蔽抖动。解决方式也简单训练时就模拟流式输入的帧拼接与重叠强制模型适应“看不到开头结尾”的情况。4.2 双讲场景降噪器最怕的第二个人单麦降噪在很多场景下其实陷入了一个哲学困境它无法区分“我们想保留的主说话人”和“背景里的干扰说话人”因为二者在统计特性上都属于语音。你训模型时如果把“人声噪声”也当作要抑制的目标代价就是主说话人的话音某几帧也会被误伤听感变成“一顿一顿”的断续感。这种问题单靠单通道时频掩蔽已经到极限了更靠谱的方向是呼唤多麦克风信息。放两个或更多麦克风后我们可以利用声源的空间位置做波束成形指向主说话人方向再把波束输出交给神经网络做后处理。我在产品里用一主一副双麦克风方案深度网络只负责对波束输出做残余噪声抑制双讲场景的可懂度相比纯单麦模型提升了不止一个档次。如果产品物理上只允许单麦克风也有一个“歪门”可以缓解让用户开启“定向降噪”模式用 VAD 或唤醒词锁定主说话人后续只保留跟这个声纹最接近的通话音段。这其实已经不是单纯的语音降噪更接近说话人跟踪但用户体验确实会有质的区别。4.3 降噪后语音识别ASR效果不升反降另一个让我印象深刻的问题是模型把“人耳友好”的增强结果给到 ASR识别率反而变差了。原因不复杂ASR 模型通常是在原始频谱分布上训练的或者至少对某种特定频谱形态更敏感而增强算法的非线性处理会改变频谱细节有可能引入与 ASR 内部假设不匹配的偏差。哪怕是 PESQ 很高的增强结果对 ASR 来说可能也不是最理想的输入。踩过这个坑之后我们再接“降噪 ASR”整体链路时会刻意考虑增强模型和识别模型联合优化或者在训练增强网络时把 ASR 的损失函数作为额外监督项。退而求其次的方案是在 ASR 前只做轻量级的平稳噪声抑制不做深度语音重建避免把频谱改得太多。这算是一个很现实的产品权衡——有时候“降得更狠”反而不如“降得聪明”。4.4 指标刷分与真实体验之间的“信任危机”最后聊一个行业层面的共性问题在语音增强领域自动指标刷分太容易了。模型结构稍微大一点、训练步数稍微长一点PESQ 就能往上走但这不代表它在真实场景里真的更好。我在评测一些开源模型时经常发现某些模型在标准测试集上成绩好看放到真实的车内蓝牙通话里那种“压得很干净但又尖又薄”的感觉立刻现原形。所以我现在对任何新模型都保持一个三件套流程先跑标准指标再用不同噪声环境实测最后拿多部手机和不同通话链路做交叉验证。这项经验分享给同行就是要忍住“只对比 PESQ”的冲动把主观试听和场景覆盖放在更高优先级尤其是做产品交付时这直接决定上线后的用户投诉率。5. 未来方向降噪早已不是孤岛5.1 生成式模型与扩散语音增强最近两三年扩散模型这股风也吹到了语音增强。扩散模型的思想是先让语音信号前向加噪变成纯噪声再训练一个逆向过程把它逐步恢复成干净信号。在做语音增强时输入是一个带噪语音目标是让逆向过程从带噪状态“走回”干净状态。和传统掩蔽模型相比生成式方法更擅长恢复语音的细节结构和自然度在低信噪比和强失真上的潜力很大。但扩散模型落地的前景不能只看效果还要看成本。一次推理要跑几十步迭代每一步都是一个网络前传实时性堪忧。业界的解决方向包括蒸馏加速、少步采样、以及把扩散模型当“后处理精修器”而不是全链路的引擎。我觉得未来比较务实的一个形态是轻量 RNN/CNN 先做粗降噪再由扩散模型对句段做精细语音重建这样延迟可控听感也能拉高。5.2 空间音频与多模态融合降噪走向场景化传统语音降噪只把“噪声”看作一个声学问题但真实场景中的所有噪声都是带有空间属性的。多麦克风阵列已经能在硬件层面提供方位信息接下来要做的就是让深度学习更好地利用这些信息。目前基于空间谱特征的多通道增强与神经网络掩蔽的融合已经明显比单通道模型强特别是当干扰声源和主声源在角度上可分时波束成形加神经网络后处理的组合能同时解决去混响和降噪。再往后推一步摄像头、传感器、甚至用户佩戴的智能眼镜都能为“谁在说话、谁不该被保留”提供更多线索。比如助听器场景里用户看向谁设备就增强谁的声音视频会议场景里面向摄像头的人就是当前发言人。这种跨模态的语音降噪已经不再是纯粹的数字信号处理问题而是一个多传感器智能感知问题我个人认为这会是未来消费电子里最性感的方向之一。5.3 大模型对语音降噪的潜在影响语音降噪和通用大模型之间的关系可能是很多人还没想清楚的。目前大语言模型主要做文本理解与生成和波形级的时频处理不在一个抽象层次上但大模型的“世界知识”和“情境理解”完全可以被引入语音增强链路。举个例子会议室里同时有五个人说话大模型如果知道会议议题和每位发言人的身份它就能更好地判断哪段内容才是当前的主线语音。这种语言先验与传统降噪机制互补性很强未来的降噪系统很可能是一个“声学前端 语义决策”的两段式架构。还有一个更近的趋势是语音增强不再孤立评测而是放进“全链路语音体验”里和 ASR、说话人识别、情感识别一起做联合网络优化。毕竟用户最终关心的是“聊得顺不顺、听得懂不懂”而不是中间某个模块的 PESQ 多高。这种系统级的视角会反过来倒逼降噪模型的设计产生变化。写在最后的一点个人体会做语音降噪这十多年我最大的感受是这个领域从来不缺漂亮的数学工具缺的是对真实场景的敬畏。深度学习把降噪效果拉到了传统方法不可想象的高度但每一项突破的背后都带着新的工程代价——数据规模更大算力要求更高评估维度更复杂。哪怕是今天看起来已经很成熟的轻量级神经网络降噪方案在面对完全没见过的噪声、扭曲的语音、极端的信噪比时依然会露出破绽。我个人的建议是如果你要从零开始做一个语音降噪项目不要一上来就追最新的扩散模型或大模型先把四个基本功夯实数据配比是否合理、指标是否覆盖主观感受、模型是否满足实时约束、部署链路是否经得起稳定性测试。这四件事做到位哪怕你的模型结构用的是 2018 年的 U-Net产品体验也能稳稳超过八成效果大开大合但不落地的实验方案。语音降噪的六十年技术路线一直在变但问题本质其实从未改变我们怎么在杂乱的声学环境里把人类最自然的交流方式还原出来。深度学习这波浪潮让这个问题看到了更好的答案但“看懂噪声”“听懂人声”“懂场景”这三个层次仍然值得未来很多年持续深耕。
上篇我聊了语音降噪从模拟滤波一路走到谱减法、维纳滤波、MMSE 估计、子空间分解这段历史那些方法今天还在各种嵌入式设备和开源库里服役但它们的“天花板”也确实明显。这篇《语音降噪风雨六十载下》接着往下讲——深度学习如何在语音降噪领域掀起一场真正的革命以及这波革命把行业带到了什么地方。我从 2016 年开始接触深度语音增强正好踩在传统 DSP 向神经网络切换的节点上。那几年开会时大家讨论最多的还是“怎么把谱减法做得更干净”“怎么抑制音乐噪声”到了 2018 年前后风向基本变完了所有人都在聊掩蔽、U-Net、端到端。回头再看与其说深度学习给语音降噪加了点新工具不如说它把整个问题的定义方式都改了以前我们是靠人工设计对噪声和语音的先验假设现在是从数据里直接学一个“干净语音长什么样”的模型。这篇我会按脑中的逻辑线把这段历程拆开重点放在架构选择、数据工程、指标评估、落地部署和未来方向最后把踩过的坑一并交底。1. 传统方法的“天花板”到底卡在哪1.1 平稳性假设与现实噪声的鸿沟传统 DSP 降噪不是没有过辉煌。谱减法实现简单维纳滤波那套最优线性估计的理论很优雅MMSE-LSA 在平稳噪声下的增益很漂亮子空间方法在低信噪比下也有稳定表现。可这些方法全部共享一个致命前置条件噪声是平稳的或者至少在短期内能估准。实际场景里这个假设基本不成立。地铁进站那种渐强渐弱的轮轨噪声键盘打字那种瞬态冲击声旁边人突然说话形成的语音干扰全是非平稳的。噪声估计器永远在猜帧长设长了跟不上变化帧长设短了把语音也当噪声抹了。我们在传统方案上调参时最常遇到的问题就是“降噪开着像打地鼠”这帧噪声估高了下一帧语音被削掉一块再下一帧噪声突然冒出来听感反而更累。另一个传统方法绕不过去的坎是“音乐噪声”。谱减法和维纳滤波在估计误差较大的频点上会产生随机尖峰听起来像水烧开前那种咕嘟咕嘟的细碎杂音。为了压音乐噪声只能引入平滑因子或者谱下限约束但代价是语音变得沉闷、发闷像隔着棉被说话。我见过不少项目最后为了保自然度宁可在降噪强度上打七折也不敢把算法开满。1.2 传统方法的“糟粕”正是深度学习的切入点深度学习入场前很多研究者已经意识到问题核心语音和噪声在时频谱上高度纠缠人工设计的特征很难把两者干净分开。与其继续在频谱估计、增益函数上做文章不如换个思路——让模型从大量成对的“带噪-干净”语音里直接学习映射关系。这才是真正的拐点。神经网络本质上是一种非线性函数逼近器它可以学习到远比“噪声谱估计 维纳增益”更复杂的决策边界。尤其当中高层特征被组合起来后模型能同时利用频谱局部结构、时序上下文、甚至语言级别的信息来判断某个时频区域到底该不该保留。这就是传统方法很难做到的事它不知道“人类语音的共振峰走势”长什么样但深度学习模型能从海量语料里隐式学到。所以深度学习语音降噪从一开始就不是简单地把滤波器换成神经网络而是把整个建模思路从“估计噪声”换成了“学习干净语音的分布”从“逐帧物理推导”换成了“全局数据拟合”。恰恰是这种转变让困扰传统方法几十年的平稳性假设、音乐噪声、相位估计三大难题都有了新的破解路径。2. 核心架构演进从频谱掩蔽到时域端到端2.1 DNN/RNN 的首轮冲击掩蔽成为主流范式深度学习语音增强最早的一批工作集中在“频谱映射”和“频谱掩蔽”上。频谱映射很直接模型输入带噪语音的幅度谱输出对应干净语音的幅度谱训练时用均方误差一类损失约束。频谱掩蔽则更接近人耳尺度——模型预测一个 0 到 1 之间的增益矩阵作用在带噪幅度谱上相当于给每个时频点做“放行或压制”。理想比例掩蔽IRM是当时的核心概念它的定义很简单在某个时频点上干净语音能量占总能量的比例。信噪比高就接近 1信噪比低就接近 0。这个目标比直接回归频谱更稳健因为它对动态范围的敏感度更低而且物理意义清晰。我印象很深的一件事是同一个模型用 IRM 训练后音乐噪声明显比用幅度谱映射训练少得多——因为模型被引导去“选频”而非“重构”天然减少了对频谱细节的幻觉。随后几年RNN/LSTM 几乎成了标配。原因也不复杂语音增强本质上是序列任务前一帧的决策会影响后一帧LSTM 能利用几十帧的上下文来稳定掩蔽的输出解决单帧 DNN 逐帧抖动的问题。我们在 CPU 上跑实时推理时轻量 GRU 比 LSTM 少 1/3 左右参数效果差距很小这也是后来不少嵌入式方案选择 GRU 的原因。2.2 U-Net 和复数域建模让相位不再“裸奔”频谱幅度变干净了但相位还是原封不动的带噪相位这会让听感出现“空洞感”和“回声感”。所以后来大家把矛头指向了复数域不再只估计幅度而是同时估计实部和虚部或者直接预测复数理想比掩蔽cIRM。cIRM 通过带噪的复数频谱计算出“还原干净复数频谱需要乘的复数增益”幅度和相位都能被修正。这一阶段架构上最流行的就是 U-Net。带卷积的编码器不断下采样把时频谱压到低维抽象再通过解码器逐步上采样恢复到原始分辨率跳跃连接把底层的精细纹理传给解码器这样既能抓住全局结构又保留细节。我在实践中对比过U-Net 相比纯全连接 DNN参数更少但感知质量更高尤其是语音边缘和元音过渡段的连续性好了很多。复数域建模的工程坑也在那段时间集中暴露直接预测 cIRM 时如果 loss 只约束复数增益的数值训练很容易震荡。我试过在复数 Loss 之外额外加一个幅度谱 Loss 做辅助约束稳定效果很明显这算是一个后来很多开源代码里也能看到的技巧。2.3 端到端时域模型抛弃短时傅里叶变换2018 年前后另一个流派把事情做得更彻底既然 STFT 的窗函数、帧移、频点数都是人工设定的不如把这些“人工设定”也交给网络学习。时域模型把波形直接送入一个编码器让网络学出类似“滤波组”的表示做完掩蔽后再用解码器重建时间信号。Conv-TasNet 和后来一系列 Wave-U-Net 风格模型都是这条思路的代表。时域端到端的好处是表达不受 STFT 分辨率约束低频高频的分割完全由数据决定有时候能学到比固定频带更优的分解方式。另外时域模型天然不存在“相位恢复”问题只要波形重建得足够好相位就一并恢复了。但代价也很实在训练数据量要求更大模型规模普遍偏大实时推理的算力门槛高。我实际把 Conv-TasNet 搬到嵌入式平台时光量化剪枝就做了三轮才把 CPU 占用压到可接受范围。总体而言频谱域模型和时域模型在今天并不是谁取代谁的关系产业链里的现实选择往往是离线高质量处理用大参数复数域模型实时低延迟场景用轻量 RNN 或小卷积模型端到端模型则更适合算力充裕的服务器场景。3. 让模型真正可用数据、指标与部署3.1 数据是降噪模型的“胜负手”很多刚入行的朋友会把精力全放在模型结构上但我带过不少项目后可以负责任地讲语音降噪这类监督学习任务数据质量对最终效果的影响远大于网络结构。一个经典案例是用同一种 U-Net 结构分别在三种数据组合上训练效果差距可以达到 2 到 3 个 PESQ 点而换网络结构往往只能带来 0.1 到 0.2 的提升。训练数据的核心是“带噪-干净”配对。干净语音可以从公开数据集获取比如 LibriSpeech、AISHELL、Common Voice工业场景也会自建播音棚录音。噪声来源一般分两类一类是纯噪声库比如 MUSAN、MS-SNSD、AudioSet 里切出来的噪声片段另一类是“干扰人声”——也就是背景里有人说话。后者常被忽略但真实场景里咖啡馆、电话会议室最典型的就是“人声噪声”如果训练数据里完全没有这类样本模型上线后大概率会被旁白说话声带偏。合成带噪数据时要特别注意信噪比的采样范围。我在项目里习惯让信噪比在 -5dB 到 20dB 之间按均匀或对数分布采集保证低信噪比样本占比不少于三成。因为模型对低信噪比的泛化能力几乎完全取决于训练时是否见过足够多低信噪比样本——这和传统 DSP 里的“噪声估计器灵敏度”是同一个道理但在深度学习中表现得更为极端。混响也是不能忽视的一环。真实场景里很多“噪声”其实是混响带来的语音浑浊感单纯加加性噪声是学不会去混响的。用图像源法生成随机房间冲激响应把干净语音和噪声分别卷积后再叠加能显著提升模型在真实房间环境下的表现。凡是在模拟数据上训练完直接上线用的基本都会被现实教做人。3.2 评价指标PESQ 和 STOI 之外我们到底该看什么模型训得好不好总得有个量化指标。早期大家惯用 PESQ语音质量感知评估和 STOI短时客观可懂度前者偏重听感质量后者偏重可懂度。这两个指标的优点是有标准实现、可复现但它们都是需要干净参考信号的侵入式指标而且对“非线性失真”和“强降噪导致的语音损伤”惩罚方式跟人耳感知并不完全一致。我踩过的最大一个坑就是某个模型 PESQ 分数刷得很高但主观试听发现声音“假、干、脆”背景噪声是没了语音本身也变得像合成音。原因很简单模型学会了用比较激进的掩蔽把背景全部挖掉代价是元音部分的频谱细节也被抹平了。后来我们形成了一套组合评价流程自动指标先用 PESQ、STOI 做粗筛再用 DNSMOS、NISQA 这类无参考 MOS 估计模型做第二轮筛选最后必须人工盲听覆盖干净背景、车内噪声、街道噪声、双人同聊几种固定场景。主观环节尽管费时但往往是发现“指标造假”的唯一手段。尤其在做产品化落地时甲方听得舒服比报告里多 0.2 的 PESQ 重要得多。3.3 实时性、因果性与嵌入式部署的取舍从研究到工程最大的落差就是实时性。离线做增强可以用双向 LSTM、全局注意力、反复迭代的模型但产品里降噪几乎都是串在实时通话链路里的每个 buffer 进来必须在几毫秒内处理完而且不能用未来帧。这就给模型设计加了两条硬约束因果性只能看当前和过去和低延迟。处理“因果性”的常用做法是把双向 RNN 改成单向把带未来上下文的卷积改成因果卷积或者用“未来帧缓存一小段”的折中方式换取增益。哪怕只允许 20ms 的 lookahead模型质量都能肉眼可见提升所以很多中高端通话方案愿意接受 30-40ms 的算法延迟来保持更好的降噪效果。部署层面的消耗也必须精打细算。参数是 32 位浮点、16 位半精度还是 INT8 量化往往直接决定能否跑在目标芯片上。我们在某款低功耗嵌入式芯片上部署 RNN 模型时先做了动态范围分析激活值分布大致在 -6 到 6 之间权重的动态范围也不大INT8 量化后精度损失可以控制在 0.1 PESQ 以内。但有个容易翻车的地方是 RNN 的隐藏状态和遗忘门对量化很敏感必须用校准数据集把激活值的截断范围定准否则长时间运行后数值漂移会越来越明显。4. 实战中的翻车现场与排查经验4.1 训练表现好、上线就崩的典型原因先说一个最常见也最坑的翻车场景模型在测试集上 PESQ 到了 3.2主观试听也不错一上手机就完蛋。追查下来绝大多数情况是训练数据和真实数据之间存在“领域差距”。比如训练数据全是 16kHz 采样率而真实通话链路里麦克风采集后做了重采样和 AGC频谱形态已经变了又比如训练数据里说话人都是标准普通话或英文真实用户带口音、带方言甚至鼻音重模型就会因为没见过相近分布而表现不稳定。解决这个问题没有捷径只能从两条腿走路一是数据侧做“域扩充”把多种采样率、多种麦克风特性、压缩编解码损伤都模拟进去二是模型侧在端上做轻量的自适应比如用无标签的在线数据做统计归一化或者跑一个极小的微调层。我在项目里试过最简单有效的一招把训练数据切出一部分专门做“电话信道模拟”包含窄带滤波和语音编解码模型在真实通话录音上的增强效果立刻起来了。另一个容易被忽视的坑是“训练-推理不一致”。很多模型训练时用的是整句随机裁剪做输入推理时却按固定帧长流式输入两者在时间维度的上下文分布不一致导致输出的掩蔽抖动。解决方式也简单训练时就模拟流式输入的帧拼接与重叠强制模型适应“看不到开头结尾”的情况。4.2 双讲场景降噪器最怕的第二个人单麦降噪在很多场景下其实陷入了一个哲学困境它无法区分“我们想保留的主说话人”和“背景里的干扰说话人”因为二者在统计特性上都属于语音。你训模型时如果把“人声噪声”也当作要抑制的目标代价就是主说话人的话音某几帧也会被误伤听感变成“一顿一顿”的断续感。这种问题单靠单通道时频掩蔽已经到极限了更靠谱的方向是呼唤多麦克风信息。放两个或更多麦克风后我们可以利用声源的空间位置做波束成形指向主说话人方向再把波束输出交给神经网络做后处理。我在产品里用一主一副双麦克风方案深度网络只负责对波束输出做残余噪声抑制双讲场景的可懂度相比纯单麦模型提升了不止一个档次。如果产品物理上只允许单麦克风也有一个“歪门”可以缓解让用户开启“定向降噪”模式用 VAD 或唤醒词锁定主说话人后续只保留跟这个声纹最接近的通话音段。这其实已经不是单纯的语音降噪更接近说话人跟踪但用户体验确实会有质的区别。4.3 降噪后语音识别ASR效果不升反降另一个让我印象深刻的问题是模型把“人耳友好”的增强结果给到 ASR识别率反而变差了。原因不复杂ASR 模型通常是在原始频谱分布上训练的或者至少对某种特定频谱形态更敏感而增强算法的非线性处理会改变频谱细节有可能引入与 ASR 内部假设不匹配的偏差。哪怕是 PESQ 很高的增强结果对 ASR 来说可能也不是最理想的输入。踩过这个坑之后我们再接“降噪 ASR”整体链路时会刻意考虑增强模型和识别模型联合优化或者在训练增强网络时把 ASR 的损失函数作为额外监督项。退而求其次的方案是在 ASR 前只做轻量级的平稳噪声抑制不做深度语音重建避免把频谱改得太多。这算是一个很现实的产品权衡——有时候“降得更狠”反而不如“降得聪明”。4.4 指标刷分与真实体验之间的“信任危机”最后聊一个行业层面的共性问题在语音增强领域自动指标刷分太容易了。模型结构稍微大一点、训练步数稍微长一点PESQ 就能往上走但这不代表它在真实场景里真的更好。我在评测一些开源模型时经常发现某些模型在标准测试集上成绩好看放到真实的车内蓝牙通话里那种“压得很干净但又尖又薄”的感觉立刻现原形。所以我现在对任何新模型都保持一个三件套流程先跑标准指标再用不同噪声环境实测最后拿多部手机和不同通话链路做交叉验证。这项经验分享给同行就是要忍住“只对比 PESQ”的冲动把主观试听和场景覆盖放在更高优先级尤其是做产品交付时这直接决定上线后的用户投诉率。5. 未来方向降噪早已不是孤岛5.1 生成式模型与扩散语音增强最近两三年扩散模型这股风也吹到了语音增强。扩散模型的思想是先让语音信号前向加噪变成纯噪声再训练一个逆向过程把它逐步恢复成干净信号。在做语音增强时输入是一个带噪语音目标是让逆向过程从带噪状态“走回”干净状态。和传统掩蔽模型相比生成式方法更擅长恢复语音的细节结构和自然度在低信噪比和强失真上的潜力很大。但扩散模型落地的前景不能只看效果还要看成本。一次推理要跑几十步迭代每一步都是一个网络前传实时性堪忧。业界的解决方向包括蒸馏加速、少步采样、以及把扩散模型当“后处理精修器”而不是全链路的引擎。我觉得未来比较务实的一个形态是轻量 RNN/CNN 先做粗降噪再由扩散模型对句段做精细语音重建这样延迟可控听感也能拉高。5.2 空间音频与多模态融合降噪走向场景化传统语音降噪只把“噪声”看作一个声学问题但真实场景中的所有噪声都是带有空间属性的。多麦克风阵列已经能在硬件层面提供方位信息接下来要做的就是让深度学习更好地利用这些信息。目前基于空间谱特征的多通道增强与神经网络掩蔽的融合已经明显比单通道模型强特别是当干扰声源和主声源在角度上可分时波束成形加神经网络后处理的组合能同时解决去混响和降噪。再往后推一步摄像头、传感器、甚至用户佩戴的智能眼镜都能为“谁在说话、谁不该被保留”提供更多线索。比如助听器场景里用户看向谁设备就增强谁的声音视频会议场景里面向摄像头的人就是当前发言人。这种跨模态的语音降噪已经不再是纯粹的数字信号处理问题而是一个多传感器智能感知问题我个人认为这会是未来消费电子里最性感的方向之一。5.3 大模型对语音降噪的潜在影响语音降噪和通用大模型之间的关系可能是很多人还没想清楚的。目前大语言模型主要做文本理解与生成和波形级的时频处理不在一个抽象层次上但大模型的“世界知识”和“情境理解”完全可以被引入语音增强链路。举个例子会议室里同时有五个人说话大模型如果知道会议议题和每位发言人的身份它就能更好地判断哪段内容才是当前的主线语音。这种语言先验与传统降噪机制互补性很强未来的降噪系统很可能是一个“声学前端 语义决策”的两段式架构。还有一个更近的趋势是语音增强不再孤立评测而是放进“全链路语音体验”里和 ASR、说话人识别、情感识别一起做联合网络优化。毕竟用户最终关心的是“聊得顺不顺、听得懂不懂”而不是中间某个模块的 PESQ 多高。这种系统级的视角会反过来倒逼降噪模型的设计产生变化。写在最后的一点个人体会做语音降噪这十多年我最大的感受是这个领域从来不缺漂亮的数学工具缺的是对真实场景的敬畏。深度学习把降噪效果拉到了传统方法不可想象的高度但每一项突破的背后都带着新的工程代价——数据规模更大算力要求更高评估维度更复杂。哪怕是今天看起来已经很成熟的轻量级神经网络降噪方案在面对完全没见过的噪声、扭曲的语音、极端的信噪比时依然会露出破绽。我个人的建议是如果你要从零开始做一个语音降噪项目不要一上来就追最新的扩散模型或大模型先把四个基本功夯实数据配比是否合理、指标是否覆盖主观感受、模型是否满足实时约束、部署链路是否经得起稳定性测试。这四件事做到位哪怕你的模型结构用的是 2018 年的 U-Net产品体验也能稳稳超过八成效果大开大合但不落地的实验方案。语音降噪的六十年技术路线一直在变但问题本质其实从未改变我们怎么在杂乱的声学环境里把人类最自然的交流方式还原出来。深度学习这波浪潮让这个问题看到了更好的答案但“看懂噪声”“听懂人声”“懂场景”这三个层次仍然值得未来很多年持续深耕。
