有人问我手里有几十段自己录的语音能不能让程序用我的声音念出新稿子这类需求这两年冒出来的频率明显变高——做自媒体的想批量出配音做课程的要给几十节课统一声线还有人单纯想给家里的老人留下一份能说话的语音档案。VoiceStudio 这类带图形界面的语音合成工作台就是奔着这件事去的它不是那种上传一段音频、等三分钟给你结果的黑盒在线服务而是一套可以在自己机器上跑起来、能拆开看、能反复训练的完整流水线。我前后折腾过几轮从最开始的跑通就行到后来被音质、断字、多音字轮番教育踩的坑足够写一篇东西了。下面这些内容按我自己的实操顺序来写包含环境怎么选、数据怎么洗、三段模型分别在学什么、合成出来不对味该怎么查以及哪些地方看起来能省事、实际上会让你重做一遍。适合已经跑过一次 Demo、但结果不太满意的人也适合还没开始、想先看看这条路有多长的朋友。1. VoiceStudio 真正解决的问题把声音变成可迭代的工程资产语音合成这个词听起来很学术落到实际使用上其实就一句话给定一段文字输出一段听起来像某个特定人念的音频。麻烦的地方在于它同时要满足两个互相拉扯的目标——像那个人以及像人说话。前者是音色问题后者是韵律问题。市面上大量一键变声方案只解决前者第二种交给运气。VoiceStudio 这套东西的价值在于它把这两个目标拆成了可以分别调、分别看、分别重训的模块。你合成结果不对能定位到是音色没学到、还是韵律崩了、还是最后一步波形还原糊了。这个可定位性是它跟在线服务最大的差别。1.1 三个模块各管一段编码器、合成器、声码器我把整条链路理解成一条流水线中间有两个关键中转站。第一个中转站是说话人特征向量业内一般叫 speaker embedding通俗说就是音色指纹——一串几百维的数字把这个人嗓音的底色压缩进去。第二个中转站是梅尔频谱图也就是把声音在时间轴上的频率分布画成一张图。编码器Encoder吃进去几秒钟的音频吐出来那串音色指纹。它学的是区分不同人不关心说了什么内容。合成器Synthesizer吃进去文本的拼音序列 音色指纹吐出来梅尔频谱图。它负责节奏、停顿、语调起伏是决定像不像人的主力。声码器Vocoder吃进去梅尔频谱图还原成可以直接播放的波形文件。它决定音质干净不干净有没有金属味、电流声。这三个模块可以独立训练、独立替换。举个我实际遇到的情况同一套编码器和合成器换一个训练得更充分的声码器输出的通透度肉眼可见地变好。如果你用的是一个封装到完全看不见内部的工具这种替换压根没法做。理解这三段分工之后很多玄学就变成了工程问题。比如合成结果听着闷、像隔了一层棉被大概率不是模型没学好而是声码器在还原高频细节时偷懒再比如语气平淡得像念经那是合成器训练不充分或者音色指纹塞进去的方式不对跟声码器一点关系都没有。1.2 它和一句话克隆的在线服务差在哪有人会问在线工具上传一段音频就能克隆为什么还要自己折腾我自己的体感是两点差异最要命。第一是可控性。在线服务的黑盒里文本前端怎么处理2024 年 3 月 5 日这类内容你完全不知道碰到专业术语、中英混排、生僻多音字它念错你只能重录一遍试试运气。本地这套东西文本怎么转拼音、数字怎么归一化、哪个字该读哪个音全是你自己定的规则改一行配置就生效。第二是数据主权与复用成本。在线服务按次计费你合成得越多越贵本地训练完成后批量跑一万句和跑一句的边际成本几乎一样只是电费。对于要做长内容的人来说这个差别会随着量级放大得非常快。当然代价也明确你得有一块还能用的显卡得花几个小时甚至一两天等训练跑完还得有耐心做数据清洗。这不是十分钟上手的工具更像是一个小项目。想清楚这一点后面的路会顺很多。2. 数据准备才是分水岭录音、切分与文本对齐的完整链路我现在的结论很简单粗暴最终音质的上限在你按下开始训练之前就已经定死了。模型再大、步数再多也救不回一段底噪明显的录音。这一节讲的是我踩过最多坑的地方。2.1 硬件与依赖的取舍先说硬件。真正吃资源的是合成器和声码器的训练编码器那部分相对轻量。显存 8GB 是能跑的底线但批大小只能压得很小训练时间会被拉长12GB 是个比较舒服的位置能用中等批大小跑起来再往上就是缩短等待时间对最终效果帮助有限。有一件事必须提醒不要盲目追求最新的框架版本。这类项目往往依赖一串特定版本的组件版本对不上报错信息能让你怀疑人生。我的习惯是给每个项目单独建一个虚拟环境把依赖版本写进文件里锁死跑通之后就不要动它。python -m venv venv_voicestudio source venv_voicestudio/bin/activate pip install -r requirements.txt如果条件允许先在一个小数据集上把整条链路跑通一遍确认环境没问题再去处理正式数据。我见过太多人一上来就把几个小时的数据丢进去跑到第三步报错前面几小时全白费。2.2 录音素材的采集标准录音素材的采集标准我用一张表来说明这些数字是我反复调整后稳定下来的区间维度建议值说明采样率22050 Hz 或 16000 Hz全库必须统一混用是灾难位深16 bit足够32 bit 收益不明显声道单声道立体声会被合并不如一开始就录单声道单条时长5 到 15 秒太短学不到韵律太长显存吃不消总时长合成器 30 分钟起理想 2 小时以上编码器 5 到 10 分钟即可信噪比尽量 30 dB 以上有持续底噪会污染音色指纹内容覆盖尽量多样陈述句、疑问句、不同语速都要有这里有个容易忽略的点录音内容要杂一点。很多人图省事照着一段文章从头念到尾结果全库都是同一个句式、同一个语调训练出来的模型只会那一种腔调你让它念疑问句它照样给你念成陈述句。我的做法是刻意混入短句、长句、带逗号的长停顿、数字、英文单词让模型见过足够多的韵律模式。环境噪音的处理也要说清楚。不是所有底噪都能靠后期降噪救回来尤其是那种嗡嗡的低频电流声降噪处理会连带削掉嗓音本身的低频厚度得不偿失。最优解永远是重录其次是换环境最后才考虑软件降噪而且降噪后的音频要单独试听确认没伤到人声。2.3 切分与清洗的实操脚本拿到原始录音之后一般是一整段几十分钟的长文件需要切成短句。切分逻辑很简单按静音段落切。我用的是基于能量阈值的切法先检测出静音区间再按阈值把这些区间切成段。import librosa import soundfile as sf def split_by_silence(path, out_dir, target_sr22050, min_len4.0, max_len15.0, top_db35): y, sr librosa.load(path, srtarget_sr, monoTrue) # 按静音位置切分top_db 越大切得越碎 intervals librosa.effects.split(y, top_dbtop_db) idx 0 for start, end in intervals: seg y[start:end] dur len(seg) / sr if dur min_len or dur max_len: continue sf.write(f{out_dir}/{idx:05d}.wav, seg, sr) idx 1 return idx这段代码我调过很多次几个参数的含义值得单独说top_db35静音判定门槛。数值调小切得保守句子会连在一起调大切得激进容易把一句话从中间断开。我一般从 35 开始试切二十条听一遍再定。min_len和max_len太短的片段会放大标注误差太长的片段在训练时容易触发显存溢出。这两条线卡住能过滤掉一大批脏数据。切完之后一定要随机抽十条试听。我遇到过切出来的片段开头还带着上一个字的尾音这种数据喂进去模型会以为那个尾音本来就在开头合成时莫名其妙多出杂音。除了静音切分还有两件事要做一是削去首尾的长静音前面留 50 到 100 毫秒的呼吸感就够了二是检查音量一致性如果录音时离麦克风忽远忽近得做一次响度归一化否则模型学到的音量是波动的。2.4 文本侧归一化比音频更容易翻车的地方音频处理完还要给每条切片配上对应的文本。这一步的坑比想象中多。中文合成一般走汉字转拼音的路线转的时候要带上声调因为声调直接决定语调轮廓。麻烦的是多音字同一个字在不同词里读法不同自动转换很容易出错。我的做法是维护一份自定义词表把专业词汇、人名、地名、易错多音词全部登记进去转换时优先查词表。# 自定义词表优先级高于自动转换 CUSTOM_LEXICON { 银行: [yin2, hang2], 行走: [xing2, zou3], 重庆: [chong2, qing4], }数字和符号的归一化同样不能省。2024 年要读成二零二四年还是两千零二十四年3.5是三点五还是三点五零这些都得在文本前端统一规则。我的原则是凡是能用规则覆盖的就不要留给模型去猜。模型猜错了你只能重训规则错了改一行就行。英文单词混排的处理也需要提前决定。常见做法有两种一是按字母逐字读二是整体按英文发音读。前者实现简单后者自然但要额外引入英文的音素映射。我的建议是如果素材里英文很少逐字读完全能接受如果英文占比高最好在数据准备阶段就单独处理别混在一起喂。3. 三段式训练链路拆解每一段模型到底在学什么数据准备完正式进入训练。这部分我不想写成命令清单更想说清楚每段训练在优化什么目标因为知道了目标你才能判断现在这个损失值是不是正常。3.1 编码器训练让模型记住你是谁编码器的任务被设计成一个判别游戏给它同一批说话人的多条音频让它学会把同一个人的音频在向量空间里拉近、不同人的推远。这个思路的好处是它不需要知道文本内容纯靠音色就能学。实际操作上这段训练是三段里最轻松的。几十条音频、单卡跑一两个小时就能得到一个可用的音色指纹。判断它学得好不好有个土办法拿同一个人的两条不同音频各提一次特征算两者的余弦相似度越接近 1 越好再拿另一个人的音频提一次相似度应该明显低下来。这里有个我踩过的坑值得分享音频时长并不是越长越好。编码器通常会把输入音频在时间维上做平均如果你给的片段长达二十秒里面掺杂了气息声、停顿、口水音平均下来音色指纹反而被稀释了。五到十秒、内容干净的片段提特征的效果往往更好。所以如果你手头只有长音频宁可多切几条短的也不要直接扔长的进去。3.2 合成器训练从拼音序列到梅尔频谱合成器是整条链路里最贵、最慢、也最决定像不像人的一环。它要做的事是读入一串拼音输出一张随时间变化的频谱图。这个过程要求模型学会字与字之间的过渡、词与词之间的停顿、整句话的语调弧线。训练时你会看到一个损失值往下降但损失下降不等于听感变好。这是我早期最大的认知误区。有几次我看到损失降到很低兴冲冲去合成结果出来的是含糊不清的咕噜声。后来才明白损失衡量的是频谱的数值差距而人对声音的感知是非线性的——某些高频细节的偏差在数值上很小听感上却很刺耳。所以我的判断标准改成了每训练若干个批次就合成同一句话听一遍不看数值看耳朵。具体做法是固定三条测试文本一条短句、一条带数字的长句、一条疑问句每次存模型时都跑一遍这三条横向对比。这样能很直观地看到哪一步开始变好、哪一步开始过拟合。过拟合的表现是训练集里的句子念得非常顺一换成训练集里没出现过的文本就开始吞字、拖长音、语调发飘。遇到这个情况我的处理顺序是——先看数据总量够不够再看文本覆盖是不是太单一最后才考虑调小学习率或者加正则。很多人的第一反应是调超参数实际上大部分过拟合的根子在数据太窄。3.3 声码器训练把频谱还原成波形声码器是决定音质的一环。它拿到梅尔频谱图要反推出原始的波形。这件事本身是个病态问题——从频谱反推波形理论上有多解声码器要做的是猜出最符合人耳习惯的那一个。声码器的训练对数据质量最敏感。我做过一次对比实验同一批数据只是把底噪较重的几条剔除掉声码器输出里的沙沙声明显减少。原因是它会把训练数据里的噪声也当成正常声音去学然后在合成时忠实地复制出来。如果你不想从零训练声码器用预训练权重做微调是性价比很高的选择。预训练模型已经在大量通用语音上学会了人声大概长什么样你只需要用自己那点数据把它拉到目标音色上。微调时学习率要调小步数也不用太多几万步量级通常就能收敛。学习率给大了会把预训练学到的通用知识冲掉输出反而变差。3.4 训练参数对照表下面这张表是我在不同数据量下的经验区间仅供起点参考实际还要看数据本身的难度模块批大小学习率大致步数单步耗时参考编码器321e-31 到 3 万很快十几毫秒合成器16 到 325e-4 逐步衰减5 到 20 万0.3 到 0.6 秒声码器微调161e-4 到 2e-43 到 8 万0.2 到 0.4 秒单步耗时那一列是消费级显卡上的实测感受仅供参考。真正要提醒的是别一次性把步数设成十万然后去睡觉。分段训练、分段听效果虽然麻烦但能让你在模型开始退化之前及时停下来。我通常每五千步存一次检查点存的时候顺手合成测试句第二天早上听一遍前十个检查点挑最好的那个。4. 合成出来的声音像又不像推理阶段的四个高频问题训练跑完最激动人心的时刻也就是最容易破防的时刻。我第一次合成出来发音是清楚的但听着像隔着一层纸在说话而且是不是这三个字被念得怪腔怪调。下面这几类问题我几乎全遇到过。4.1 前端文本处理多音字、数字与英文混读合成质量差很多时候锅不在模型在文本前端。表现是整体音色没问题但某些字就是念错。排查顺序我固定为三步。第一步把这句话的拼音序列单独打印出来看确认有没有多音字转错。第二步看数字和符号有没有被归一化。第三步特别长的句子是不是被切得太碎或者太长。# 打印拼音序列人工核对 text 他行不行得看银行怎么说 phonemes text_to_phonemes(text) print(phonemes) # 期望类似ta1 xing2 bu4 xing2, dei3 kan4 yin2 hang2 zen3 me shuo1行这个字在这里出现两次读法不同如果你的词表没覆盖到模型就会随机选一个。这类问题的修复成本极低但排查成本很高——你得一句一句听。所以我的建议是在数据准备阶段就把词表做厚把你能想到的高频多音词全填进去后面能省下大量时间。另一个高频问题是标点符号的处理。句号、逗号、顿号对应的停顿时长是不一样的如果你的文本前端把标点全部丢弃模型就完全靠上下文猜停顿结果就是该停的地方不停、不该停的地方断气。我在前端里给不同标点映射了不同的停顿帧数效果改善非常明显。4.2 相似度与自然度的拉锯这两个指标经常打架。想让声音更像目标人有时候需要强化音色指纹在合成器里的注入权重但强化过头输出的语调会变得僵硬、字与字之间粘连反过来放松控制语调自然了音色又变得模糊听着像有点像但说不上哪里不对。我的处理办法是把它当成一个连续可调的旋钮而不是二选一。合成时先用默认权重跑一遍觉得不够像就往上调一点觉得语调开始僵就往下调一点来回两三次基本能找到一个平衡点。记录下这个数值之后就固定用。还有一个容易被忽略的变量是参考音频的选择。提取音色指纹时用的那段参考音频本身的语气会影响输出。用一段情绪平稳的陈述句做参考合成出来的整体语气也偏稳用一段语速很快的片段做参考输出会不自觉地变快。所以我专门准备了几段标准参考音频涵盖平稳、轻快、正式三种语气按合成内容去挑。4.3 异常音排查链路从现象倒推原因合成出怪音的时候最忌讳的就是瞎改参数。我总结了一套从现象倒推原因的路子按这个顺序查能省下不少试错时间。听到的现象大概率原因排查方向电流声、沙沙底噪声码器训练数据含噪检查声码器训练集的信噪比金属音、电子味频谱还原不足换更强的声码器或增加微调步数吞字、字被吃掉文本前端丢字或切分错打印拼音序列逐字核对拖长音、结尾拖尾训练过拟合增加数据多样性减少训练步数整句发闷、高频缺失采样率不匹配确认数据与模型采样率一致语气平、像念经韵律数据太单一补充不同句式与语速的素材这个表的用法是先锁定现象再按排查方向那一列动手一次只改一个变量。我见过太多人一次改五六个参数结果不知道是哪个起了作用下次再遇到同样问题还是不会。采样率不匹配那一行值得单独强调。我遇到过最离谱的一次音质问题折腾了一整晚最后发现是数据准备阶段有一部分音频重采样到了 22050另一部分还是 16000混在一起训练模型学出来的频谱图是错位的。全库采样率统一这一条没有例外。5. 让项目长期可用的工程习惯跑通一次不难难的是三个月后你想再训一个新音色时还能顺顺利利地跑起来。这部分属于没人教、但迟早要吃一次亏的内容。5.1 配置与模型的版本管理我的做法是每个音色一个独立目录里面固定四样东西原始音频、切分后的切片、文本标注文件、训练配置。配置里把采样率、批大小、学习率、步数全部写死不依赖任何默认值。这样即使项目代码更新了默认参数你的复现结果也不会飘。检查点不要只留最后一个。每隔五千步存一次命名里带上步数方便挑。训练结束后我会保留三个效果最好的那个、倒数第二个、以及最后一个剩下的删掉省空间。音频文件比模型文件大得多如果空间紧张切分后的中间产物确认没问题就可以压掉只留原始录音。5.2 增量训练的取舍有了一个训好的音色后来又想补充新材料怎么办两个选择从头训或者在现有检查点基础上继续训。从头训更稳但时间成本高。增量训练省时间风险是灾难性遗忘——模型被新数据带跑了原有的音色特征被覆盖。我的经验是新数据占比不要超过总量的三成学习率比初始训练调小一个量级步数控制在原来的一到两成。做完之后一定要拿旧测试句再合成一遍确认原来的音色没变味。还有个更轻量的做法如果不改音色只是想让模型多见见新句式可以在文本侧做文章扩充文本覆盖面音频那边保持不动。很多时候念得不对的问题根源在文本覆盖不在音色本身。5.3 批量合成与后处理单句合成跑通之后批量处理就是写好脚本的事。我的脚本逻辑是读一份文本清单逐行合成输出时用行号加文本前几个字命名方便对账。合成失败的行记录下来跑完统一重试不要让一条报错中断整个任务。results [] for i, line in enumerate(lines): try: wav synth(line, speaker_embedding) save(fout/{i:04d}.wav, wav) results.append((i, ok)) except Exception as e: results.append((i, ffail: {e}))后处理有几个小技巧值得一试。一是句尾留白统一把所有输出末尾的静音补到固定长度拼接成整段音频时不会出现忽长忽短的停顿。二是响度归一化把整批输出统一到同一个响度水平免得听众不停调音量。三是拼接处的交叉淡化如果要把多句拼成一段连贯叙述相邻两段的交界处做个几毫秒的淡入淡出能消除咔哒声。提示批量合成的输出最好随机抽检不要只听前几条。有些问题只在特定文本上触发比如含有数字或者英文的行抽检时要把这些行专门挑出来听。6. 声音使用的边界授权、场景与自我约束技术上的事说完了还有一件事必须摆在明面上讲。用别人的声音训练模型边界在哪里这件事没有模糊空间。只用自己本人的声音或者取得明确书面授权的声音。不要用公开视频里别人的声音做素材不要接受帮我克隆一下我朋友的声音这类请求也不要把训练好的模型分享给不确定用途的人。这不是技术限制是人和人之间的基本尊重。即便是用自己声音训练出来的模型使用场景也要有意识地区分。个人练习、课程配音、无障碍朗读这些场景很明确。凡是涉及以假乱真地代表某个人发声的场景都要格外谨慎因为语音本身承载着身份识别功能用错了地方被伤害的可能是别人对你本人的信任。另外一个实操层面的细节如果你要在公开内容里使用合成语音主动说明这是合成音。这既是对听众的尊重也能避免后续的麻烦。技术本身是中性的怎么用它是使用者的事。最后分享一个我自己的小习惯。每次训练完一个新音色我都会用两句固定的话做基准测试——一句是包含多音字的长句一句是带数字和英文的混合句。这两句合成出来自然了其他内容基本不会出大问题。这组基准句我留了快一年换了三四套配置都没动过它帮我在不同版本之间做对比时省了非常多时间。你也可以给自己定一组别嫌它土好用就行。
有人问我手里有几十段自己录的语音能不能让程序用我的声音念出新稿子这类需求这两年冒出来的频率明显变高——做自媒体的想批量出配音做课程的要给几十节课统一声线还有人单纯想给家里的老人留下一份能说话的语音档案。VoiceStudio 这类带图形界面的语音合成工作台就是奔着这件事去的它不是那种上传一段音频、等三分钟给你结果的黑盒在线服务而是一套可以在自己机器上跑起来、能拆开看、能反复训练的完整流水线。我前后折腾过几轮从最开始的跑通就行到后来被音质、断字、多音字轮番教育踩的坑足够写一篇东西了。下面这些内容按我自己的实操顺序来写包含环境怎么选、数据怎么洗、三段模型分别在学什么、合成出来不对味该怎么查以及哪些地方看起来能省事、实际上会让你重做一遍。适合已经跑过一次 Demo、但结果不太满意的人也适合还没开始、想先看看这条路有多长的朋友。1. VoiceStudio 真正解决的问题把声音变成可迭代的工程资产语音合成这个词听起来很学术落到实际使用上其实就一句话给定一段文字输出一段听起来像某个特定人念的音频。麻烦的地方在于它同时要满足两个互相拉扯的目标——像那个人以及像人说话。前者是音色问题后者是韵律问题。市面上大量一键变声方案只解决前者第二种交给运气。VoiceStudio 这套东西的价值在于它把这两个目标拆成了可以分别调、分别看、分别重训的模块。你合成结果不对能定位到是音色没学到、还是韵律崩了、还是最后一步波形还原糊了。这个可定位性是它跟在线服务最大的差别。1.1 三个模块各管一段编码器、合成器、声码器我把整条链路理解成一条流水线中间有两个关键中转站。第一个中转站是说话人特征向量业内一般叫 speaker embedding通俗说就是音色指纹——一串几百维的数字把这个人嗓音的底色压缩进去。第二个中转站是梅尔频谱图也就是把声音在时间轴上的频率分布画成一张图。编码器Encoder吃进去几秒钟的音频吐出来那串音色指纹。它学的是区分不同人不关心说了什么内容。合成器Synthesizer吃进去文本的拼音序列 音色指纹吐出来梅尔频谱图。它负责节奏、停顿、语调起伏是决定像不像人的主力。声码器Vocoder吃进去梅尔频谱图还原成可以直接播放的波形文件。它决定音质干净不干净有没有金属味、电流声。这三个模块可以独立训练、独立替换。举个我实际遇到的情况同一套编码器和合成器换一个训练得更充分的声码器输出的通透度肉眼可见地变好。如果你用的是一个封装到完全看不见内部的工具这种替换压根没法做。理解这三段分工之后很多玄学就变成了工程问题。比如合成结果听着闷、像隔了一层棉被大概率不是模型没学好而是声码器在还原高频细节时偷懒再比如语气平淡得像念经那是合成器训练不充分或者音色指纹塞进去的方式不对跟声码器一点关系都没有。1.2 它和一句话克隆的在线服务差在哪有人会问在线工具上传一段音频就能克隆为什么还要自己折腾我自己的体感是两点差异最要命。第一是可控性。在线服务的黑盒里文本前端怎么处理2024 年 3 月 5 日这类内容你完全不知道碰到专业术语、中英混排、生僻多音字它念错你只能重录一遍试试运气。本地这套东西文本怎么转拼音、数字怎么归一化、哪个字该读哪个音全是你自己定的规则改一行配置就生效。第二是数据主权与复用成本。在线服务按次计费你合成得越多越贵本地训练完成后批量跑一万句和跑一句的边际成本几乎一样只是电费。对于要做长内容的人来说这个差别会随着量级放大得非常快。当然代价也明确你得有一块还能用的显卡得花几个小时甚至一两天等训练跑完还得有耐心做数据清洗。这不是十分钟上手的工具更像是一个小项目。想清楚这一点后面的路会顺很多。2. 数据准备才是分水岭录音、切分与文本对齐的完整链路我现在的结论很简单粗暴最终音质的上限在你按下开始训练之前就已经定死了。模型再大、步数再多也救不回一段底噪明显的录音。这一节讲的是我踩过最多坑的地方。2.1 硬件与依赖的取舍先说硬件。真正吃资源的是合成器和声码器的训练编码器那部分相对轻量。显存 8GB 是能跑的底线但批大小只能压得很小训练时间会被拉长12GB 是个比较舒服的位置能用中等批大小跑起来再往上就是缩短等待时间对最终效果帮助有限。有一件事必须提醒不要盲目追求最新的框架版本。这类项目往往依赖一串特定版本的组件版本对不上报错信息能让你怀疑人生。我的习惯是给每个项目单独建一个虚拟环境把依赖版本写进文件里锁死跑通之后就不要动它。python -m venv venv_voicestudio source venv_voicestudio/bin/activate pip install -r requirements.txt如果条件允许先在一个小数据集上把整条链路跑通一遍确认环境没问题再去处理正式数据。我见过太多人一上来就把几个小时的数据丢进去跑到第三步报错前面几小时全白费。2.2 录音素材的采集标准录音素材的采集标准我用一张表来说明这些数字是我反复调整后稳定下来的区间维度建议值说明采样率22050 Hz 或 16000 Hz全库必须统一混用是灾难位深16 bit足够32 bit 收益不明显声道单声道立体声会被合并不如一开始就录单声道单条时长5 到 15 秒太短学不到韵律太长显存吃不消总时长合成器 30 分钟起理想 2 小时以上编码器 5 到 10 分钟即可信噪比尽量 30 dB 以上有持续底噪会污染音色指纹内容覆盖尽量多样陈述句、疑问句、不同语速都要有这里有个容易忽略的点录音内容要杂一点。很多人图省事照着一段文章从头念到尾结果全库都是同一个句式、同一个语调训练出来的模型只会那一种腔调你让它念疑问句它照样给你念成陈述句。我的做法是刻意混入短句、长句、带逗号的长停顿、数字、英文单词让模型见过足够多的韵律模式。环境噪音的处理也要说清楚。不是所有底噪都能靠后期降噪救回来尤其是那种嗡嗡的低频电流声降噪处理会连带削掉嗓音本身的低频厚度得不偿失。最优解永远是重录其次是换环境最后才考虑软件降噪而且降噪后的音频要单独试听确认没伤到人声。2.3 切分与清洗的实操脚本拿到原始录音之后一般是一整段几十分钟的长文件需要切成短句。切分逻辑很简单按静音段落切。我用的是基于能量阈值的切法先检测出静音区间再按阈值把这些区间切成段。import librosa import soundfile as sf def split_by_silence(path, out_dir, target_sr22050, min_len4.0, max_len15.0, top_db35): y, sr librosa.load(path, srtarget_sr, monoTrue) # 按静音位置切分top_db 越大切得越碎 intervals librosa.effects.split(y, top_dbtop_db) idx 0 for start, end in intervals: seg y[start:end] dur len(seg) / sr if dur min_len or dur max_len: continue sf.write(f{out_dir}/{idx:05d}.wav, seg, sr) idx 1 return idx这段代码我调过很多次几个参数的含义值得单独说top_db35静音判定门槛。数值调小切得保守句子会连在一起调大切得激进容易把一句话从中间断开。我一般从 35 开始试切二十条听一遍再定。min_len和max_len太短的片段会放大标注误差太长的片段在训练时容易触发显存溢出。这两条线卡住能过滤掉一大批脏数据。切完之后一定要随机抽十条试听。我遇到过切出来的片段开头还带着上一个字的尾音这种数据喂进去模型会以为那个尾音本来就在开头合成时莫名其妙多出杂音。除了静音切分还有两件事要做一是削去首尾的长静音前面留 50 到 100 毫秒的呼吸感就够了二是检查音量一致性如果录音时离麦克风忽远忽近得做一次响度归一化否则模型学到的音量是波动的。2.4 文本侧归一化比音频更容易翻车的地方音频处理完还要给每条切片配上对应的文本。这一步的坑比想象中多。中文合成一般走汉字转拼音的路线转的时候要带上声调因为声调直接决定语调轮廓。麻烦的是多音字同一个字在不同词里读法不同自动转换很容易出错。我的做法是维护一份自定义词表把专业词汇、人名、地名、易错多音词全部登记进去转换时优先查词表。# 自定义词表优先级高于自动转换 CUSTOM_LEXICON { 银行: [yin2, hang2], 行走: [xing2, zou3], 重庆: [chong2, qing4], }数字和符号的归一化同样不能省。2024 年要读成二零二四年还是两千零二十四年3.5是三点五还是三点五零这些都得在文本前端统一规则。我的原则是凡是能用规则覆盖的就不要留给模型去猜。模型猜错了你只能重训规则错了改一行就行。英文单词混排的处理也需要提前决定。常见做法有两种一是按字母逐字读二是整体按英文发音读。前者实现简单后者自然但要额外引入英文的音素映射。我的建议是如果素材里英文很少逐字读完全能接受如果英文占比高最好在数据准备阶段就单独处理别混在一起喂。3. 三段式训练链路拆解每一段模型到底在学什么数据准备完正式进入训练。这部分我不想写成命令清单更想说清楚每段训练在优化什么目标因为知道了目标你才能判断现在这个损失值是不是正常。3.1 编码器训练让模型记住你是谁编码器的任务被设计成一个判别游戏给它同一批说话人的多条音频让它学会把同一个人的音频在向量空间里拉近、不同人的推远。这个思路的好处是它不需要知道文本内容纯靠音色就能学。实际操作上这段训练是三段里最轻松的。几十条音频、单卡跑一两个小时就能得到一个可用的音色指纹。判断它学得好不好有个土办法拿同一个人的两条不同音频各提一次特征算两者的余弦相似度越接近 1 越好再拿另一个人的音频提一次相似度应该明显低下来。这里有个我踩过的坑值得分享音频时长并不是越长越好。编码器通常会把输入音频在时间维上做平均如果你给的片段长达二十秒里面掺杂了气息声、停顿、口水音平均下来音色指纹反而被稀释了。五到十秒、内容干净的片段提特征的效果往往更好。所以如果你手头只有长音频宁可多切几条短的也不要直接扔长的进去。3.2 合成器训练从拼音序列到梅尔频谱合成器是整条链路里最贵、最慢、也最决定像不像人的一环。它要做的事是读入一串拼音输出一张随时间变化的频谱图。这个过程要求模型学会字与字之间的过渡、词与词之间的停顿、整句话的语调弧线。训练时你会看到一个损失值往下降但损失下降不等于听感变好。这是我早期最大的认知误区。有几次我看到损失降到很低兴冲冲去合成结果出来的是含糊不清的咕噜声。后来才明白损失衡量的是频谱的数值差距而人对声音的感知是非线性的——某些高频细节的偏差在数值上很小听感上却很刺耳。所以我的判断标准改成了每训练若干个批次就合成同一句话听一遍不看数值看耳朵。具体做法是固定三条测试文本一条短句、一条带数字的长句、一条疑问句每次存模型时都跑一遍这三条横向对比。这样能很直观地看到哪一步开始变好、哪一步开始过拟合。过拟合的表现是训练集里的句子念得非常顺一换成训练集里没出现过的文本就开始吞字、拖长音、语调发飘。遇到这个情况我的处理顺序是——先看数据总量够不够再看文本覆盖是不是太单一最后才考虑调小学习率或者加正则。很多人的第一反应是调超参数实际上大部分过拟合的根子在数据太窄。3.3 声码器训练把频谱还原成波形声码器是决定音质的一环。它拿到梅尔频谱图要反推出原始的波形。这件事本身是个病态问题——从频谱反推波形理论上有多解声码器要做的是猜出最符合人耳习惯的那一个。声码器的训练对数据质量最敏感。我做过一次对比实验同一批数据只是把底噪较重的几条剔除掉声码器输出里的沙沙声明显减少。原因是它会把训练数据里的噪声也当成正常声音去学然后在合成时忠实地复制出来。如果你不想从零训练声码器用预训练权重做微调是性价比很高的选择。预训练模型已经在大量通用语音上学会了人声大概长什么样你只需要用自己那点数据把它拉到目标音色上。微调时学习率要调小步数也不用太多几万步量级通常就能收敛。学习率给大了会把预训练学到的通用知识冲掉输出反而变差。3.4 训练参数对照表下面这张表是我在不同数据量下的经验区间仅供起点参考实际还要看数据本身的难度模块批大小学习率大致步数单步耗时参考编码器321e-31 到 3 万很快十几毫秒合成器16 到 325e-4 逐步衰减5 到 20 万0.3 到 0.6 秒声码器微调161e-4 到 2e-43 到 8 万0.2 到 0.4 秒单步耗时那一列是消费级显卡上的实测感受仅供参考。真正要提醒的是别一次性把步数设成十万然后去睡觉。分段训练、分段听效果虽然麻烦但能让你在模型开始退化之前及时停下来。我通常每五千步存一次检查点存的时候顺手合成测试句第二天早上听一遍前十个检查点挑最好的那个。4. 合成出来的声音像又不像推理阶段的四个高频问题训练跑完最激动人心的时刻也就是最容易破防的时刻。我第一次合成出来发音是清楚的但听着像隔着一层纸在说话而且是不是这三个字被念得怪腔怪调。下面这几类问题我几乎全遇到过。4.1 前端文本处理多音字、数字与英文混读合成质量差很多时候锅不在模型在文本前端。表现是整体音色没问题但某些字就是念错。排查顺序我固定为三步。第一步把这句话的拼音序列单独打印出来看确认有没有多音字转错。第二步看数字和符号有没有被归一化。第三步特别长的句子是不是被切得太碎或者太长。# 打印拼音序列人工核对 text 他行不行得看银行怎么说 phonemes text_to_phonemes(text) print(phonemes) # 期望类似ta1 xing2 bu4 xing2, dei3 kan4 yin2 hang2 zen3 me shuo1行这个字在这里出现两次读法不同如果你的词表没覆盖到模型就会随机选一个。这类问题的修复成本极低但排查成本很高——你得一句一句听。所以我的建议是在数据准备阶段就把词表做厚把你能想到的高频多音词全填进去后面能省下大量时间。另一个高频问题是标点符号的处理。句号、逗号、顿号对应的停顿时长是不一样的如果你的文本前端把标点全部丢弃模型就完全靠上下文猜停顿结果就是该停的地方不停、不该停的地方断气。我在前端里给不同标点映射了不同的停顿帧数效果改善非常明显。4.2 相似度与自然度的拉锯这两个指标经常打架。想让声音更像目标人有时候需要强化音色指纹在合成器里的注入权重但强化过头输出的语调会变得僵硬、字与字之间粘连反过来放松控制语调自然了音色又变得模糊听着像有点像但说不上哪里不对。我的处理办法是把它当成一个连续可调的旋钮而不是二选一。合成时先用默认权重跑一遍觉得不够像就往上调一点觉得语调开始僵就往下调一点来回两三次基本能找到一个平衡点。记录下这个数值之后就固定用。还有一个容易被忽略的变量是参考音频的选择。提取音色指纹时用的那段参考音频本身的语气会影响输出。用一段情绪平稳的陈述句做参考合成出来的整体语气也偏稳用一段语速很快的片段做参考输出会不自觉地变快。所以我专门准备了几段标准参考音频涵盖平稳、轻快、正式三种语气按合成内容去挑。4.3 异常音排查链路从现象倒推原因合成出怪音的时候最忌讳的就是瞎改参数。我总结了一套从现象倒推原因的路子按这个顺序查能省下不少试错时间。听到的现象大概率原因排查方向电流声、沙沙底噪声码器训练数据含噪检查声码器训练集的信噪比金属音、电子味频谱还原不足换更强的声码器或增加微调步数吞字、字被吃掉文本前端丢字或切分错打印拼音序列逐字核对拖长音、结尾拖尾训练过拟合增加数据多样性减少训练步数整句发闷、高频缺失采样率不匹配确认数据与模型采样率一致语气平、像念经韵律数据太单一补充不同句式与语速的素材这个表的用法是先锁定现象再按排查方向那一列动手一次只改一个变量。我见过太多人一次改五六个参数结果不知道是哪个起了作用下次再遇到同样问题还是不会。采样率不匹配那一行值得单独强调。我遇到过最离谱的一次音质问题折腾了一整晚最后发现是数据准备阶段有一部分音频重采样到了 22050另一部分还是 16000混在一起训练模型学出来的频谱图是错位的。全库采样率统一这一条没有例外。5. 让项目长期可用的工程习惯跑通一次不难难的是三个月后你想再训一个新音色时还能顺顺利利地跑起来。这部分属于没人教、但迟早要吃一次亏的内容。5.1 配置与模型的版本管理我的做法是每个音色一个独立目录里面固定四样东西原始音频、切分后的切片、文本标注文件、训练配置。配置里把采样率、批大小、学习率、步数全部写死不依赖任何默认值。这样即使项目代码更新了默认参数你的复现结果也不会飘。检查点不要只留最后一个。每隔五千步存一次命名里带上步数方便挑。训练结束后我会保留三个效果最好的那个、倒数第二个、以及最后一个剩下的删掉省空间。音频文件比模型文件大得多如果空间紧张切分后的中间产物确认没问题就可以压掉只留原始录音。5.2 增量训练的取舍有了一个训好的音色后来又想补充新材料怎么办两个选择从头训或者在现有检查点基础上继续训。从头训更稳但时间成本高。增量训练省时间风险是灾难性遗忘——模型被新数据带跑了原有的音色特征被覆盖。我的经验是新数据占比不要超过总量的三成学习率比初始训练调小一个量级步数控制在原来的一到两成。做完之后一定要拿旧测试句再合成一遍确认原来的音色没变味。还有个更轻量的做法如果不改音色只是想让模型多见见新句式可以在文本侧做文章扩充文本覆盖面音频那边保持不动。很多时候念得不对的问题根源在文本覆盖不在音色本身。5.3 批量合成与后处理单句合成跑通之后批量处理就是写好脚本的事。我的脚本逻辑是读一份文本清单逐行合成输出时用行号加文本前几个字命名方便对账。合成失败的行记录下来跑完统一重试不要让一条报错中断整个任务。results [] for i, line in enumerate(lines): try: wav synth(line, speaker_embedding) save(fout/{i:04d}.wav, wav) results.append((i, ok)) except Exception as e: results.append((i, ffail: {e}))后处理有几个小技巧值得一试。一是句尾留白统一把所有输出末尾的静音补到固定长度拼接成整段音频时不会出现忽长忽短的停顿。二是响度归一化把整批输出统一到同一个响度水平免得听众不停调音量。三是拼接处的交叉淡化如果要把多句拼成一段连贯叙述相邻两段的交界处做个几毫秒的淡入淡出能消除咔哒声。提示批量合成的输出最好随机抽检不要只听前几条。有些问题只在特定文本上触发比如含有数字或者英文的行抽检时要把这些行专门挑出来听。6. 声音使用的边界授权、场景与自我约束技术上的事说完了还有一件事必须摆在明面上讲。用别人的声音训练模型边界在哪里这件事没有模糊空间。只用自己本人的声音或者取得明确书面授权的声音。不要用公开视频里别人的声音做素材不要接受帮我克隆一下我朋友的声音这类请求也不要把训练好的模型分享给不确定用途的人。这不是技术限制是人和人之间的基本尊重。即便是用自己声音训练出来的模型使用场景也要有意识地区分。个人练习、课程配音、无障碍朗读这些场景很明确。凡是涉及以假乱真地代表某个人发声的场景都要格外谨慎因为语音本身承载着身份识别功能用错了地方被伤害的可能是别人对你本人的信任。另外一个实操层面的细节如果你要在公开内容里使用合成语音主动说明这是合成音。这既是对听众的尊重也能避免后续的麻烦。技术本身是中性的怎么用它是使用者的事。最后分享一个我自己的小习惯。每次训练完一个新音色我都会用两句固定的话做基准测试——一句是包含多音字的长句一句是带数字和英文的混合句。这两句合成出来自然了其他内容基本不会出大问题。这组基准句我留了快一年换了三四套配置都没动过它帮我在不同版本之间做对比时省了非常多时间。你也可以给自己定一组别嫌它土好用就行。
