几小时音频调出专属音色VoiceStudio 微调 TTS 模型实操手册【免费下载链接】VoiceStudioVoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription audiobook creation in 646 languages.项目地址: https://gitcode.com/GitHub_Trending/om/VoiceStudioVoiceStudio 是一套完全跑在本地的开源语音合成平台内置语音克隆、视频配音、有声书制作等能力。本文覆盖 TTS 模型训练与音色微调的完整实操用几小时录音把 OmniVoice 调成专属音色从数据清单、音频分词到多卡微调、效果验收再到接入日常合成全程在本机闭环完成。 要不要训、怎么训目标路线与硬件门槛本节读完你会拿到一条与目标匹配的路线外加一份 GPU、数据、磁盘的准入清单算力不花在错的地方。零样本克隆虽能说话但有三处别扭每次合成都要把参考音频再喂一遍音色数据属于内部资产时尤其不便单靠一条参考音色容易飘、相似度难提升录音里的混响和杂音也会被模型学进参数。中任何一条训练就有必要——音色沉淀进参数后日常只需要提供文本。训练目标推荐路线卡数总步数峰值学习率个人专属音色基于预训练检查点微调250005e-5多语言 / 多风格大模型Emilia 大规模训练从零学起83000001e-4嘈杂参考下更鲁棒噪声增强管线叠在主路线上随主路线随主路线随主路线准入门槛对照GPU微调最少 2 张卡accelerate 会为每张卡拉起一个进程进程数必须等于卡数数据量准备几小时干净人声即可大规模训练是另一个量级格式wav、flac、mp3 都能进采样率在分词阶段统一处理到 24 kHz不需要自己转码磁盘tar 分片、检查点都写在本地目录提前留足空间门槛满足就可以动手。 跑通微调主流程清单、分词、多卡训练本节走完你拿到一个推理引擎可直接加载的 checkpoint 目录。数据清单怎么写清单用 JSONL 格式一行一条样本唯一 ID、音频绝对路径、转写文本语言代码可选。{id: s001, audio_path: /data/audio/s001.wav, text: 你好世界, language_id: zh}把数据拆成训练、开发两个 JSONL开发集仅用于评估不参与梯度更新。字段细节见 docs/data_preparation.md。音频分词怎么做分词是一次性预处理跑一遍即可。运行omnivoice.scripts.extract_audio_tokens模块需要三个输入数据清单、分片输出路径、音频分词器默认 higgs-audio-v2。每条音频会被编码为 8 层离散 token按 WebDataset 格式写成 tar 分片每个分片旁挂一份元数据 jsonl最后汇总出 data.lst 清单。示例脚本 examples/run_finetune.sh 内置了这一步改好清单路径与 GPU 编号即可执行。多卡微调怎么启动几小时的数据量这组参数够用总步数 5000峰值学习率 5e-5bf16 混合精度每卡每 batch 8192 token每 500 步保存一个检查点。训练不必从零学起把init_from_checkpoint指向 OmniVoice 预训练检查点基础能力直接继承网络只负责学你的音色。accelerate launch \ --gpu_ids 0,1 \ --num_processes 2 \ -m omnivoice.cli.train \ --train_config config/train_config_finetune.json \ --data_config config/data_config_finetune.json \ --output_dir exp/omnivoice_finetune若训练中途被打断将resume_from_checkpoint设为已有检查点路径再次启动即从断点继续。检查点出来了怎么验证 效果验收看 WER、SIM-o、UTMOS 三个指标本节做完你会拿到三个客观数字而不是听感判断。训练中的曲线看这里日志输出到输出目录的 tensorboard 子目录TensorBoard 以--logdir指向它损失与评估曲线随时刷新。损失持续下降只说明在收敛验收要等训练结束后核对三项WER字错率让 ASR 把合成音频转写成文字与原文比对越低代表发音越清楚SIM-o说话人嵌入相似度参考音频与合成音频各提一次声纹再比对越高代表越像本人UTMOS神经网络预测的 MOS 自然度分越高越接近真人听感评估不必手动拼装跑 examples/run_eval.sh 即可在 LibriSpeech-PC、Seed-TTS 等标准测试集上出分比凭耳朵判断更可靠。数字达标把它接进日常。 checkpoint 接入工作台Settings 里启用微调模型本节完成后你训练的声音能直接在工作台里出声。输出目录里的检查点例如checkpoint-5000本身就是一个可用的推理模型。加载方式上OmniVoice 引擎在进程内直接载入不用单独装任何东西。进入Settings → Engines将目录登记并启用克隆、配音、有声书等功能都会调用这张音色。回到工作台敲一句台词播放出来的就是刚训练好的声音。数据留在本机进阶选项看下节。➕ 可选进阶Emilia 大规模训练与噪声增强本节走完你多两条可叠加的进阶路线不需要可直接跳过。Emilia 大规模训练怎么跑可选配置是 8 卡、30 万步、学习率 1e-4、每卡每 batch 8192 token且不做预训练初始化模型从零学起。分三步Emilia 原始数据EN、ZH连同训练、开发两份 JSONL 清单统一放到data/emilia/manifests/下对 4 个数据分割各跑一遍分词再以 8 个进程启动训练。examples/run_emilia.sh 覆盖全程参数细节见 docs/training.md。噪声增强怎么加可选两个脚本思路相反denoise_audio.py调用 Sidon 语音增强模型先把原始音频里的背景噪声剥掉extract_audio_tokens_add_noise.py则在分词阶段故意混入环境噪声与房间混响推理时就算喂嘈杂参考模型表现也不受影响。两个脚本均非必需按需启用且能叠到微调或 Emilia 流程之上详见 docs/data_preparation_advanced.md。两条路线都能叠加进基础流程。【免费下载链接】VoiceStudioVoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription audiobook creation in 646 languages.项目地址: https://gitcode.com/GitHub_Trending/om/VoiceStudio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
几小时音频调出专属音色VoiceStudio 微调 TTS 模型实操手册【免费下载链接】VoiceStudioVoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription audiobook creation in 646 languages.项目地址: https://gitcode.com/GitHub_Trending/om/VoiceStudioVoiceStudio 是一套完全跑在本地的开源语音合成平台内置语音克隆、视频配音、有声书制作等能力。本文覆盖 TTS 模型训练与音色微调的完整实操用几小时录音把 OmniVoice 调成专属音色从数据清单、音频分词到多卡微调、效果验收再到接入日常合成全程在本机闭环完成。 要不要训、怎么训目标路线与硬件门槛本节读完你会拿到一条与目标匹配的路线外加一份 GPU、数据、磁盘的准入清单算力不花在错的地方。零样本克隆虽能说话但有三处别扭每次合成都要把参考音频再喂一遍音色数据属于内部资产时尤其不便单靠一条参考音色容易飘、相似度难提升录音里的混响和杂音也会被模型学进参数。中任何一条训练就有必要——音色沉淀进参数后日常只需要提供文本。训练目标推荐路线卡数总步数峰值学习率个人专属音色基于预训练检查点微调250005e-5多语言 / 多风格大模型Emilia 大规模训练从零学起83000001e-4嘈杂参考下更鲁棒噪声增强管线叠在主路线上随主路线随主路线随主路线准入门槛对照GPU微调最少 2 张卡accelerate 会为每张卡拉起一个进程进程数必须等于卡数数据量准备几小时干净人声即可大规模训练是另一个量级格式wav、flac、mp3 都能进采样率在分词阶段统一处理到 24 kHz不需要自己转码磁盘tar 分片、检查点都写在本地目录提前留足空间门槛满足就可以动手。 跑通微调主流程清单、分词、多卡训练本节走完你拿到一个推理引擎可直接加载的 checkpoint 目录。数据清单怎么写清单用 JSONL 格式一行一条样本唯一 ID、音频绝对路径、转写文本语言代码可选。{id: s001, audio_path: /data/audio/s001.wav, text: 你好世界, language_id: zh}把数据拆成训练、开发两个 JSONL开发集仅用于评估不参与梯度更新。字段细节见 docs/data_preparation.md。音频分词怎么做分词是一次性预处理跑一遍即可。运行omnivoice.scripts.extract_audio_tokens模块需要三个输入数据清单、分片输出路径、音频分词器默认 higgs-audio-v2。每条音频会被编码为 8 层离散 token按 WebDataset 格式写成 tar 分片每个分片旁挂一份元数据 jsonl最后汇总出 data.lst 清单。示例脚本 examples/run_finetune.sh 内置了这一步改好清单路径与 GPU 编号即可执行。多卡微调怎么启动几小时的数据量这组参数够用总步数 5000峰值学习率 5e-5bf16 混合精度每卡每 batch 8192 token每 500 步保存一个检查点。训练不必从零学起把init_from_checkpoint指向 OmniVoice 预训练检查点基础能力直接继承网络只负责学你的音色。accelerate launch \ --gpu_ids 0,1 \ --num_processes 2 \ -m omnivoice.cli.train \ --train_config config/train_config_finetune.json \ --data_config config/data_config_finetune.json \ --output_dir exp/omnivoice_finetune若训练中途被打断将resume_from_checkpoint设为已有检查点路径再次启动即从断点继续。检查点出来了怎么验证 效果验收看 WER、SIM-o、UTMOS 三个指标本节做完你会拿到三个客观数字而不是听感判断。训练中的曲线看这里日志输出到输出目录的 tensorboard 子目录TensorBoard 以--logdir指向它损失与评估曲线随时刷新。损失持续下降只说明在收敛验收要等训练结束后核对三项WER字错率让 ASR 把合成音频转写成文字与原文比对越低代表发音越清楚SIM-o说话人嵌入相似度参考音频与合成音频各提一次声纹再比对越高代表越像本人UTMOS神经网络预测的 MOS 自然度分越高越接近真人听感评估不必手动拼装跑 examples/run_eval.sh 即可在 LibriSpeech-PC、Seed-TTS 等标准测试集上出分比凭耳朵判断更可靠。数字达标把它接进日常。 checkpoint 接入工作台Settings 里启用微调模型本节完成后你训练的声音能直接在工作台里出声。输出目录里的检查点例如checkpoint-5000本身就是一个可用的推理模型。加载方式上OmniVoice 引擎在进程内直接载入不用单独装任何东西。进入Settings → Engines将目录登记并启用克隆、配音、有声书等功能都会调用这张音色。回到工作台敲一句台词播放出来的就是刚训练好的声音。数据留在本机进阶选项看下节。➕ 可选进阶Emilia 大规模训练与噪声增强本节走完你多两条可叠加的进阶路线不需要可直接跳过。Emilia 大规模训练怎么跑可选配置是 8 卡、30 万步、学习率 1e-4、每卡每 batch 8192 token且不做预训练初始化模型从零学起。分三步Emilia 原始数据EN、ZH连同训练、开发两份 JSONL 清单统一放到data/emilia/manifests/下对 4 个数据分割各跑一遍分词再以 8 个进程启动训练。examples/run_emilia.sh 覆盖全程参数细节见 docs/training.md。噪声增强怎么加可选两个脚本思路相反denoise_audio.py调用 Sidon 语音增强模型先把原始音频里的背景噪声剥掉extract_audio_tokens_add_noise.py则在分词阶段故意混入环境噪声与房间混响推理时就算喂嘈杂参考模型表现也不受影响。两个脚本均非必需按需启用且能叠到微调或 Emilia 流程之上详见 docs/data_preparation_advanced.md。两条路线都能叠加进基础流程。【免费下载链接】VoiceStudioVoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription audiobook creation in 646 languages.项目地址: https://gitcode.com/GitHub_Trending/om/VoiceStudio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
