MOSS-TTS 批量评测实战batch_eval_llama_cpp.py 完整用法指南【免费下载链接】MOSS-TTSAn open-source model family for long-form speech, dialogue synthesis, voice design, sound effects, and real-time streaming TTS项目地址: https://gitcode.com/GitHub_Trending/mo/MOSS-TTSMOSS-TTS 是由 MOSI.AI 与 OpenMOSS 团队开源的语音与音效生成模型家族覆盖长语音、多说话人对话、声音设计、环境音效与实时流式 TTS 等场景。今天要讲的是其中很实用的一块如何用 scripts/batch_eval_llama_cpp.py 这个批量评测脚本在 llama.cpp 后端上一次性跑完 Seed-TTS-eval / CV3-eval 等公开基准自动产出语音文件和成功率、RTF 统计报告。一、批量评测脚本能做什么对 TTS 模型做严肃评测通常需要准备大量测试用例 → 逐条合成 → 统计成功率与推理速度 → 再算 WER / SIM 等指标。手动循环跑不仅慢还容易断在中间。batch_eval_llama_cpp.py把前四步都自动化了自动发现用例扫描评测基准目录按任务 → 用例两级结构收集所有待合成项批量合成复用 moss_tts_delay/llama_cpp/ 中的LlamaCppPipelineGGUF 骨干 ONNX 音频编解码器逐条生成 24 kHz 语音⏭️断点续跑已存在结果的用例自动跳过中途失败或中断重跑即可从断点继续自动统计生成inference_summary.json成功率、每任务 RTF和run_meta.json本次运行全部参数方便横向对比不同配置。RTFReal-Time Factor 生成耗时 ÷ 音频时长小于 1 表示比实时还快是衡量 TTS 推理效率的核心指标。二、准备评测基准目录脚本默认指向团队内部的评测数据路径实际使用时必须用--benchmark-dir指定自己的基准目录。目录结构非常简单每个用例一个文件夹{benchmark_dir}/{task}/{case_id}/ ├── prompt.wav # 参考音频用于零样本音色克隆可缺省 └── label.txt # 要合成的文本必须存在例如seed-tts-zeroshot-zh任务下的001/用例合成结果会写到{result_dir}/seed-tts-zeroshot-zh/001/pred.wav一一对应方便后续计算 WER、说话人相似度等指标。三、13 种内置任务与评测套件脚本内置了 Seed-TTS-eval 风格与 CV3-eval 两大套件共 11 个任务外加 2 个 demo 任务可通过--suite一键选择或用--tasks精确指定套件任务说明seed-tts3 个seed-tts-zeroshot-zh / -en / -hard-zh零样本克隆中文 / 英文 / 高难中文cv38 个cv3-crosslingual-zh/en、cv3-zeroshot-zh/en 及各自 hard 变体跨语言与零样本克隆demodemo-zh / demo-en少量样例适合快速验证任务名与语言的对应关系由脚本内部自动处理无需额外配置。四、命令行参数全解参数必填说明--config✅管线 YAML 配置如 configs/llama_cpp/default.yaml--result-dir✅结果输出目录自动创建--benchmark-dir⬜评测基准根目录默认值为内部路径务必显式指定--suite⬜seed-tts/cv3/all选择整组任务--tasks⬜手动指定任务名列表优先级高于--suite--max-cases⬜限制总用例数适合先小规模试跑--no-skip⬜关闭跳过已有结果强制重新生成--text-temp/--audio-temp⬜覆盖文本 / 音频解码温度--audio-top-p/--audio-top-k⬜覆盖音频采样 top-p / top-k--audio-rep-penalty⬜覆盖音频重复惩罚--n-gpu-layers⬜GPU 卸载层数-1 全部上 GPU--max-tokens⬜最大生成长度--heads-backend⬜auto/numpy/torchLM head 计算后端命令行参数会覆盖 YAML 中的同名配置做消融实验时非常便利不用反复改配置文件。五、典型运行方式# 1️⃣ 快速验证只跑 10 个用例确认环境与权重都正常 python scripts/batch_eval_llama_cpp.py \ --config configs/llama_cpp/default.yaml \ --benchmark-dir /path/to/eval/tts \ --result-dir results/my_run \ --suite seed-tts --max-cases 10 # 2️⃣ 完整评测跑全部 13 个任务 python scripts/batch_eval_llama_cpp.py \ --config configs/llama_cpp/default.yaml \ --benchmark-dir /path/to/eval/tts \ --result-dir results/my_run \ --suite all # 3️⃣ CPU 机器换配置 强制 numpy 后端 python scripts/batch_eval_llama_cpp.py \ --config configs/llama_cpp/cpu-only.yaml \ --benchmark-dir /path/to/eval/tts \ --result-dir results/cpu_run \ --suite cv3 --heads-backend numpy # 4️⃣ 只补跑失败的高难任务 调采样参数 python scripts/batch_eval_llama_cpp.py \ --config configs/llama_cpp/default.yaml \ --benchmark-dir /path/to/eval/tts \ --result-dir results/my_run \ --tasks seed-tts-zeroshot-hard-zh \ --audio-temp 1.5 --audio-top-p 0.9⚠️ 如果用例已全部存在脚本只会逐条打印skipped (exists)想强制重算时加上--no-skip。六、结果目录与两份报告文件一次运行结束后输出目录长这样results/my_run/ ├── seed-tts-zeroshot-zh/001/pred.wav # 每个用例的生成语音 ├── ... ├── run_meta.json # 本次运行的配置快照 └── inference_summary.json # 统计报告inference_summary.json包含总用例数、成功 / 失败数、按任务分组的统计成功率 平均 RTF以及失败用例的错误详情run_meta.json则记录配置路径、任务列表、全部采样参数与权重路径——做实验对比时直接留档即可。同时终端会打印人类可读的汇总并逐条记录 RTFTotal: 1200 Succeeded: 1198 Failed: 2 seed-tts-zeroshot-zh: 400/400 RTF0.41 ...官方在 Seed-TTS-eval 零样本基准上还公布了不同 GGUF 量化级别的质量对比WER / SIM可作为评测时的参考基线量化英文 WER (%) ↓英文 SIM (%) ↑中文 CER (%) ↓中文 SIM (%) ↑原始 HuggingFace 基线1.7971.461.3277.05Q8_03.2168.611.5676.03Q6_K3.1168.771.4476.06Q5_K_M2.9568.551.5075.96Q4_K_M默认配置2.8368.151.5875.71下图展示了 MOSS-Audio-Tokenizer 在 SIM、STOI、PESQ 等指标上相对其他音频编解码器的评测曲线也是批量评测常用指标的出处七、常见问题排查提示Task directory not found—— 检查--benchmark-dir下是否存在对应任务子目录目录名必须与任务名完全一致区分大小写。提示Missing label.txt—— 该用例会被告警跳过确认每个用例目录下都有label.txt。内存不足 / 8GB 显卡—— 改用 configs/llama_cpp/trt-8gb.yaml 的分阶段低显存模式或在配置中启用kv_cache_type_*量化 KV 缓存。速度偏慢—— 优先确认n_gpu_layers: -1生效heads_backend设为torch可让 LM head 走 GPU 加速官方实测约 30 倍提速详见 moss_tts_delay/llama_cpp/README.md。八、小结用一句话概括batch_eval_llama_cpp.py的精髓给对目录自动发现断点续跑报告自出。上手三步走——把基准数据整理成{task}/{case_id}/{prompt.wav, label.txt}结构用--suite--max-cases先小规模验证环境正式跑完后读取inference_summary.json中的成功率与 RTF再进入 WER / SIM 指标计算环节。掌握这套流程后无论是验证 GGUF 量化方案、调采样参数还是对比不同音频后端你都能在一条命令内完成 MOSS-TTS 的系统性批量评测。更多后端细节权重转换、TensorRT 加速等可查阅 moss_tts_delay/llama_cpp/ 与 README.md 中的 llama.cpp Backend 章节。【免费下载链接】MOSS-TTSAn open-source model family for long-form speech, dialogue synthesis, voice design, sound effects, and real-time streaming TTS项目地址: https://gitcode.com/GitHub_Trending/mo/MOSS-TTS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
MOSS-TTS 批量评测实战batch_eval_llama_cpp.py 完整用法指南【免费下载链接】MOSS-TTSAn open-source model family for long-form speech, dialogue synthesis, voice design, sound effects, and real-time streaming TTS项目地址: https://gitcode.com/GitHub_Trending/mo/MOSS-TTSMOSS-TTS 是由 MOSI.AI 与 OpenMOSS 团队开源的语音与音效生成模型家族覆盖长语音、多说话人对话、声音设计、环境音效与实时流式 TTS 等场景。今天要讲的是其中很实用的一块如何用 scripts/batch_eval_llama_cpp.py 这个批量评测脚本在 llama.cpp 后端上一次性跑完 Seed-TTS-eval / CV3-eval 等公开基准自动产出语音文件和成功率、RTF 统计报告。一、批量评测脚本能做什么对 TTS 模型做严肃评测通常需要准备大量测试用例 → 逐条合成 → 统计成功率与推理速度 → 再算 WER / SIM 等指标。手动循环跑不仅慢还容易断在中间。batch_eval_llama_cpp.py把前四步都自动化了自动发现用例扫描评测基准目录按任务 → 用例两级结构收集所有待合成项批量合成复用 moss_tts_delay/llama_cpp/ 中的LlamaCppPipelineGGUF 骨干 ONNX 音频编解码器逐条生成 24 kHz 语音⏭️断点续跑已存在结果的用例自动跳过中途失败或中断重跑即可从断点继续自动统计生成inference_summary.json成功率、每任务 RTF和run_meta.json本次运行全部参数方便横向对比不同配置。RTFReal-Time Factor 生成耗时 ÷ 音频时长小于 1 表示比实时还快是衡量 TTS 推理效率的核心指标。二、准备评测基准目录脚本默认指向团队内部的评测数据路径实际使用时必须用--benchmark-dir指定自己的基准目录。目录结构非常简单每个用例一个文件夹{benchmark_dir}/{task}/{case_id}/ ├── prompt.wav # 参考音频用于零样本音色克隆可缺省 └── label.txt # 要合成的文本必须存在例如seed-tts-zeroshot-zh任务下的001/用例合成结果会写到{result_dir}/seed-tts-zeroshot-zh/001/pred.wav一一对应方便后续计算 WER、说话人相似度等指标。三、13 种内置任务与评测套件脚本内置了 Seed-TTS-eval 风格与 CV3-eval 两大套件共 11 个任务外加 2 个 demo 任务可通过--suite一键选择或用--tasks精确指定套件任务说明seed-tts3 个seed-tts-zeroshot-zh / -en / -hard-zh零样本克隆中文 / 英文 / 高难中文cv38 个cv3-crosslingual-zh/en、cv3-zeroshot-zh/en 及各自 hard 变体跨语言与零样本克隆demodemo-zh / demo-en少量样例适合快速验证任务名与语言的对应关系由脚本内部自动处理无需额外配置。四、命令行参数全解参数必填说明--config✅管线 YAML 配置如 configs/llama_cpp/default.yaml--result-dir✅结果输出目录自动创建--benchmark-dir⬜评测基准根目录默认值为内部路径务必显式指定--suite⬜seed-tts/cv3/all选择整组任务--tasks⬜手动指定任务名列表优先级高于--suite--max-cases⬜限制总用例数适合先小规模试跑--no-skip⬜关闭跳过已有结果强制重新生成--text-temp/--audio-temp⬜覆盖文本 / 音频解码温度--audio-top-p/--audio-top-k⬜覆盖音频采样 top-p / top-k--audio-rep-penalty⬜覆盖音频重复惩罚--n-gpu-layers⬜GPU 卸载层数-1 全部上 GPU--max-tokens⬜最大生成长度--heads-backend⬜auto/numpy/torchLM head 计算后端命令行参数会覆盖 YAML 中的同名配置做消融实验时非常便利不用反复改配置文件。五、典型运行方式# 1️⃣ 快速验证只跑 10 个用例确认环境与权重都正常 python scripts/batch_eval_llama_cpp.py \ --config configs/llama_cpp/default.yaml \ --benchmark-dir /path/to/eval/tts \ --result-dir results/my_run \ --suite seed-tts --max-cases 10 # 2️⃣ 完整评测跑全部 13 个任务 python scripts/batch_eval_llama_cpp.py \ --config configs/llama_cpp/default.yaml \ --benchmark-dir /path/to/eval/tts \ --result-dir results/my_run \ --suite all # 3️⃣ CPU 机器换配置 强制 numpy 后端 python scripts/batch_eval_llama_cpp.py \ --config configs/llama_cpp/cpu-only.yaml \ --benchmark-dir /path/to/eval/tts \ --result-dir results/cpu_run \ --suite cv3 --heads-backend numpy # 4️⃣ 只补跑失败的高难任务 调采样参数 python scripts/batch_eval_llama_cpp.py \ --config configs/llama_cpp/default.yaml \ --benchmark-dir /path/to/eval/tts \ --result-dir results/my_run \ --tasks seed-tts-zeroshot-hard-zh \ --audio-temp 1.5 --audio-top-p 0.9⚠️ 如果用例已全部存在脚本只会逐条打印skipped (exists)想强制重算时加上--no-skip。六、结果目录与两份报告文件一次运行结束后输出目录长这样results/my_run/ ├── seed-tts-zeroshot-zh/001/pred.wav # 每个用例的生成语音 ├── ... ├── run_meta.json # 本次运行的配置快照 └── inference_summary.json # 统计报告inference_summary.json包含总用例数、成功 / 失败数、按任务分组的统计成功率 平均 RTF以及失败用例的错误详情run_meta.json则记录配置路径、任务列表、全部采样参数与权重路径——做实验对比时直接留档即可。同时终端会打印人类可读的汇总并逐条记录 RTFTotal: 1200 Succeeded: 1198 Failed: 2 seed-tts-zeroshot-zh: 400/400 RTF0.41 ...官方在 Seed-TTS-eval 零样本基准上还公布了不同 GGUF 量化级别的质量对比WER / SIM可作为评测时的参考基线量化英文 WER (%) ↓英文 SIM (%) ↑中文 CER (%) ↓中文 SIM (%) ↑原始 HuggingFace 基线1.7971.461.3277.05Q8_03.2168.611.5676.03Q6_K3.1168.771.4476.06Q5_K_M2.9568.551.5075.96Q4_K_M默认配置2.8368.151.5875.71下图展示了 MOSS-Audio-Tokenizer 在 SIM、STOI、PESQ 等指标上相对其他音频编解码器的评测曲线也是批量评测常用指标的出处七、常见问题排查提示Task directory not found—— 检查--benchmark-dir下是否存在对应任务子目录目录名必须与任务名完全一致区分大小写。提示Missing label.txt—— 该用例会被告警跳过确认每个用例目录下都有label.txt。内存不足 / 8GB 显卡—— 改用 configs/llama_cpp/trt-8gb.yaml 的分阶段低显存模式或在配置中启用kv_cache_type_*量化 KV 缓存。速度偏慢—— 优先确认n_gpu_layers: -1生效heads_backend设为torch可让 LM head 走 GPU 加速官方实测约 30 倍提速详见 moss_tts_delay/llama_cpp/README.md。八、小结用一句话概括batch_eval_llama_cpp.py的精髓给对目录自动发现断点续跑报告自出。上手三步走——把基准数据整理成{task}/{case_id}/{prompt.wav, label.txt}结构用--suite--max-cases先小规模验证环境正式跑完后读取inference_summary.json中的成功率与 RTF再进入 WER / SIM 指标计算环节。掌握这套流程后无论是验证 GGUF 量化方案、调采样参数还是对比不同音频后端你都能在一条命令内完成 MOSS-TTS 的系统性批量评测。更多后端细节权重转换、TensorRT 加速等可查阅 moss_tts_delay/llama_cpp/ 与 README.md 中的 llama.cpp Backend 章节。【免费下载链接】MOSS-TTSAn open-source model family for long-form speech, dialogue synthesis, voice design, sound effects, and real-time streaming TTS项目地址: https://gitcode.com/GitHub_Trending/mo/MOSS-TTS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
