VAD、说话人分离与强制对齐audio.cpp本地音频分析任务的完整方案【免费下载链接】audio.cppAn all-in-one, pure C inference engine for audio models, powered by ggml. Supports TTS, STT, VAD, voice conversion, music generation, and more, with highly optimized performance. No Python dependency.项目地址: https://gitcode.com/gh_mirrors/au/audio.cpp处理会议录音、直播回放或播客音频时通常会遇到三个基础需求VAD语音活动检测找出哪里有人说话、说话人分离Diarization标记谁在说、强制对齐Forced Alignment定位每个词何时说。本文介绍如何用纯 C 的本地音频推理框架audio.cpp用一套命令行工具完成这些本地音频分析任务——无需 Python 环境开箱即跑在 Windows、Linux 和 macOS 上。一、为什么本地音频分析值得用 audio.cpp传统做法是为每个模型装一个 Conda 环境结果就是依赖冲突、环境爆炸。audio.cpp 的做法不同纯 C ggml 运行时VAD、说话人分离、强制对齐与 80 模型家族共享同一套原生运行时零 Python 依赖⚡性能导向支持 CUDA、Metal、Vulkan、HIP 和纯 CPU 后端官方基准中多个分析类任务比 Python 参考实现快数倍甚至数十倍统一 CLI 与流水线同一套audiocpp_cli命令形状覆盖所有任务还能用 JSON 流水线pipeline把多个步骤串起来。所有分析类模型的完整清单和快速上手见官方文档 docs/speech_analysis.md。二、一键运行本地音频分析的通用命令形状三类任务共享同一个命令行模板只需替换任务名--task和模型家族--familyaudiocpp_cli --task vad|diar|align --family family --model 模型路径 \ --backend cuda --audio 输入.wav ...输入要求简单统一绝大多数分析模型消费16 kHz 单声道 WAV文件。模型权重通过官方 GGUF 包或本地转换获得模型清单与参数说明可在 model_specs/ 目录按家族查阅如 pulsevad.json、sortformer_diar.json。三、VAD 语音活动检测先精确切出谁在说话的片段VAD 回答第一个问题音频的哪些时间段存在人声它是后续转写、分离任务的天然前置步骤——先切掉静音段能大幅节省推理时间。audio.cpp 内置三个 VAD 家族实现代码分别在 src/models/silero_vad/、src/models/marblenet_vad/ 和 src/models/pulsevad/模型家族特点Silero VADsilero_vad随框架内置的轻量资产免下载支持离线 流式MarbleNet VADmarblenet_vad离线检测器同样为内置资产PulseVADpulsevad提供 2.1K 学生版 / 81K 教师版两档精度以最常用的 Silero VAD 为例audiocpp_cli --task vad --family silero_vad \ --model assets/framework/models/silero_vad --backend cuda \ --audio meeting_16k.wav --segments-out segments.json输出是一份 JSON记录每段语音的起止时间。几个实用旋钮--request-option threshold0.5语音概率阈值环境嘈杂时可调高--request-option min_speech_duration_ms250过滤过短的误检--mode streaming切换到流式模式适合实时麦克风场景--vad-chunks-out chunks.json额外输出分块窗口规划方便把长音频切成 ASR 可消化的片段。PulseVAD 的完整选项窗口步长、最短语音时长等见 docs/models/pulsevad.md。四、说话人分离自动标注会议里的谁说了什么多人录音最难处理的是说话人归属。说话人分离diarization输出的不是文字而是一张发言时间轴SPEAKER_00在 00:12–00:35 发言、SPEAKER_01在 00:36–01:02 发言……audio.cpp 提供了两个分离家族模型家族说话人数模式Sortformer Diarsortformer_diar最多 4 人离线Sortformer Diar v2.1sortformer_diar_v24 人离线 流式Nemotron 3 Diarnemotron_3_diar最多 8 人按到达顺序离线 批量 流式典型用法Sortformer 4 人版audiocpp_cli --task diar --family sortformer_diar \ --model models/Sortformer-Diar-4spk-v1-GGUF/sortformer-diar-4spk-v1-q8_0.gguf \ --backend cuda --audio meeting_16k.wav --turns-out turns.json长录音场景推荐 v2.1 的流式模式它通过连续前端和 AOSC 说话人缓存状态跨音频分片保持说话人身份一致避免了离线 F32 路径对显存的高要求。该模型的本地转换、验证数据900 秒真实录音、289 倍实时速度都记录在 docs/community_models/sortformer_diar_v2.md。实现代码位于 src/models/sortformer_diar/。 提示分离结果turns.json与 VAD 输出segments.json都是标准 JSON可直接被下游程序消费用于生成带说话人标签的字幕或按人切分音频。五、强制对齐让转写稿的每个词精确到毫秒如果你已有转写文本人工校对稿、歌词、剧本但需要每个词的时间戳就用强制对齐——它把精确文本钉到音频波形上返回逐词起止时间。audio.cpp 提供两个对齐家族模型家族覆盖语言说明MMS Forced Alignermms_forced_aligner1130 种语言需罗马化文本Meta 315M CTC 模型内置荷兰语/英语原生归一化Qwen3 Forced Alignerqwen3_forced_aligner中、粤、英、法、德、西等 11 种与 Qwen3 ASR 深度集成可产出字级时间戳MMS 对齐器的命令audiocpp_cli --task align --family mms_forced_aligner \ --model models/mms-300m-1130-forced-aligner --backend cpu \ --audio speech.wav --text The quick brown fox. --language eng \ --words-out words.json输出words.json中每个词都带起止时间。两个实用细节长音频分窗超过一个发射窗口的音频会自动按 30 秒中心窗 2 秒上下文滑动处理无需手工切片文本归一化模式非拉丁语言可传--request-option text_normalizationpre_romanized由你提供罗马化文本。更多细节见 docs/community_models/mms_forced_aligner.md。Qwen3 路线则更适合转写 对齐一步到位Qwen3 ASR 识别出的文本会自动送进 Qwen3 Forced Aligner 产出词级时间戳长音频的时间戳还会自动映射回原始时间轴。详见 docs/models/qwen3.md。六、组合成流水线一条 JSON 搞定音频 → 字幕单独跑三个任务没问题但真正的生产场景需要组合。audio.cpp 的实验性 JSON 流水线支持把多个步骤声明式地串起来——仓库里就带了一个完整的音频分析范例assets/pipeline/qwen3_asr_subtitles.json。它的流程是convert_audio把源音频转成 16 kHz 单声道modelqwen3_asr转写文本同时通过内置对齐器输出词级时间戳format_subtitles把词时间戳格式化为标准SRT 字幕文件。三步声明在同一个 JSON 里完成从一段原始音频到可播放的字幕文件中间不需要任何脚本胶水代码。这个VAD 切段 → ASR 转写 → 对齐出时间戳 → 字幕格式化的组合正是本地音频分析最典型的工作流形态。七、性能与质量实测加速与一致性验证音频分析结果对时间戳精度敏感快和对缺一不可。性能方面官方对多个家族做了 audio.cpp 相对 Python 参考实现的实测对比下面是单次进程One-shot模式下的倍率柱状图可以看到 VAD、说话人分离、对齐器普遍大幅领先例如 sortformer_diar 在 One-shot 模式下比 Python 官方实现快约 8.7 倍silero_vad 约 3.9 倍在长会话Long-lived session模式下这些分析模型同样稳定领先适合反复调用的服务化部署。质量方面项目采用一套严格的一致性测试流程Parity Test Flow先建立 CPU Python 参考基线再在 GPU/优化后端上生成输出通过字节级一致、余弦相似度、log-mel 相似度三道门槛对比。只有深度性能优化才被允许受控地重置基线保证每次优化都不悄悄改变分析结果八、快速参考模型与文档索引任务家族任务名文档VADsilero_vad/marblenet_vadvaddocs/speech_analysis.mdVADpulsevadvaddocs/models/pulsevad.md说话人分离sortformer_diardiardocs/speech_analysis.md说话人分离sortformer_diar_v2diardocs/community_models/sortformer_diar_v2.md说话人分离nemotron_3_diardiardocs/models/nemotron_3_diar.md强制对齐mms_forced_aligneraligndocs/community_models/mms_forced_aligner.md强制对齐qwen3_forced_aligneraligndocs/models/qwen3.md音频工具总览builtin_audio_utils等多任务docs/audio_tools.md上手建议新手从内置的silero_vad开始零下载成本再按需下载分离与对齐模型长录音优先选流式模式需要字幕生产时用 JSON 流水线把整条链路声明化。一套工具、一个 CLI就能把本地音频分析的三个核心环节全部跑通。【免费下载链接】audio.cppAn all-in-one, pure C inference engine for audio models, powered by ggml. Supports TTS, STT, VAD, voice conversion, music generation, and more, with highly optimized performance. No Python dependency.项目地址: https://gitcode.com/gh_mirrors/au/audio.cpp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
VAD、说话人分离与强制对齐audio.cpp本地音频分析任务的完整方案【免费下载链接】audio.cppAn all-in-one, pure C inference engine for audio models, powered by ggml. Supports TTS, STT, VAD, voice conversion, music generation, and more, with highly optimized performance. No Python dependency.项目地址: https://gitcode.com/gh_mirrors/au/audio.cpp处理会议录音、直播回放或播客音频时通常会遇到三个基础需求VAD语音活动检测找出哪里有人说话、说话人分离Diarization标记谁在说、强制对齐Forced Alignment定位每个词何时说。本文介绍如何用纯 C 的本地音频推理框架audio.cpp用一套命令行工具完成这些本地音频分析任务——无需 Python 环境开箱即跑在 Windows、Linux 和 macOS 上。一、为什么本地音频分析值得用 audio.cpp传统做法是为每个模型装一个 Conda 环境结果就是依赖冲突、环境爆炸。audio.cpp 的做法不同纯 C ggml 运行时VAD、说话人分离、强制对齐与 80 模型家族共享同一套原生运行时零 Python 依赖⚡性能导向支持 CUDA、Metal、Vulkan、HIP 和纯 CPU 后端官方基准中多个分析类任务比 Python 参考实现快数倍甚至数十倍统一 CLI 与流水线同一套audiocpp_cli命令形状覆盖所有任务还能用 JSON 流水线pipeline把多个步骤串起来。所有分析类模型的完整清单和快速上手见官方文档 docs/speech_analysis.md。二、一键运行本地音频分析的通用命令形状三类任务共享同一个命令行模板只需替换任务名--task和模型家族--familyaudiocpp_cli --task vad|diar|align --family family --model 模型路径 \ --backend cuda --audio 输入.wav ...输入要求简单统一绝大多数分析模型消费16 kHz 单声道 WAV文件。模型权重通过官方 GGUF 包或本地转换获得模型清单与参数说明可在 model_specs/ 目录按家族查阅如 pulsevad.json、sortformer_diar.json。三、VAD 语音活动检测先精确切出谁在说话的片段VAD 回答第一个问题音频的哪些时间段存在人声它是后续转写、分离任务的天然前置步骤——先切掉静音段能大幅节省推理时间。audio.cpp 内置三个 VAD 家族实现代码分别在 src/models/silero_vad/、src/models/marblenet_vad/ 和 src/models/pulsevad/模型家族特点Silero VADsilero_vad随框架内置的轻量资产免下载支持离线 流式MarbleNet VADmarblenet_vad离线检测器同样为内置资产PulseVADpulsevad提供 2.1K 学生版 / 81K 教师版两档精度以最常用的 Silero VAD 为例audiocpp_cli --task vad --family silero_vad \ --model assets/framework/models/silero_vad --backend cuda \ --audio meeting_16k.wav --segments-out segments.json输出是一份 JSON记录每段语音的起止时间。几个实用旋钮--request-option threshold0.5语音概率阈值环境嘈杂时可调高--request-option min_speech_duration_ms250过滤过短的误检--mode streaming切换到流式模式适合实时麦克风场景--vad-chunks-out chunks.json额外输出分块窗口规划方便把长音频切成 ASR 可消化的片段。PulseVAD 的完整选项窗口步长、最短语音时长等见 docs/models/pulsevad.md。四、说话人分离自动标注会议里的谁说了什么多人录音最难处理的是说话人归属。说话人分离diarization输出的不是文字而是一张发言时间轴SPEAKER_00在 00:12–00:35 发言、SPEAKER_01在 00:36–01:02 发言……audio.cpp 提供了两个分离家族模型家族说话人数模式Sortformer Diarsortformer_diar最多 4 人离线Sortformer Diar v2.1sortformer_diar_v24 人离线 流式Nemotron 3 Diarnemotron_3_diar最多 8 人按到达顺序离线 批量 流式典型用法Sortformer 4 人版audiocpp_cli --task diar --family sortformer_diar \ --model models/Sortformer-Diar-4spk-v1-GGUF/sortformer-diar-4spk-v1-q8_0.gguf \ --backend cuda --audio meeting_16k.wav --turns-out turns.json长录音场景推荐 v2.1 的流式模式它通过连续前端和 AOSC 说话人缓存状态跨音频分片保持说话人身份一致避免了离线 F32 路径对显存的高要求。该模型的本地转换、验证数据900 秒真实录音、289 倍实时速度都记录在 docs/community_models/sortformer_diar_v2.md。实现代码位于 src/models/sortformer_diar/。 提示分离结果turns.json与 VAD 输出segments.json都是标准 JSON可直接被下游程序消费用于生成带说话人标签的字幕或按人切分音频。五、强制对齐让转写稿的每个词精确到毫秒如果你已有转写文本人工校对稿、歌词、剧本但需要每个词的时间戳就用强制对齐——它把精确文本钉到音频波形上返回逐词起止时间。audio.cpp 提供两个对齐家族模型家族覆盖语言说明MMS Forced Alignermms_forced_aligner1130 种语言需罗马化文本Meta 315M CTC 模型内置荷兰语/英语原生归一化Qwen3 Forced Alignerqwen3_forced_aligner中、粤、英、法、德、西等 11 种与 Qwen3 ASR 深度集成可产出字级时间戳MMS 对齐器的命令audiocpp_cli --task align --family mms_forced_aligner \ --model models/mms-300m-1130-forced-aligner --backend cpu \ --audio speech.wav --text The quick brown fox. --language eng \ --words-out words.json输出words.json中每个词都带起止时间。两个实用细节长音频分窗超过一个发射窗口的音频会自动按 30 秒中心窗 2 秒上下文滑动处理无需手工切片文本归一化模式非拉丁语言可传--request-option text_normalizationpre_romanized由你提供罗马化文本。更多细节见 docs/community_models/mms_forced_aligner.md。Qwen3 路线则更适合转写 对齐一步到位Qwen3 ASR 识别出的文本会自动送进 Qwen3 Forced Aligner 产出词级时间戳长音频的时间戳还会自动映射回原始时间轴。详见 docs/models/qwen3.md。六、组合成流水线一条 JSON 搞定音频 → 字幕单独跑三个任务没问题但真正的生产场景需要组合。audio.cpp 的实验性 JSON 流水线支持把多个步骤声明式地串起来——仓库里就带了一个完整的音频分析范例assets/pipeline/qwen3_asr_subtitles.json。它的流程是convert_audio把源音频转成 16 kHz 单声道modelqwen3_asr转写文本同时通过内置对齐器输出词级时间戳format_subtitles把词时间戳格式化为标准SRT 字幕文件。三步声明在同一个 JSON 里完成从一段原始音频到可播放的字幕文件中间不需要任何脚本胶水代码。这个VAD 切段 → ASR 转写 → 对齐出时间戳 → 字幕格式化的组合正是本地音频分析最典型的工作流形态。七、性能与质量实测加速与一致性验证音频分析结果对时间戳精度敏感快和对缺一不可。性能方面官方对多个家族做了 audio.cpp 相对 Python 参考实现的实测对比下面是单次进程One-shot模式下的倍率柱状图可以看到 VAD、说话人分离、对齐器普遍大幅领先例如 sortformer_diar 在 One-shot 模式下比 Python 官方实现快约 8.7 倍silero_vad 约 3.9 倍在长会话Long-lived session模式下这些分析模型同样稳定领先适合反复调用的服务化部署。质量方面项目采用一套严格的一致性测试流程Parity Test Flow先建立 CPU Python 参考基线再在 GPU/优化后端上生成输出通过字节级一致、余弦相似度、log-mel 相似度三道门槛对比。只有深度性能优化才被允许受控地重置基线保证每次优化都不悄悄改变分析结果八、快速参考模型与文档索引任务家族任务名文档VADsilero_vad/marblenet_vadvaddocs/speech_analysis.mdVADpulsevadvaddocs/models/pulsevad.md说话人分离sortformer_diardiardocs/speech_analysis.md说话人分离sortformer_diar_v2diardocs/community_models/sortformer_diar_v2.md说话人分离nemotron_3_diardiardocs/models/nemotron_3_diar.md强制对齐mms_forced_aligneraligndocs/community_models/mms_forced_aligner.md强制对齐qwen3_forced_aligneraligndocs/models/qwen3.md音频工具总览builtin_audio_utils等多任务docs/audio_tools.md上手建议新手从内置的silero_vad开始零下载成本再按需下载分离与对齐模型长录音优先选流式模式需要字幕生产时用 JSON 流水线把整条链路声明化。一套工具、一个 CLI就能把本地音频分析的三个核心环节全部跑通。【免费下载链接】audio.cppAn all-in-one, pure C inference engine for audio models, powered by ggml. Supports TTS, STT, VAD, voice conversion, music generation, and more, with highly optimized performance. No Python dependency.项目地址: https://gitcode.com/gh_mirrors/au/audio.cpp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
