人工智能语音音频基础模型本地部署【免费下载链接】tyger项目地址https://ai.gitcode.com/hf_mirrors/nineninesix/tyger点击查看免费下载TYGER是 NineNineSix 开源的全双工语音决策模型open-weight专为实时语音对话设计它一边通过内置的 NVIDIA Nemotron 流式语音识别听你说什么一边实时判断何时该回复、何时继续听、何时被打断、何时该嗯嗯附和。对于想构建自然语音助手的开发者这是一个开箱即用的耳朵 对话节奏控制器。为什么语音助手需要全双工大多数语音助手还是对讲机模式半双工你说完 → 等它想 → 它说完 → 你再开口。对话双方轮流占线体验生硬。而真正自然的对话像打电话一样——全双工双方可以几乎同时说话。这要求系统实时回答三个难题话轮结束检测Endpoint用户真的说完了吗该我接话了。✋打断识别Barge-in用户在助手说话时插话要立刻停下让位。附和Backchannel用户还在长句中间助手适时mm-hm一下表示在听。TYGER 就是为这三个决策而生的模型。它同时接收两路对齐的 16 kHz 单声道音频用户麦克风 助手的播放声逐帧输出四种话轮状态LISTEN / HOLD / SPEAK / BACKCHANNEL和 endpoint、barge-in、backchannel 分数。 仓库本身只包含权重与配置不含推理代码配套的开源语音助手项目 tyger-s2s 用它作为耳朵浏览器里即可对话详见下文上手路径。架构拆解Nemotron ASR 一个 14M 参数的小 GRUTYGER 的巧妙之处在于大模型听声小模型做决策组件说明语音识别NVIDIA Nemotron 3.5 ASR Streaming 0.6B约 638M 参数原封不动复用话轮决策因果 GRU3 层、宽度 768约 14M 参数从零训练总参数量652MFP32 权重约 2.61 GB输入两路对齐的 16 kHz 单声道流用户麦克风 助手播放帧粒度80 ms 一帧无前瞻lookahead流式策略320 ms 一跳Nemotron 每次对 8 秒窗口重编码会话状态每路对话仅需 9 KiB 的 GRU 状态语言英文Nemotron 侧输出第 15 层的 1,024 维声学特征加上能量归一化信号后喂给 GRUGRU 的每个时间步同时产出 5 个头话轮状态、即将开口的 hazard、让话 yield、附和 backchannel、endpoint。架构配置都记录在 config.json 里Nemotron 的前端配置和分词器完整保留在 nemotron/ 目录。Nemotron ASR 部分的编码器结构如下图所示FastConformer 编码器 语言编码融合 RNN-T 解码器值得注意的细节状态输入只使用真实值助手在听就标 LISTEN助手在说就标 SPEAK不让模型用自己的猜测做状态避免自我强化偏差内置防误触发护栏6 帧热身、至少 350 ms 高于 -50 dB 的语音、附和间隔不少于 1.2 s、静默 1.2 s 强制兜底 endpoint。三大核心事件与默认阈值TYGER 对外表现为三类事件应用侧直接消费即可事件触发时机应用动作默认阈值Endpoint话尾用户说完了开始回答0.91Barge-in打断助手说话时用户插话立刻停止回答0.50Backchannel附和用户说话间隙适合嗯嗯播放附和话轮仍归用户0.40其中 barge-in 和 backchannel 的默认值比离线评测用的更宽松0.93 / 0.80官方建议在你的应用里自行调节——tyger-s2s 的网页上就提供了对应的滑杆。实测表现决策有多快、多准离线评测在 Open Yap 1K 测试集、Full-Duplex-Bench v1.0CANDOR 子集及内部集上进行阈值在开发集上选定并冻结。endpoint 延迟从用户说完全计时如下评测集话轮数延迟中位 / 均值过早打断1.2 s 内无 endpointOpen Yap 1K 测试1,000252.5 / 465.0 ms29.90%7.40%FDB v1.0 CANDOR119307.5 / 383.0 ms25.21%5.04%内部集未公开242252.5 / 286.5 ms12.40%0.00%其他关键指标Open Yap 1K 测试集 话轮状态 macro-F10.9436 Endpoint ROC-AUC / AP0.9839 / 0.8149 Barge-in ROC-AUC / AP0.9797 / 0.6657⚡ 速度GRU 决策部分在 RTX 4090 上中位仅0.805 ms/帧峰值显存 108.76 MiB全部数字与口径定义见 evaluation/metrics.json 和 evaluation/README.md。⚠️ 注意官方对局限性的坦诚声明这些只是离线诊断不是实时语音助手基准仅一个训练种子内部集不可复现。ASR 前端识别准确率与多语言能力TYGER 的耳朵——Nemotron 3.5 ASR 0.6B——本身就是一款流式识别模型官方卡片中给出了多组参考数据。流式分块越大识别准确率越高延迟相应增加在 FLEURS 多语言基准上按语言覆盖分层的平均 WER 对比TYGER 本体面向英文NVIDIA 原始模型卡含更多图表与许可说明完整保留在 upstream/NVIDIA_MODEL_CARD.md。资源占用与部署一张消费级显卡够不够仅 GRU 决策头0.8 ms/帧级开销可忽略整套模型含 Nemotron在 tyger-s2s 中4 路并发对话约占 4 GB 显存部署方式官方建议直接使用 tyger-s2sApache-2.0提供的 Docker 镜像或在浏览器/通话场景中作为语音后端 API。Nemotron 前端在单张 H100 上的并发能力参考分块越大可支撑并行流越多 上手路径git clone https://link.gitcode.com/i/4106b4461a67f023aa6042609bf6a7d3仓库内容速览文件作用model.safetensorsTYGER 全部权重Nemotron GRU约 2.6 GBconfig.json模型结构、前端参数、默认策略阈值、去抖、护栏manifest.json每个文件的字节数与 SHA-256 校验值nemotron/Nemotron 前端配置与分词器evaluation/评测协议与全部指标upstream/、licenses/NVIDIA 原始模型卡、图表与 OpenMDW-1.1 许可证许可与致谢权重与文件采用OpenMDW-1.1许可见 LICENSE.md 与 NOTICE.md、licenses/OpenMDW-1.1.txtNVIDIA Nemotron 的原始许可、模型卡原样保留未做改动训练数据来自 Open Yap 1K v1.01,395 训练 / 107 开发 / 100 测试对话标签由双方发言时间自动生成无需人工标注。一句话总结TYGER 一个会听的 0.6B 流式 ASR 一个 14M 参数的 GRU 决策器以 252 ms 级中位延迟判断话尾、以 0.98 ROC-AUC 区分打断与附和是构建全双工语音 Agent 的一个轻量、可复现、许可清晰的开源起点 ️赞分享人工智能语音音频基础模型本地部署【免费下载链接】tyger项目地址https://ai.gitcode.com/hf_mirrors/nineninesix/tyger点击查看免费下载相关推荐Intern-Decision-2B 是什么一文读懂 InternLM 开源多模态结构化决策大模型Intern Decision 2B 是什么一文读懂 InternLM 开源多模态结构化决策大模型 Intern Decision 2B 是 InternLM人工智能大模型多模态微调本地部署Macaron-V1-Tall 是什么一文读懂 MindLab 开源 Mixture of LoRA 个人智能模型Macaron V1 Tall 是什么一文读懂 MindLab 开源 Mixture of LoRA 个人智能模型 Macaron V1 Tall 是 Min端侧大模型初体验一文读懂 Qwen3-8B_rai_1.8.0_npu_4K 是什么端侧大模型初体验一文读懂 Qwen3 8B_rai_1.8.0_npu_4K 是什么 Qwen3 8B_rai_1.8.0_npu_4K 是 AMD 官方发布创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
人工智能语音音频基础模型本地部署【免费下载链接】tyger项目地址https://ai.gitcode.com/hf_mirrors/nineninesix/tyger点击查看免费下载TYGER是 NineNineSix 开源的全双工语音决策模型open-weight专为实时语音对话设计它一边通过内置的 NVIDIA Nemotron 流式语音识别听你说什么一边实时判断何时该回复、何时继续听、何时被打断、何时该嗯嗯附和。对于想构建自然语音助手的开发者这是一个开箱即用的耳朵 对话节奏控制器。为什么语音助手需要全双工大多数语音助手还是对讲机模式半双工你说完 → 等它想 → 它说完 → 你再开口。对话双方轮流占线体验生硬。而真正自然的对话像打电话一样——全双工双方可以几乎同时说话。这要求系统实时回答三个难题话轮结束检测Endpoint用户真的说完了吗该我接话了。✋打断识别Barge-in用户在助手说话时插话要立刻停下让位。附和Backchannel用户还在长句中间助手适时mm-hm一下表示在听。TYGER 就是为这三个决策而生的模型。它同时接收两路对齐的 16 kHz 单声道音频用户麦克风 助手的播放声逐帧输出四种话轮状态LISTEN / HOLD / SPEAK / BACKCHANNEL和 endpoint、barge-in、backchannel 分数。 仓库本身只包含权重与配置不含推理代码配套的开源语音助手项目 tyger-s2s 用它作为耳朵浏览器里即可对话详见下文上手路径。架构拆解Nemotron ASR 一个 14M 参数的小 GRUTYGER 的巧妙之处在于大模型听声小模型做决策组件说明语音识别NVIDIA Nemotron 3.5 ASR Streaming 0.6B约 638M 参数原封不动复用话轮决策因果 GRU3 层、宽度 768约 14M 参数从零训练总参数量652MFP32 权重约 2.61 GB输入两路对齐的 16 kHz 单声道流用户麦克风 助手播放帧粒度80 ms 一帧无前瞻lookahead流式策略320 ms 一跳Nemotron 每次对 8 秒窗口重编码会话状态每路对话仅需 9 KiB 的 GRU 状态语言英文Nemotron 侧输出第 15 层的 1,024 维声学特征加上能量归一化信号后喂给 GRUGRU 的每个时间步同时产出 5 个头话轮状态、即将开口的 hazard、让话 yield、附和 backchannel、endpoint。架构配置都记录在 config.json 里Nemotron 的前端配置和分词器完整保留在 nemotron/ 目录。Nemotron ASR 部分的编码器结构如下图所示FastConformer 编码器 语言编码融合 RNN-T 解码器值得注意的细节状态输入只使用真实值助手在听就标 LISTEN助手在说就标 SPEAK不让模型用自己的猜测做状态避免自我强化偏差内置防误触发护栏6 帧热身、至少 350 ms 高于 -50 dB 的语音、附和间隔不少于 1.2 s、静默 1.2 s 强制兜底 endpoint。三大核心事件与默认阈值TYGER 对外表现为三类事件应用侧直接消费即可事件触发时机应用动作默认阈值Endpoint话尾用户说完了开始回答0.91Barge-in打断助手说话时用户插话立刻停止回答0.50Backchannel附和用户说话间隙适合嗯嗯播放附和话轮仍归用户0.40其中 barge-in 和 backchannel 的默认值比离线评测用的更宽松0.93 / 0.80官方建议在你的应用里自行调节——tyger-s2s 的网页上就提供了对应的滑杆。实测表现决策有多快、多准离线评测在 Open Yap 1K 测试集、Full-Duplex-Bench v1.0CANDOR 子集及内部集上进行阈值在开发集上选定并冻结。endpoint 延迟从用户说完全计时如下评测集话轮数延迟中位 / 均值过早打断1.2 s 内无 endpointOpen Yap 1K 测试1,000252.5 / 465.0 ms29.90%7.40%FDB v1.0 CANDOR119307.5 / 383.0 ms25.21%5.04%内部集未公开242252.5 / 286.5 ms12.40%0.00%其他关键指标Open Yap 1K 测试集 话轮状态 macro-F10.9436 Endpoint ROC-AUC / AP0.9839 / 0.8149 Barge-in ROC-AUC / AP0.9797 / 0.6657⚡ 速度GRU 决策部分在 RTX 4090 上中位仅0.805 ms/帧峰值显存 108.76 MiB全部数字与口径定义见 evaluation/metrics.json 和 evaluation/README.md。⚠️ 注意官方对局限性的坦诚声明这些只是离线诊断不是实时语音助手基准仅一个训练种子内部集不可复现。ASR 前端识别准确率与多语言能力TYGER 的耳朵——Nemotron 3.5 ASR 0.6B——本身就是一款流式识别模型官方卡片中给出了多组参考数据。流式分块越大识别准确率越高延迟相应增加在 FLEURS 多语言基准上按语言覆盖分层的平均 WER 对比TYGER 本体面向英文NVIDIA 原始模型卡含更多图表与许可说明完整保留在 upstream/NVIDIA_MODEL_CARD.md。资源占用与部署一张消费级显卡够不够仅 GRU 决策头0.8 ms/帧级开销可忽略整套模型含 Nemotron在 tyger-s2s 中4 路并发对话约占 4 GB 显存部署方式官方建议直接使用 tyger-s2sApache-2.0提供的 Docker 镜像或在浏览器/通话场景中作为语音后端 API。Nemotron 前端在单张 H100 上的并发能力参考分块越大可支撑并行流越多 上手路径git clone https://link.gitcode.com/i/4106b4461a67f023aa6042609bf6a7d3仓库内容速览文件作用model.safetensorsTYGER 全部权重Nemotron GRU约 2.6 GBconfig.json模型结构、前端参数、默认策略阈值、去抖、护栏manifest.json每个文件的字节数与 SHA-256 校验值nemotron/Nemotron 前端配置与分词器evaluation/评测协议与全部指标upstream/、licenses/NVIDIA 原始模型卡、图表与 OpenMDW-1.1 许可证许可与致谢权重与文件采用OpenMDW-1.1许可见 LICENSE.md 与 NOTICE.md、licenses/OpenMDW-1.1.txtNVIDIA Nemotron 的原始许可、模型卡原样保留未做改动训练数据来自 Open Yap 1K v1.01,395 训练 / 107 开发 / 100 测试对话标签由双方发言时间自动生成无需人工标注。一句话总结TYGER 一个会听的 0.6B 流式 ASR 一个 14M 参数的 GRU 决策器以 252 ms 级中位延迟判断话尾、以 0.98 ROC-AUC 区分打断与附和是构建全双工语音 Agent 的一个轻量、可复现、许可清晰的开源起点 ️赞分享人工智能语音音频基础模型本地部署【免费下载链接】tyger项目地址https://ai.gitcode.com/hf_mirrors/nineninesix/tyger点击查看免费下载相关推荐Intern-Decision-2B 是什么一文读懂 InternLM 开源多模态结构化决策大模型Intern Decision 2B 是什么一文读懂 InternLM 开源多模态结构化决策大模型 Intern Decision 2B 是 InternLM人工智能大模型多模态微调本地部署Macaron-V1-Tall 是什么一文读懂 MindLab 开源 Mixture of LoRA 个人智能模型Macaron V1 Tall 是什么一文读懂 MindLab 开源 Mixture of LoRA 个人智能模型 Macaron V1 Tall 是 Min端侧大模型初体验一文读懂 Qwen3-8B_rai_1.8.0_npu_4K 是什么端侧大模型初体验一文读懂 Qwen3 8B_rai_1.8.0_npu_4K 是什么 Qwen3 8B_rai_1.8.0_npu_4K 是 AMD 官方发布创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
