英伟达这两天放出了一个叫 PersonaPlex-7B-v1 的开源模型做的事很具体把语音对话里的听和说合到一个模型里AI 可以在你话还没说完的时候就开始回应你中途插话它也会停下来听。据报道代码以 MIT 协议开源模型权重走英伟达开放模型许可本地大约要 18–24GB 显存的显卡才能跑起来。消息出来后开发者圈子里讨论最多的就是终于能打断 AI 说话了。它到底变了什么先说清楚以前的语音助手是怎么做的。传统方案是一条三级流水线麦克风 → ASR语音转文字→ LLM理解并生成回复→ TTS文字转语音→ 扬声器每一级都得等上一级完全结束才能开始。所以你说话时它不听它说话时你插不进嘴一来一回中间还有明显停顿。哪怕每一级单独看都很强拼起来还是一股机器人味。PersonaPlex 换了个思路不再拼三个模型而是一个模型里同时维持听和说两条流也就是所谓全双工full-duplex。据官方页面说明它基于法国 Kyutai 实验室的 Moshi 架构7B 参数用 Mimi 编解码器做语音 token 化音频采样率 24kHz底层的语言理解部分用的是 Helium 模型。它还在训练里专门学了那些语音之外的东西——什么时候停顿、什么时候附和一声嗯“好”、什么时候该被打断这些原本是真人对话里才有的节奏。值得注意的是它把人设和音色拆成了两个独立开关一段文本定义角色比如你是某银行客服名字叫 Sanna Virtanen这笔 1200 美元的消费因为异地被拦截了一段音频定义音色。这是它相对 Moshi 的主要改进——Moshi 把自然度做出来了但只能固定一个声音和角色。说白了变的是自然度没变的是底层技术路线。还是 Transformer 语音 token 那套只是把流水线砍成了单模型顺便把角色和声音做成可配置项。官方也解释了这类模型为什么难做全双工要求训练数据里同时有多个说话人还得把每个人的声音单独分离、标注。他们的做法是拿公开的 Fisher 英文对话语料据报道约 7300 段、1200 多小时充当真人对话再用大模型给每段对话回填人设描述另外合成客服、助手这类任务场景的对话补进来。真人数据提供自然的对话节奏合成数据提供任务执行能力两者混着训。这套真人 合成混训的思路目前算是语音模型领域的常规做法。官方还用 FullDuplexBench 这类基准做了对比据报道其对话自然度DMOS得分 2.95高于 Gemini 系列的 2.80。不过这类分数受评测集和判分方式影响很大参考一下就好别当铁律。对普通开发者意味着什么最直接的影响是实时语音交互应用的门槛在往下走。客服、外呼、陪聊、语音助手这类场景以前你得自己拼 ASRLLMTTS还要额外写一套打断检测的逻辑现在可能一个模型就覆盖了大部分。想自己上手试试大致是这么几步仓库和权重都是公开的# 环境建议Linux NVIDIA GPU18–24GB 显存起步gitclone https://github.com/NVIDIA/personaplex# 权重在 Hugging Face 上用官方 CLI 拉取pipinstall-Uhuggingface_hub[cli]huggingface-cli download nvidia/personaplex-7b-v1 --local-dir ./personaplex-7b-v1几个坑得提前说显存是硬门槛。社区实践里 24GB 的 RTX 4090 是比较现实的选择一些资料提到 18GB 显存也能跑Blackwell 架构的卡还要额外配 CUDA 环境。普通笔记本核显就别想了。全双工对延迟极其敏感。这类模型体验好不好关键看端到端延迟不是看参数量。部署时网络、音频缓冲、编解码都有讲究。中文要自己实测。从公开信息看训练语料以英文的 Fisher 对话数据集为主中文效果不能想当然务必拿自己的业务语料测。音色可控 双刃剑。零样本音色克隆用起来方便但也意味着伪造风险。商用前合规和授权得先想清楚别给自己挖坑。选型建议如果你做的是实时语音对话值得花半天实测一下 PersonaPlex如果只是离线转写或单向播报传统流水线更省资源没必要上全双工。小结开源语音模型这两年进步很快但真正决定体验的往往是打断“附和”停顿这些细节而不是又刷高了哪个跑分。英伟达这次把一个能本地跑、可换角色换音色的全双工模型放出来对做语音应用的开发者来说是多了个选项。你更在意自然度还是可控性做语音产品时踩过哪些坑评论区聊聊。
英伟达这两天放出了一个叫 PersonaPlex-7B-v1 的开源模型做的事很具体把语音对话里的听和说合到一个模型里AI 可以在你话还没说完的时候就开始回应你中途插话它也会停下来听。据报道代码以 MIT 协议开源模型权重走英伟达开放模型许可本地大约要 18–24GB 显存的显卡才能跑起来。消息出来后开发者圈子里讨论最多的就是终于能打断 AI 说话了。它到底变了什么先说清楚以前的语音助手是怎么做的。传统方案是一条三级流水线麦克风 → ASR语音转文字→ LLM理解并生成回复→ TTS文字转语音→ 扬声器每一级都得等上一级完全结束才能开始。所以你说话时它不听它说话时你插不进嘴一来一回中间还有明显停顿。哪怕每一级单独看都很强拼起来还是一股机器人味。PersonaPlex 换了个思路不再拼三个模型而是一个模型里同时维持听和说两条流也就是所谓全双工full-duplex。据官方页面说明它基于法国 Kyutai 实验室的 Moshi 架构7B 参数用 Mimi 编解码器做语音 token 化音频采样率 24kHz底层的语言理解部分用的是 Helium 模型。它还在训练里专门学了那些语音之外的东西——什么时候停顿、什么时候附和一声嗯“好”、什么时候该被打断这些原本是真人对话里才有的节奏。值得注意的是它把人设和音色拆成了两个独立开关一段文本定义角色比如你是某银行客服名字叫 Sanna Virtanen这笔 1200 美元的消费因为异地被拦截了一段音频定义音色。这是它相对 Moshi 的主要改进——Moshi 把自然度做出来了但只能固定一个声音和角色。说白了变的是自然度没变的是底层技术路线。还是 Transformer 语音 token 那套只是把流水线砍成了单模型顺便把角色和声音做成可配置项。官方也解释了这类模型为什么难做全双工要求训练数据里同时有多个说话人还得把每个人的声音单独分离、标注。他们的做法是拿公开的 Fisher 英文对话语料据报道约 7300 段、1200 多小时充当真人对话再用大模型给每段对话回填人设描述另外合成客服、助手这类任务场景的对话补进来。真人数据提供自然的对话节奏合成数据提供任务执行能力两者混着训。这套真人 合成混训的思路目前算是语音模型领域的常规做法。官方还用 FullDuplexBench 这类基准做了对比据报道其对话自然度DMOS得分 2.95高于 Gemini 系列的 2.80。不过这类分数受评测集和判分方式影响很大参考一下就好别当铁律。对普通开发者意味着什么最直接的影响是实时语音交互应用的门槛在往下走。客服、外呼、陪聊、语音助手这类场景以前你得自己拼 ASRLLMTTS还要额外写一套打断检测的逻辑现在可能一个模型就覆盖了大部分。想自己上手试试大致是这么几步仓库和权重都是公开的# 环境建议Linux NVIDIA GPU18–24GB 显存起步gitclone https://github.com/NVIDIA/personaplex# 权重在 Hugging Face 上用官方 CLI 拉取pipinstall-Uhuggingface_hub[cli]huggingface-cli download nvidia/personaplex-7b-v1 --local-dir ./personaplex-7b-v1几个坑得提前说显存是硬门槛。社区实践里 24GB 的 RTX 4090 是比较现实的选择一些资料提到 18GB 显存也能跑Blackwell 架构的卡还要额外配 CUDA 环境。普通笔记本核显就别想了。全双工对延迟极其敏感。这类模型体验好不好关键看端到端延迟不是看参数量。部署时网络、音频缓冲、编解码都有讲究。中文要自己实测。从公开信息看训练语料以英文的 Fisher 对话数据集为主中文效果不能想当然务必拿自己的业务语料测。音色可控 双刃剑。零样本音色克隆用起来方便但也意味着伪造风险。商用前合规和授权得先想清楚别给自己挖坑。选型建议如果你做的是实时语音对话值得花半天实测一下 PersonaPlex如果只是离线转写或单向播报传统流水线更省资源没必要上全双工。小结开源语音模型这两年进步很快但真正决定体验的往往是打断“附和”停顿这些细节而不是又刷高了哪个跑分。英伟达这次把一个能本地跑、可换角色换音色的全双工模型放出来对做语音应用的开发者来说是多了个选项。你更在意自然度还是可控性做语音产品时踩过哪些坑评论区聊聊。
