MiniCPM-o-2_6语音对话入门实时语音聊天、Mimick与零样本声音克隆【免费下载链接】MiniCPM-o-2_6项目地址: https://ai.gitcode.com/OpenBMB/MiniCPM-o-2_6MiniCPM-o 2.6 是 OpenBMB 开源社区的 8B 端侧全模态大模型原生支持实时语音聊天、中英双语语音对话、Mimick 语音模仿与零样本声音克隆。它基于 SigLip-400M、Whisper-medium-300M、ChatTTS-200M 与 Qwen2.5-7B 端到端构建在中文语音识别AISHELL-1 CER 仅 1.6优于 GPT-4o-Realtime 的 7.3和语音对话评测上达到开源领先水平。本文将带你用最少的代码跑通它的三大语音玩法。️一、语音能力全景一个 8B 模型搞定「听懂 说出 克隆」在动手之前先了解 MiniCPM-o 2.6 的语音能力版图。它的模型配置config.json中内置了 Whisper 音频编码器audio_config与 ChatTTS 语音合成器tts_config核心实现位于 modeling_minicpmo.py 的MiniCPMO类中。能力说明典型场景️ 语音对话听到语音、回答语音中英双语声音可配置语音助手、角色扮演 Mimick输入一段音频先转写再用高度相似的音色复述验证端到端语音建模能力 声音克隆给一段参考音频用该音色朗读新文本零样本有声书、个性化 TTS✨ 语音创作用文字描述音色如「自信迷人的男声」凭空生成对应声音配音创作 实时流式视频音频流持续输入边看边语音互动多模态直播、实时陪伴关键成绩摘自官方评测中文 ASR 字错率 1.6AISHELL-1、英文 WER 8.7GigaSpeech均优于 GPT-4o-Realtime语音合成 UTMOS 得分 4.2与 GPT-4o-Realtime 持平OpenCompass 综合视觉理解 70.2超越 GPT-4o-202405 等专有模型。二、快速上手三步完成语音对话模型部署第 1 步安装依赖官方在 Python 3.10 环境下验证过的版本组合如下transformers必须锁定为 4.44.2其他版本可能存在兼容问题Pillow10.1.0 torch2.3.1 torchaudio2.3.1 transformers4.44.2 librosa0.9.0 soundfile0.12.1 vocos0.1.0第 2 步加载模型并初始化 TTSimport torch from transformers import AutoModel, AutoTokenizer model AutoModel.from_pretrained( openbmb/MiniCPM-o-2_6, trust_remote_codeTrue, attn_implementationsdpa, # sdpa 或 flash_attention_2 torch_dtypetorch.bfloat16, init_visionTrue, init_audioTrue, init_ttsTrue, ) model model.eval().cuda() tokenizer AutoTokenizer.from_pretrained(openbmb/MiniCPM-o-2_6, trust_remote_codeTrue) model.init_tts() # 语音输出必须调用 model.tts.float() # 老版本 PyTorch 必加规避 BFloat16 报错 需要完整代码与权重时可执行git clone https://gitcode.com/OpenBMB/MiniCPM-o-2_6。第 3 步准备参考音频仓库assets/input_examples/目录自带丰富的示例音频icl_20.wav角色克隆参考、assistant_female_voice.wav/assistant_male_voice.wav助手音色、fast-pace.wav、exciting-emotion.wav、cxk_original.wav等直接拿来体验即可。三、实时语音聊天可配置声音的双语对话MiniCPM-o 2.6 的语音对话采用「音频系统提示词」机制通过get_sys_prompt(ref_audio..., mode...)传入一段参考音频模型就会用这段音频的音色来回答源码见 modeling_minicpmo.py 第 683 行的get_sys_prompt。主要有两种对话模式 角色扮演模式用一段音频「扮演」任意人物modeaudio_roleplay下模型不仅模仿音色还会模仿说话人的语言风格效果更自然、更像真人import librosa ref_audio, _ librosa.load(./assets/input_examples/icl_20.wav, sr16000, monoTrue) sys_prompt model.get_sys_prompt(ref_audioref_audio, modeaudio_roleplay, languageen) user_question {role: user, content: [librosa.load(xxx.wav, sr16000, monoTrue)[0]]} res model.chat( msgs[sys_prompt, user_question], tokenizertokenizer, samplingTrue, max_new_tokens128, use_tts_templateTrue, temperature0.3, generate_audioTrue, output_audio_pathresult_roleplay_round_1.wav, )AI 助手模式更稳的「语音助手」体验modeaudio_assistant更强调指令遵循听起来更像语音助手。官方提供了三档音色选型建议参考音频文件特点推荐度assistant_female_voice.wav稳定偏机械感⭐⭐⭐assistant_male_voice.wav稳定偏机械感⭐⭐⭐assistant_default_female_voice.wav更像真人但多轮对话中音色可能漂移⭐⭐ref_audio, _ librosa.load(./assets/input_examples/assistant_female_voice.wav, sr16000, monoTrue) sys_prompt model.get_sys_prompt(ref_audioref_audio, modeaudio_assistant, languageen)四、Mimick 语音模仿一句话复刻整段语音Mimick 任务最能体现模型的端到端语音功底输入一段音频模型先做 ASR 转写再用高度还原的原音色复述整段内容。相似度越高说明基础语音建模能力越强。mimick_prompt Please repeat each users speech, including voice style and speech content. audio_input, _ librosa.load(./assets/input_examples/Trump_WEF_2018_10s.mp3, sr16000, monoTrue) msgs [{role: user, content: [mimick_prompt, audio_input]}] res model.chat( msgsmsgs, tokenizertokenizer, samplingTrue, max_new_tokens128, use_tts_templateTrue, temperature0.3, generate_audioTrue, output_audio_pathoutput_mimick.wav, )想体验不同维度的语音特征可替换为示例音频考察点cxk_original.wav中文口语风格fast-pace.wav快速语速还原chi-english-1.wav中英混合exciting-emotion.wav情绪化语气indian-accent.wav印度口音英语五、零样本声音克隆一段参考音频生成全新语音modevoice_cloning下MiniCPM-o 2.6 直接变身零样本 TTS给一段参考音频就能用该音色朗读任意新文本无需任何微调ref_audio, _ librosa.load(./assets/input_examples/icl_20.wav, sr16000, monoTrue) sys_prompt model.get_sys_prompt(ref_audioref_audio, modevoice_cloning, languageen) user_question {role: user, content: [Please read the text below., 你想要朗读的文本内容]} res model.chat( msgs[sys_prompt, user_question], tokenizertokenizer, samplingTrue, max_new_tokens128, use_tts_templateTrue, temperature0.3, generate_audioTrue, output_audio_pathresult_voice_cloning.wav, )官方在 Seed-TTS 基准上测得 SIMO 中文 57 / 英文 47略低于 F5-TTS、CosyVoice 等专业 TTS但胜在「理解 生成」一体化——克隆音色的同时还能理解语义、自由对话。六、进阶玩法描述生成声音与音频理解用文字描述「凭空造声」Instruction-to-Speech不参考任何音频只需用文字描述音色模型即可生成匹配的声音instruction Speak like a male charming superstar, radiating confidence and style in every word. res model.chat(msgs[{role: user, content: [instruction]}], tokenizertokenizer, samplingTrue, max_new_tokens128, use_tts_templateTrue, generate_audioTrue, temperature0.3, output_audio_pathresult_voice_creation.wav)音频理解任务换个提示词就能用任务提示词中文 ASR请仔细听这段音频片段并将其内容逐字记录。英文 ASR / 中译英Please listen to the audio snippet carefully and transcribe the content.说话人分析Based on the speakers content, speculate on their gender, condition, age range, and health status.音频摘要Summarize the main content of the audio.七、实时流式推理边看视频边语音对话多模态直播是 MiniCPM-o 2.6 的招牌能力视频音频流独立于用户提问持续输入模型实时响应。流式推理遵循「reset → prefill → generate」三步model.reset_session() # 新会话先重置 KV-Cache session_id 123 res model.streaming_prefill(session_idsession_id, msgs[sys_msg], tokenizertokenizer) for content in contents: # 逐块喂入 1帧1秒音频 的流式单元 res model.streaming_prefill(session_idsession_id, msgs[{role: user, content: content}], tokenizertokenizer) for r in model.streaming_generate(session_idsession_id, tokenizertokenizer, temperature0.5, generate_audioTrue): print(r.text, end, flushTrue)在 StreamingBench 上它总分 66.0超过 GPT-4o-20240864.1与 Claude 3.5 Sonnet59.7实时视频理解单项 79.9 更是全场最高。八、常见问题 FAQQ1加载模型报weight_norm_fwd_first_dim_kernel not implemented for BFloat16老版本 PyTorch 的已知问题在init_tts()之后执行model.tts.float()即可。Q2transformers版本有什么讲究务必使用 4.44.2其他版本可能出现兼容问题。Q3助手模式声音不稳定、每轮音色在变这是assistant_default_female_voice的已知特性追求稳定请改用assistant_female_voice或assistant_male_voice。Q4显存不够怎么办官方提供 Int4 量化版仅需约 7GB 显存另有 GGUF 格式可配合 llama.cpp 在端侧 CPU 推理。结语MiniCPM-o 2.6 把「语音识别、语音对话、声音克隆、实时流式」全部装进一个 8B 的端侧模型里Mimick 复现原声、audio_roleplay扮演角色、voice_cloning零样本克隆、流式推理实时互动——四种玩法只需切换get_sys_prompt的mode参数几分钟即可跑通。对于想在手机、iPad 等端侧设备上落地语音 AI 应用的你这是一个性价比极高的开源选择。【免费下载链接】MiniCPM-o-2_6项目地址: https://ai.gitcode.com/OpenBMB/MiniCPM-o-2_6创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
MiniCPM-o-2_6语音对话入门实时语音聊天、Mimick与零样本声音克隆【免费下载链接】MiniCPM-o-2_6项目地址: https://ai.gitcode.com/OpenBMB/MiniCPM-o-2_6MiniCPM-o 2.6 是 OpenBMB 开源社区的 8B 端侧全模态大模型原生支持实时语音聊天、中英双语语音对话、Mimick 语音模仿与零样本声音克隆。它基于 SigLip-400M、Whisper-medium-300M、ChatTTS-200M 与 Qwen2.5-7B 端到端构建在中文语音识别AISHELL-1 CER 仅 1.6优于 GPT-4o-Realtime 的 7.3和语音对话评测上达到开源领先水平。本文将带你用最少的代码跑通它的三大语音玩法。️一、语音能力全景一个 8B 模型搞定「听懂 说出 克隆」在动手之前先了解 MiniCPM-o 2.6 的语音能力版图。它的模型配置config.json中内置了 Whisper 音频编码器audio_config与 ChatTTS 语音合成器tts_config核心实现位于 modeling_minicpmo.py 的MiniCPMO类中。能力说明典型场景️ 语音对话听到语音、回答语音中英双语声音可配置语音助手、角色扮演 Mimick输入一段音频先转写再用高度相似的音色复述验证端到端语音建模能力 声音克隆给一段参考音频用该音色朗读新文本零样本有声书、个性化 TTS✨ 语音创作用文字描述音色如「自信迷人的男声」凭空生成对应声音配音创作 实时流式视频音频流持续输入边看边语音互动多模态直播、实时陪伴关键成绩摘自官方评测中文 ASR 字错率 1.6AISHELL-1、英文 WER 8.7GigaSpeech均优于 GPT-4o-Realtime语音合成 UTMOS 得分 4.2与 GPT-4o-Realtime 持平OpenCompass 综合视觉理解 70.2超越 GPT-4o-202405 等专有模型。二、快速上手三步完成语音对话模型部署第 1 步安装依赖官方在 Python 3.10 环境下验证过的版本组合如下transformers必须锁定为 4.44.2其他版本可能存在兼容问题Pillow10.1.0 torch2.3.1 torchaudio2.3.1 transformers4.44.2 librosa0.9.0 soundfile0.12.1 vocos0.1.0第 2 步加载模型并初始化 TTSimport torch from transformers import AutoModel, AutoTokenizer model AutoModel.from_pretrained( openbmb/MiniCPM-o-2_6, trust_remote_codeTrue, attn_implementationsdpa, # sdpa 或 flash_attention_2 torch_dtypetorch.bfloat16, init_visionTrue, init_audioTrue, init_ttsTrue, ) model model.eval().cuda() tokenizer AutoTokenizer.from_pretrained(openbmb/MiniCPM-o-2_6, trust_remote_codeTrue) model.init_tts() # 语音输出必须调用 model.tts.float() # 老版本 PyTorch 必加规避 BFloat16 报错 需要完整代码与权重时可执行git clone https://gitcode.com/OpenBMB/MiniCPM-o-2_6。第 3 步准备参考音频仓库assets/input_examples/目录自带丰富的示例音频icl_20.wav角色克隆参考、assistant_female_voice.wav/assistant_male_voice.wav助手音色、fast-pace.wav、exciting-emotion.wav、cxk_original.wav等直接拿来体验即可。三、实时语音聊天可配置声音的双语对话MiniCPM-o 2.6 的语音对话采用「音频系统提示词」机制通过get_sys_prompt(ref_audio..., mode...)传入一段参考音频模型就会用这段音频的音色来回答源码见 modeling_minicpmo.py 第 683 行的get_sys_prompt。主要有两种对话模式 角色扮演模式用一段音频「扮演」任意人物modeaudio_roleplay下模型不仅模仿音色还会模仿说话人的语言风格效果更自然、更像真人import librosa ref_audio, _ librosa.load(./assets/input_examples/icl_20.wav, sr16000, monoTrue) sys_prompt model.get_sys_prompt(ref_audioref_audio, modeaudio_roleplay, languageen) user_question {role: user, content: [librosa.load(xxx.wav, sr16000, monoTrue)[0]]} res model.chat( msgs[sys_prompt, user_question], tokenizertokenizer, samplingTrue, max_new_tokens128, use_tts_templateTrue, temperature0.3, generate_audioTrue, output_audio_pathresult_roleplay_round_1.wav, )AI 助手模式更稳的「语音助手」体验modeaudio_assistant更强调指令遵循听起来更像语音助手。官方提供了三档音色选型建议参考音频文件特点推荐度assistant_female_voice.wav稳定偏机械感⭐⭐⭐assistant_male_voice.wav稳定偏机械感⭐⭐⭐assistant_default_female_voice.wav更像真人但多轮对话中音色可能漂移⭐⭐ref_audio, _ librosa.load(./assets/input_examples/assistant_female_voice.wav, sr16000, monoTrue) sys_prompt model.get_sys_prompt(ref_audioref_audio, modeaudio_assistant, languageen)四、Mimick 语音模仿一句话复刻整段语音Mimick 任务最能体现模型的端到端语音功底输入一段音频模型先做 ASR 转写再用高度还原的原音色复述整段内容。相似度越高说明基础语音建模能力越强。mimick_prompt Please repeat each users speech, including voice style and speech content. audio_input, _ librosa.load(./assets/input_examples/Trump_WEF_2018_10s.mp3, sr16000, monoTrue) msgs [{role: user, content: [mimick_prompt, audio_input]}] res model.chat( msgsmsgs, tokenizertokenizer, samplingTrue, max_new_tokens128, use_tts_templateTrue, temperature0.3, generate_audioTrue, output_audio_pathoutput_mimick.wav, )想体验不同维度的语音特征可替换为示例音频考察点cxk_original.wav中文口语风格fast-pace.wav快速语速还原chi-english-1.wav中英混合exciting-emotion.wav情绪化语气indian-accent.wav印度口音英语五、零样本声音克隆一段参考音频生成全新语音modevoice_cloning下MiniCPM-o 2.6 直接变身零样本 TTS给一段参考音频就能用该音色朗读任意新文本无需任何微调ref_audio, _ librosa.load(./assets/input_examples/icl_20.wav, sr16000, monoTrue) sys_prompt model.get_sys_prompt(ref_audioref_audio, modevoice_cloning, languageen) user_question {role: user, content: [Please read the text below., 你想要朗读的文本内容]} res model.chat( msgs[sys_prompt, user_question], tokenizertokenizer, samplingTrue, max_new_tokens128, use_tts_templateTrue, temperature0.3, generate_audioTrue, output_audio_pathresult_voice_cloning.wav, )官方在 Seed-TTS 基准上测得 SIMO 中文 57 / 英文 47略低于 F5-TTS、CosyVoice 等专业 TTS但胜在「理解 生成」一体化——克隆音色的同时还能理解语义、自由对话。六、进阶玩法描述生成声音与音频理解用文字描述「凭空造声」Instruction-to-Speech不参考任何音频只需用文字描述音色模型即可生成匹配的声音instruction Speak like a male charming superstar, radiating confidence and style in every word. res model.chat(msgs[{role: user, content: [instruction]}], tokenizertokenizer, samplingTrue, max_new_tokens128, use_tts_templateTrue, generate_audioTrue, temperature0.3, output_audio_pathresult_voice_creation.wav)音频理解任务换个提示词就能用任务提示词中文 ASR请仔细听这段音频片段并将其内容逐字记录。英文 ASR / 中译英Please listen to the audio snippet carefully and transcribe the content.说话人分析Based on the speakers content, speculate on their gender, condition, age range, and health status.音频摘要Summarize the main content of the audio.七、实时流式推理边看视频边语音对话多模态直播是 MiniCPM-o 2.6 的招牌能力视频音频流独立于用户提问持续输入模型实时响应。流式推理遵循「reset → prefill → generate」三步model.reset_session() # 新会话先重置 KV-Cache session_id 123 res model.streaming_prefill(session_idsession_id, msgs[sys_msg], tokenizertokenizer) for content in contents: # 逐块喂入 1帧1秒音频 的流式单元 res model.streaming_prefill(session_idsession_id, msgs[{role: user, content: content}], tokenizertokenizer) for r in model.streaming_generate(session_idsession_id, tokenizertokenizer, temperature0.5, generate_audioTrue): print(r.text, end, flushTrue)在 StreamingBench 上它总分 66.0超过 GPT-4o-20240864.1与 Claude 3.5 Sonnet59.7实时视频理解单项 79.9 更是全场最高。八、常见问题 FAQQ1加载模型报weight_norm_fwd_first_dim_kernel not implemented for BFloat16老版本 PyTorch 的已知问题在init_tts()之后执行model.tts.float()即可。Q2transformers版本有什么讲究务必使用 4.44.2其他版本可能出现兼容问题。Q3助手模式声音不稳定、每轮音色在变这是assistant_default_female_voice的已知特性追求稳定请改用assistant_female_voice或assistant_male_voice。Q4显存不够怎么办官方提供 Int4 量化版仅需约 7GB 显存另有 GGUF 格式可配合 llama.cpp 在端侧 CPU 推理。结语MiniCPM-o 2.6 把「语音识别、语音对话、声音克隆、实时流式」全部装进一个 8B 的端侧模型里Mimick 复现原声、audio_roleplay扮演角色、voice_cloning零样本克隆、流式推理实时互动——四种玩法只需切换get_sys_prompt的mode参数几分钟即可跑通。对于想在手机、iPad 等端侧设备上落地语音 AI 应用的你这是一个性价比极高的开源选择。【免费下载链接】MiniCPM-o-2_6项目地址: https://ai.gitcode.com/OpenBMB/MiniCPM-o-2_6创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
