寻找原版 YuE其代码、文档和许可证都保存在 YuE - v1 分支上。YuE2以前沿品质统一符号与音频音乐生成用符号创作用声音呈现。 演示 · YuE2 · 快速开始 · 智能体技能 · 基准测试 · MERT2 · SheetSage2 · WSB · 版本发布YuE2 能以可编辑的创作方式为音乐生成带来前沿的歌曲品质。只需提供歌词和风格提示它就能创作出旋律与和弦方案然后生成包含人声和伴奏的完整歌曲。前沿品质在 WildSongBench 上YuE2 可与 Suno v5/v6 相媲美。YuE2八选一最佳的 SongBench 平均得分达到 6.9632是所有评估设置中观察到的最高平均得分。通过符号规划实现白盒音乐生成在渲染之前你可以阅读、播放和修改创作内容。旋律和和弦成为可由人或智能体检查和编辑的明确控制元素。零样本翻唱与智能编辑使用相同的生成检查点你可以用新风格重新演绎转录歌曲或通过讨论乐谱、编曲和歌词来完善歌曲。192 个 WildSongBench 提示两种 YuE2 设置都使用符号规划。Bo8 即八选一最佳。坐标轴为归一化比较指数气泡面积代表 AudioBox 制作质量。有得分和评估协议的 Vector PDF 和 SVG 文件。聆听你的创作成果创作翻唱输入歌词和风格生成乐谱最终得到完整歌曲从源录音生成旋律乐谱再进行新的演绎根据音乐反馈修改乐谱、风格或歌词生成新录音。聆听零样本翻唱跟随编辑对话智能演示会将《The Last Train》经过 9 个步骤和 14 个版本的转变从中文流行乐变成带有新和声和萨克斯独奏的英文爵士乐。你可以聆听每个版本并检查其对话、乐谱、提示和歌词。工作原理一个 AR - NAR 混合 Transformer 主干网络自回归地预测乐谱和语义标记然后通过流匹配生成声学潜变量。一个变分自编码器VAE将这些潜变量解码成立体声音频。创作、翻唱和编辑的区别在于乐谱的来源可以是 YuE2 生成、转录录音或编辑后的创作。分阶段的 Python API 包括 plan() → generate_semantic() → synthesize() → decode()。具体的计划重用和解码器选择可参考生成指南。快速开始环境要求Linux 系统、Python 3.12、支持 BF16 且显存为 24 GB 的 NVIDIA GPU。操作步骤YuE2 可生成 48 kHz 立体声音频无需量化。模型文件在首次使用时从 Hugging Face 下载。git clone https://github.com/multimodal - art - projection/YuE.gitcd YuEpython3.12 -m venv .venvsource .venv/bin/activatepython -m pip install --upgrade pippython -m pip install .python examples/generate.py --output outputs/first - song打开 outputs/first - song/audio.flac。输出目录还会保留乐谱、语义标记、声学潜变量、生成设置和模型标识。Python 接口同样简洁import jsonfrom pathlib import Pathfrom yue2 import YuE2Pipelinerequest json.loads(Path(examples/song.json).read_text(encodingutf - 8))with YuE2Pipeline.from_pretrained(m - a - p/YuE2 - 3B, devicecuda) as pipe:song pipe(**request)song.save_artifacts(outputs/my - song)print(song.truncated)设置行为cot full生成可编辑的旋律与和弦方案这是新歌的默认设置。cot melody使用带有自由伴奏的旋律方案推荐用于翻唱。cot off直接根据歌词和风格生成。abc ...在完整或旋律模式下提供自己的乐谱。翻唱歌曲使用 SheetSage2 转录源录音查看其旋律 ABC 乐谱并提供新歌词或目标风格。对于翻唱使用 cot melody 和无和弦符号的乐谱以便伴奏能适应新风格。from pathlib import Pathfrom yue2 import YuE2Pipelinewith YuE2Pipeline.from_pretrained(m - a - p/YuE2 - 3B, devicecuda) as pipe:cover pipe(styleEnglish, jazz - funk, warm lead vocal, Rhodes, bass and drums,lyricsPath(cover - lyrics.txt).read_text(encodingutf - 8),abcPath(cover - score/score.abc).read_text(encodingutf - 8),cotmelody,seed42,)cover.save_artifacts(outputs/cover)SheetSage2 在单独的环境中运行并自动加载其 MERT2 编码器。翻唱指南提供了完整的转录和生成命令。包含的原始旋律示例也让你可以立即尝试基于乐谱的生成。编辑创作内容导出方案修改音乐细节然后渲染编辑后的乐谱import jsonfrom pathlib import Pathfrom yue2 import YuE2Pipelinerequest json.loads(Path(examples/song.json).read_text(encodingutf - 8))with YuE2Pipeline.from_pretrained(m - a - p/YuE2 - 3B, devicecuda) as pipe:plan pipe.plan(**request)plan.save(outputs/plan)将 outputs/plan/score.abc 复制为 edited.abc然后让智能体更改其和声、旋律、节奏或形式。将编辑后的文件作为新乐谱提供python examples/generate.py --request examples/song.json --abc - file edited.abc --cot full --output outputs/edited可编辑的乐谱是白盒界面你可以检查预期的创作内容并进行干预。编辑会生成一个新的完整录音不会保留编辑之外的原始波形。有编辑指南和可重现的和声示例。智能体技能yue2 - music 技能可教会智能体如何生成歌曲、转录和翻唱录音、编辑 ABC 乐谱、检查音乐不变量以及组织聆听比较。它包含便携式辅助工具和对已发布模型接口的引用。可使用此仓库中的 skills/yue2 - music/ 与支持 SKILL.md 包的智能体配合使用。使用智能体的技能目录或导入机制进行安装Python 运行时需单独使用 pip install . 进行安装。早期的 v0.1.6 技能 ZIP 文件仍可在其捆绑许可证下获取。尝试具体请求使用 yue2 - music 技能创建一首英文钢琴流行歌曲保留原始音频和乐谱。制作一个带有爵士和声的第二版本保留人声旋律和歌词顺序并提供两个版本进行比较。基准测试WildSongBench192 个提示自动评估2026 年 9 月 12 日。系统/设置SongBench Avg ↑AudioBox PQ ↑MuLan ↑PER ↓YuE2八选一最佳 †6.96328.27140.50519.79%Mureka 96.93778.02260.439411.69%Suno v56.87218.16980.54288.10%YuE2 †6.73168.25980.50688.44%Suno v5.56.71508.19550.50895.96%Suno v4.56.69958.25410.50225.80%Suno v66.55628.12960.49167.58%Suno v6 Wild6.41958.17850.49997.45%LeVo 2 †6.32478.39660.354226.12%MiniMax Music 2.66.32228.17110.425124.55%MiniMax Music 3 †6.28308.28250.39286.27%HeartMuLa †6.24838.29330.382310.71%Muse †6.03498.05170.393733.42%ACE - Step 1.5 †6.01188.05180.43727.46%DiffRhythm 2 †5.24287.97820.378218.41%YuE 1 †4.91657.86830.262336.38%SongBloom †4.23508.15390.269719.19%† 表示公开可用的模型权重。展示了所有 17 个评估设置按 SongBench Avg 排序粗体值表示每列中的最佳结果。两种 YuE2 设置都使用符号规划和基准解码器 YuE2 - Vae - legacy。标准 YuE2 从两个候选中选择八选一最佳从八个中选择。排名因指标而异最高平均值之间的微小差距不具有统计学意义。有完整结果和选择协议。零样本翻唱在 948 个作品上完整乐谱的 YuE2 的 CLEWS mAP 达到 0.647而无乐谱时为 0.006且使用通用生成器无需针对翻唱进行微调。源标识保留和目标风格质量会分别进行测量仅旋律的翻唱在编曲更改上有更多自由度。有翻唱评估相关内容。重现基准测试要重现报告的基准测试分数请遵循 WildSongBenchWSB上的说明。MERT2最先进的音乐理解模型在 15 项 MARBLE 指标中的 14 项上达到最优在 GTZAN 上的流派准确率为 91.72%。有演示和结果 · MERT2 - 30s · MERT2 - FSSheetSage2最先进的音频到乐谱转录工具在 13 项基准测试指标中的 10 项上达到最优在 RWC - Pop 上的人声旋律音级 F1 分数为 82.51%。有演示和结果 · 模型与推理模型和资源资源用途 YuE2 - 3B歌曲生成、符号规划、翻唱和编辑 YuE2 - Vae默认生成和聆听解码器 YuE2 - Vae - legacy报告基准测试协议的解码器 SheetSage2用于翻唱和编辑的音频到乐谱转录 MERT - v2 - FullSong全歌曲音乐表征SheetSage2 的编码器 MERT - v2 - 30s短录音的音乐表征 WildSongBench评估提示和基准测试资源MERT2 特征提取对于生成是可选的。YuE2 的管道不需要单独下载 MERT2 模型。有演示和交互式结果 · 版本发布下载。许可证YuE2 的第一方代码、智能体技能和文档遵循 Apache 2.0 许可证。版权所有 (c) 2026 YuE2 作者。模型权重单独遵循 CC BY - NC 4.0 许可证。第三方组件保留其原始许可证。存档的 YuE - v1 分支保留其原始许可证。当前仓库源代码遵循 Apache 2.0 许可证早期的 yue2 - v0.1.6 下载存档保留其捆绑许可证。引用YuE2 技术报告即将发布。目前请引用 MERT 和 YuEarticle{li2023mert,title {{MERT}: Acoustic Music Understanding Model with Large - Scale Self - supervised Training},author {Li, Yizhi and Yuan, Ruibin and Zhang, Ge and Ma, Yinghao and Chen, Xingran and Yin, Hanzhi and Xiao, Chenghao and Lin, Chenghua and Ragni, Anton and Benetos, Emmanouil and Gyenge, Norbert and Dannenberg, Roger and Liu, Ruibo and Chen, Wenhu and Xia, Gus and Shi, Yemin and Huang, Wenhao and Wang, Zili and Guo, Yike and Fu, Jie},journal {arXiv preprint arXiv:2306.00107},year {2023},eprint {2306.00107},archivePrefix {arXiv},url {https://arxiv.org/abs/2306.00107}}article{yuan2025yue,title {{YuE}: Scaling Open Foundation Models for Long - Form Music Generation},author {Yuan, Ruibin and Lin, Hanfeng and Guo, Shuyue and Zhang, Ge and Pan, Jiahao and Zang, Yongyi and Liu, Haohe and Liang, Yiming and Ma, Wenye and Du, Xingjian and Du, Xinrun and Ye, Zhen and Zheng, Tianyu and Jiang, Zhengxuan and Ma, Yinghao and Liu, Minghao and Tian, Zeyue and Zhou, Ziya and Xue, Liumeng and Qu, Xingwei and Li, Yizhi and Wu, Shangda and Shen, Tianhao and Ma, Ziyang and Zhan, Jun and Wang, Chunhui and Wang, Yatian and Chi, Xiaowei and Zhang, Xinyue and Yang, Zhenzhu and Wang, Xiangzhou and Liu, Shansong and Mei, Lingrui and Li, Peng and Wang, Junjie and Yu, Jianwei and Pang, Guojian and Li, Xu and Wang, Zihao and Zhou, Xiaohuan and Yu, Lijun and Benetos, Emmanouil and Chen, Yong and Lin, Chenghua and Chen, Xie and Xia, Gus and Zhang, Zhaoxiang and Zhang, Chao and Chen, Wenhu and Zhou, Xinyu and Qiu, Xipeng and Dannenberg, Roger and Liu, Jiaheng and Yang, Jian and Huang, Wenhao and Xue, Wei and Tan, Xu and Guo, Yike},journal {arXiv preprint arXiv:2503.08638},year {2025},eprint {2503.08638},archivePrefix {arXiv},url {https://arxiv.org/abs/2503.08638}}联系我们如需合作、授权和数据合作请联系 gezhangumich.edu。
寻找原版 YuE其代码、文档和许可证都保存在 YuE - v1 分支上。YuE2以前沿品质统一符号与音频音乐生成用符号创作用声音呈现。 演示 · YuE2 · 快速开始 · 智能体技能 · 基准测试 · MERT2 · SheetSage2 · WSB · 版本发布YuE2 能以可编辑的创作方式为音乐生成带来前沿的歌曲品质。只需提供歌词和风格提示它就能创作出旋律与和弦方案然后生成包含人声和伴奏的完整歌曲。前沿品质在 WildSongBench 上YuE2 可与 Suno v5/v6 相媲美。YuE2八选一最佳的 SongBench 平均得分达到 6.9632是所有评估设置中观察到的最高平均得分。通过符号规划实现白盒音乐生成在渲染之前你可以阅读、播放和修改创作内容。旋律和和弦成为可由人或智能体检查和编辑的明确控制元素。零样本翻唱与智能编辑使用相同的生成检查点你可以用新风格重新演绎转录歌曲或通过讨论乐谱、编曲和歌词来完善歌曲。192 个 WildSongBench 提示两种 YuE2 设置都使用符号规划。Bo8 即八选一最佳。坐标轴为归一化比较指数气泡面积代表 AudioBox 制作质量。有得分和评估协议的 Vector PDF 和 SVG 文件。聆听你的创作成果创作翻唱输入歌词和风格生成乐谱最终得到完整歌曲从源录音生成旋律乐谱再进行新的演绎根据音乐反馈修改乐谱、风格或歌词生成新录音。聆听零样本翻唱跟随编辑对话智能演示会将《The Last Train》经过 9 个步骤和 14 个版本的转变从中文流行乐变成带有新和声和萨克斯独奏的英文爵士乐。你可以聆听每个版本并检查其对话、乐谱、提示和歌词。工作原理一个 AR - NAR 混合 Transformer 主干网络自回归地预测乐谱和语义标记然后通过流匹配生成声学潜变量。一个变分自编码器VAE将这些潜变量解码成立体声音频。创作、翻唱和编辑的区别在于乐谱的来源可以是 YuE2 生成、转录录音或编辑后的创作。分阶段的 Python API 包括 plan() → generate_semantic() → synthesize() → decode()。具体的计划重用和解码器选择可参考生成指南。快速开始环境要求Linux 系统、Python 3.12、支持 BF16 且显存为 24 GB 的 NVIDIA GPU。操作步骤YuE2 可生成 48 kHz 立体声音频无需量化。模型文件在首次使用时从 Hugging Face 下载。git clone https://github.com/multimodal - art - projection/YuE.gitcd YuEpython3.12 -m venv .venvsource .venv/bin/activatepython -m pip install --upgrade pippython -m pip install .python examples/generate.py --output outputs/first - song打开 outputs/first - song/audio.flac。输出目录还会保留乐谱、语义标记、声学潜变量、生成设置和模型标识。Python 接口同样简洁import jsonfrom pathlib import Pathfrom yue2 import YuE2Pipelinerequest json.loads(Path(examples/song.json).read_text(encodingutf - 8))with YuE2Pipeline.from_pretrained(m - a - p/YuE2 - 3B, devicecuda) as pipe:song pipe(**request)song.save_artifacts(outputs/my - song)print(song.truncated)设置行为cot full生成可编辑的旋律与和弦方案这是新歌的默认设置。cot melody使用带有自由伴奏的旋律方案推荐用于翻唱。cot off直接根据歌词和风格生成。abc ...在完整或旋律模式下提供自己的乐谱。翻唱歌曲使用 SheetSage2 转录源录音查看其旋律 ABC 乐谱并提供新歌词或目标风格。对于翻唱使用 cot melody 和无和弦符号的乐谱以便伴奏能适应新风格。from pathlib import Pathfrom yue2 import YuE2Pipelinewith YuE2Pipeline.from_pretrained(m - a - p/YuE2 - 3B, devicecuda) as pipe:cover pipe(styleEnglish, jazz - funk, warm lead vocal, Rhodes, bass and drums,lyricsPath(cover - lyrics.txt).read_text(encodingutf - 8),abcPath(cover - score/score.abc).read_text(encodingutf - 8),cotmelody,seed42,)cover.save_artifacts(outputs/cover)SheetSage2 在单独的环境中运行并自动加载其 MERT2 编码器。翻唱指南提供了完整的转录和生成命令。包含的原始旋律示例也让你可以立即尝试基于乐谱的生成。编辑创作内容导出方案修改音乐细节然后渲染编辑后的乐谱import jsonfrom pathlib import Pathfrom yue2 import YuE2Pipelinerequest json.loads(Path(examples/song.json).read_text(encodingutf - 8))with YuE2Pipeline.from_pretrained(m - a - p/YuE2 - 3B, devicecuda) as pipe:plan pipe.plan(**request)plan.save(outputs/plan)将 outputs/plan/score.abc 复制为 edited.abc然后让智能体更改其和声、旋律、节奏或形式。将编辑后的文件作为新乐谱提供python examples/generate.py --request examples/song.json --abc - file edited.abc --cot full --output outputs/edited可编辑的乐谱是白盒界面你可以检查预期的创作内容并进行干预。编辑会生成一个新的完整录音不会保留编辑之外的原始波形。有编辑指南和可重现的和声示例。智能体技能yue2 - music 技能可教会智能体如何生成歌曲、转录和翻唱录音、编辑 ABC 乐谱、检查音乐不变量以及组织聆听比较。它包含便携式辅助工具和对已发布模型接口的引用。可使用此仓库中的 skills/yue2 - music/ 与支持 SKILL.md 包的智能体配合使用。使用智能体的技能目录或导入机制进行安装Python 运行时需单独使用 pip install . 进行安装。早期的 v0.1.6 技能 ZIP 文件仍可在其捆绑许可证下获取。尝试具体请求使用 yue2 - music 技能创建一首英文钢琴流行歌曲保留原始音频和乐谱。制作一个带有爵士和声的第二版本保留人声旋律和歌词顺序并提供两个版本进行比较。基准测试WildSongBench192 个提示自动评估2026 年 9 月 12 日。系统/设置SongBench Avg ↑AudioBox PQ ↑MuLan ↑PER ↓YuE2八选一最佳 †6.96328.27140.50519.79%Mureka 96.93778.02260.439411.69%Suno v56.87218.16980.54288.10%YuE2 †6.73168.25980.50688.44%Suno v5.56.71508.19550.50895.96%Suno v4.56.69958.25410.50225.80%Suno v66.55628.12960.49167.58%Suno v6 Wild6.41958.17850.49997.45%LeVo 2 †6.32478.39660.354226.12%MiniMax Music 2.66.32228.17110.425124.55%MiniMax Music 3 †6.28308.28250.39286.27%HeartMuLa †6.24838.29330.382310.71%Muse †6.03498.05170.393733.42%ACE - Step 1.5 †6.01188.05180.43727.46%DiffRhythm 2 †5.24287.97820.378218.41%YuE 1 †4.91657.86830.262336.38%SongBloom †4.23508.15390.269719.19%† 表示公开可用的模型权重。展示了所有 17 个评估设置按 SongBench Avg 排序粗体值表示每列中的最佳结果。两种 YuE2 设置都使用符号规划和基准解码器 YuE2 - Vae - legacy。标准 YuE2 从两个候选中选择八选一最佳从八个中选择。排名因指标而异最高平均值之间的微小差距不具有统计学意义。有完整结果和选择协议。零样本翻唱在 948 个作品上完整乐谱的 YuE2 的 CLEWS mAP 达到 0.647而无乐谱时为 0.006且使用通用生成器无需针对翻唱进行微调。源标识保留和目标风格质量会分别进行测量仅旋律的翻唱在编曲更改上有更多自由度。有翻唱评估相关内容。重现基准测试要重现报告的基准测试分数请遵循 WildSongBenchWSB上的说明。MERT2最先进的音乐理解模型在 15 项 MARBLE 指标中的 14 项上达到最优在 GTZAN 上的流派准确率为 91.72%。有演示和结果 · MERT2 - 30s · MERT2 - FSSheetSage2最先进的音频到乐谱转录工具在 13 项基准测试指标中的 10 项上达到最优在 RWC - Pop 上的人声旋律音级 F1 分数为 82.51%。有演示和结果 · 模型与推理模型和资源资源用途 YuE2 - 3B歌曲生成、符号规划、翻唱和编辑 YuE2 - Vae默认生成和聆听解码器 YuE2 - Vae - legacy报告基准测试协议的解码器 SheetSage2用于翻唱和编辑的音频到乐谱转录 MERT - v2 - FullSong全歌曲音乐表征SheetSage2 的编码器 MERT - v2 - 30s短录音的音乐表征 WildSongBench评估提示和基准测试资源MERT2 特征提取对于生成是可选的。YuE2 的管道不需要单独下载 MERT2 模型。有演示和交互式结果 · 版本发布下载。许可证YuE2 的第一方代码、智能体技能和文档遵循 Apache 2.0 许可证。版权所有 (c) 2026 YuE2 作者。模型权重单独遵循 CC BY - NC 4.0 许可证。第三方组件保留其原始许可证。存档的 YuE - v1 分支保留其原始许可证。当前仓库源代码遵循 Apache 2.0 许可证早期的 yue2 - v0.1.6 下载存档保留其捆绑许可证。引用YuE2 技术报告即将发布。目前请引用 MERT 和 YuEarticle{li2023mert,title {{MERT}: Acoustic Music Understanding Model with Large - Scale Self - supervised Training},author {Li, Yizhi and Yuan, Ruibin and Zhang, Ge and Ma, Yinghao and Chen, Xingran and Yin, Hanzhi and Xiao, Chenghao and Lin, Chenghua and Ragni, Anton and Benetos, Emmanouil and Gyenge, Norbert and Dannenberg, Roger and Liu, Ruibo and Chen, Wenhu and Xia, Gus and Shi, Yemin and Huang, Wenhao and Wang, Zili and Guo, Yike and Fu, Jie},journal {arXiv preprint arXiv:2306.00107},year {2023},eprint {2306.00107},archivePrefix {arXiv},url {https://arxiv.org/abs/2306.00107}}article{yuan2025yue,title {{YuE}: Scaling Open Foundation Models for Long - Form Music Generation},author {Yuan, Ruibin and Lin, Hanfeng and Guo, Shuyue and Zhang, Ge and Pan, Jiahao and Zang, Yongyi and Liu, Haohe and Liang, Yiming and Ma, Wenye and Du, Xingjian and Du, Xinrun and Ye, Zhen and Zheng, Tianyu and Jiang, Zhengxuan and Ma, Yinghao and Liu, Minghao and Tian, Zeyue and Zhou, Ziya and Xue, Liumeng and Qu, Xingwei and Li, Yizhi and Wu, Shangda and Shen, Tianhao and Ma, Ziyang and Zhan, Jun and Wang, Chunhui and Wang, Yatian and Chi, Xiaowei and Zhang, Xinyue and Yang, Zhenzhu and Wang, Xiangzhou and Liu, Shansong and Mei, Lingrui and Li, Peng and Wang, Junjie and Yu, Jianwei and Pang, Guojian and Li, Xu and Wang, Zihao and Zhou, Xiaohuan and Yu, Lijun and Benetos, Emmanouil and Chen, Yong and Lin, Chenghua and Chen, Xie and Xia, Gus and Zhang, Zhaoxiang and Zhang, Chao and Chen, Wenhu and Zhou, Xinyu and Qiu, Xipeng and Dannenberg, Roger and Liu, Jiaheng and Yang, Jian and Huang, Wenhao and Xue, Wei and Tan, Xu and Guo, Yike},journal {arXiv preprint arXiv:2503.08638},year {2025},eprint {2503.08638},archivePrefix {arXiv},url {https://arxiv.org/abs/2503.08638}}联系我们如需合作、授权和数据合作请联系 gezhangumich.edu。
