同一台机器、同一个模型跑一首男声主唱的歌人声轨干净得几乎能直接用换一首女声主唱伴奏轨里就飘起一层人声「鬼影」副歌长音处尤其明显再换一首童声干脆连主旋律都剥不完整。你换参数、换模式折腾一圈发现难度不是随机的——它跟着歌手的音高走。先破除一个误解模型对所有人声不是一视同仁很多人以为分离效果不好就是素材脏、码率低模型对男声女声童声是一碗水端平的。其实不是。在素材质量完全相同的前提下人声本身的基频Fundamental FrequencyF0高低会系统性地改变分离难度。男声、女声、童声不是「同一道题的不同难度」是三道不同的题——难的点完全不一样验收时该盯的位置也不一样。底层原理人声是一把「梳子」分离是在给梳齿找归属人声的频谱不是铺满整个频带的而是一把梳子的形状一个基频 F0加上它整数倍的一系列谐波Harmonics。成年男声 F0 大约 85~180Hz女声 165~255Hz童声可以到 250~400Hz 以上。主流分离模型在 STFT 时频图上工作对每一格能量判决「多大比例归人声、多大比例归伴奏各轨」。它依赖的核心线索之一就是这把梳子的形态梳齿落在哪些频点、间隔多大、跟别的乐器的梳齿错不错得开。有两个物理约束决定了难度跟着基频走。一是时频图的频率分辨率有限44.1kHz 采样、2048 点窗每格约 21.5Hz低频段一格就是人声基频的好几分之一几个声源的基频挤在相邻几格之内模型只能给出模糊判决。二是谐波重叠任何两个声源的谐波系列总会在某些频点撞上撞上的格子不可能判给「都对」只能按能量比例分摊。基频的高低直接决定了这两个约束在哪里咬人。影响一男声——基频扎进底鼓贝斯的地盘低频格挤、掩蔽重男声基频 85~180Hz而底鼓Kick的基频区大约 50~150Hz贝斯Bass大约 41~200Hz——三把梳子的根部几乎完全叠在一起。这一带恰好是时频分辨率最粗的地方21.5Hz 一格男声一个基频只占 4~8 格底鼓的基频、贝斯的根音、人声的 F0 常常落在同一两格里。再叠上低频掩蔽效应——底鼓瞬态的能量远高于人声稳态同一格里能量大者会「盖住」小者的特征——模型在这片区域给出的掩码天然是模糊的这一格 0.6 归人声、0.4 归贝斯按比例切。听感后果是双侧的人声轨低频发浑鼓和贝斯的能量渗进来或者伴奏轨的鼓点里带出一截人声哼鸣。但也有个反直觉的补偿男声基频低意味着单位带宽内谐波更密、梳齿更多中高频区的归属线索反而丰富。所以男声的整体轮廓通常分得清难的从来是低频段的干净归属。影响二女声——基频上了中频谐波撞进乐器主战区女声基频 165~255Hz它的 2~5 次谐波落在 330Hz~1.3kHz——正好是吉他、钢琴、键盘、弦乐群的能量主区。中频是流行编曲里信息最密集的地带模型要在这里把女声的梳齿从一堆乐器的梳齿里一根根剔出来。更麻烦的是女声基频高谐波间隔比男声宽、梳齿更稀单根谐波承载的能量占比更高。它与乐器谐波相撞时不是「你中有我」的渐变而是硬碰硬同一根频点上女声的第三谐波和钢琴的某根弦音几乎重合掩码只能按比例劈。听感后果也很典型伴奏轨飘人声「鬼影」尤其是副歌的长音、拖腔处或者反过来人声轨发闷、发虚——中频能量被判给了乐器。有意思的是女声齿音所在的 5~8kHz 反而好分因为那个高度乐器稀少梳齿一目了然。影响三童声——基频更高更飘训练样本还最少童声基频普遍在 250Hz 以上比女声更高而且声带未发育成熟基频稳定性差——唱同一个音也会抖、会飘梳子的「齿距」本身就不均匀。这带来双重不利。其一基频越高谐波越稀模型能利用的梳齿线索越少其二也是更本质的——分离模型的训练语料以成年男女声为主童声的频谱形态在训练集里占比极低。模型对「没见过几次」的音色缺乏稳定先验给出的掩码要么保守该判给人声的不敢判要么飘忽相邻两格判决互相打架。听感后果是童声独唱的人声轨容易发薄、发碎像被抽掉了芯童声合唱更糟高音区的童声与女声、与高频打击乐镲片、铃鼓挤在同一片频带容易混作一团分不开。这是三类人声里唯一「换模式也补不回来」的情况原因在数据不在算法参数。落地方案先认人声类型再按频段对症处理实际操作的链路不复杂第一步先判断素材的人声类型和音区分布——男声盯低频女声盯中频童声直接下调预期。第二步选模式编曲复杂、底鼓贝斯能量大的歌走深度分离它内建先降噪再分离的顺序低频段的判决环境会干净一些编曲简单的干声素材普通分离即可。第三步分段验收最低音和最高音的段落各听一处再决定要不要补救。补救按频段来人声轨低频发浑高通轻切 100Hz 以下中频缺损对人声轨 3~5kHz 轻补提清晰度伴奏轨有人声鬼影别整体重跑先确认鬼影是不是集中在高音段落。难度跟着基频走本质是「梳子和梳子错不错得开」搞清楚机制之后「这个工具行不行」就变成了一个更具体的问题这首歌的人声住在哪个频段它的邻居是谁。男声的邻居是底鼓和贝斯女声的邻居是整个中频乐器群童声的邻居是数据稀缺。听分离结果之前先想清楚这一点比在三个模型之间来回重跑省时间得多——难度不是模型给的是频谱分布给的。
同一台机器、同一个模型跑一首男声主唱的歌人声轨干净得几乎能直接用换一首女声主唱伴奏轨里就飘起一层人声「鬼影」副歌长音处尤其明显再换一首童声干脆连主旋律都剥不完整。你换参数、换模式折腾一圈发现难度不是随机的——它跟着歌手的音高走。先破除一个误解模型对所有人声不是一视同仁很多人以为分离效果不好就是素材脏、码率低模型对男声女声童声是一碗水端平的。其实不是。在素材质量完全相同的前提下人声本身的基频Fundamental FrequencyF0高低会系统性地改变分离难度。男声、女声、童声不是「同一道题的不同难度」是三道不同的题——难的点完全不一样验收时该盯的位置也不一样。底层原理人声是一把「梳子」分离是在给梳齿找归属人声的频谱不是铺满整个频带的而是一把梳子的形状一个基频 F0加上它整数倍的一系列谐波Harmonics。成年男声 F0 大约 85~180Hz女声 165~255Hz童声可以到 250~400Hz 以上。主流分离模型在 STFT 时频图上工作对每一格能量判决「多大比例归人声、多大比例归伴奏各轨」。它依赖的核心线索之一就是这把梳子的形态梳齿落在哪些频点、间隔多大、跟别的乐器的梳齿错不错得开。有两个物理约束决定了难度跟着基频走。一是时频图的频率分辨率有限44.1kHz 采样、2048 点窗每格约 21.5Hz低频段一格就是人声基频的好几分之一几个声源的基频挤在相邻几格之内模型只能给出模糊判决。二是谐波重叠任何两个声源的谐波系列总会在某些频点撞上撞上的格子不可能判给「都对」只能按能量比例分摊。基频的高低直接决定了这两个约束在哪里咬人。影响一男声——基频扎进底鼓贝斯的地盘低频格挤、掩蔽重男声基频 85~180Hz而底鼓Kick的基频区大约 50~150Hz贝斯Bass大约 41~200Hz——三把梳子的根部几乎完全叠在一起。这一带恰好是时频分辨率最粗的地方21.5Hz 一格男声一个基频只占 4~8 格底鼓的基频、贝斯的根音、人声的 F0 常常落在同一两格里。再叠上低频掩蔽效应——底鼓瞬态的能量远高于人声稳态同一格里能量大者会「盖住」小者的特征——模型在这片区域给出的掩码天然是模糊的这一格 0.6 归人声、0.4 归贝斯按比例切。听感后果是双侧的人声轨低频发浑鼓和贝斯的能量渗进来或者伴奏轨的鼓点里带出一截人声哼鸣。但也有个反直觉的补偿男声基频低意味着单位带宽内谐波更密、梳齿更多中高频区的归属线索反而丰富。所以男声的整体轮廓通常分得清难的从来是低频段的干净归属。影响二女声——基频上了中频谐波撞进乐器主战区女声基频 165~255Hz它的 2~5 次谐波落在 330Hz~1.3kHz——正好是吉他、钢琴、键盘、弦乐群的能量主区。中频是流行编曲里信息最密集的地带模型要在这里把女声的梳齿从一堆乐器的梳齿里一根根剔出来。更麻烦的是女声基频高谐波间隔比男声宽、梳齿更稀单根谐波承载的能量占比更高。它与乐器谐波相撞时不是「你中有我」的渐变而是硬碰硬同一根频点上女声的第三谐波和钢琴的某根弦音几乎重合掩码只能按比例劈。听感后果也很典型伴奏轨飘人声「鬼影」尤其是副歌的长音、拖腔处或者反过来人声轨发闷、发虚——中频能量被判给了乐器。有意思的是女声齿音所在的 5~8kHz 反而好分因为那个高度乐器稀少梳齿一目了然。影响三童声——基频更高更飘训练样本还最少童声基频普遍在 250Hz 以上比女声更高而且声带未发育成熟基频稳定性差——唱同一个音也会抖、会飘梳子的「齿距」本身就不均匀。这带来双重不利。其一基频越高谐波越稀模型能利用的梳齿线索越少其二也是更本质的——分离模型的训练语料以成年男女声为主童声的频谱形态在训练集里占比极低。模型对「没见过几次」的音色缺乏稳定先验给出的掩码要么保守该判给人声的不敢判要么飘忽相邻两格判决互相打架。听感后果是童声独唱的人声轨容易发薄、发碎像被抽掉了芯童声合唱更糟高音区的童声与女声、与高频打击乐镲片、铃鼓挤在同一片频带容易混作一团分不开。这是三类人声里唯一「换模式也补不回来」的情况原因在数据不在算法参数。落地方案先认人声类型再按频段对症处理实际操作的链路不复杂第一步先判断素材的人声类型和音区分布——男声盯低频女声盯中频童声直接下调预期。第二步选模式编曲复杂、底鼓贝斯能量大的歌走深度分离它内建先降噪再分离的顺序低频段的判决环境会干净一些编曲简单的干声素材普通分离即可。第三步分段验收最低音和最高音的段落各听一处再决定要不要补救。补救按频段来人声轨低频发浑高通轻切 100Hz 以下中频缺损对人声轨 3~5kHz 轻补提清晰度伴奏轨有人声鬼影别整体重跑先确认鬼影是不是集中在高音段落。难度跟着基频走本质是「梳子和梳子错不错得开」搞清楚机制之后「这个工具行不行」就变成了一个更具体的问题这首歌的人声住在哪个频段它的邻居是谁。男声的邻居是底鼓和贝斯女声的邻居是整个中频乐器群童声的邻居是数据稀缺。听分离结果之前先想清楚这一点比在三个模型之间来回重跑省时间得多——难度不是模型给的是频谱分布给的。
