【声明】本博客所有内容均为个人业余时间创作所述技术案例均来自公开开源项目如GithubApache基金会不涉及任何企业机密或未公开技术如有侵权请联系删除标题254、【AI】【模型部署】基座模型研究对称性统一视角——等变、不变与归纳偏置背景上篇 blog【AI】【模型部署】基座模型研究集合视角——Deep Sets、池化与置换不变把集合这条线讲完了把边也拿掉后输入是一堆元素的集合对集合做预测要求置换不变池化求和/均值/最大天然不变Deep Sets说任何连续置换不变的集合函数都能写成ρ ( ∑ x ϕ ( x ) ) \rho(\sum_x\phi(x))ρ(∑xϕ(x))——“个体变换 求和 整体映射”注意力输出本身是置换等变的集合再池化一次就得到不变的整体表示而语言模型把池化换成取最后一个位置读出开始依赖顺序所以必须位置编码。到此251置换等变、252注意力即图神经网络、253集合与池化三篇都指向同一个词——对称性。本篇作为收束把等变、不变、掩码、位置统一进一个框架对称性就是归纳偏置把任务里本来就该成立的性质烘进网络结构。模型部署先说清楚对称性在这里指什么。它不是美学上的对称而是**“对某个变换保持某种一致”把一个变换写成g gg比如平移一格“重排顺序”“旋转一个角度”它作用在输入x xx上得到g ⋅ x g\cdot xg⋅x。网络f ff对g gg的态度只有两种——不变或等变**。整篇内容就围绕这两个词展开。不变与等变定义非常短不变invariancef ( g ⋅ x ) f ( x ) f(g\cdot x)f(x)f(g⋅x)f(x)——施加变换输出一点没变等变equivariancef ( g ⋅ x ) g ⋅ f ( x ) f(g\cdot x)g\cdot f(x)f(g⋅x)g⋅f(x)——施加变换输出跟着一起变。图 1 画出对比上格是变换输入、输出照旧不变下格是变换输入、输出同步变换等变。251 251251篇证出的O ( P X ) P O ( X ) O(PX)P\,O(X)O(PX)PO(X)正是置换等变的一个实例而池化顺序怎么换结果都一样则是置换不变。一张对照表把前面几篇的结论和更广的架构放到一起图 2 列了几组变换 → 作用对象 → 性质/代表变 换作用对象性 质 / 代表平移图像 / 序列CNN平移等变置换集合 / 图 / 注意力注意力、GNN置换等变置换集合的整体读出池化置换不变位置平移序列的相对位置RoPE只看相对距离旋转分子 / 点云旋转等变网络同一张表里注意力和 GNN 站在置换等变池化站在置换不变RoPE 站在相对位置这一格。整个位置编码与对称性系列其实都在反复触碰这张表。为什么要把对称性烘进架构一个自然的疑问这些性质让网络自己学不就行了吗为什么要专门设计答案是归纳偏置inductive bias带来的效率。把一条任务里本来就成立的性质直接写进结构等于帮网络排除掉一大批不可能正确的假设。好处有三省样本不用从数据里学平移无所谓“顺序无所谓”结构已经保证省参数共享、聚合这些操作本身就是参数高效的比如卷积核在整张图上共享更稳健输入发生对称变换时输出有可预期的变化泛化更可靠。“把必须成立的性质烘进结构把必须学会的东西留给参数”这是现代架构设计的一条核心思路。对称性能在哪几个层面加把对称性烘进模型并不只有一种做法大致分三个层面层 面做 法特 点结构architecture卷积、注意力、GNN、池化最彻底天然成立、最省数据损失 / 正则loss惩罚f ( g ⋅ x ) f(g\cdot x)f(g⋅x)与g ⋅ f ( x ) g\cdot f(x)g⋅f(x)的差异软约束灵活但要调权重数据augmentation训练时随机施加变换不改结构但更费数据与算力三者可以叠加。能用结构解决的优先用结构——它把性质写死了网络不必再从数据里悟。不变其实是等变的特例这两个词看着并列其实有包含关系。等变说的是f ( g ⋅ x ) g ⋅ f ( x ) f(g\cdot x)g\cdot f(x)f(g⋅x)g⋅f(x)如果在这个等变函数后面再接一个对g gg不变的读出R RR满足R ( g ⋅ y ) R ( y ) R(g\cdot y)R(y)R(g⋅y)R(y)那么R ( f ( g ⋅ x ) ) R ( g ⋅ f ( x ) ) R ( f ( x ) ) R\big(f(g\cdot x)\big)R\big(g\cdot f(x)\big)R\big(f(x)\big)R(f(g⋅x))R(g⋅f(x))R(f(x))整体就变成不变的了。这正是253篇的配方注意力置换等变再套池化置换不变得到一个不变的集合模型。所以不变常常不是单独设计出来的而是等变骨干 不变读出自然叠出来的。用群的语言说一句前面反复出现的变换其实都属于同一类东西——群group一组可以复合、可以求逆、包含什么都不做的变换。平移构成平移群、置换构成置换群、旋转构成旋转群。*等变与不变的定义本来就是相对某个群而言的对置换群等变注意力/GNN对平移群等变CNN。这里不必深究群论只要记住一组能复合、可逆的变换这个直觉就足够理解整条主线。什么时候要打破对称性但对称性并非越多越好——它也可能与任务冲突。语言任务里猫吃鱼和鱼吃猫是两回事顺序是有意义的。这时如果网络坚持置换等变就永远分不出来。所以才会故意打破对称性251篇里因果掩码引入方向、位置编码注入距离245篇里RoPE 用旋转把相对位置补进q , k q,kq,k。它们都是对称性不适用时主动把它破坏掉的措施。反过来当任务确实不关心顺序时点云、集合、整图就用池化把它变回不变。设计网络本质上是在该对称的地方对称、该区分的地方区分之间做取舍。回看整个系列把两条线合起来看内容线244~250从注意力为什么对顺序无感出发讲位置编码的三条路径、RoPE 为什么旋转、转哪些维度、用在前向还是推理、有没有替代、长上下文怎么外推对称线251~254把顺序无感升级为置换等变的严格推导再依次展开注意力即 GNN“集合与 Deep Sets”“对称性统一视角”。两条线在同一个点交汇注意力天生置换等变、顺序无感要让它理解序列必须主动打破这份对称——这就是位置编码存在的全部理由。位置编码不是外挂而是给对称的架构补上它缺失的那一维。更一般地看这也是深度学习里一条反复出现的思路先问任务有什么对称性再决定架构给多少对称性。给多了模型表达不出任务需要的区分给少了又要靠大量数据去补。位置编码打破置换对称与池化保住置换不变正是这条思路在两端的具体落点。一张设计清单把上面的取舍落成几个可操作的问题问 题回答是回答否任务在变换g gg下结果相同吗施加该对称性不变/等变不要强加输出是逐元素还是整体逐元素 → 用等变骨干整体 → 等变骨干 不变读出结构能直接实现该对称性吗改结构卷积/GNN/池化用损失或数据增强顺序对任务重要吗打破对称掩码 位置编码用池化汇总这张表几乎能覆盖过去几篇的所有设计决定注意力选置换等变、池化选置换不变、语言模型选打破对称、补位置编码都能在这里找到对应的问与答。两个常见疑问“对称性是不是越多越好”不是。对称性越强约束越硬、表达力越受限。只有当任务确实满足该对称性时才该强加任务不满足的对称性硬加上去只会让模型学不动。所以要先问这个变换下结果该不该变再决定要不要对称。“为什么加了位置编码就’破坏’了对称性”因为位置项依赖下标i ii使输出不再满足f ( g ⋅ x ) g ⋅ f ( x ) f(g\cdot x)g\cdot f(x)f(g⋅x)g⋅f(x)。但这是有意的——语言任务恰恰需要顺序不同、结果不同。破坏对称不是 bug而是刻意为之的归纳偏置调整。“数据增强能替代结构对称性吗”能逼近但代价高。模型得从数据里重新学一遍本来就已知的性质样本和算力都更贵而结构对称性相当于把这条知识免费送给模型。能用结构表达的对称性就别留给数据。一句话记忆把变换记作g ggf ( g ⋅ x ) f ( x ) f(g\cdot x)f(x)f(g⋅x)f(x)叫不变f ( g ⋅ x ) g ⋅ f ( x ) f(g\cdot x)g\cdot f(x)f(g⋅x)g⋅f(x)叫等变。CNN 平移等变、注意力与 GNN 置换等变、池化置换不变、RoPE 只看相对距离——它们都是把任务里本来就该成立的对称性烘进结构当归纳偏置以换取样本效率、参数效率与稳健性。当对称性与任务冲突如语言在乎顺序就主动打破它——掩码给方向、位置编码给距离。“该对称处对称、该区分处区分”就是架构设计在这一维度上的全部学问。OK本篇先到这里如有疑问欢迎评论区留言讨论祝各位功力大涨技术更上一层楼
【声明】本博客所有内容均为个人业余时间创作所述技术案例均来自公开开源项目如GithubApache基金会不涉及任何企业机密或未公开技术如有侵权请联系删除标题254、【AI】【模型部署】基座模型研究对称性统一视角——等变、不变与归纳偏置背景上篇 blog【AI】【模型部署】基座模型研究集合视角——Deep Sets、池化与置换不变把集合这条线讲完了把边也拿掉后输入是一堆元素的集合对集合做预测要求置换不变池化求和/均值/最大天然不变Deep Sets说任何连续置换不变的集合函数都能写成ρ ( ∑ x ϕ ( x ) ) \rho(\sum_x\phi(x))ρ(∑xϕ(x))——“个体变换 求和 整体映射”注意力输出本身是置换等变的集合再池化一次就得到不变的整体表示而语言模型把池化换成取最后一个位置读出开始依赖顺序所以必须位置编码。到此251置换等变、252注意力即图神经网络、253集合与池化三篇都指向同一个词——对称性。本篇作为收束把等变、不变、掩码、位置统一进一个框架对称性就是归纳偏置把任务里本来就该成立的性质烘进网络结构。模型部署先说清楚对称性在这里指什么。它不是美学上的对称而是**“对某个变换保持某种一致”把一个变换写成g gg比如平移一格“重排顺序”“旋转一个角度”它作用在输入x xx上得到g ⋅ x g\cdot xg⋅x。网络f ff对g gg的态度只有两种——不变或等变**。整篇内容就围绕这两个词展开。不变与等变定义非常短不变invariancef ( g ⋅ x ) f ( x ) f(g\cdot x)f(x)f(g⋅x)f(x)——施加变换输出一点没变等变equivariancef ( g ⋅ x ) g ⋅ f ( x ) f(g\cdot x)g\cdot f(x)f(g⋅x)g⋅f(x)——施加变换输出跟着一起变。图 1 画出对比上格是变换输入、输出照旧不变下格是变换输入、输出同步变换等变。251 251251篇证出的O ( P X ) P O ( X ) O(PX)P\,O(X)O(PX)PO(X)正是置换等变的一个实例而池化顺序怎么换结果都一样则是置换不变。一张对照表把前面几篇的结论和更广的架构放到一起图 2 列了几组变换 → 作用对象 → 性质/代表变 换作用对象性 质 / 代表平移图像 / 序列CNN平移等变置换集合 / 图 / 注意力注意力、GNN置换等变置换集合的整体读出池化置换不变位置平移序列的相对位置RoPE只看相对距离旋转分子 / 点云旋转等变网络同一张表里注意力和 GNN 站在置换等变池化站在置换不变RoPE 站在相对位置这一格。整个位置编码与对称性系列其实都在反复触碰这张表。为什么要把对称性烘进架构一个自然的疑问这些性质让网络自己学不就行了吗为什么要专门设计答案是归纳偏置inductive bias带来的效率。把一条任务里本来就成立的性质直接写进结构等于帮网络排除掉一大批不可能正确的假设。好处有三省样本不用从数据里学平移无所谓“顺序无所谓”结构已经保证省参数共享、聚合这些操作本身就是参数高效的比如卷积核在整张图上共享更稳健输入发生对称变换时输出有可预期的变化泛化更可靠。“把必须成立的性质烘进结构把必须学会的东西留给参数”这是现代架构设计的一条核心思路。对称性能在哪几个层面加把对称性烘进模型并不只有一种做法大致分三个层面层 面做 法特 点结构architecture卷积、注意力、GNN、池化最彻底天然成立、最省数据损失 / 正则loss惩罚f ( g ⋅ x ) f(g\cdot x)f(g⋅x)与g ⋅ f ( x ) g\cdot f(x)g⋅f(x)的差异软约束灵活但要调权重数据augmentation训练时随机施加变换不改结构但更费数据与算力三者可以叠加。能用结构解决的优先用结构——它把性质写死了网络不必再从数据里悟。不变其实是等变的特例这两个词看着并列其实有包含关系。等变说的是f ( g ⋅ x ) g ⋅ f ( x ) f(g\cdot x)g\cdot f(x)f(g⋅x)g⋅f(x)如果在这个等变函数后面再接一个对g gg不变的读出R RR满足R ( g ⋅ y ) R ( y ) R(g\cdot y)R(y)R(g⋅y)R(y)那么R ( f ( g ⋅ x ) ) R ( g ⋅ f ( x ) ) R ( f ( x ) ) R\big(f(g\cdot x)\big)R\big(g\cdot f(x)\big)R\big(f(x)\big)R(f(g⋅x))R(g⋅f(x))R(f(x))整体就变成不变的了。这正是253篇的配方注意力置换等变再套池化置换不变得到一个不变的集合模型。所以不变常常不是单独设计出来的而是等变骨干 不变读出自然叠出来的。用群的语言说一句前面反复出现的变换其实都属于同一类东西——群group一组可以复合、可以求逆、包含什么都不做的变换。平移构成平移群、置换构成置换群、旋转构成旋转群。*等变与不变的定义本来就是相对某个群而言的对置换群等变注意力/GNN对平移群等变CNN。这里不必深究群论只要记住一组能复合、可逆的变换这个直觉就足够理解整条主线。什么时候要打破对称性但对称性并非越多越好——它也可能与任务冲突。语言任务里猫吃鱼和鱼吃猫是两回事顺序是有意义的。这时如果网络坚持置换等变就永远分不出来。所以才会故意打破对称性251篇里因果掩码引入方向、位置编码注入距离245篇里RoPE 用旋转把相对位置补进q , k q,kq,k。它们都是对称性不适用时主动把它破坏掉的措施。反过来当任务确实不关心顺序时点云、集合、整图就用池化把它变回不变。设计网络本质上是在该对称的地方对称、该区分的地方区分之间做取舍。回看整个系列把两条线合起来看内容线244~250从注意力为什么对顺序无感出发讲位置编码的三条路径、RoPE 为什么旋转、转哪些维度、用在前向还是推理、有没有替代、长上下文怎么外推对称线251~254把顺序无感升级为置换等变的严格推导再依次展开注意力即 GNN“集合与 Deep Sets”“对称性统一视角”。两条线在同一个点交汇注意力天生置换等变、顺序无感要让它理解序列必须主动打破这份对称——这就是位置编码存在的全部理由。位置编码不是外挂而是给对称的架构补上它缺失的那一维。更一般地看这也是深度学习里一条反复出现的思路先问任务有什么对称性再决定架构给多少对称性。给多了模型表达不出任务需要的区分给少了又要靠大量数据去补。位置编码打破置换对称与池化保住置换不变正是这条思路在两端的具体落点。一张设计清单把上面的取舍落成几个可操作的问题问 题回答是回答否任务在变换g gg下结果相同吗施加该对称性不变/等变不要强加输出是逐元素还是整体逐元素 → 用等变骨干整体 → 等变骨干 不变读出结构能直接实现该对称性吗改结构卷积/GNN/池化用损失或数据增强顺序对任务重要吗打破对称掩码 位置编码用池化汇总这张表几乎能覆盖过去几篇的所有设计决定注意力选置换等变、池化选置换不变、语言模型选打破对称、补位置编码都能在这里找到对应的问与答。两个常见疑问“对称性是不是越多越好”不是。对称性越强约束越硬、表达力越受限。只有当任务确实满足该对称性时才该强加任务不满足的对称性硬加上去只会让模型学不动。所以要先问这个变换下结果该不该变再决定要不要对称。“为什么加了位置编码就’破坏’了对称性”因为位置项依赖下标i ii使输出不再满足f ( g ⋅ x ) g ⋅ f ( x ) f(g\cdot x)g\cdot f(x)f(g⋅x)g⋅f(x)。但这是有意的——语言任务恰恰需要顺序不同、结果不同。破坏对称不是 bug而是刻意为之的归纳偏置调整。“数据增强能替代结构对称性吗”能逼近但代价高。模型得从数据里重新学一遍本来就已知的性质样本和算力都更贵而结构对称性相当于把这条知识免费送给模型。能用结构表达的对称性就别留给数据。一句话记忆把变换记作g ggf ( g ⋅ x ) f ( x ) f(g\cdot x)f(x)f(g⋅x)f(x)叫不变f ( g ⋅ x ) g ⋅ f ( x ) f(g\cdot x)g\cdot f(x)f(g⋅x)g⋅f(x)叫等变。CNN 平移等变、注意力与 GNN 置换等变、池化置换不变、RoPE 只看相对距离——它们都是把任务里本来就该成立的对称性烘进结构当归纳偏置以换取样本效率、参数效率与稳健性。当对称性与任务冲突如语言在乎顺序就主动打破它——掩码给方向、位置编码给距离。“该对称处对称、该区分处区分”就是架构设计在这一维度上的全部学问。OK本篇先到这里如有疑问欢迎评论区留言讨论祝各位功力大涨技术更上一层楼
