MAE 中的 Mask Vector：从形状、初始化到预训练与推理1. Mask Vector 到底是什么？论文《Masked Autoencoders Are Scalable Vision Learners》的核心任务是：随机删除图片中的大量 patch，只让 Encoder 观察剩余 patch，再让 Decoder 重建被删除的 patch。MAE 使用一个特殊的掩码向量（mask vector）来告诉 Decoder：“这个位置原本存在一个 patch，但它的内容现在未知，需要预测。”论文将每个掩码标记（mask token）描述为共享的、通过学习得到的向量。同时，MAE 的 Encoder 只处理真实的可见图像块（visible patches），mask token 只在 Decoder 中出现。因此，首先要建立最重要的概念：maskvector不是缺失patch的内容，而是缺失patch的可学习占位符。\boxed{\text{mask vector 不是缺失 patch 的内容，而是缺失 patch 的可学习占位符。}}maskvector不是缺失patch的内容，而是缺失patch的可学习占位符。2. Masked Patch、Mask Token 和 Mask Vector 的区别这三个概念不能混淆。被掩码图像块（masked patch）是原始图片中真实存在、后来被随机删除的 patch。例如原始图片有：[P0,P1,P2,P3,P4,P5,P6,P7][P_0,P_1,P_2,P_3,P_4,P_5,P_6,P_7][P0,P1,P2,P3,P4,P5,P6,P7]假设只保留P1P_1P1和P3P_3P3，那么其他 6 个 patch 都属于 masked patches。但在 Encoder 中，它们不是被替换成某个特殊向量，而是直接被删除。论文明确说明 Encoder 不使用 mask tokens。掩码向量（mask vector）则是模型真正保存的一个可训练参数，记为：m\mathbf mm掩码标记（mask token）可以理解为把这个m\mathbf mm复制到某个缺失位置后得到的 token。因此：一个maskvector→复制出很多masktokens\boxed{\text{一个 mask vector}\rightarrow\text{复制出很多 mask tokens}}一个maskvector→复制出很多masktokens而不是每个 masked patch 都拥有自己独立的 mask vector。3. Mask Vector 的形状假设 Decoder 的隐藏维度为：DDD_DDD那么从数学上看：m∈RDD\mathbf m\in\mathbb R^{D_D}m∈RDD官方 MAE PyTorch 实现将它保存为：self.mask_token=nn.Parameter(torch.zeros(1,1,decoder_embed_dim))所以张量形状是：1×1×DD\boxed{1\times1\times D_D}1×1×DD官方 MAE 的 ViT-Base、ViT-Large 和 ViT-Huge 配置都采用 512 维 Decoder，因此这些默认模型中的 mask token 参数形状为：1×1×512\boxed{1\times1\times512}1×1×512官方代码同时表明，ViT-Large 的 Encoder 维度为 1024，而 Decoder 维度为 512；Encoder 输出首先通过线性层映射到 Decoder 维度，然后才加入 mask tokens。这说明一个重要事实：maskvector属于Decoder表示空间，而不是Encoder表示空间。\boxed{\text{mask vector 属于 Decoder 表示空间，而不是 Encoder 表示空间。}}maskvector属于Decoder表示空间，而不是Encoder表示空间。4. 为什么形状是[1, 1, 512]？可以把它拆成：[1, 1, 512] │ │ │ │ │ └── 一个 token 含 512 个特征 │ └────── 只有一个 mask token 参数 └───────── batch 维真正需要模型学习的是：m=[m1,m2,…,m512]\mathbf m=[m_1,m_2,\ldots,m_{512}]m=[m1,m2,…,m512]也就是 512 个标量。如果一张图片有 147 个 masked patches，并不意味着模型学习：147×512147\times512147×512套独立参数。它只学习一个：m\mathbf mm然后重复使用。5. “Shared” 到底是什么意思？假设一张224×224224\times224224×224图片使用16×1616\times1616×16patch。patch 总数：L=22416×22416=14×14=196L=\frac{224}{16}\times\frac{224}{16}=14\times14=196L=16224×16224=14×14=196MAE 的典型 masking ratio 为 75%，因此：Lvisible=196×0.25=49L_{\text{visible}}=196\times0.25=49Lvisible=196×0.25=49Lmasked=196−49=147L_{\text{masked}}=196-49=147Lmasked=196−49=147论文的默认设置就是 75% masking ratio，并使用 512 维 Decoder。对于这 147 个缺失位置，模型不是学习：m1,m2,…,m147\mathbf m_1,\mathbf m_2,\ldots,\mathbf m_{147}m1,m2,…,m147而是使用：m,m,…,m⏟147次\underbrace{\mathbf m,\mathbf m,\ldots,\mathbf m}_{147\text{ 次}}147次m,m,…,m所以共享（shared）的准确含义是：同一张图片的所有 masked positions、不同图片的 masked positions，都使用同一个可训练参数m\mathbf mm。6. Mask Vector 如何初始化？这里要区分“论文描述”和“官方代码实现”。论文说明它是可学习向量（learned vector），但方法部分并没有指定它必须按照什么概率分布初始化。官方 PyTorch 实现首先创建全零参数张量：self.mask_token=nn.Parameter(torch.zeros(1,1,decoder_embed_dim))随后在模型初始化函数中执行：torch.nn.init.normal_(self.mask_token,std=.02)因此真正开始训练时，每个维度近似满足：mj∼N(0,0.022)m_j\sim\mathcal N(0,0.02^2)mj∼N(0,0.022)也就是说：创建时先是零张量，正式训练前再用标准差0.02的正态随机数初始化。\boxed{\text{创建时先是零张量，正式训练前再用标准差 0.02 的正态随机数初始化。}}创建时先是零张量，正式训练前再用标准差0.02的正态随机数初始化。刚初始化时，这些数字没有“狗”“天空”“汽车”等视觉语义，它只是一个待优化的小随机向量。7. Mask Vector 在 Encoder 中出现吗？不出现。这是 MAE 与很多容易产生的直觉最不一样的地方。假设：[P0,P1,P2,P3,P4,P5,P6,P7][P_0,P_1,P_2,P_3,P_4,P_5,P_6,P_7][P0,P1,P2,P3,P4,P5,P6,P7]只保留：P1,P3P_1,P_3P1,P3Encoder 实际处理的是：[P1,P3][P_1,P_3][P1,P3]而不是：[m,P1,m,P3,m,m,m,m][\mathbf m,P_1,\mathbf m,P_3,\mathbf m,\mathbf m,\mathbf m,\mathbf m][m,P1,m,P3,m,m,m,m]论文明确采用非对称编码器—解码器（asymmetric encoder-decoder）：Encoder 只处理 visible patches，而完整 token 集合只交给较轻量的 Decoder。这样既减少计算量，也避免 Encoder 在预训练阶段依赖下游完整图片中不存在的 mask tokens。
MAE 中的 Mask Vector：从形状、初始化到预训练与推理1. Mask Vector 到底是什么？论文《Masked Autoencoders Are Scalable Vision Learners》的核心任务是：随机删除图片中的大量 patch，只让 Encoder 观察剩余 patch，再让 Decoder 重建被删除的 patch。MAE 使用一个特殊的掩码向量（mask vector）来告诉 Decoder：“这个位置原本存在一个 patch，但它的内容现在未知，需要预测。”论文将每个掩码标记（mask token）描述为共享的、通过学习得到的向量。同时，MAE 的 Encoder 只处理真实的可见图像块（visible patches），mask token 只在 Decoder 中出现。因此，首先要建立最重要的概念：maskvector不是缺失patch的内容，而是缺失patch的可学习占位符。\boxed{\text{mask vector 不是缺失 patch 的内容，而是缺失 patch 的可学习占位符。}}maskvector不是缺失patch的内容，而是缺失patch的可学习占位符。2. Masked Patch、Mask Token 和 Mask Vector 的区别这三个概念不能混淆。被掩码图像块（masked patch）是原始图片中真实存在、后来被随机删除的 patch。例如原始图片有：[P0,P1,P2,P3,P4,P5,P6,P7][P_0,P_1,P_2,P_3,P_4,P_5,P_6,P_7][P0,P1,P2,P3,P4,P5,P6,P7]假设只保留P1P_1P1和P3P_3P3，那么其他 6 个 patch 都属于 masked patches。但在 Encoder 中，它们不是被替换成某个特殊向量，而是直接被删除。论文明确说明 Encoder 不使用 mask tokens。掩码向量（mask vector）则是模型真正保存的一个可训练参数，记为：m\mathbf mm掩码标记（mask token）可以理解为把这个m\mathbf mm复制到某个缺失位置后得到的 token。因此：一个maskvector→复制出很多masktokens\boxed{\text{一个 mask vector}\rightarrow\text{复制出很多 mask tokens}}一个maskvector→复制出很多masktokens而不是每个 masked patch 都拥有自己独立的 mask vector。3. Mask Vector 的形状假设 Decoder 的隐藏维度为：DDD_DDD那么从数学上看：m∈RDD\mathbf m\in\mathbb R^{D_D}m∈RDD官方 MAE PyTorch 实现将它保存为：self.mask_token=nn.Parameter(torch.zeros(1,1,decoder_embed_dim))所以张量形状是：1×1×DD\boxed{1\times1\times D_D}1×1×DD官方 MAE 的 ViT-Base、ViT-Large 和 ViT-Huge 配置都采用 512 维 Decoder，因此这些默认模型中的 mask token 参数形状为：1×1×512\boxed{1\times1\times512}1×1×512官方代码同时表明，ViT-Large 的 Encoder 维度为 1024，而 Decoder 维度为 512；Encoder 输出首先通过线性层映射到 Decoder 维度，然后才加入 mask tokens。这说明一个重要事实：maskvector属于Decoder表示空间，而不是Encoder表示空间。\boxed{\text{mask vector 属于 Decoder 表示空间，而不是 Encoder 表示空间。}}maskvector属于Decoder表示空间，而不是Encoder表示空间。4. 为什么形状是[1, 1, 512]？可以把它拆成：[1, 1, 512] │ │ │ │ │ └── 一个 token 含 512 个特征 │ └────── 只有一个 mask token 参数 └───────── batch 维真正需要模型学习的是：m=[m1,m2,…,m512]\mathbf m=[m_1,m_2,\ldots,m_{512}]m=[m1,m2,…,m512]也就是 512 个标量。如果一张图片有 147 个 masked patches，并不意味着模型学习：147×512147\times512147×512套独立参数。它只学习一个：m\mathbf mm然后重复使用。5. “Shared” 到底是什么意思？假设一张224×224224\times224224×224图片使用16×1616\times1616×16patch。patch 总数：L=22416×22416=14×14=196L=\frac{224}{16}\times\frac{224}{16}=14\times14=196L=16224×16224=14×14=196MAE 的典型 masking ratio 为 75%，因此：Lvisible=196×0.25=49L_{\text{visible}}=196\times0.25=49Lvisible=196×0.25=49Lmasked=196−49=147L_{\text{masked}}=196-49=147Lmasked=196−49=147论文的默认设置就是 75% masking ratio，并使用 512 维 Decoder。对于这 147 个缺失位置，模型不是学习：m1,m2,…,m147\mathbf m_1,\mathbf m_2,\ldots,\mathbf m_{147}m1,m2,…,m147而是使用：m,m,…,m⏟147次\underbrace{\mathbf m,\mathbf m,\ldots,\mathbf m}_{147\text{ 次}}147次m,m,…,m所以共享（shared）的准确含义是：同一张图片的所有 masked positions、不同图片的 masked positions，都使用同一个可训练参数m\mathbf mm。6. Mask Vector 如何初始化？这里要区分“论文描述”和“官方代码实现”。论文说明它是可学习向量（learned vector），但方法部分并没有指定它必须按照什么概率分布初始化。官方 PyTorch 实现首先创建全零参数张量：self.mask_token=nn.Parameter(torch.zeros(1,1,decoder_embed_dim))随后在模型初始化函数中执行：torch.nn.init.normal_(self.mask_token,std=.02)因此真正开始训练时，每个维度近似满足：mj∼N(0,0.022)m_j\sim\mathcal N(0,0.02^2)mj∼N(0,0.022)也就是说：创建时先是零张量，正式训练前再用标准差0.02的正态随机数初始化。\boxed{\text{创建时先是零张量，正式训练前再用标准差 0.02 的正态随机数初始化。}}创建时先是零张量，正式训练前再用标准差0.02的正态随机数初始化。刚初始化时，这些数字没有“狗”“天空”“汽车”等视觉语义，它只是一个待优化的小随机向量。7. Mask Vector 在 Encoder 中出现吗？不出现。这是 MAE 与很多容易产生的直觉最不一样的地方。假设：[P0,P1,P2,P3,P4,P5,P6,P7][P_0,P_1,P_2,P_3,P_4,P_5,P_6,P_7][P0,P1,P2,P3,P4,P5,P6,P7]只保留：P1,P3P_1,P_3P1,P3Encoder 实际处理的是：[P1,P3][P_1,P_3][P1,P3]而不是：[m,P1,m,P3,m,m,m,m][\mathbf m,P_1,\mathbf m,P_3,\mathbf m,\mathbf m,\mathbf m,\mathbf m][m,P1,m,P3,m,m,m,m]论文明确采用非对称编码器—解码器（asymmetric encoder-decoder）：Encoder 只处理 visible patches，而完整 token 集合只交给较轻量的 Decoder。这样既减少计算量，也避免 Encoder 在预训练阶段依赖下游完整图片中不存在的 mask tokens。
