NeurIPS 2022 | NAS‑Bench‑Suite‑Zero加速零代价代理的相关研究01 论文信息02 论文主要贡献2.1 普遍缺陷2.2 主要贡献03 论文创新点04 问题分析4.1 泛化性实验4.2 互信息分析4.3 架构偏置分析4.4 NAS 集成实验05 个人声明01 论文信息论文题目NAS-Bench-Suite-Zero: Accelerating Research on Zero Cost Proxies论文作者Arjun Krishnakumar、Colin White、Arber Zela、Renbo Tu、Mahmoud Safari、Frank Hutter相关单位弗赖堡大学、Abacus.AI、多伦多大学、博世人工智能中心发表会议\期刊NeurIPS 2022代码链接https://github.com/automl/naslib/tree/zerocost02 论文主要贡献2.1 普遍缺陷现有零代价Zero-Cost, ZC代理的相关研究普遍存在三方面显著缺陷实现不一致不同研究各自独立编写 ZC 代理指标代码、选用不同 NAS 测试基准代码细节差异会引入大量混杂因素导致实验可复现性差。评测规模有限绝大多数现有工作仅在单一搜索空间进行验证无法充分验证 ZC 代理在跨任务、跨搜索空间下的泛化能力与稳定性。缺乏系统性机理分析现有研究大多停留在“代理能否预测模型精度”的表层验证缺少深层次、系统性探究ZC 代理是否存在固有架构偏置是否天然偏好特定网络拓扑结构多 ZC 代理组合的有效信息容量、互信息与冗余度如何将 ZC 代理高效嵌入真实 NAS 搜索流程实现稳定加速搜索。2.2 主要贡献发布NAS‑Bench‑Suite‑Zero基准套件统一并加速零代价代理方向研究在大量多样化基准上实现数量级的实验加速。当研究者在可查询 NAS 基准上测试基于零代价代理的 NAS 算法时真正的性能瓶颈恰恰是零代价代理本身的计算使用套件的预计算数据实验可以在 1 分钟内完成。本文全部实验互信息、偏差、NAS 集成等计算量整体降低至少3 个数量级在 28 套搜索空间‑任务组合上对 13 种零代价代理开展大规模分析研究其泛化能力、偏差、互信息特性。有少量零代价代理没有纳入本套件原因包括需要预训练超网络、基于 TensorFlow 实现而非 PyTorch、代码未开源。基于分析结果提出偏差消解流程改善零代价代理表现同时证明零代价代理之间的互补信息可以显著提升 NAS 常用代理模型的预测能力。03 论文创新点本文是首个公开零代价代理打分、采用非简单投票方式融合、同时利用全部 13 种零代价代理互补信息的工作。04 问题分析依托 NAS‑Bench‑Suite‑Zero本文回答 3 个核心研究问题零代价代理跨基准泛化能力如何不同零代价代理之间是否具备互补性零代价代理是否存在固有偏差偏差能否被消除本套件扩展 NAS‑Bench‑Suite 基准集合规避不同实现、软件版本、训练管线带来的干扰保证公平对比。总共得到28 项基准任务。评估采样说明NAS‑Bench‑201、TransNAS‑Bench‑101对搜索空间内全部架构计算零代价代理分数NAS‑Bench‑301总架构规模为10 18 10^{18}1018无法完整遍历随机采样 11 221 个架构开展实验NAS‑Bench‑101采样 10 000 个架构Spherical‑CIFAR‑100、NinaPro、SVHN每个搜索空间仅有 200 个完成全量训练的架构因此仅评测这 200 个架构。4.1 泛化性实验对每一种零代价代理、每一项基准随机采样 1000 个架构计算代理打分与验证精度之间的斯皮尔曼等级相关系数在所有基准综合来看nwot、flops 取得最高的等级相关部分基准TransNAS‑Bench‑101‑Micro的自编码器、房间布局任务几乎所有零代价代理效果都很差在常用的 NAS‑Bench‑201 基准绝大多数零代价代理表现良好snip、grasp 在 NAS‑Bench‑201 任务效果不错但在其他基准上整体弱于 params、flops。结果显示没有任何一种零代价代理可以在全部基准上稳定取得最优效果。进一步思考能否利用零代价代理分数衡量不同任务 / 基准之间本身的相似性本文计算每一对基准上零代价代理分数的皮尔逊相关系数图 3。结果显示搜索空间相近的基准会形成高相关聚类RQ1 结论只有少数零代价代理可以在大多数基准上保持较好泛化但零代价代理打分可以用来评估基准 / 任务之间的相似度。该结果启发未来方向可将零代价代理作为任务特征用于元学习。4.2 互信息分析本节考察多种代理组合后的效果。若不同代理捕获架构的不同特性NAS 算法就可以利用互补信息提升性能。已有工作仅计算两两代理之间相关系数而本文目标是以真实验证精度为目标衡量多种零代价代理的互补信息并且可以处理两个以上代理的组合。本文采用信息论工具条件熵。把验证精度、零代价代理分数视作随机变量条件熵H ( y ∣ z i 1 , … , z i k ) H(y\mid z_{i_1},\dots,z_{i_k})H(y∣zi1,…,zik)表示已知k kk个零代价代理取值的条件下验证精度y yy剩余的不确定性定义信息增益信息增益代表新增一个代理后不确定性下降的幅度。I G ( z i k ) : H ( y ∣ z i 1 , … , z i k − 1 ) − H ( y ∣ z i 1 , … , z i k ) IG(z_{i_k}):H(y\mid z_{i_1},\dots,z_{i_{k-1}})-H(y\mid z_{i_1},\dots,z_{i_k})IG(zik):H(y∣zi1,…,zik−1)−H(y∣zi1,…,zik)直观含义在已经观测前面若干代理的条件下新增第k kk个代理能为验证精度带来多少额外信息。实验采样 1000 个架构使用 24 格直方图做密度平滑。实验设置三种代理选取策略随机顺序100 次随机试验取平均贪心顺序迭代式选择能最大化信息增益的代理全局最优 k 元组暴力搜索找到使条件熵H ( y ∣ z i 1 , … , z i k ) H(y\mid z_{i_1},\dots,z_{i_k})H(y∣zi1,…,zik)最小的k kk个代理。即便随机选择零代价代理不断增加代理数量依然可以带来可观信息增益贪心策略在很多基准下效果十分接近暴力全局最优。但互补信息的强弱高度依赖于 NAS 基准本身。RQ2 结论部分基准中零代价代理之间存在很强的互补信息但互补程度高度依赖 NAS 基准。这意味着不能默认零代价代理一定具备互补增益但机器学习模型有能力挖掘、利用多种代理的有效组合。4.3 架构偏置分析识别零代价代理的固有偏差可以解释其缺陷为设计性能更优的代理提供依据。本文研究 4 类偏差指标conv:pool单元内部卷积算子相对池化算子的数值偏好cell size单元中非零操作的数量num. skip connections跳连接数量num. parameters参数量。对每个搜索空间、每个零代价代理计算代理分数与偏差指标之间的皮尔逊相关系数数据集覆盖全部 44k 架构表 3。结果显示大量零代价代理存在不同程度偏差部分偏差在不同搜索空间中保持一致部分偏差会随搜索空间变化。有趣的是真实验证精度本身和跳连接数量几乎没有相关性但绝大多数零代价代理对跳连接数量表现出负向偏差。本文提出简单的偏差消减启发式公式f ′ ( a ) f ( a ) ⋅ 1 b ( a ) C f(a)f(a)\cdot\frac{1}{b(a)C}f′(a)f(a)⋅b(a)C1f ( a ) f(a)f(a)原始零代价代理得分b ( a ) b(a)b(a)偏差度量单元尺寸等C CC待调优常数。两点现实观察真实验证精度本身和偏差指标的相关系数并不为 0完全消除零代价代理的偏差反而会损害预测性能根据应用场景可以选择 “彻底消除偏差”或是仅在能提升性能的范围内削弱偏差。本文测试 3 种调参策略暴力搜索C CC取值范围− 10 ∼ 1000 -10 \sim 1000−10∼1000minimize 最小化偏差调C CC让代理与偏差指标的相关系数尽可能趋近 0equalize 偏差对齐调C CC让代理和偏差指标的相关系数对齐真实验证精度与该偏差指标的相关系数performance 性能最优调C CC最大化代理与真实精度的皮尔逊相关。实验结果见表 4采用performance 策略可以通过削弱偏差来提升零代价代理预测效果equalize 策略在部分场景下可以取得接近 performance 策略的效果。当没有真值精度可用但已知真值精度与偏差的统计关系时equalize 是非常实用的偏差缓解手段对未来零代价代理设计具备启发。RQ3 结论大量零代价代理确实存在不同类型、不同强度的固有偏差这些偏差可以被缓解进而提升预测性能。4.4 NAS 集成实验多种零代价代理蕴含关于验证精度的互补信息。过往工作最多融合 4 种代理且只用简单投票。本节将全部 13 种零代价代理直接作为特征输入基于预测器的 NAS 算法的代理模型。选用两种经典基于预测器的 NAS 算法BANANAS基于贝叶斯优化NPENAS基于进化算法。二者都使用模型性能预测器输入架构编码邻接矩阵等输出架构验证精度预测随着搜索进行不断利用新训练完成的架构重训练预测模型。实验设置全部使用 NASLib 实现沿用原论文默认超参。首先做独立预测器测试随机采样 100 个训练架构、1000 个互不重叠的测试架构分别测试三类输入特征①仅架构编码②仅全部 13 种零代价代理③架构编码拼接零代价代理特征。计算预测精度与真实精度之间的斯皮尔曼等级相关系数。NB201‑CIFAR‑100 结果100 次试验平均仅架构编码0.640±0.0420架构编码 零代价代理0.908±0.012提升幅度41.7%仅零代价代理作为特征0.907±0.013重要现象仅依靠 13 个零代价代理几乎就可以捕获架构编码中包含的全部预测信息。该结果证明多零代价代理集成可以大幅提升模型预测器能力。进一步完整运行两套 NAS 算法分别采用三种特征输入算法总共允许 200 次架构完整评估重复 400 次试验统计均值与标准差。实验现象加入零代价代理特征可以显著提升 NAS 算法性能尤其在搜索早期阶段增益最明显。05 个人声明本文为作者对原论文的学习笔记与心得分享受个人学识与理解所限文中对论文内容的解读或有不够周全之处一切以原论文正式表述为准。本文仅用于学术交流与传播内容均由作者独立整理完成不代表本公众号立场。如文中所涉文字、图片等内容存在版权争议请及时与作者联系作者将在第一时间核实并妥善处理。
NeurIPS 2022 | NAS‑Bench‑Suite‑Zero加速零代价代理的相关研究01 论文信息02 论文主要贡献2.1 普遍缺陷2.2 主要贡献03 论文创新点04 问题分析4.1 泛化性实验4.2 互信息分析4.3 架构偏置分析4.4 NAS 集成实验05 个人声明01 论文信息论文题目NAS-Bench-Suite-Zero: Accelerating Research on Zero Cost Proxies论文作者Arjun Krishnakumar、Colin White、Arber Zela、Renbo Tu、Mahmoud Safari、Frank Hutter相关单位弗赖堡大学、Abacus.AI、多伦多大学、博世人工智能中心发表会议\期刊NeurIPS 2022代码链接https://github.com/automl/naslib/tree/zerocost02 论文主要贡献2.1 普遍缺陷现有零代价Zero-Cost, ZC代理的相关研究普遍存在三方面显著缺陷实现不一致不同研究各自独立编写 ZC 代理指标代码、选用不同 NAS 测试基准代码细节差异会引入大量混杂因素导致实验可复现性差。评测规模有限绝大多数现有工作仅在单一搜索空间进行验证无法充分验证 ZC 代理在跨任务、跨搜索空间下的泛化能力与稳定性。缺乏系统性机理分析现有研究大多停留在“代理能否预测模型精度”的表层验证缺少深层次、系统性探究ZC 代理是否存在固有架构偏置是否天然偏好特定网络拓扑结构多 ZC 代理组合的有效信息容量、互信息与冗余度如何将 ZC 代理高效嵌入真实 NAS 搜索流程实现稳定加速搜索。2.2 主要贡献发布NAS‑Bench‑Suite‑Zero基准套件统一并加速零代价代理方向研究在大量多样化基准上实现数量级的实验加速。当研究者在可查询 NAS 基准上测试基于零代价代理的 NAS 算法时真正的性能瓶颈恰恰是零代价代理本身的计算使用套件的预计算数据实验可以在 1 分钟内完成。本文全部实验互信息、偏差、NAS 集成等计算量整体降低至少3 个数量级在 28 套搜索空间‑任务组合上对 13 种零代价代理开展大规模分析研究其泛化能力、偏差、互信息特性。有少量零代价代理没有纳入本套件原因包括需要预训练超网络、基于 TensorFlow 实现而非 PyTorch、代码未开源。基于分析结果提出偏差消解流程改善零代价代理表现同时证明零代价代理之间的互补信息可以显著提升 NAS 常用代理模型的预测能力。03 论文创新点本文是首个公开零代价代理打分、采用非简单投票方式融合、同时利用全部 13 种零代价代理互补信息的工作。04 问题分析依托 NAS‑Bench‑Suite‑Zero本文回答 3 个核心研究问题零代价代理跨基准泛化能力如何不同零代价代理之间是否具备互补性零代价代理是否存在固有偏差偏差能否被消除本套件扩展 NAS‑Bench‑Suite 基准集合规避不同实现、软件版本、训练管线带来的干扰保证公平对比。总共得到28 项基准任务。评估采样说明NAS‑Bench‑201、TransNAS‑Bench‑101对搜索空间内全部架构计算零代价代理分数NAS‑Bench‑301总架构规模为10 18 10^{18}1018无法完整遍历随机采样 11 221 个架构开展实验NAS‑Bench‑101采样 10 000 个架构Spherical‑CIFAR‑100、NinaPro、SVHN每个搜索空间仅有 200 个完成全量训练的架构因此仅评测这 200 个架构。4.1 泛化性实验对每一种零代价代理、每一项基准随机采样 1000 个架构计算代理打分与验证精度之间的斯皮尔曼等级相关系数在所有基准综合来看nwot、flops 取得最高的等级相关部分基准TransNAS‑Bench‑101‑Micro的自编码器、房间布局任务几乎所有零代价代理效果都很差在常用的 NAS‑Bench‑201 基准绝大多数零代价代理表现良好snip、grasp 在 NAS‑Bench‑201 任务效果不错但在其他基准上整体弱于 params、flops。结果显示没有任何一种零代价代理可以在全部基准上稳定取得最优效果。进一步思考能否利用零代价代理分数衡量不同任务 / 基准之间本身的相似性本文计算每一对基准上零代价代理分数的皮尔逊相关系数图 3。结果显示搜索空间相近的基准会形成高相关聚类RQ1 结论只有少数零代价代理可以在大多数基准上保持较好泛化但零代价代理打分可以用来评估基准 / 任务之间的相似度。该结果启发未来方向可将零代价代理作为任务特征用于元学习。4.2 互信息分析本节考察多种代理组合后的效果。若不同代理捕获架构的不同特性NAS 算法就可以利用互补信息提升性能。已有工作仅计算两两代理之间相关系数而本文目标是以真实验证精度为目标衡量多种零代价代理的互补信息并且可以处理两个以上代理的组合。本文采用信息论工具条件熵。把验证精度、零代价代理分数视作随机变量条件熵H ( y ∣ z i 1 , … , z i k ) H(y\mid z_{i_1},\dots,z_{i_k})H(y∣zi1,…,zik)表示已知k kk个零代价代理取值的条件下验证精度y yy剩余的不确定性定义信息增益信息增益代表新增一个代理后不确定性下降的幅度。I G ( z i k ) : H ( y ∣ z i 1 , … , z i k − 1 ) − H ( y ∣ z i 1 , … , z i k ) IG(z_{i_k}):H(y\mid z_{i_1},\dots,z_{i_{k-1}})-H(y\mid z_{i_1},\dots,z_{i_k})IG(zik):H(y∣zi1,…,zik−1)−H(y∣zi1,…,zik)直观含义在已经观测前面若干代理的条件下新增第k kk个代理能为验证精度带来多少额外信息。实验采样 1000 个架构使用 24 格直方图做密度平滑。实验设置三种代理选取策略随机顺序100 次随机试验取平均贪心顺序迭代式选择能最大化信息增益的代理全局最优 k 元组暴力搜索找到使条件熵H ( y ∣ z i 1 , … , z i k ) H(y\mid z_{i_1},\dots,z_{i_k})H(y∣zi1,…,zik)最小的k kk个代理。即便随机选择零代价代理不断增加代理数量依然可以带来可观信息增益贪心策略在很多基准下效果十分接近暴力全局最优。但互补信息的强弱高度依赖于 NAS 基准本身。RQ2 结论部分基准中零代价代理之间存在很强的互补信息但互补程度高度依赖 NAS 基准。这意味着不能默认零代价代理一定具备互补增益但机器学习模型有能力挖掘、利用多种代理的有效组合。4.3 架构偏置分析识别零代价代理的固有偏差可以解释其缺陷为设计性能更优的代理提供依据。本文研究 4 类偏差指标conv:pool单元内部卷积算子相对池化算子的数值偏好cell size单元中非零操作的数量num. skip connections跳连接数量num. parameters参数量。对每个搜索空间、每个零代价代理计算代理分数与偏差指标之间的皮尔逊相关系数数据集覆盖全部 44k 架构表 3。结果显示大量零代价代理存在不同程度偏差部分偏差在不同搜索空间中保持一致部分偏差会随搜索空间变化。有趣的是真实验证精度本身和跳连接数量几乎没有相关性但绝大多数零代价代理对跳连接数量表现出负向偏差。本文提出简单的偏差消减启发式公式f ′ ( a ) f ( a ) ⋅ 1 b ( a ) C f(a)f(a)\cdot\frac{1}{b(a)C}f′(a)f(a)⋅b(a)C1f ( a ) f(a)f(a)原始零代价代理得分b ( a ) b(a)b(a)偏差度量单元尺寸等C CC待调优常数。两点现实观察真实验证精度本身和偏差指标的相关系数并不为 0完全消除零代价代理的偏差反而会损害预测性能根据应用场景可以选择 “彻底消除偏差”或是仅在能提升性能的范围内削弱偏差。本文测试 3 种调参策略暴力搜索C CC取值范围− 10 ∼ 1000 -10 \sim 1000−10∼1000minimize 最小化偏差调C CC让代理与偏差指标的相关系数尽可能趋近 0equalize 偏差对齐调C CC让代理和偏差指标的相关系数对齐真实验证精度与该偏差指标的相关系数performance 性能最优调C CC最大化代理与真实精度的皮尔逊相关。实验结果见表 4采用performance 策略可以通过削弱偏差来提升零代价代理预测效果equalize 策略在部分场景下可以取得接近 performance 策略的效果。当没有真值精度可用但已知真值精度与偏差的统计关系时equalize 是非常实用的偏差缓解手段对未来零代价代理设计具备启发。RQ3 结论大量零代价代理确实存在不同类型、不同强度的固有偏差这些偏差可以被缓解进而提升预测性能。4.4 NAS 集成实验多种零代价代理蕴含关于验证精度的互补信息。过往工作最多融合 4 种代理且只用简单投票。本节将全部 13 种零代价代理直接作为特征输入基于预测器的 NAS 算法的代理模型。选用两种经典基于预测器的 NAS 算法BANANAS基于贝叶斯优化NPENAS基于进化算法。二者都使用模型性能预测器输入架构编码邻接矩阵等输出架构验证精度预测随着搜索进行不断利用新训练完成的架构重训练预测模型。实验设置全部使用 NASLib 实现沿用原论文默认超参。首先做独立预测器测试随机采样 100 个训练架构、1000 个互不重叠的测试架构分别测试三类输入特征①仅架构编码②仅全部 13 种零代价代理③架构编码拼接零代价代理特征。计算预测精度与真实精度之间的斯皮尔曼等级相关系数。NB201‑CIFAR‑100 结果100 次试验平均仅架构编码0.640±0.0420架构编码 零代价代理0.908±0.012提升幅度41.7%仅零代价代理作为特征0.907±0.013重要现象仅依靠 13 个零代价代理几乎就可以捕获架构编码中包含的全部预测信息。该结果证明多零代价代理集成可以大幅提升模型预测器能力。进一步完整运行两套 NAS 算法分别采用三种特征输入算法总共允许 200 次架构完整评估重复 400 次试验统计均值与标准差。实验现象加入零代价代理特征可以显著提升 NAS 算法性能尤其在搜索早期阶段增益最明显。05 个人声明本文为作者对原论文的学习笔记与心得分享受个人学识与理解所限文中对论文内容的解读或有不够周全之处一切以原论文正式表述为准。本文仅用于学术交流与传播内容均由作者独立整理完成不代表本公众号立场。如文中所涉文字、图片等内容存在版权争议请及时与作者联系作者将在第一时间核实并妥善处理。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
