简介面向机器学习、数据科学与优化算法研究人员这份压缩包聚焦高维稀疏模型中的L1-L2范数联合优化问题提供了基于交替优化思想的MATLAB实现可直接用于逻辑回归、线性回归、SVM等模型的稀疏化训练与特征选择。代码包共8个文件7个m脚本负责核心算法与调用流程涵盖软阈值算子、近端梯度、NPG线性搜索以及不同随机数据规模下的对比实验脚本另附1个txt数据文件用于生成含噪声的高维随机样本整体仅6KB轻量便于阅读和改造。已有448人学习。通过这套代码可以直观看到L1正则化如何将冗余权重压缩为零、L2正则化如何控制参数幅度并理解在交替更新过程中两类约束如何逐步收敛适合正在学习稀疏优化、坐标下降或复现论文实验的读者。结合提供的多个m脚本与数据文件可在自己的数据集上快速跑通完整流程对比不同参数μ下的解路径提升对稀疏性、鲁棒性与收敛性的把握。1. l1_l2 交替优化是什么稀疏优化里最值得先试的折中方案做稀疏优化的人大多绕不过这个场景观测数据到手明知真解在某个基底下只有少数几个非零可 L2 最小二乘给出一堆小尾巴L1 正则总算压出稀疏解系数又全体缩水。L1/L2 交替优化的思路很直接用 L1 找“哪些位置是重要的”再用 L2 在“重要位置”上精修系数两轮交替、互相喂结果。它既有 L1 的稀疏形状又有 L2 的精度是压缩感知、稀疏信号恢复、特征选择里最值得先试的折中方案也是很多稀疏求解器内部真正在用的套路。这篇文章会把这条线完整走一遍先讲清楚为什么非要把两种范数拆开交替而不是合成一个目标一把梭然后给出一套可以直接抄的 NumPy 最小实现再聊三个真正决定成败的参数最后把我踩过的几个坑按“现象→原因→解决”摆出来。适合的人群是需要自己写稀疏求解器的算法工程师、做压缩感知仿真的学生、以及被现成库的黑匣子搞得头疼、想搞清楚内部迭代逻辑的人。整个过程不需要任何商业软件一个 Python 环境加一个数组库就够了。2. 为什么 L1 和 L2 要交替从目标函数到两种算子的分工2.1 单一范数的短板L2 不够稀疏L1 不够干净先摆出目标问题。无论是压缩感知还是稀疏编码最典型的数学形式是下面的无约束优化问题min_x (1/2)||Ax - b||_2^2 λ||x||_1其中 A 是观测矩阵b 是观测向量x 是要恢复的稀疏系数。这一项(1/2)||Ax-b||_2^2是 L2 数据保真项它要求重建结果贴合观测后面的λ||x||_1是 L1 稀疏正则项它把不重要的系数推向零。整个问题本身就是 L2 与 L1 的混合体只是多数教材直接用一个统一的迭代去解它很少把“L1 负责选位置、L2 负责精修数值”这两件事拆开看。单独看 L2 正则和 L1 正则短板非常明显。L2 正则比如岭回归那种形式在数学上光滑、可导收敛路径很温和但它永远不会把系数真正压成零只会给出一堆“接近零”的小数。在稀疏优化里这就意味着支撑集不明确你要么再套一个人工阈值去截断要么接受一个不稀疏的结果。L1 正则相反它天然有稀疏诱导能力软阈值算子一下子就能把不重要系数变成精确的零支撑集直接冒出来但它的问题在于收缩偏差不仅噪声系数被压小真正的大系数也被同等比例削了一刀恢复出来的幅度系统性偏小。这两种缺陷恰好互补。L1 擅长定支撑L2 擅长定量级。那自然想到的方案就是交替先让 L1 干活把支撑集甩出来再让 L2 在支撑集内部重新拟合把被 L1 收缩掉的幅度补回来然后拿着新的系数再回到 L1下一轮 L1 对支撑的判断就会更准。下面的对比表可以直观看到两者分工范数角色擅长的事不擅长的事在交替框架中的位置L1 正则项稀疏诱导、支撑集选择、抗噪声干扰系数幅度有偏大系数被收缩负责生成候选稀疏解更新支撑集L2 保真/精化项无偏拟合、数值精度高、光滑易优化不产生稀疏性解全是小尾巴负责在支撑集上做最小二乘精化2.2 交替优化的数学框架把原问题拆成两个子问题从优化算法角度看L1/L2 交替并不是什么新奇发明它本质上是块坐标下降Block Coordinate Descent在稀疏问题上的应用。核心思想是不要试图一次把整个 x 解出来而是把变量分成两块固定一块去优化另一块交替进行。在凸问题下每一步都取当前块的全局最优目标函数值就不会上升这给交替迭代提供了最基本的收敛保障。具体到我们这个问题怎么做“分块”常见的做法是引入一个支撑集变量 S。记 S 为当前认为“非零”的系数下标集合那么原始问题可以被拆成两个交替的子问题L1 步固定当前系数用带 L1 惩罚的软阈值运算得到一个稀疏候选从里面读出新的支撑集 SL2 步固定支撑集 S把问题限制在 A 的对应列上求解一个带小量 L2 正则的最小二乘问题更新这 S 个位置的系数其余位置保持零。这个视角有一个额外好处两个子问题都有闭式解不需要内层再套迭代。L1 步只是一个逐元素的软阈值函数L2 步只是一个线性方程组求解每一步都便宜且每一步都在“某一种意义下”做对了事。这与经典的交替方向乘子法ADMM属于同一个思想家族只是 ADMM 还额外引入对偶变量来保证约束精确满足而工程里这种朴素的交替版本实现起来更直接也更容易调试。2.3 两个核心算子软阈值与支撑集最小二乘交替框架里真正干活的只有两个算子。第一个是软阈值Soft Thresholding设 t λ对向量 x 的分量逐个执行S_t(v) sign(v) * max(|v| - t, 0)意思很简单绝对值大于 t 的分量往零方向收缩 t绝对值小于等于 t 的直接置零。这个算子就是 L1 近端算子也是坐标下降解 Lasso 时的核心步骤。它的输出天然稀疏且阈值 t 越大解越稀疏。第二个算子是支撑集上的 L2 精化。给定支撑集 S限制矩阵 A_S 只保留 S 对应的列然后求解x_S (A_S^T A_S μI)^{-1} A_S^T b这里的 μ 是一个极小的岭正则作用是防止 A_S^T A_S 病态时求逆爆炸。它解决的是 L1 收缩造成的幅度偏差在支撑集确定之后不再对系数施加 L1 惩罚而是用纯 L2 拟合把幅度修正回来。两个算子各自解决一个问题交替推进这就是整个方法最核心的骨架。3. 用 NumPy 实现 L1/L2 交替优化的最小闭环从稀疏信号恢复到支撑精修3.1 先定义实验问题稀疏信号恢复的任务和评价动手之前先把实验环境固定下来。我用一个经典的稀疏信号恢复问题做测试假设真实信号 x_true 是 40 维其中只有 5 个位置非零观测矩阵 A 是 25 行 40 列的随机高斯矩阵观测值 b 由 Ax_true 加上一点点噪声得到。目标是从 b 和 A 中把 x_true 恢复出来。评估一个解好不好看两件事支撑集是否找对哪几个位置非零以及系数幅度是否接近真值。生成数据的代码很简单注意用固定随机种子否则后面调参时每次结果都不一样没法对比import numpy as np rng np.random.default_rng(42) n_obs, n_feat 25, 40 # 随机高斯观测矩阵每列做完归一化之后更稳 A rng.standard_normal((n_obs, n_feat)) A A / np.linalg.norm(A, axis0, keepdimsTrue) # 真实稀疏信号40 维里只有 5 个非零 x_true np.zeros(n_feat) x_true[[3, 11, 19, 27, 33]] [1.2, -0.8, 2.1, 0.5, -1.4] # 观测干净信号 小噪声 b A x_true 0.01 * rng.standard_normal(n_obs)这里把 A 的每一列做了 L2 归一化是个细节但很关键。稀疏优化里如果 A 的各列尺度不一致L1 阈值就不知道该按谁的尺度设经常出现“大尺度列被误选、小尺度列被漏掉”的情况。归一化之后λ 的含义就统一了后面调参也才可复现。3.2 核心实现软阈值、L2 精化与交替主循环现在写交替优化的主代码。我会把三个部分分开软阈值算子、支撑集 L2 精化、主循环。每一步都保留中间变量方便你打印观察。def soft_threshold(x, t): 软阈值算子把绝对值小于等于 t 的分量置零其余收缩 t return np.sign(x) * np.maximum(np.abs(x) - t, 0.0) def l2_refine(A, b, support, mu1e-3): 在支撑集上做带岭正则的最小二乘返回精化后的系数 A_s A[:, support] # 加上 mu*I 是为了防止 A_s 列相关时矩阵奇异 x_s np.linalg.solve(A_s.T A_s mu * np.eye(A_s.shape[1]), A_s.T b) return x_s def l1_l2_alternating(A, b, lam0.05, mu1e-3, max_support8, max_iter200, tol1e-4): n_feat A.shape[1] # 初始化先用一个带小正则的最小二乘解作为起点 x np.linalg.solve(A.T A 1e-2 * np.eye(n_feat), A.T b) support np.zeros(n_feat, dtypebool) for it in range(max_iter): # ---------- L1 步软阈值产生稀疏候选 ---------- x_candidate soft_threshold(x, lam) new_support np.where(np.abs(x_candidate) 1e-10)[0] # 如果候选支撑超过上限保留绝对值最大的 max_support 个 if len(new_support) max_support: idx np.argsort(np.abs(x_candidate[new_support]))[-max_support:] new_support new_support[idx] # ---------- L2 步在支撑集上精化系数 ---------- x_refine np.zeros(n_feat) x_refine[new_support] l2_refine(A, b, new_support, mu) # 交替用精化后的结果喂给下一轮 L1 step x_refine - x x x step # 全步长更新震荡时可改为 0.5 # 停止判断支撑集稳定且更新量足够小 if np.array_equal(new_support, support): change np.linalg.norm(step) / (np.linalg.norm(x) 1e-12) if change tol: break support new_support return x, support # 运行 x_rec, support_rec l1_l2_alternating(A, b, lam0.08) print(恢复支撑:, np.where(support_rec)[0]) print(真值支撑:, np.where(x_true ! 0)[0])这段代码的逻辑是这样的先把当前解喂给软阈值生成一个稀疏候选然后从候选里读出新的支撑集并对支撑集内系数做 L2 精化精化结果作为下一轮软阈值的输入如此循环。注意x_refine是一个全长向量非支撑位置保持为零这和纯 L1 的结果形态一致但支撑内部的系数已经被 L2 修正过。几个参数的含义需要说清楚。lam是软阈值收缩量等价于 L1 正则权重它越大稀疏性越强mu是 L2 精化时加的岭正则只影响病态情况下的数值稳定性max_support给支撑集规模设了上限这是工程里常用的先验约束防止噪声把支撑撑得过大tol是停止阈值控制收敛精度。跑上面的代码最终支撑集会收敛到真值的 5 个位置或其子集具体结果取决于 lam 选得是否合适。3.3 参数怎么设正则权重、学习率、迭代次数第一次跑通之后最关心的就是参数怎么设。先说lam。它是最敏感的一个参数经验做法是先算np.max(np.abs(A.T b))也就是让 A 的每一列与观测 b 做相关取最大绝对值然后从它的 1% 到 10% 之间选。这个量纲是“信号幅度 × 噪声水平”的综合体现软阈值设得比它小一两个数量级通常就能在保留真实信号和压制噪声之间找到平衡。再说迭代步长。上面代码里我用的是全步长x x step等价于步长 1.0。很多工程实现里交替优化会有振荡问题这时把更新改成x x 0.5 * step或者引入一个衰减系数每轮乘以 0.9能明显改善稳定性。原理上交替最小化在凸问题里全步长通常没问题但 L1 步产生支撑集变化时相当于做了一次硬跳变步长过大容易在两个支撑之间来回跳这一步用“学习率”的思路去理解最贴切。至于迭代次数我一般不会把max_iter设成一个固定大数而是配合停止准则支撑集连续两轮不变且系数更新量相对变化小于tol就认为收敛。最多迭代 200 轮通常足够如果 200 轮还没稳定先不要增加迭代数优先怀疑 lam 或支撑上限设置得不合理。4. 稀疏优化的收敛与停止准则三个别偷懒的参数4.1 停止准则怎么选目标下降、支撑稳定、残差阈值很多人跑稀疏优化只看“迭代了多少次”不太注意停止准则结果要么早停拿到一个半成品要么一直跑到 max_iter 才被硬掐断。我一般会同时看三个信号目标函数下降量、支撑集是否稳定、以及系数更新量。三个信号各有侧重目标函数值是数学上的收敛标志但它在稀疏问题里因为支撑跳变会偶尔平台期支撑集稳定性是工程上更实用的标志因为支撑集一旦定了解基本就定了系数更新量则防止“支撑没变但系数还在慢慢挪”的慢收敛。下面这段停止准则判断函数可以直接抄进你的循环里def stopping_criteria(x_old, x_new, support_old, support_new, obj_old, obj_new): # 支撑还在变绝对不能停 if not np.array_equal(support_old, support_new): return False # 系数更新量相对变化足够小 x_change np.linalg.norm(x_new - x_old) / (np.linalg.norm(x_old) 1e-12) if x_change 1e-4: return True # 目标函数相对下降足够小 if abs(obj_old - obj_new) 1e-6 * max(obj_old, 1.0): return True return False注意这个函数的顺序支撑集稳定性判断要放在最前面。只要支撑还在变不管目标函数下降多小都不能停因为支撑变化意味着解的结构没定这时候停下来的结果大概率是错的。目标函数下降阈值也不要设得太小稀疏优化里目标值经常在最后阶段几乎不动但系数还在微调所以系数更新量比目标下降量更敏感、更可靠。4.2 正则系数与支撑规模λ 和最大支撑数的联动λ 与max_support是一对要联动调整的参数。λ 越小软阈值留下的候选位置越多支撑集就可能越大反过来max_support上限如果设得太小即使 λ 很小支撑也会被强切到上限系数会被硬截断产生额外偏差。我的习惯是先根据先验定max_support比如真实信号最多 5 个非零就设成 8 留点余量再把 λ 设在能让候选支撑略大于max_support的水平这样最终生效的支撑是由“L1 候选 截断”共同决定的而不是某一个参数单独说了算。还有一个小技巧λ 可以在迭代过程中逐渐衰减。比如每 20 轮把 λ 乘以 0.8让前期用较大的 λ 快速锁定支撑后期用较小的 λ 允许更细的修正。这样比固定 λ 在复杂问题上稳定得多。4.3 验证收敛画目标下降曲线而不是只看稀疏度判断交替优化是否真正收敛我强烈建议把每轮的目标函数值存下来画一条下降曲线。目标函数就是0.5 * ||A x - b||_2^2 lam * ||x||_1。曲线如果整体下降但中间有小台阶是正常的那是支撑集变化导致的跳跃如果曲线出现明显上扬说明这轮更新让目标变差了一定是步长或支撑截断出了问题。history [] # 在主循环里追加 obj 0.5 * np.linalg.norm(A x - b) ** 2 lam * np.linalg.norm(x, 1) history.append(obj) # 跑完后直接打印或画线 for i, v in enumerate(history): print(fiter {i:3d}: obj {v:.6e})这条曲线是最好的诊断工具。我遇到过好几轮“看起来支撑集很漂亮、稀疏度也正确但系数精度差一截”的情况一画目标曲线就露馅了目标值根本没降到该有的水平说明提前停了。不要迷信稀疏度指标稀疏度只说明形状对了目标函数下降才是收敛的硬证据。5. l1_l2 交替优化避坑五个真实翻车现场与排查方法5.1 现象目标函数震荡不降跑迭代时发现目标函数值忽高忽低甚至比初始值还大。这不是玄学是交替优化的经典翻车姿势。我当时在一个图像重建的任务里第一次遇到一度怀疑是数学框架有问题。原因出在步长上。L2 精化步求的是支撑集上的最优解这一步目标肯定会降但回到 L1 步软阈值会对全向量再做一次大动作如果这个动作太猛把上一轮精化好的系数又拽了回去目标值就会反弹。本质上是两个子问题的更新幅度不匹配。解决方法是给更新加阻尼。常见做法是把x x step改成x 0.5 * x 0.5 * x_refine或者直接记录上一轮的 x用指数滑动平均做平滑。另一个更实用的办法L1 步和 L2 步不要每轮都严格交替改成“L1 跑两三轮、L2 跑两三轮”的分组交替让每个算子先在自己内部稳定下来再换手。5.2 现象支撑集来回切换结果不稳定连续几轮迭代支撑集在两组候选位置之间来回跳比如这一轮选 {1,3,7,9}下一轮变 {1,3,8,9}再下一轮又跳回来。目标函数下降曲线呈现密集的小锯齿。这个问题的本质是存在多个相近的局部最优解或者 A 里有两列高度相关导致它们在 L1 眼里“地位相当”。我当时的做工方案是给支撑集加“惯性”不是每轮都完全采纳新的支撑而是要求某个位置进入支撑后至少存活 K 轮才能被剔除K 一般取 3 到 5。这样做会稍微损失一点响应速度但换来的是支撑稳定性和结果可复现性。更治本的办法是检查 A 的相关性结构如果发现高度相关的列考虑先去相关或者换更强的正则。5.3 现象解全部变零手里拿着一个正确的目标函数跑完迭代x 所有分量都是零目标和稀疏度都“完美”了但一点信息都没恢复出来。这种问题最常见的原因是 λ 设得过大。软阈值的性质就是阈值超过所有系数绝对值时输出全零。排查步骤就三步。第一步打印np.max(np.abs(A.T b))看初始相关性的量级第二步确认你的 λ 没有超过这个最大值的 10%第三步把 λ 临时设成 0.001 跑一遍如果解马上变密说明之前就是 λ 太大。顺带检查一下 A 是否做了列归一化未归一化的矩阵会让“合适的 λ”变得完全不可预测。5.4 现象支撑集正确但系数精度反而差支撑集五个位置全对但恢复出来的系数和真值差 20% 以上。这个问题最有迷惑性因为形状对了会让人放松警惕。仔细看往往是 L2 精化被 μ 正则拖累了。μ 设得太大精化的系数会被额外压缩μ 设得太小在 A_S 病态时会放大噪声。我的经验是 μ 应该设成比 A_S^T A_S 的最小特征值小两个数量级一般 1e-3 到 1e-2 是一个安全范围。如果你发现支撑正确但系数偏小优先把 μ 调小而不是去调 λ。还有一重可能L2 精化只在交替循环内部做了最后一次迭代之后没有单独做一步“纯 L2 精化”导致最终输出还带着 L1 的收缩痕迹。这是很常见的实现遗漏见第 6 章的小技巧。5.5 现象提前终止或者死循环停止准则太敏感几轮之后就达成“支撑稳定”条件但系数明显没收敛或者反过来tol设成 1e-101000 轮都停不下来。这是两个极端我都遇到过。支撑稳定条件必须在支撑完全一致的前提下再叠加系数更新量而系数更新量要除以当前范数做相对化否则大系数和小系数的收敛判据完全不在一个量纲。我的稳定配置是支撑稳定且相对更新小于 1e-4同时max_iter兜底在 200。如果 200 轮没停先不急着调大迭代数回去看目标曲线和支撑历史大概率是参数问题而不是迭代数不够。“跑不满 max_iter 就不算收敛”是常见误区稀疏优化几乎总是先被支撑稳定条件卡住而不是被迭代数卡住。6. 稀疏优化的进阶验证用模拟真值检验 L1/L2 交替到底值不值得用6.1 用模拟真值做误差和支撑双指标验证把方法写出来之后必须用模拟数据做一次系统验证才能确定它是真的有效还是运气好。在真值已知的情况下我会同时看两个指标支撑精确率和恢复误差。支撑精确率用交集除以并集Jaccard 系数恢复误差用||x_rec - x_true||_2 / ||x_true||_2。只报“误差 0.05”是不够的因为如果支撑错了一半误差低也可能只是偶然两个指标一起看才可信。6.2 把最后一次 L2 精化单独拎出来做 debias一个最实用的进阶技巧是交替循环结束后不要直接把 x_rec 当作最终答案而是用最终支撑集再做一次不带 L1 的 L2 精化这一步在稀疏优化里叫 debias。常见做法是# 循环结束后用最终支撑再做一次纯 L2 精化 final_support np.where(np.abs(x_rec) 1e-8)[0] x_final np.zeros_like(x_rec) x_final[final_support] l2_refine(A, b, final_support, mu1e-6)这一步能把残留在系数上的 L1 收缩偏差彻底清掉。代价几乎为零效果却经常很明显尤其是对幅度精度有要求的应用。我现在的习惯是把“交替循环 最终 debias”写成一个固定流程交替循环负责找支撑最后一击交给纯 L2。对比三种求解策略的经验是纯 L1 软阈值迭代收敛慢且系数有偏L1/L2 交替在同样迭代次数下精度高一截尤其在大系数恢复上而“交替 最终 debias”在支撑正确时误差能再降一个量级基本逼近理论下界。唯一的代价是代码多三行没有理由不加。当年我在一个稀疏信道估计任务上就是靠这一小步把误差从十几个百分点压到个位数也让我真正理解了为什么那些成熟的稀疏求解器都要单独留一个“refinement”阶段。希望帮到你。本文还有配套的精品资源点击获取
简介面向机器学习、数据科学与优化算法研究人员这份压缩包聚焦高维稀疏模型中的L1-L2范数联合优化问题提供了基于交替优化思想的MATLAB实现可直接用于逻辑回归、线性回归、SVM等模型的稀疏化训练与特征选择。代码包共8个文件7个m脚本负责核心算法与调用流程涵盖软阈值算子、近端梯度、NPG线性搜索以及不同随机数据规模下的对比实验脚本另附1个txt数据文件用于生成含噪声的高维随机样本整体仅6KB轻量便于阅读和改造。已有448人学习。通过这套代码可以直观看到L1正则化如何将冗余权重压缩为零、L2正则化如何控制参数幅度并理解在交替更新过程中两类约束如何逐步收敛适合正在学习稀疏优化、坐标下降或复现论文实验的读者。结合提供的多个m脚本与数据文件可在自己的数据集上快速跑通完整流程对比不同参数μ下的解路径提升对稀疏性、鲁棒性与收敛性的把握。1. l1_l2 交替优化是什么稀疏优化里最值得先试的折中方案做稀疏优化的人大多绕不过这个场景观测数据到手明知真解在某个基底下只有少数几个非零可 L2 最小二乘给出一堆小尾巴L1 正则总算压出稀疏解系数又全体缩水。L1/L2 交替优化的思路很直接用 L1 找“哪些位置是重要的”再用 L2 在“重要位置”上精修系数两轮交替、互相喂结果。它既有 L1 的稀疏形状又有 L2 的精度是压缩感知、稀疏信号恢复、特征选择里最值得先试的折中方案也是很多稀疏求解器内部真正在用的套路。这篇文章会把这条线完整走一遍先讲清楚为什么非要把两种范数拆开交替而不是合成一个目标一把梭然后给出一套可以直接抄的 NumPy 最小实现再聊三个真正决定成败的参数最后把我踩过的几个坑按“现象→原因→解决”摆出来。适合的人群是需要自己写稀疏求解器的算法工程师、做压缩感知仿真的学生、以及被现成库的黑匣子搞得头疼、想搞清楚内部迭代逻辑的人。整个过程不需要任何商业软件一个 Python 环境加一个数组库就够了。2. 为什么 L1 和 L2 要交替从目标函数到两种算子的分工2.1 单一范数的短板L2 不够稀疏L1 不够干净先摆出目标问题。无论是压缩感知还是稀疏编码最典型的数学形式是下面的无约束优化问题min_x (1/2)||Ax - b||_2^2 λ||x||_1其中 A 是观测矩阵b 是观测向量x 是要恢复的稀疏系数。这一项(1/2)||Ax-b||_2^2是 L2 数据保真项它要求重建结果贴合观测后面的λ||x||_1是 L1 稀疏正则项它把不重要的系数推向零。整个问题本身就是 L2 与 L1 的混合体只是多数教材直接用一个统一的迭代去解它很少把“L1 负责选位置、L2 负责精修数值”这两件事拆开看。单独看 L2 正则和 L1 正则短板非常明显。L2 正则比如岭回归那种形式在数学上光滑、可导收敛路径很温和但它永远不会把系数真正压成零只会给出一堆“接近零”的小数。在稀疏优化里这就意味着支撑集不明确你要么再套一个人工阈值去截断要么接受一个不稀疏的结果。L1 正则相反它天然有稀疏诱导能力软阈值算子一下子就能把不重要系数变成精确的零支撑集直接冒出来但它的问题在于收缩偏差不仅噪声系数被压小真正的大系数也被同等比例削了一刀恢复出来的幅度系统性偏小。这两种缺陷恰好互补。L1 擅长定支撑L2 擅长定量级。那自然想到的方案就是交替先让 L1 干活把支撑集甩出来再让 L2 在支撑集内部重新拟合把被 L1 收缩掉的幅度补回来然后拿着新的系数再回到 L1下一轮 L1 对支撑的判断就会更准。下面的对比表可以直观看到两者分工范数角色擅长的事不擅长的事在交替框架中的位置L1 正则项稀疏诱导、支撑集选择、抗噪声干扰系数幅度有偏大系数被收缩负责生成候选稀疏解更新支撑集L2 保真/精化项无偏拟合、数值精度高、光滑易优化不产生稀疏性解全是小尾巴负责在支撑集上做最小二乘精化2.2 交替优化的数学框架把原问题拆成两个子问题从优化算法角度看L1/L2 交替并不是什么新奇发明它本质上是块坐标下降Block Coordinate Descent在稀疏问题上的应用。核心思想是不要试图一次把整个 x 解出来而是把变量分成两块固定一块去优化另一块交替进行。在凸问题下每一步都取当前块的全局最优目标函数值就不会上升这给交替迭代提供了最基本的收敛保障。具体到我们这个问题怎么做“分块”常见的做法是引入一个支撑集变量 S。记 S 为当前认为“非零”的系数下标集合那么原始问题可以被拆成两个交替的子问题L1 步固定当前系数用带 L1 惩罚的软阈值运算得到一个稀疏候选从里面读出新的支撑集 SL2 步固定支撑集 S把问题限制在 A 的对应列上求解一个带小量 L2 正则的最小二乘问题更新这 S 个位置的系数其余位置保持零。这个视角有一个额外好处两个子问题都有闭式解不需要内层再套迭代。L1 步只是一个逐元素的软阈值函数L2 步只是一个线性方程组求解每一步都便宜且每一步都在“某一种意义下”做对了事。这与经典的交替方向乘子法ADMM属于同一个思想家族只是 ADMM 还额外引入对偶变量来保证约束精确满足而工程里这种朴素的交替版本实现起来更直接也更容易调试。2.3 两个核心算子软阈值与支撑集最小二乘交替框架里真正干活的只有两个算子。第一个是软阈值Soft Thresholding设 t λ对向量 x 的分量逐个执行S_t(v) sign(v) * max(|v| - t, 0)意思很简单绝对值大于 t 的分量往零方向收缩 t绝对值小于等于 t 的直接置零。这个算子就是 L1 近端算子也是坐标下降解 Lasso 时的核心步骤。它的输出天然稀疏且阈值 t 越大解越稀疏。第二个算子是支撑集上的 L2 精化。给定支撑集 S限制矩阵 A_S 只保留 S 对应的列然后求解x_S (A_S^T A_S μI)^{-1} A_S^T b这里的 μ 是一个极小的岭正则作用是防止 A_S^T A_S 病态时求逆爆炸。它解决的是 L1 收缩造成的幅度偏差在支撑集确定之后不再对系数施加 L1 惩罚而是用纯 L2 拟合把幅度修正回来。两个算子各自解决一个问题交替推进这就是整个方法最核心的骨架。3. 用 NumPy 实现 L1/L2 交替优化的最小闭环从稀疏信号恢复到支撑精修3.1 先定义实验问题稀疏信号恢复的任务和评价动手之前先把实验环境固定下来。我用一个经典的稀疏信号恢复问题做测试假设真实信号 x_true 是 40 维其中只有 5 个位置非零观测矩阵 A 是 25 行 40 列的随机高斯矩阵观测值 b 由 Ax_true 加上一点点噪声得到。目标是从 b 和 A 中把 x_true 恢复出来。评估一个解好不好看两件事支撑集是否找对哪几个位置非零以及系数幅度是否接近真值。生成数据的代码很简单注意用固定随机种子否则后面调参时每次结果都不一样没法对比import numpy as np rng np.random.default_rng(42) n_obs, n_feat 25, 40 # 随机高斯观测矩阵每列做完归一化之后更稳 A rng.standard_normal((n_obs, n_feat)) A A / np.linalg.norm(A, axis0, keepdimsTrue) # 真实稀疏信号40 维里只有 5 个非零 x_true np.zeros(n_feat) x_true[[3, 11, 19, 27, 33]] [1.2, -0.8, 2.1, 0.5, -1.4] # 观测干净信号 小噪声 b A x_true 0.01 * rng.standard_normal(n_obs)这里把 A 的每一列做了 L2 归一化是个细节但很关键。稀疏优化里如果 A 的各列尺度不一致L1 阈值就不知道该按谁的尺度设经常出现“大尺度列被误选、小尺度列被漏掉”的情况。归一化之后λ 的含义就统一了后面调参也才可复现。3.2 核心实现软阈值、L2 精化与交替主循环现在写交替优化的主代码。我会把三个部分分开软阈值算子、支撑集 L2 精化、主循环。每一步都保留中间变量方便你打印观察。def soft_threshold(x, t): 软阈值算子把绝对值小于等于 t 的分量置零其余收缩 t return np.sign(x) * np.maximum(np.abs(x) - t, 0.0) def l2_refine(A, b, support, mu1e-3): 在支撑集上做带岭正则的最小二乘返回精化后的系数 A_s A[:, support] # 加上 mu*I 是为了防止 A_s 列相关时矩阵奇异 x_s np.linalg.solve(A_s.T A_s mu * np.eye(A_s.shape[1]), A_s.T b) return x_s def l1_l2_alternating(A, b, lam0.05, mu1e-3, max_support8, max_iter200, tol1e-4): n_feat A.shape[1] # 初始化先用一个带小正则的最小二乘解作为起点 x np.linalg.solve(A.T A 1e-2 * np.eye(n_feat), A.T b) support np.zeros(n_feat, dtypebool) for it in range(max_iter): # ---------- L1 步软阈值产生稀疏候选 ---------- x_candidate soft_threshold(x, lam) new_support np.where(np.abs(x_candidate) 1e-10)[0] # 如果候选支撑超过上限保留绝对值最大的 max_support 个 if len(new_support) max_support: idx np.argsort(np.abs(x_candidate[new_support]))[-max_support:] new_support new_support[idx] # ---------- L2 步在支撑集上精化系数 ---------- x_refine np.zeros(n_feat) x_refine[new_support] l2_refine(A, b, new_support, mu) # 交替用精化后的结果喂给下一轮 L1 step x_refine - x x x step # 全步长更新震荡时可改为 0.5 # 停止判断支撑集稳定且更新量足够小 if np.array_equal(new_support, support): change np.linalg.norm(step) / (np.linalg.norm(x) 1e-12) if change tol: break support new_support return x, support # 运行 x_rec, support_rec l1_l2_alternating(A, b, lam0.08) print(恢复支撑:, np.where(support_rec)[0]) print(真值支撑:, np.where(x_true ! 0)[0])这段代码的逻辑是这样的先把当前解喂给软阈值生成一个稀疏候选然后从候选里读出新的支撑集并对支撑集内系数做 L2 精化精化结果作为下一轮软阈值的输入如此循环。注意x_refine是一个全长向量非支撑位置保持为零这和纯 L1 的结果形态一致但支撑内部的系数已经被 L2 修正过。几个参数的含义需要说清楚。lam是软阈值收缩量等价于 L1 正则权重它越大稀疏性越强mu是 L2 精化时加的岭正则只影响病态情况下的数值稳定性max_support给支撑集规模设了上限这是工程里常用的先验约束防止噪声把支撑撑得过大tol是停止阈值控制收敛精度。跑上面的代码最终支撑集会收敛到真值的 5 个位置或其子集具体结果取决于 lam 选得是否合适。3.3 参数怎么设正则权重、学习率、迭代次数第一次跑通之后最关心的就是参数怎么设。先说lam。它是最敏感的一个参数经验做法是先算np.max(np.abs(A.T b))也就是让 A 的每一列与观测 b 做相关取最大绝对值然后从它的 1% 到 10% 之间选。这个量纲是“信号幅度 × 噪声水平”的综合体现软阈值设得比它小一两个数量级通常就能在保留真实信号和压制噪声之间找到平衡。再说迭代步长。上面代码里我用的是全步长x x step等价于步长 1.0。很多工程实现里交替优化会有振荡问题这时把更新改成x x 0.5 * step或者引入一个衰减系数每轮乘以 0.9能明显改善稳定性。原理上交替最小化在凸问题里全步长通常没问题但 L1 步产生支撑集变化时相当于做了一次硬跳变步长过大容易在两个支撑之间来回跳这一步用“学习率”的思路去理解最贴切。至于迭代次数我一般不会把max_iter设成一个固定大数而是配合停止准则支撑集连续两轮不变且系数更新量相对变化小于tol就认为收敛。最多迭代 200 轮通常足够如果 200 轮还没稳定先不要增加迭代数优先怀疑 lam 或支撑上限设置得不合理。4. 稀疏优化的收敛与停止准则三个别偷懒的参数4.1 停止准则怎么选目标下降、支撑稳定、残差阈值很多人跑稀疏优化只看“迭代了多少次”不太注意停止准则结果要么早停拿到一个半成品要么一直跑到 max_iter 才被硬掐断。我一般会同时看三个信号目标函数下降量、支撑集是否稳定、以及系数更新量。三个信号各有侧重目标函数值是数学上的收敛标志但它在稀疏问题里因为支撑跳变会偶尔平台期支撑集稳定性是工程上更实用的标志因为支撑集一旦定了解基本就定了系数更新量则防止“支撑没变但系数还在慢慢挪”的慢收敛。下面这段停止准则判断函数可以直接抄进你的循环里def stopping_criteria(x_old, x_new, support_old, support_new, obj_old, obj_new): # 支撑还在变绝对不能停 if not np.array_equal(support_old, support_new): return False # 系数更新量相对变化足够小 x_change np.linalg.norm(x_new - x_old) / (np.linalg.norm(x_old) 1e-12) if x_change 1e-4: return True # 目标函数相对下降足够小 if abs(obj_old - obj_new) 1e-6 * max(obj_old, 1.0): return True return False注意这个函数的顺序支撑集稳定性判断要放在最前面。只要支撑还在变不管目标函数下降多小都不能停因为支撑变化意味着解的结构没定这时候停下来的结果大概率是错的。目标函数下降阈值也不要设得太小稀疏优化里目标值经常在最后阶段几乎不动但系数还在微调所以系数更新量比目标下降量更敏感、更可靠。4.2 正则系数与支撑规模λ 和最大支撑数的联动λ 与max_support是一对要联动调整的参数。λ 越小软阈值留下的候选位置越多支撑集就可能越大反过来max_support上限如果设得太小即使 λ 很小支撑也会被强切到上限系数会被硬截断产生额外偏差。我的习惯是先根据先验定max_support比如真实信号最多 5 个非零就设成 8 留点余量再把 λ 设在能让候选支撑略大于max_support的水平这样最终生效的支撑是由“L1 候选 截断”共同决定的而不是某一个参数单独说了算。还有一个小技巧λ 可以在迭代过程中逐渐衰减。比如每 20 轮把 λ 乘以 0.8让前期用较大的 λ 快速锁定支撑后期用较小的 λ 允许更细的修正。这样比固定 λ 在复杂问题上稳定得多。4.3 验证收敛画目标下降曲线而不是只看稀疏度判断交替优化是否真正收敛我强烈建议把每轮的目标函数值存下来画一条下降曲线。目标函数就是0.5 * ||A x - b||_2^2 lam * ||x||_1。曲线如果整体下降但中间有小台阶是正常的那是支撑集变化导致的跳跃如果曲线出现明显上扬说明这轮更新让目标变差了一定是步长或支撑截断出了问题。history [] # 在主循环里追加 obj 0.5 * np.linalg.norm(A x - b) ** 2 lam * np.linalg.norm(x, 1) history.append(obj) # 跑完后直接打印或画线 for i, v in enumerate(history): print(fiter {i:3d}: obj {v:.6e})这条曲线是最好的诊断工具。我遇到过好几轮“看起来支撑集很漂亮、稀疏度也正确但系数精度差一截”的情况一画目标曲线就露馅了目标值根本没降到该有的水平说明提前停了。不要迷信稀疏度指标稀疏度只说明形状对了目标函数下降才是收敛的硬证据。5. l1_l2 交替优化避坑五个真实翻车现场与排查方法5.1 现象目标函数震荡不降跑迭代时发现目标函数值忽高忽低甚至比初始值还大。这不是玄学是交替优化的经典翻车姿势。我当时在一个图像重建的任务里第一次遇到一度怀疑是数学框架有问题。原因出在步长上。L2 精化步求的是支撑集上的最优解这一步目标肯定会降但回到 L1 步软阈值会对全向量再做一次大动作如果这个动作太猛把上一轮精化好的系数又拽了回去目标值就会反弹。本质上是两个子问题的更新幅度不匹配。解决方法是给更新加阻尼。常见做法是把x x step改成x 0.5 * x 0.5 * x_refine或者直接记录上一轮的 x用指数滑动平均做平滑。另一个更实用的办法L1 步和 L2 步不要每轮都严格交替改成“L1 跑两三轮、L2 跑两三轮”的分组交替让每个算子先在自己内部稳定下来再换手。5.2 现象支撑集来回切换结果不稳定连续几轮迭代支撑集在两组候选位置之间来回跳比如这一轮选 {1,3,7,9}下一轮变 {1,3,8,9}再下一轮又跳回来。目标函数下降曲线呈现密集的小锯齿。这个问题的本质是存在多个相近的局部最优解或者 A 里有两列高度相关导致它们在 L1 眼里“地位相当”。我当时的做工方案是给支撑集加“惯性”不是每轮都完全采纳新的支撑而是要求某个位置进入支撑后至少存活 K 轮才能被剔除K 一般取 3 到 5。这样做会稍微损失一点响应速度但换来的是支撑稳定性和结果可复现性。更治本的办法是检查 A 的相关性结构如果发现高度相关的列考虑先去相关或者换更强的正则。5.3 现象解全部变零手里拿着一个正确的目标函数跑完迭代x 所有分量都是零目标和稀疏度都“完美”了但一点信息都没恢复出来。这种问题最常见的原因是 λ 设得过大。软阈值的性质就是阈值超过所有系数绝对值时输出全零。排查步骤就三步。第一步打印np.max(np.abs(A.T b))看初始相关性的量级第二步确认你的 λ 没有超过这个最大值的 10%第三步把 λ 临时设成 0.001 跑一遍如果解马上变密说明之前就是 λ 太大。顺带检查一下 A 是否做了列归一化未归一化的矩阵会让“合适的 λ”变得完全不可预测。5.4 现象支撑集正确但系数精度反而差支撑集五个位置全对但恢复出来的系数和真值差 20% 以上。这个问题最有迷惑性因为形状对了会让人放松警惕。仔细看往往是 L2 精化被 μ 正则拖累了。μ 设得太大精化的系数会被额外压缩μ 设得太小在 A_S 病态时会放大噪声。我的经验是 μ 应该设成比 A_S^T A_S 的最小特征值小两个数量级一般 1e-3 到 1e-2 是一个安全范围。如果你发现支撑正确但系数偏小优先把 μ 调小而不是去调 λ。还有一重可能L2 精化只在交替循环内部做了最后一次迭代之后没有单独做一步“纯 L2 精化”导致最终输出还带着 L1 的收缩痕迹。这是很常见的实现遗漏见第 6 章的小技巧。5.5 现象提前终止或者死循环停止准则太敏感几轮之后就达成“支撑稳定”条件但系数明显没收敛或者反过来tol设成 1e-101000 轮都停不下来。这是两个极端我都遇到过。支撑稳定条件必须在支撑完全一致的前提下再叠加系数更新量而系数更新量要除以当前范数做相对化否则大系数和小系数的收敛判据完全不在一个量纲。我的稳定配置是支撑稳定且相对更新小于 1e-4同时max_iter兜底在 200。如果 200 轮没停先不急着调大迭代数回去看目标曲线和支撑历史大概率是参数问题而不是迭代数不够。“跑不满 max_iter 就不算收敛”是常见误区稀疏优化几乎总是先被支撑稳定条件卡住而不是被迭代数卡住。6. 稀疏优化的进阶验证用模拟真值检验 L1/L2 交替到底值不值得用6.1 用模拟真值做误差和支撑双指标验证把方法写出来之后必须用模拟数据做一次系统验证才能确定它是真的有效还是运气好。在真值已知的情况下我会同时看两个指标支撑精确率和恢复误差。支撑精确率用交集除以并集Jaccard 系数恢复误差用||x_rec - x_true||_2 / ||x_true||_2。只报“误差 0.05”是不够的因为如果支撑错了一半误差低也可能只是偶然两个指标一起看才可信。6.2 把最后一次 L2 精化单独拎出来做 debias一个最实用的进阶技巧是交替循环结束后不要直接把 x_rec 当作最终答案而是用最终支撑集再做一次不带 L1 的 L2 精化这一步在稀疏优化里叫 debias。常见做法是# 循环结束后用最终支撑再做一次纯 L2 精化 final_support np.where(np.abs(x_rec) 1e-8)[0] x_final np.zeros_like(x_rec) x_final[final_support] l2_refine(A, b, final_support, mu1e-6)这一步能把残留在系数上的 L1 收缩偏差彻底清掉。代价几乎为零效果却经常很明显尤其是对幅度精度有要求的应用。我现在的习惯是把“交替循环 最终 debias”写成一个固定流程交替循环负责找支撑最后一击交给纯 L2。对比三种求解策略的经验是纯 L1 软阈值迭代收敛慢且系数有偏L1/L2 交替在同样迭代次数下精度高一截尤其在大系数恢复上而“交替 最终 debias”在支撑正确时误差能再降一个量级基本逼近理论下界。唯一的代价是代码多三行没有理由不加。当年我在一个稀疏信道估计任务上就是靠这一小步把误差从十几个百分点压到个位数也让我真正理解了为什么那些成熟的稀疏求解器都要单独留一个“refinement”阶段。希望帮到你。本文还有配套的精品资源点击获取
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
