GMC多视图聚类算法：原理、源码与调参实战

简介这是 GMC基于图的多视图聚类算法的 MATLAB 源代码包面向机器学习与数据挖掘领域的研究人员和学生解决多视角数据聚类时如何有效融合不同视图信息的问题。该方法通过图模型自适应学习跨视图共享的聚类结构无需预先指定视图权重可直接用于论文复现或课题实验。压缩包整体约 11.71MB共 50 个文件以脚本文件、数据集和示例文件为主并附有说明文档。其中脚本实现核心算法、小型示例运行及多种聚类评价指标如归一化互信息、准确率等数据集文件内置多个公开多视图数据集及实验结果便于一键加载验证。包内还附带常用的聚类性能评估工具以及距离计算、特征分解等基础函数结构清晰适合作为多视图聚类研究的基线代码或二次开发基础。目前已有 1187 人学习下载。 做多视图聚类的人这两年估计都绕不开 GMC 这个名字。Graph-based Multi-view Clustering图基多视图聚类AAAI 2020 那篇公开的源代码在 GitHub 上也有好几份实现。我第一次看到这个题目时以为又是那种“多视图谱聚类 换个图融合方式”的缝合怪真正把源码拉下来跑通之后才发现它把“视图融合”和“聚类”放进同一个目标函数里联合优化每个视图的融合权重是自动学习的不需要你手工去调到底哪个视图更重要。这篇文章想从一个跑过源码、改过源码的人的角度把 GMC 的原理、代码结构和实操中容易踩的坑一次讲清楚。适合正在调多视图聚类基线、想复现论文结果或者准备拿 GMC 做对比方法的同学。1. 先搞清楚 GMC 要解决什么问题1.1 多视图聚类的老问题结构不一致、融合权重靠拍脑袋多视图数据说人话就是同一批样本每个样本可以从几个不同角度去描述。比如同一张人脸图像既能提取灰度特征、LBP 特征也能提取 Gabor 特征同一篇新闻文档既可以用词频向量表示也可以用主题分布表示。聚类的目标是无监督地把这些样本分到几个簇里而多视图聚类要做的就是利用多个视角的信息把簇分得更准。听起来很自然但实际跑起来你会发现视图之间几何结构不一定是一致的。一个视图里距离很近的两个样本在另一个视图里可能隔得很远。早期最简单的做法是把所有视图的特征拼接成一个大矩阵然后直接跑 k-means但这种做法对特征维度和尺度的差异非常敏感——高维视图会在距离计算上把低维视图完全盖住聚类结果基本被那个“量纲大”的视图绑架。后来主流做法从“特征层面融合”转向“图层面融合”每个视图先算一个样本间的相似度矩阵再把多个相似度矩阵加权相加合成一个总矩阵最后在总矩阵上做谱聚类。这一步开始合理了图的好处是规避了不同视图特征维度不同、单位不同的问题。但问题马上转移到“加权相加”的权重上两个视图到底谁更重要实际项目里多数是人工设一个固定值或者用网格搜索一点一点试。试过的人都知道这个权重换一个数据集可能就要重新调而且调出来的值没有什么可解释性。1.2 GMC 的关键统一图矩阵 S 和可学习权重GMC 的思路是把“加权融合多个视图的图”和“在融合图上做聚类”这两件事合并成一个统一的目标函数。它让所有视图共享一个统一图矩阵 S每个视图的局部图 A^(v) 都在向 S 靠拢但 S 不是简单平均的结果——S 同时还被要求满足一个“好聚类”的结构约束也就是 S 对应的拉普拉斯矩阵在做谱分解之后能给出清晰的簇指示。与此同时每个视图的融合权重 α^(v) 也不是人工指定的而是从 S 与各视图 A^(v) 的差异中自动算出来的。哪个视图的图结构和 S 越接近说明它对当前融合结果的贡献越可信权重就越大偏差越大权重自动变小。整个过程不需要人工干预也不需要像早期多视图聚类那样先对每个视图单独聚一次类再想办法把多个聚类结果对齐。后面那种做法最大的问题是每个视图的聚类结果互相矛盾时对齐阶段会产生严重误差累积GMC 从源头规避了这个问题。2. 核心原理与算法细节2.1 输入预处理先建图再谈融合GMC 的第一步是把每个视角的特征矩阵转成一个局部图。以公开的 MATLAB 实现为例对每个视图的特征矩阵 X^(v)也就是 N×d_v 的矩阵先做归一化再用 p 近邻方法构造邻接矩阵 A^(v)。p 近邻的意思是每个样本只保留距离它最近的 p 个邻居邻居之间用热核权重赋值不是所有样本之间都有边。用局部图而不是全连接图第一好处是稀疏后续特征分解的计算量小很多第二好处是局部几何结构更可靠。在多视图场景下距离很远的两个样本之间的相似度往往没有太多意义强行算进来反而会让图的结构变得混沌。p 的取值直接影响后面 S 的质量。我实测下来在 BDGP 这种 2500 个样本左右的数据集上p 取 5 到 15 之间比较稳妥。p 太小图可能碎成多个不连通分量谱聚类一做就分出一堆孤立簇p 太大局部图几乎变成稠密图多视图之间的差异会被抹平融合权重也区分不出来。2.2 自适应融合权重GMC 的灵魂GMC 目标函数里有一个幂指数 γ论文里一般取 2 或更大。权重 α^(v) 的更新思路可以这么理解先计算统一图 S 与当前视图局部图 A^(v) 之间的 Frobenius 范数距离这个距离越小说明该视图与当前融合结果越契合那么它的权重就应该越大然后用幂次加权的方式把所有视图的权重做归一化保证权重和为 1。我第一次看到这个更新公式时第一反应是“这不就是软分配吗”实际跑下来发现它比软分配更稳。当某个视图整体质量很差、和 S 差异很大时它的权重并不会立刻归零而是会被压到非常小的值S 依然主要由高质量视图主导。这样既保留了对低质量视图的容忍度又不会让噪声视图毁掉聚类结构。需要注意权重更新和 S 更新是交替进行的固定 S 更新 α再固定 α 更新 S循环直到收敛。直接同时求两个变量的解析解非常困难交替优化是这类问题的标准解法。收敛条件一般看相邻两次迭代中 S 的变化量或者目标函数值的变化量小于某个阈值。实际调试时通常几十轮迭代就会稳定下来完全不用跑很多次。2.3 统一图上的谱聚类迭代结束之后得到统一图 S聚类结果不是再调一次 k-means而是直接对 S 做谱聚类。所谓谱聚类就是计算 S 的拉普拉斯矩阵取最小的 k 个特征向量拼成一个矩阵再把每一行当作一个新的特征向量做一次简单聚类通常是 k-means。因为 S 在优化过程中已经被约束为“簇间连接弱、簇内连接强”的结构谱聚类这一步往往非常稳定不需要反复重跑。我当时实验里对比过同一个数据集上如果直接把多个视图的 A^(v) 做个平均再谱聚类指标波动很明显但用了 GMC 的联合优化之后S 的分块结构更干净聚类结果也更可复现。这里的本质区别是GMC 在用聚类的目标去主动雕刻融合图而不是先融合完再被动接受聚类结果。3. 源代码结构与复现要点3.1 拿到源代码后的第一印象公开的 GMC 实现通常是一个很小巧的 MATLAB 工程核心文件并不多主脚本负责加载数据、跑迭代、计算指标、构建局部图的函数、统一图与权重交替迭代的函数、谱聚类函数。整体代码量不大比预想中好读。主脚本的流程一般是这样加载多视图特征矩阵 → 对每个视图构造局部图 A^(v) → 初始化统一图 S 和权重 α → 循环迭代更新 S 和 α → 收敛后对 S 做谱聚类 → 用真实标签计算 ACC、NMI、ARI。这几个视图的特征矩阵放在哪里、是什么格式不同版本差异比较大。拿到源代码后建议先把主脚本里读数据那段看一遍确认 X{v} 是 N×d_v 的矩阵、标签 Y 是 N×1 的向量。有的版本还附带 demo 脚本直接跑一遍就能看到结果这个最省事。3.2 关键代码片段拆解我自己复现的简化版贴出来用 MATLAB 风格写方便对照理解核心逻辑。真正源码里聚类约束项会更完整但整体框架就是这样% 初始化 S zeros(N, N); for v 1:numView A{v} constructLocalGraph(X{v}, p); % p近邻 热核权重 S S A{v} / numView; end alpha ones(1, numView) / numView; % 交替迭代 for iter 1:maxIter % 固定S更新权重alpha for v 1:numView dist(v) norm(A{v} - S, fro)^2; end for v 1:numView alpha(v) (1/dist(v))^(1/(gamma-1)) / ... sum((1./dist).^(1/(gamma-1))); end % 固定alpha更新S S zeros(N, N); for v 1:numView S S alpha(v)^gamma * A{v}; end % 对称化 行归一化以及来自谱聚类约束项的修正 S (S S) / 2; % ... end这段代码省去了谱聚类约束项的具体实现但迭代骨架是对的。我要提醒的是实际源码里更新 S 的部分会更复杂多了一项来自聚类约束的梯度贡献不过整体思路还是“权重加权 图归一化”。调试阶段建议把 S 相邻迭代的变化量打印出来能直观看到什么时候 S 基本不动了这比只看目标函数值更容易判断模型是否收敛。3.3 参数设置与评价指标GMC 要设的参数并不多p 近邻的邻居数、迭代次数 maxIter、正则系数 λ、目标函数里的 γ。公开实现里 γ 常见取 2p 需要按数据集调λ 是图聚类的平滑项系数。λ 太小图结构散太大会把类间结构也强行压平一般从 1e-3 到 1 这个范围去试多跑几个值对比指标下降趋势。评估指标用 ACC聚类准确率、NMI归一化互信息、ARI调整兰德指数三个就够。这些指标都需要真实标签做比对但在训练过程中完全不用标签属于标准的无监督评测。复现时注意一个细节谱聚类里内置的 k-means 有随机性最好固定随机种子或者同一个配置跑 5 次取中位数不然你在和其他方法对比时会看到莫名其妙的波动最后说不清楚是方法差异还是随机性造成的。4. 常见问题与排查技巧实录4.1 直接能用的排查速查表我在跑 GMC 和改造成 Python 的过程中遇到的主要问题整理成一张速查表遇到情况可以直接对着查问题可能原因处理方式S 出现全零行p 近邻没有覆盖孤立点检查特征中是否有 NaN 或全零行增加 p 或先对特征做归一化迭代不收敛图构建方式不一致确保每个 A^(v) 都做了对称化和行归一化权重更新时给分母加一个极小量防除零聚类指标很低p 过大导致局部图失去局部性从 p5 开始逐个尝试观察每个样本在图中的连通分量数量内存不够N 较大时 A^(v) 是稠密矩阵改用稀疏矩阵存储p 控制在 10 以内大规模数据考虑先采样每次结果波动大谱聚类内置 k-means 随机初始化固定随机种子同一配置多次运行取中位数这张表里排第一的问题其实最容易被忽略。很多公开数据集本身是干净整洁的但你自己项目里的数据往往带有缺失值、全零行或异常的离群点。这些异常样本在 p 近邻阶段根本找不到邻居构造出来的 A^(v) 就会产生全零行后面 S 跟着出错聚类结果自然不会好。4.2 调参心得与避坑指南第一视图数据进 p 近邻之前一定要做归一化。有些数据集一个视图是 0 到 255 的像素值另一个视图是 0 到 1 的概率值直接算欧氏距离量纲大的视图会彻底控制图结构融合权重也会跟着失真。我习惯对每个视图先做零均值单位方差标准化再做一次行归一化实测比只做行归一化稳定很多。第二别把 γ 从 2 改到很大。γ 控制权重分布的尖锐程度γ 越大权重越集中在少数几个视图上。如果视图质量确实悬殊可以适当调大但如果视图质量接近γ 太大会自动丢弃一半信息聚类指标反而明显下降。我自己试过在三个视图的数据集上把 γ 从 2 调到 5结果有一半实验的 NMI 掉了 3 个百分点以上教训很深。第三想把 GMC 移植到 Python 的话最耗时的是 p 近邻图构建。MATLAB 版本里通常直接用现成的图构建函数Python 可以用 sklearn 的 NearestNeighbors 替代。但要注意返回的距离转成热核权重时要加一个小的尺度参数否则不同视图构建出来的图数值范围不一致迭代时权重会被某个视图带偏。核心迭代部分移植起来其实不难我最终只花了大概一百行代码就复现了主流程。第四GMC 本质上有 O(N²) 的计算复杂度因为要处理 N×N 的 S 矩阵并做特征分解。我在 COIL20 这种 1440 样本的规模上跑得非常轻松但样本量到几万就明显吃力了。如果你的项目数据量很大建议先采样一批做超参选择再用子图方式近似不要试图把 GMC 硬喂给超大矩阵那不是这个算法擅长的场景。最后说说我个人的体会。GMC 这种“把多视图图融合和聚类放进同一个目标里联合优化”的思路放在今天看依然不过时而且它的源码量适中非常适合作为你精读的第一篇聚类方向论文代码。如果你正在给项目挑聚类基线或者想训练“读一篇论文并复现”的能力拿 GMC 练手比直接啃那些几十个文件的大工程要友好太多。多跑几组数据集之后你会发现真正决定聚类上限的往往不是最后那步谱聚类而是最开始那张图建得好不好这也是 GMC 最值得反复揣摩的地方。本文还有配套的精品资源点击获取