简介这是一份关于图神经网络GNN的深度讲解PPT共100页面向希望系统入门图神经网络的研究生、算法工程师及对非欧式数据建模感兴趣的开发者。内容从“为什么需要图神经网络”切入先厘清欧式数据与非欧式数据的区别再讲解图的基本表示方法并逐步展开GNN的核心聚合与更新流程。全篇重点剖析图神经网络的多个重要变体包括图卷积网络GCN中的空间域与频域方法、扩散卷积网络DCNN、NN4G、消息传递网络MPNN、图注意力网络GAT以及图自编码器GAE和变分图自编码器VGAE同时介绍其在自然语言处理、计算机视觉、推荐系统和预测问题等领域中的典型应用。资源为单个pptx压缩包大小12.69MB内容组织为四大模块图文并茂既讲原理也涉及落地场景便于作为教学讲义或自学笔记使用。目前已有1575人浏览学习适合想快速建立GNN知识框架并了解主流模型演进的读者。1. 当数据不是网格而是图GNN 与 GCN 到底能解决什么GNN图神经网络与 GCN图卷积网络这两年几乎成了推荐、风控、分子发现和水文预报里绕不开的技术栈。很多人想找一套“深度讲解”图神经网络的 PPT 来入门可几十上百页看下来公式都推导了真到自己写代码时还是卡在同一个位置数据怎么摆成图、模型怎么选、超参从哪里起步、结果坏了怎么看。这一篇不打算浓缩成一页页公式而是从工程落地角度把基础 GNN 到 GAT、GraphSAGE、GIN 这些变体的骨架和差异讲清楚给出可运行的最小实现与高频踩坑点适合已经会深度学习、准备在非欧几里得数据上动手的工程师。2. 从消息传递到 GCN为什么它是所有图神经网络变体的地基2.1 消息传递框架GNN 的公共骨架任何图神经网络都可以塞进同一个框架每个节点在自己的邻居集合上做一次聚合Aggregate再用聚合结果更新自己的表示Update。写成伪代码就是h_u^(k1) Update(h_u^(k), Aggregate({h_v^(k), v ∈ N(u)}))。GCN、GAT、GraphSAGE、GIN 的差别基本只在于 Aggregate 和 Update 的具体形式。GCN 是这个框架里最简单、也最经典的一个特例。它的谱域推导很劝退从拉普拉斯矩阵的特征分解到切比雪夫多项式近似最后做一个一阶截断才能得到那个广为流传的公式H^(l1) ReLU(D_hat^(-1/2) A_hat D_hat^(-1/2) H^(l) W^(l))。但落地的视角不用管特征分解你只需要知道一件事GCN 的每一层本质上是对邻居特征做一次“权重平均”。A_hat A I是加自环的邻接矩阵D_hat是对应的度矩阵乘上D_hat^(-1/2) A_hat D_hat^(-1/2)是为了让度数大的节点不要压过度数小的节点让聚合结果在不同连通性下保持同一量级。这个归一化操作是整个 GCN 最容易被忽略、却又最影响训练稳定性的地方。很多新手拿到邻接矩阵直接乘结果 loss 震荡、甚至出现 NaN十有八九就是没做这个对称归一化。2.2 的最小实现里我会把归一化单独抽成一个函数后面的所有变体都复用它。2.2 手写一个两层 GCNPyTorch 最小实现与参数设置先用 PyTorch 手写 GCN 层不依赖任何图神经网络库这样你能看清每一步在做什么。下面的代码只用了torch的基础张量操作消息聚合通过index_add_完成。import torch import torch.nn as nn import torch.nn.functional as F class GCNLayer(nn.Module): def __init__(self, in_dim, out_dim): super().__init__() # 不加 bias因为归一化邻接矩阵的作用已经包含偏置信息 self.linear nn.Linear(in_dim, out_dim, biasFalse) def forward(self, x, edge_index, norm): # x: [N, in_dim]节点特征矩阵 # edge_index: [2, E]第一行是源节点第二行是目标节点 # norm: [E]每条边上的对称归一化系数 x self.linear(x) # [N, out_dim] row, col edge_index # row: 源, col: 目标 out torch.zeros_like(x) # 把源节点的特征乘以归一化系数后累加到目标节点上 out.index_add_(0, col, x[row] * norm.view(-1, 1)) return out class GCN(nn.Module): def __init__(self, in_dim, hidden_dim, out_dim, dropout0.5): super().__init__() self.layer1 GCNLayer(in_dim, hidden_dim) self.layer2 GCNLayer(hidden_dim, out_dim) self.dropout nn.Dropout(dropout) def forward(self, x, edge_index, norm): h self.layer1(x, edge_index, norm) h F.relu(h) h self.dropout(h) h self.layer2(h, edge_index, norm) return F.log_softmax(h, dim1)逻辑说明这一层做的事是out[col] norm * x[row]也就是每个目标节点把自己所有入边邻居的特征加权求和。norm向量由 2.3 的gcn_norm函数计算它把“加自环”和“对称归一化”都折叠进去了。训练时 dropout 会随机屏蔽部分隐藏单元推理时 Dropout 模块自动失效不需要手动切换。参数说明hidden_dim在 Cora 这类小数据集上设为 16 就够分子/水文数据通常要升到 64 或 128dropout在 0.5 附近比较稳太小会过拟合太大信息丢失严重。weight_decay不属于模型参数在 2.3 优化器里设置一般取5e-4。2.3 在 Cora 上跑通第一个训练脚本代码与预期结果Cora 是引文网络节点是论文边是引用关系标签是论文主题图神经网络的事实标准测试集。我用它验证手写 GCN 是否正确。这里只借用 PyG 的数据加载接口模型还是上面手写的。import torch from torch_geometric.datasets import Planetoid from torch_geometric.utils import add_self_loops, degree def gcn_norm(edge_index, num_nodes): # 加自环保证节点自身特征在聚合时不会被邻居淹没 edge_index add_self_loops(edge_index, num_nodesnum_nodes)[0] row, col edge_index deg degree(row, num_nodesnum_nodes, dtypetorch.float) deg_inv_sqrt deg.pow(-0.5) # 处理孤立节点度为零时归一化系数置 0 deg_inv_sqrt[deg_inv_sqrt float(inf)] 0.0 norm deg_inv_sqrt[row] * deg_inv_sqrt[col] return edge_index, norm dataset Planetoid(root./data/Cora, nameCora) data dataset[0] edge_index_norm, norm gcn_norm(data.edge_index, data.num_nodes) model GCN(in_dimdataset.num_features, hidden_dim16, out_dimdataset.num_classes, dropout0.5) optimizer torch.optim.Adam(model.parameters(), lr0.01, weight_decay5e-4) def evaluate(): model.eval() with torch.no_grad(): out model(data.x, edge_index_norm, norm) pred out.argmax(dim1) correct pred[data.test_mask] data.y[data.test_mask] return correct.float().mean().item() model.train() for epoch in range(200): optimizer.zero_grad() out model(data.x, edge_index_norm, norm) loss F.nll_loss(out[data.train_mask], data.y[data.train_mask]) loss.backward() optimizer.step() if epoch % 20 0: print(fepoch {epoch:03d} loss {loss.item():.4f} acc {evaluate():.4f})第一次运行脚本会自动下载 Cora 数据集之后断网也能训练。预期在 200 个 epoch 内测试准确率爬到 0.80 以上正常水平是 0.81 到 0.82 之间。如果低于 0.75先不要调模型结构按第 5 章的排查清单检查归一化和数据划分。这里的关键参数都来自图神经网络的经典经验lr0.01配合weight_decay5e-4在 Cora 上几乎不需要动hidden_dim16在这个只有 2708 个节点的数据集上已经足够如果换成你自己的数据集节点特征超过几千维先把hidden_dim提到 64同时把lr降到 0.005 试。3. 四大变体选型GAT、GraphSAGE、GIN、MPNN 分别怎么用3.1 GAT用注意力给邻居排序适合边权重信息丰富的场景GCN 对每个邻居一视同仁权重只取决于度。但在社交网络里意见领袖的一句话和普通用户的一句话影响力完全不同在化合物分子里某个重原子对性质的影响也远大于氢原子。GAT 的思路就是让模型自己学“哪些邻居更重要”。注意力系数计算方式把源节点和目标节点的表示拼接经过一个可学习向量映射成标量过 LeakyReLU 得到分数再按目标节点做 softmax 归一化。多头注意力是 GAT 的标配heads8时每个头输出一份表示拼接后过线性层映射回期望维度小数据集上heads4更保守。from torch_geometric.utils import softmax class GATLayer(nn.Module): def __init__(self, in_dim, out_dim, negative_slope0.2): super().__init__() self.linear nn.Linear(in_dim, out_dim, biasFalse) self.attn nn.Parameter(torch.zeros(1, 2 * out_dim)) self.leaky_relu nn.LeakyReLU(negative_slope) def forward(self, x, edge_index): h self.linear(x) # [N, out_dim] row, col edge_index # row 源, col 目标 e torch.cat([h[row], h[col]], dim-1) # [E, 2*out_dim] alpha self.leaky_relu(e self.attn.t()) # [E, 1] alpha softmax(alpha, indexcol, num_nodesx.size(0)) # 按目标归一 out torch.zeros_like(h) out.index_add_(0, col, h[row] * alpha) return out逻辑说明alpha是每条边上的注意力权重softmax 的index指定按目标节点分组保证每个目标节点收到的所有入边权重之和为 1。out.index_add_和 GCN 的聚合方式一样只是把固定归一化系数换成了学习出来的alpha。参数说明negative_slope0.2是 LeakyReLU 的经典取值基本不用改。多头时每个头的out_dim通常设为hidden_dim // heads最后拼接回hidden_dim。GAT 的主要坑是小数据上注意力容易过拟合训练轮数没必要拉太长早停比改结构见效快。3.2 GraphSAGE采样邻居做小批量训练大规模图的默认起点GCN 和 GAT 都是全图计算节点数到百万级时邻接矩阵和中间激活值会吃掉大量显存。GraphSAGE 换了个思路我不看全图每个节点固定采样若干邻居用采样得到的子图做前向传播。这个设计同时带来了两个好处显存可控而且新节点出现时不需要重新训练整个图天然支持 inductive 推理。import random def sample_neighbors(center_nodes, edge_index, num_samples, rng): row, col edge_index neighbor_dict {} for src, dst in zip(row.tolist(), col.tolist()): neighbor_dict.setdefault(dst, []).append(src) sampled_nodes set(center_nodes) for node in center_nodes: neighbors neighbor_dict.get(node, []) if len(neighbors) num_samples: neighbors rng.sample(neighbors, num_samples) sampled_nodes.update(neighbors) return list(sampled_nodes) def aggregate_mean(node_emb, neighbor_embs): # GraphSAGE 最常用的 mean 聚合器 mean torch.mean(neighbor_embs, dim0) return F.relu(linear(torch.cat([node_emb, mean], dim-1)))逻辑说明sample_neighbors先建立“目标节点 - 源节点列表”的邻接表再为每个中心节点采样固定数量的邻居返回一个包含中心节点和采样邻居的子图节点集合。aggregate_mean把邻居表示取平均后与自身表示拼接再过线性层和 ReLU这是 GraphSAGE 论文里的 mean 聚合器。参数说明采样数量常用两层结构第一层每个节点采样 25 个邻居第二层采样 10 个batch 大小取 512 或 1024。num_samples不是越大越好超过节点实际度数上限就没意义了。实际工程中 GraphSAGE 是三巨头里最容易在分布式环境落地的因为它把图计算拆成了可并行的邻域子问题。3.3 GIN图分类任务上比 GCN 更敏感的结构区分能力GCN 的 mean 式聚合有一个理论缺陷对不同结构的邻居集合可能给出相同的聚合结果。比如“一个节点有 3 个相同邻居”和“一个节点有 5 个相同邻居”mean 之后信息被平均掉一部分模型难以区分。GIN 改用 sum 聚合并给自身表示加一个可学习的权重系数(1 eps)。class GINLayer(nn.Module): def __init__(self, hidden_dim, eps0.0): super().__init__() self.mlp nn.Sequential( nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), ) self.eps eps # 可以设为可学习参数 nn.Parameter def forward(self, x, edge_index): row, col edge_index agg torch.zeros_like(x) agg.index_add_(0, col, x[row]) # sum 聚合 total (1 self.eps) * x agg # 自身 邻居 return self.mlp(total)逻辑说明index_add_实现 sum 聚合total中自身表示被放大(1 eps)倍。这里的 MLP 替代 GCN 的线性层理论上能拟合更复杂的聚合函数。eps的初值设 0后续让模型自己学。什么时候该用 GIN你的任务是图分类或图回归比如分子毒性预测、代码依赖图分类且需要模型区分细微的结构差异。如果只需要做节点分类GIN 的优势不明显GCN 就够用。GIN 对特征尺度比 GCN 敏感输入特征务必先做标准化否则 sum 聚合会把数值大的节点推向主导地位。3.4 MPNN 与选型总结用一张表结束纠结MPNN 不是某一个模型而是一套通用框架消息函数、聚合函数、更新函数都可以自己定义。之前提到的 GCN、GAT、GIN 全都是 MPNN 的特例。如果你有边特征比如分子里的键长键角、交易图里的转账金额MPNN 是最自然的落点。class MPNNLayer(nn.Module): def __init__(self, node_dim, edge_dim): super().__init__() self.message_fn nn.Linear(node_dim edge_dim, node_dim) self.update_fn nn.GRUCell(node_dim, node_dim) def forward(self, x, edge_index, edge_attr): row, col edge_index # 消息函数把源节点表示和边特征拼接 msg self.message_fn(torch.cat([x[row], edge_attr], dim-1)) agg torch.zeros_like(x) agg.index_add_(0, col, msg) return self.update_fn(agg, x) # GRU 风格更新逻辑说明消息函数把边特征融入消息聚合函数仍然是求和更新函数用 GRUCell 对旧表示和新聚合做融合比简单加法更稳。实际业务里很少有人手写 MPNN一般直接调 PyG 的MessagePassing基类但理解这段代码能帮你读懂任何 GNN 变体的源码。选型时不要被“哪个模型更先进”带偏。我一般先看数据规模小于 10 万节点用 GCN更大用 GraphSAGE再看任务图分类优先 GIN有边特征优先 MPNN邻居重要性不均或要解释性优先 GAT。下面的表把关键参数和典型坑列在一起。模型核心机制最适合关键超参典型坑GCN对称归一化邻居平均节点分类、链路预测入门层数 2-3hidden 16-64dropout 0.5层数一深就过平滑GAT可学习注意力加权邻居重要性不均heads 4-8negative_slope 0.2小图容易过拟合GraphSAGE固定规模邻居采样大规模图、inductive 场景num_samples [25,10]batch 512采样分布与全图有偏差GINsum 聚合 MLP图分类、结构敏感任务eps 可学习MLP 两到三层对特征尺度敏感MPNN通用消息函数有边特征的分子/关系图message/update 结构自由度高调试成本高4. 把业务数据构造成图邻接矩阵、节点特征与水文数据实战4.1 从业务表到 edge_index图数据的标准姿势大部分人卡住的不是模型而是“我的表怎么变成图”。常见做法是节点文件至少有一列唯一 ID边文件至少有两列分别指向源节点和目标节点。构造edge_index前先把原始 ID 映射成从 0 开始的连续整数这是所有图神经网络库的统一要求。import numpy as np import pandas as pd import torch nodes pd.read_csv(nodes.csv) # 列node_id, feature_1, feature_2, ... edges pd.read_csv(edges.csv) # 列src, dst id2idx {nid: i for i, nid in enumerate(nodes[node_id])} src edges[src].map(id2idx).values.astype(int) dst edges[dst].map(id2idx).values.astype(int) edge_index torch.tensor([src, dst], dtypetorch.long) # 如果业务关系是无向的必须把反向边补上否则消息只能单向传 edge_index torch.cat([edge_index, edge_index.flip(0)], dim1) edge_index torch.unique(edge_index, dim1)逻辑说明map(id2idx)把业务主键替换为连续索引flip(0)交换源和目标得到反向边unique去掉完全重复的列。边方向是新手翻车重灾区无向图漏了反向边模型只能从目标节点学到源节点的信息网络变成有向传播预测结果严重偏向度低的节点。参数说明如果你的业务关系本身有方向比如水文上下游、交易转账方向就不要做flip。edge_index是长整型张量PyTorch 不允许浮点索引astype(int)是为了防止 CSV 里读出来是 float。4.2 水文数据建 GCN站点拓扑、滑动窗口与特征标准化水文数据是图神经网络的天然战场流域里几十上百个雨量站和水位站站点之间的上下游关系、距离邻近关系构成了空间图结构而传统 MLP 把每个站点当独立样本忽略了降水从上游汇集到下游的传播过程。GCN 要做的就是让下游站点从上游站点的当前和近期特征里“借力”。建图有两种主流方式。第一种按河流拓扑有明确上下游关系的站点直接连边权重可以为河道距离或水流时间。第二种按空间距离没有明确河道关系的区域用站点经纬度算距离低于阈值的连边。实际项目里两种经常混用。from scipy.spatial import distance_matrix station_xy stations[[lon, lat]].values # 经纬度距离粗略换算低纬度可用 1 度 ≈ 111 km dist_km distance_matrix(station_xy, station_xy) * 111.0 threshold_km 30 adj (dist_km threshold_km).astype(int) np.fill_diagonal(adj, 0) # 去掉自环后面统一加 src, dst np.nonzero(adj) edge_index torch.tensor([src, dst], dtypetorch.long)逻辑说明distance_matrix得到站点两两距离adj是阈值化后的邻接矩阵np.nonzero提取所有满足条件的边。注意经纬度换算在纬度 60 度以上会有明显失真工程上建议先把站点坐标投影到 UTM再用投影后的平面坐标算距离我这里的 111 倍数是快速原型用。特征和标签的构建是水文预报的核心。假设每个站有逐小时降雨、流量、水位三类观测目标是从过去 12 小时预测未来 6 小时的流量。常见做法是把时间窗口展平到特征维让每个时间步的图拥有相同的节点特征维度。from sklearn.preprocessing import StandardScaler # 特征每站每时刻 [rain, flow, level]先按特征列标准化 scaler StandardScaler() node_features scaler.fit_transform(features) # [T, num_nodes, num_features] def sliding_window(X, y, lookback12, horizon6): data_X, data_y [], [] for t in range(lookback, len(X) - horizon 1): data_X.append(X[t - lookback:t]) data_y.append(y[t horizon - 1]) return np.array(data_X), np.array(data_y) X, y sliding_window(node_features, target, lookback12, horizon6) # X 形状[num_samples, lookback, num_nodes, num_features]逻辑说明sliding_window返回的 X 是四维张量GCN 只接收[N, F]的节点特征矩阵所以训练时要把 lookback 维展平变成[num_samples * num_nodes, lookback * num_features]然后每个样本对应同一张图结构。y取未来第 6 时刻的流量也可以做多输出预测未来 6 个小时的序列。标准化必须只在训练期数据上计算均值和方差否则验证集和测试集的信息通过 scaler 泄漏进训练过程。这是水文数据建模里最常见的隐性 bug第 4.3 节顺着这条线继续展开。4.3 数据划分的两条红线时间泄漏与节点泄漏图神经网络的训练集划分和普通深度学习有个本质区别样本之间不独立。如果你把时间序列的水文样本随机打乱再划分同一个站、相邻时间步的样本会同时出现在训练集和测试集里测试指标会虚高得离谱模型真正遇到新时段时立刻露馅。正确做法是按时间切分。训练集用第 1 到第 3 年的数据验证集用第 4 年测试集用第 5 年。这样测试集对模型完全是未来数据评估结果才有参考价值。train_end int(len(X) * 0.6) val_end int(len(X) * 0.8) X_train, y_train X[:train_end], y[:train_end] X_val, y_val X[train_end:val_end], y[train_end:val_end] X_test, y_test X[val_end:], y[val_end:]逻辑说明切片沿着时间轴切顺序不能打乱。如果样本数太少至少保证测试期不参与任何统计量的计算。节点级划分在引文网络里很常见但水文数据必须用时间划分因为相邻时刻的水文过程强相关。第二条红线是scaler和验证集的关系。我看到不止一个项目把整个数据集喂进fit_transform再切训练和测试导致测试集均值方差被训练期污染。正确顺序是先按时间切出X_train / X_test再在X_train上fit然后transform全部数据。5. GNN 训练排查五个高频坑的现象、原因与解决办法5.1 层数一深效果就崩过平滑不是玄学现象两层 GCN 测试准确率 0.81加到 4 层降到 0.746 层直接崩到 0.60 附近比单层还差。训练集 loss 还能降但验证集准确率一路向下。原因每一层都在做邻居聚合层数一多节点的表示被反复平均彼此之间越来越像最后收敛到整个图的平均特征。这叫过平滑是 GCN 类模型的固有属性不是你的参没调好。解决先把层数压回 2 到 3 层。绝大多数中小规模图上两层已经是收益上限。如果业务确实需要长距离信息改用残差连接把上一层表示直接相加或者上 GAT 配合注意力跳过不重要的中介节点。层数超过 5 还想要稳定效果需要做图采样和梯度裁剪入门阶段不建议碰。5.2 忘记归一化loss 震荡与 NaN 的常见来源现象训练前几步 loss 下降第 10 个 epoch 左右突然变成nan或者 loss 像锯齿一样上下剧烈跳动。检查代码发现没有调用gcn_norm直接用原始邻接矩阵相乘。原因未归一化的邻接矩阵度大的节点聚合出的特征数值远大于度小的节点梯度被这些少数节点主导。inf通常来自孤立节点的度为零deg.pow(-0.5)产生无穷大。解决统一走gcn_norm先加自环再对称归一化。如果数据存在孤立节点deg_inv_sqrt[deg_inv_sqrt float(inf)] 0.0这行不能省。训练前打印norm张量的最大值和最小值应该都落在 0 到 1 之间。看到nan不要急着调学习率先检查归一化。5.3 百万节点图显存爆炸sparse 与小批量采样怎么救现象数据集 200 万节点、5000 万条边模型定义没问题但 forward 第一轮就报 CUDA out of memory。原因很多人把邻接矩阵转成了torch.FloatTensor稠密矩阵200 万乘 200 万的矩阵光存储就要 1.5 TB显存当然不够。即使只有 10 万节点稠密矩阵也需要 40 GB全图训练几乎不可能。解决邻接矩阵用torch.sparse_coo_tensor表示信息传递用torch.sparse.mm配合gcn_norm的稀疏版本。更彻底的是切换到 GraphSAGE 的小批量采样模式每批只取 512 个节点和它们的两跳邻居逃避整图计算量。工程上这种场景我会直接放弃自写 GCN改用 PyG 内置的SAGEConv。5.4 指标虚高的真相随机划分在图上不可靠现象模型在随机划分的测试集上准确率 0.85换成分组划分掉到 0.69老板问是不是第二个实验写错了。原因图数据里相邻节点标签高度相关随机划分等价于把每个节点的“邻居副本”同时塞进了训练和测试。模型根本不是学到模式而是从训练集里把邻居的标签直接拷贝给了测试节点。解决先想清楚业务场景。如果你的模型未来要预测的是新用户、新站点必须按节点划分且保证训练和测试节点在图结构中不相邻如果未来要预测的是全图同时出现的新时段按时间划分。论文里的随机划分只能用来横向对比模型结构不能代表真实泛化能力。5.5 GCN 打不过 MLP 基线先查这四件事现象自认为 GCN 结构没问题但测试结果和纯 MLP 差不多甚至更低。原因图结构没有带来有效信息或者信息在预处理阶段被丢掉了。解决按顺序检查四项。第一节点特征是否大部分为零零输入会让消息传递变成空转。第二图的连通性打印连通分量数量如果图是几十个互不相连的小岛GCN 学不出全局模式。第三边的数量级100 个节点只有 5 条边聚合几乎没影响不如把邻域扩大或增加距离阈值。第四标签分布是否极度不平衡类别样本差 100 倍以上时直接优化CrossEntropyLoss会让模型全预测多数类改成FocalLoss或给少数类加权。6. 从能跑到能交付嵌入可视化、实验记录与复现习惯6.1 用 TSNE 检查嵌入质量模型跑通之后不要只看准确率。把隐藏层输出降到二维画出来是判断模型是否学到有效结构的最快方式。from sklearn.manifold import TSNE import matplotlib.pyplot as plt model.eval() with torch.no_grad(): emb model.layer1(data.x, edge_index_norm, norm).cpu().numpy() emb_2d TSNE(n_components2, perplexity30, initpca, random_state42).fit_transform(emb) plt.figure(figsize(8, 6)) plt.scatter(emb_2d[:, 0], emb_2d[:, 1], cdata.y.cpu().numpy(), s8, cmaptab10) plt.savefig(outputs/embedding.png, dpi200)逻辑说明取第一层输出而不是最后一层的 logits能更清楚地看到原始聚类结构。如果同类别节点在图嵌入空间中聚成团说明图结构信息被有效利用了如果全部混成一团回到第 5 章节排查。参数说明perplexity30适合中等规模数据几万个点可以降到 50initpca比随机初始化更稳定不会每次跑出完全不同的图。水文数据建图时把不同季节的样本用不同颜色画在同一张嵌入图上往往能直接看出季节模式。6.2 实验记录习惯固定一个默认配置再逐个改参数图神经网络超参相互影响同时调 dropout、hidden 维度、学习率、层数出了好结果也不知道是谁的功劳。我的习惯是先把第 2 章那组参数设为默认值每次只动一个变量记成一张表。参数默认值修改值验证 ACC/F1备注hidden_dim16320.812无提升dropout0.50.30.805过拟合回升lr0.010.0050.798收敛变慢weight_decay5e-41e-30.818可保留每个配置至少跑 3 个随机种子报告均值加减方差。单次结果说明不了问题图神经网络对随机初始化尤其敏感。6.3 把讲解材料落成一个能复现的仓库无论讲解材料是几十页还是一两百页 PPT最后都要落成一个能复现的仓库数据预处理一个脚本模型定义一个模块训练和评估各自独立可视化单独输出。重跑时只依赖原始数据和一条命令不依赖任何手动步骤。我吃过最大的亏就是讲解材料写得面面俱到代码却散落在十个 notebook 里过两周自己都跑不回来。现在的习惯是先把数据管道和基线跑通再回头对着公式讲理论讲完再复现一次复现不出训练曲线那页公式再漂亮也不能要。希望帮到你。本文还有配套的精品资源点击获取
简介这是一份关于图神经网络GNN的深度讲解PPT共100页面向希望系统入门图神经网络的研究生、算法工程师及对非欧式数据建模感兴趣的开发者。内容从“为什么需要图神经网络”切入先厘清欧式数据与非欧式数据的区别再讲解图的基本表示方法并逐步展开GNN的核心聚合与更新流程。全篇重点剖析图神经网络的多个重要变体包括图卷积网络GCN中的空间域与频域方法、扩散卷积网络DCNN、NN4G、消息传递网络MPNN、图注意力网络GAT以及图自编码器GAE和变分图自编码器VGAE同时介绍其在自然语言处理、计算机视觉、推荐系统和预测问题等领域中的典型应用。资源为单个pptx压缩包大小12.69MB内容组织为四大模块图文并茂既讲原理也涉及落地场景便于作为教学讲义或自学笔记使用。目前已有1575人浏览学习适合想快速建立GNN知识框架并了解主流模型演进的读者。1. 当数据不是网格而是图GNN 与 GCN 到底能解决什么GNN图神经网络与 GCN图卷积网络这两年几乎成了推荐、风控、分子发现和水文预报里绕不开的技术栈。很多人想找一套“深度讲解”图神经网络的 PPT 来入门可几十上百页看下来公式都推导了真到自己写代码时还是卡在同一个位置数据怎么摆成图、模型怎么选、超参从哪里起步、结果坏了怎么看。这一篇不打算浓缩成一页页公式而是从工程落地角度把基础 GNN 到 GAT、GraphSAGE、GIN 这些变体的骨架和差异讲清楚给出可运行的最小实现与高频踩坑点适合已经会深度学习、准备在非欧几里得数据上动手的工程师。2. 从消息传递到 GCN为什么它是所有图神经网络变体的地基2.1 消息传递框架GNN 的公共骨架任何图神经网络都可以塞进同一个框架每个节点在自己的邻居集合上做一次聚合Aggregate再用聚合结果更新自己的表示Update。写成伪代码就是h_u^(k1) Update(h_u^(k), Aggregate({h_v^(k), v ∈ N(u)}))。GCN、GAT、GraphSAGE、GIN 的差别基本只在于 Aggregate 和 Update 的具体形式。GCN 是这个框架里最简单、也最经典的一个特例。它的谱域推导很劝退从拉普拉斯矩阵的特征分解到切比雪夫多项式近似最后做一个一阶截断才能得到那个广为流传的公式H^(l1) ReLU(D_hat^(-1/2) A_hat D_hat^(-1/2) H^(l) W^(l))。但落地的视角不用管特征分解你只需要知道一件事GCN 的每一层本质上是对邻居特征做一次“权重平均”。A_hat A I是加自环的邻接矩阵D_hat是对应的度矩阵乘上D_hat^(-1/2) A_hat D_hat^(-1/2)是为了让度数大的节点不要压过度数小的节点让聚合结果在不同连通性下保持同一量级。这个归一化操作是整个 GCN 最容易被忽略、却又最影响训练稳定性的地方。很多新手拿到邻接矩阵直接乘结果 loss 震荡、甚至出现 NaN十有八九就是没做这个对称归一化。2.2 的最小实现里我会把归一化单独抽成一个函数后面的所有变体都复用它。2.2 手写一个两层 GCNPyTorch 最小实现与参数设置先用 PyTorch 手写 GCN 层不依赖任何图神经网络库这样你能看清每一步在做什么。下面的代码只用了torch的基础张量操作消息聚合通过index_add_完成。import torch import torch.nn as nn import torch.nn.functional as F class GCNLayer(nn.Module): def __init__(self, in_dim, out_dim): super().__init__() # 不加 bias因为归一化邻接矩阵的作用已经包含偏置信息 self.linear nn.Linear(in_dim, out_dim, biasFalse) def forward(self, x, edge_index, norm): # x: [N, in_dim]节点特征矩阵 # edge_index: [2, E]第一行是源节点第二行是目标节点 # norm: [E]每条边上的对称归一化系数 x self.linear(x) # [N, out_dim] row, col edge_index # row: 源, col: 目标 out torch.zeros_like(x) # 把源节点的特征乘以归一化系数后累加到目标节点上 out.index_add_(0, col, x[row] * norm.view(-1, 1)) return out class GCN(nn.Module): def __init__(self, in_dim, hidden_dim, out_dim, dropout0.5): super().__init__() self.layer1 GCNLayer(in_dim, hidden_dim) self.layer2 GCNLayer(hidden_dim, out_dim) self.dropout nn.Dropout(dropout) def forward(self, x, edge_index, norm): h self.layer1(x, edge_index, norm) h F.relu(h) h self.dropout(h) h self.layer2(h, edge_index, norm) return F.log_softmax(h, dim1)逻辑说明这一层做的事是out[col] norm * x[row]也就是每个目标节点把自己所有入边邻居的特征加权求和。norm向量由 2.3 的gcn_norm函数计算它把“加自环”和“对称归一化”都折叠进去了。训练时 dropout 会随机屏蔽部分隐藏单元推理时 Dropout 模块自动失效不需要手动切换。参数说明hidden_dim在 Cora 这类小数据集上设为 16 就够分子/水文数据通常要升到 64 或 128dropout在 0.5 附近比较稳太小会过拟合太大信息丢失严重。weight_decay不属于模型参数在 2.3 优化器里设置一般取5e-4。2.3 在 Cora 上跑通第一个训练脚本代码与预期结果Cora 是引文网络节点是论文边是引用关系标签是论文主题图神经网络的事实标准测试集。我用它验证手写 GCN 是否正确。这里只借用 PyG 的数据加载接口模型还是上面手写的。import torch from torch_geometric.datasets import Planetoid from torch_geometric.utils import add_self_loops, degree def gcn_norm(edge_index, num_nodes): # 加自环保证节点自身特征在聚合时不会被邻居淹没 edge_index add_self_loops(edge_index, num_nodesnum_nodes)[0] row, col edge_index deg degree(row, num_nodesnum_nodes, dtypetorch.float) deg_inv_sqrt deg.pow(-0.5) # 处理孤立节点度为零时归一化系数置 0 deg_inv_sqrt[deg_inv_sqrt float(inf)] 0.0 norm deg_inv_sqrt[row] * deg_inv_sqrt[col] return edge_index, norm dataset Planetoid(root./data/Cora, nameCora) data dataset[0] edge_index_norm, norm gcn_norm(data.edge_index, data.num_nodes) model GCN(in_dimdataset.num_features, hidden_dim16, out_dimdataset.num_classes, dropout0.5) optimizer torch.optim.Adam(model.parameters(), lr0.01, weight_decay5e-4) def evaluate(): model.eval() with torch.no_grad(): out model(data.x, edge_index_norm, norm) pred out.argmax(dim1) correct pred[data.test_mask] data.y[data.test_mask] return correct.float().mean().item() model.train() for epoch in range(200): optimizer.zero_grad() out model(data.x, edge_index_norm, norm) loss F.nll_loss(out[data.train_mask], data.y[data.train_mask]) loss.backward() optimizer.step() if epoch % 20 0: print(fepoch {epoch:03d} loss {loss.item():.4f} acc {evaluate():.4f})第一次运行脚本会自动下载 Cora 数据集之后断网也能训练。预期在 200 个 epoch 内测试准确率爬到 0.80 以上正常水平是 0.81 到 0.82 之间。如果低于 0.75先不要调模型结构按第 5 章的排查清单检查归一化和数据划分。这里的关键参数都来自图神经网络的经典经验lr0.01配合weight_decay5e-4在 Cora 上几乎不需要动hidden_dim16在这个只有 2708 个节点的数据集上已经足够如果换成你自己的数据集节点特征超过几千维先把hidden_dim提到 64同时把lr降到 0.005 试。3. 四大变体选型GAT、GraphSAGE、GIN、MPNN 分别怎么用3.1 GAT用注意力给邻居排序适合边权重信息丰富的场景GCN 对每个邻居一视同仁权重只取决于度。但在社交网络里意见领袖的一句话和普通用户的一句话影响力完全不同在化合物分子里某个重原子对性质的影响也远大于氢原子。GAT 的思路就是让模型自己学“哪些邻居更重要”。注意力系数计算方式把源节点和目标节点的表示拼接经过一个可学习向量映射成标量过 LeakyReLU 得到分数再按目标节点做 softmax 归一化。多头注意力是 GAT 的标配heads8时每个头输出一份表示拼接后过线性层映射回期望维度小数据集上heads4更保守。from torch_geometric.utils import softmax class GATLayer(nn.Module): def __init__(self, in_dim, out_dim, negative_slope0.2): super().__init__() self.linear nn.Linear(in_dim, out_dim, biasFalse) self.attn nn.Parameter(torch.zeros(1, 2 * out_dim)) self.leaky_relu nn.LeakyReLU(negative_slope) def forward(self, x, edge_index): h self.linear(x) # [N, out_dim] row, col edge_index # row 源, col 目标 e torch.cat([h[row], h[col]], dim-1) # [E, 2*out_dim] alpha self.leaky_relu(e self.attn.t()) # [E, 1] alpha softmax(alpha, indexcol, num_nodesx.size(0)) # 按目标归一 out torch.zeros_like(h) out.index_add_(0, col, h[row] * alpha) return out逻辑说明alpha是每条边上的注意力权重softmax 的index指定按目标节点分组保证每个目标节点收到的所有入边权重之和为 1。out.index_add_和 GCN 的聚合方式一样只是把固定归一化系数换成了学习出来的alpha。参数说明negative_slope0.2是 LeakyReLU 的经典取值基本不用改。多头时每个头的out_dim通常设为hidden_dim // heads最后拼接回hidden_dim。GAT 的主要坑是小数据上注意力容易过拟合训练轮数没必要拉太长早停比改结构见效快。3.2 GraphSAGE采样邻居做小批量训练大规模图的默认起点GCN 和 GAT 都是全图计算节点数到百万级时邻接矩阵和中间激活值会吃掉大量显存。GraphSAGE 换了个思路我不看全图每个节点固定采样若干邻居用采样得到的子图做前向传播。这个设计同时带来了两个好处显存可控而且新节点出现时不需要重新训练整个图天然支持 inductive 推理。import random def sample_neighbors(center_nodes, edge_index, num_samples, rng): row, col edge_index neighbor_dict {} for src, dst in zip(row.tolist(), col.tolist()): neighbor_dict.setdefault(dst, []).append(src) sampled_nodes set(center_nodes) for node in center_nodes: neighbors neighbor_dict.get(node, []) if len(neighbors) num_samples: neighbors rng.sample(neighbors, num_samples) sampled_nodes.update(neighbors) return list(sampled_nodes) def aggregate_mean(node_emb, neighbor_embs): # GraphSAGE 最常用的 mean 聚合器 mean torch.mean(neighbor_embs, dim0) return F.relu(linear(torch.cat([node_emb, mean], dim-1)))逻辑说明sample_neighbors先建立“目标节点 - 源节点列表”的邻接表再为每个中心节点采样固定数量的邻居返回一个包含中心节点和采样邻居的子图节点集合。aggregate_mean把邻居表示取平均后与自身表示拼接再过线性层和 ReLU这是 GraphSAGE 论文里的 mean 聚合器。参数说明采样数量常用两层结构第一层每个节点采样 25 个邻居第二层采样 10 个batch 大小取 512 或 1024。num_samples不是越大越好超过节点实际度数上限就没意义了。实际工程中 GraphSAGE 是三巨头里最容易在分布式环境落地的因为它把图计算拆成了可并行的邻域子问题。3.3 GIN图分类任务上比 GCN 更敏感的结构区分能力GCN 的 mean 式聚合有一个理论缺陷对不同结构的邻居集合可能给出相同的聚合结果。比如“一个节点有 3 个相同邻居”和“一个节点有 5 个相同邻居”mean 之后信息被平均掉一部分模型难以区分。GIN 改用 sum 聚合并给自身表示加一个可学习的权重系数(1 eps)。class GINLayer(nn.Module): def __init__(self, hidden_dim, eps0.0): super().__init__() self.mlp nn.Sequential( nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), ) self.eps eps # 可以设为可学习参数 nn.Parameter def forward(self, x, edge_index): row, col edge_index agg torch.zeros_like(x) agg.index_add_(0, col, x[row]) # sum 聚合 total (1 self.eps) * x agg # 自身 邻居 return self.mlp(total)逻辑说明index_add_实现 sum 聚合total中自身表示被放大(1 eps)倍。这里的 MLP 替代 GCN 的线性层理论上能拟合更复杂的聚合函数。eps的初值设 0后续让模型自己学。什么时候该用 GIN你的任务是图分类或图回归比如分子毒性预测、代码依赖图分类且需要模型区分细微的结构差异。如果只需要做节点分类GIN 的优势不明显GCN 就够用。GIN 对特征尺度比 GCN 敏感输入特征务必先做标准化否则 sum 聚合会把数值大的节点推向主导地位。3.4 MPNN 与选型总结用一张表结束纠结MPNN 不是某一个模型而是一套通用框架消息函数、聚合函数、更新函数都可以自己定义。之前提到的 GCN、GAT、GIN 全都是 MPNN 的特例。如果你有边特征比如分子里的键长键角、交易图里的转账金额MPNN 是最自然的落点。class MPNNLayer(nn.Module): def __init__(self, node_dim, edge_dim): super().__init__() self.message_fn nn.Linear(node_dim edge_dim, node_dim) self.update_fn nn.GRUCell(node_dim, node_dim) def forward(self, x, edge_index, edge_attr): row, col edge_index # 消息函数把源节点表示和边特征拼接 msg self.message_fn(torch.cat([x[row], edge_attr], dim-1)) agg torch.zeros_like(x) agg.index_add_(0, col, msg) return self.update_fn(agg, x) # GRU 风格更新逻辑说明消息函数把边特征融入消息聚合函数仍然是求和更新函数用 GRUCell 对旧表示和新聚合做融合比简单加法更稳。实际业务里很少有人手写 MPNN一般直接调 PyG 的MessagePassing基类但理解这段代码能帮你读懂任何 GNN 变体的源码。选型时不要被“哪个模型更先进”带偏。我一般先看数据规模小于 10 万节点用 GCN更大用 GraphSAGE再看任务图分类优先 GIN有边特征优先 MPNN邻居重要性不均或要解释性优先 GAT。下面的表把关键参数和典型坑列在一起。模型核心机制最适合关键超参典型坑GCN对称归一化邻居平均节点分类、链路预测入门层数 2-3hidden 16-64dropout 0.5层数一深就过平滑GAT可学习注意力加权邻居重要性不均heads 4-8negative_slope 0.2小图容易过拟合GraphSAGE固定规模邻居采样大规模图、inductive 场景num_samples [25,10]batch 512采样分布与全图有偏差GINsum 聚合 MLP图分类、结构敏感任务eps 可学习MLP 两到三层对特征尺度敏感MPNN通用消息函数有边特征的分子/关系图message/update 结构自由度高调试成本高4. 把业务数据构造成图邻接矩阵、节点特征与水文数据实战4.1 从业务表到 edge_index图数据的标准姿势大部分人卡住的不是模型而是“我的表怎么变成图”。常见做法是节点文件至少有一列唯一 ID边文件至少有两列分别指向源节点和目标节点。构造edge_index前先把原始 ID 映射成从 0 开始的连续整数这是所有图神经网络库的统一要求。import numpy as np import pandas as pd import torch nodes pd.read_csv(nodes.csv) # 列node_id, feature_1, feature_2, ... edges pd.read_csv(edges.csv) # 列src, dst id2idx {nid: i for i, nid in enumerate(nodes[node_id])} src edges[src].map(id2idx).values.astype(int) dst edges[dst].map(id2idx).values.astype(int) edge_index torch.tensor([src, dst], dtypetorch.long) # 如果业务关系是无向的必须把反向边补上否则消息只能单向传 edge_index torch.cat([edge_index, edge_index.flip(0)], dim1) edge_index torch.unique(edge_index, dim1)逻辑说明map(id2idx)把业务主键替换为连续索引flip(0)交换源和目标得到反向边unique去掉完全重复的列。边方向是新手翻车重灾区无向图漏了反向边模型只能从目标节点学到源节点的信息网络变成有向传播预测结果严重偏向度低的节点。参数说明如果你的业务关系本身有方向比如水文上下游、交易转账方向就不要做flip。edge_index是长整型张量PyTorch 不允许浮点索引astype(int)是为了防止 CSV 里读出来是 float。4.2 水文数据建 GCN站点拓扑、滑动窗口与特征标准化水文数据是图神经网络的天然战场流域里几十上百个雨量站和水位站站点之间的上下游关系、距离邻近关系构成了空间图结构而传统 MLP 把每个站点当独立样本忽略了降水从上游汇集到下游的传播过程。GCN 要做的就是让下游站点从上游站点的当前和近期特征里“借力”。建图有两种主流方式。第一种按河流拓扑有明确上下游关系的站点直接连边权重可以为河道距离或水流时间。第二种按空间距离没有明确河道关系的区域用站点经纬度算距离低于阈值的连边。实际项目里两种经常混用。from scipy.spatial import distance_matrix station_xy stations[[lon, lat]].values # 经纬度距离粗略换算低纬度可用 1 度 ≈ 111 km dist_km distance_matrix(station_xy, station_xy) * 111.0 threshold_km 30 adj (dist_km threshold_km).astype(int) np.fill_diagonal(adj, 0) # 去掉自环后面统一加 src, dst np.nonzero(adj) edge_index torch.tensor([src, dst], dtypetorch.long)逻辑说明distance_matrix得到站点两两距离adj是阈值化后的邻接矩阵np.nonzero提取所有满足条件的边。注意经纬度换算在纬度 60 度以上会有明显失真工程上建议先把站点坐标投影到 UTM再用投影后的平面坐标算距离我这里的 111 倍数是快速原型用。特征和标签的构建是水文预报的核心。假设每个站有逐小时降雨、流量、水位三类观测目标是从过去 12 小时预测未来 6 小时的流量。常见做法是把时间窗口展平到特征维让每个时间步的图拥有相同的节点特征维度。from sklearn.preprocessing import StandardScaler # 特征每站每时刻 [rain, flow, level]先按特征列标准化 scaler StandardScaler() node_features scaler.fit_transform(features) # [T, num_nodes, num_features] def sliding_window(X, y, lookback12, horizon6): data_X, data_y [], [] for t in range(lookback, len(X) - horizon 1): data_X.append(X[t - lookback:t]) data_y.append(y[t horizon - 1]) return np.array(data_X), np.array(data_y) X, y sliding_window(node_features, target, lookback12, horizon6) # X 形状[num_samples, lookback, num_nodes, num_features]逻辑说明sliding_window返回的 X 是四维张量GCN 只接收[N, F]的节点特征矩阵所以训练时要把 lookback 维展平变成[num_samples * num_nodes, lookback * num_features]然后每个样本对应同一张图结构。y取未来第 6 时刻的流量也可以做多输出预测未来 6 个小时的序列。标准化必须只在训练期数据上计算均值和方差否则验证集和测试集的信息通过 scaler 泄漏进训练过程。这是水文数据建模里最常见的隐性 bug第 4.3 节顺着这条线继续展开。4.3 数据划分的两条红线时间泄漏与节点泄漏图神经网络的训练集划分和普通深度学习有个本质区别样本之间不独立。如果你把时间序列的水文样本随机打乱再划分同一个站、相邻时间步的样本会同时出现在训练集和测试集里测试指标会虚高得离谱模型真正遇到新时段时立刻露馅。正确做法是按时间切分。训练集用第 1 到第 3 年的数据验证集用第 4 年测试集用第 5 年。这样测试集对模型完全是未来数据评估结果才有参考价值。train_end int(len(X) * 0.6) val_end int(len(X) * 0.8) X_train, y_train X[:train_end], y[:train_end] X_val, y_val X[train_end:val_end], y[train_end:val_end] X_test, y_test X[val_end:], y[val_end:]逻辑说明切片沿着时间轴切顺序不能打乱。如果样本数太少至少保证测试期不参与任何统计量的计算。节点级划分在引文网络里很常见但水文数据必须用时间划分因为相邻时刻的水文过程强相关。第二条红线是scaler和验证集的关系。我看到不止一个项目把整个数据集喂进fit_transform再切训练和测试导致测试集均值方差被训练期污染。正确顺序是先按时间切出X_train / X_test再在X_train上fit然后transform全部数据。5. GNN 训练排查五个高频坑的现象、原因与解决办法5.1 层数一深效果就崩过平滑不是玄学现象两层 GCN 测试准确率 0.81加到 4 层降到 0.746 层直接崩到 0.60 附近比单层还差。训练集 loss 还能降但验证集准确率一路向下。原因每一层都在做邻居聚合层数一多节点的表示被反复平均彼此之间越来越像最后收敛到整个图的平均特征。这叫过平滑是 GCN 类模型的固有属性不是你的参没调好。解决先把层数压回 2 到 3 层。绝大多数中小规模图上两层已经是收益上限。如果业务确实需要长距离信息改用残差连接把上一层表示直接相加或者上 GAT 配合注意力跳过不重要的中介节点。层数超过 5 还想要稳定效果需要做图采样和梯度裁剪入门阶段不建议碰。5.2 忘记归一化loss 震荡与 NaN 的常见来源现象训练前几步 loss 下降第 10 个 epoch 左右突然变成nan或者 loss 像锯齿一样上下剧烈跳动。检查代码发现没有调用gcn_norm直接用原始邻接矩阵相乘。原因未归一化的邻接矩阵度大的节点聚合出的特征数值远大于度小的节点梯度被这些少数节点主导。inf通常来自孤立节点的度为零deg.pow(-0.5)产生无穷大。解决统一走gcn_norm先加自环再对称归一化。如果数据存在孤立节点deg_inv_sqrt[deg_inv_sqrt float(inf)] 0.0这行不能省。训练前打印norm张量的最大值和最小值应该都落在 0 到 1 之间。看到nan不要急着调学习率先检查归一化。5.3 百万节点图显存爆炸sparse 与小批量采样怎么救现象数据集 200 万节点、5000 万条边模型定义没问题但 forward 第一轮就报 CUDA out of memory。原因很多人把邻接矩阵转成了torch.FloatTensor稠密矩阵200 万乘 200 万的矩阵光存储就要 1.5 TB显存当然不够。即使只有 10 万节点稠密矩阵也需要 40 GB全图训练几乎不可能。解决邻接矩阵用torch.sparse_coo_tensor表示信息传递用torch.sparse.mm配合gcn_norm的稀疏版本。更彻底的是切换到 GraphSAGE 的小批量采样模式每批只取 512 个节点和它们的两跳邻居逃避整图计算量。工程上这种场景我会直接放弃自写 GCN改用 PyG 内置的SAGEConv。5.4 指标虚高的真相随机划分在图上不可靠现象模型在随机划分的测试集上准确率 0.85换成分组划分掉到 0.69老板问是不是第二个实验写错了。原因图数据里相邻节点标签高度相关随机划分等价于把每个节点的“邻居副本”同时塞进了训练和测试。模型根本不是学到模式而是从训练集里把邻居的标签直接拷贝给了测试节点。解决先想清楚业务场景。如果你的模型未来要预测的是新用户、新站点必须按节点划分且保证训练和测试节点在图结构中不相邻如果未来要预测的是全图同时出现的新时段按时间划分。论文里的随机划分只能用来横向对比模型结构不能代表真实泛化能力。5.5 GCN 打不过 MLP 基线先查这四件事现象自认为 GCN 结构没问题但测试结果和纯 MLP 差不多甚至更低。原因图结构没有带来有效信息或者信息在预处理阶段被丢掉了。解决按顺序检查四项。第一节点特征是否大部分为零零输入会让消息传递变成空转。第二图的连通性打印连通分量数量如果图是几十个互不相连的小岛GCN 学不出全局模式。第三边的数量级100 个节点只有 5 条边聚合几乎没影响不如把邻域扩大或增加距离阈值。第四标签分布是否极度不平衡类别样本差 100 倍以上时直接优化CrossEntropyLoss会让模型全预测多数类改成FocalLoss或给少数类加权。6. 从能跑到能交付嵌入可视化、实验记录与复现习惯6.1 用 TSNE 检查嵌入质量模型跑通之后不要只看准确率。把隐藏层输出降到二维画出来是判断模型是否学到有效结构的最快方式。from sklearn.manifold import TSNE import matplotlib.pyplot as plt model.eval() with torch.no_grad(): emb model.layer1(data.x, edge_index_norm, norm).cpu().numpy() emb_2d TSNE(n_components2, perplexity30, initpca, random_state42).fit_transform(emb) plt.figure(figsize(8, 6)) plt.scatter(emb_2d[:, 0], emb_2d[:, 1], cdata.y.cpu().numpy(), s8, cmaptab10) plt.savefig(outputs/embedding.png, dpi200)逻辑说明取第一层输出而不是最后一层的 logits能更清楚地看到原始聚类结构。如果同类别节点在图嵌入空间中聚成团说明图结构信息被有效利用了如果全部混成一团回到第 5 章节排查。参数说明perplexity30适合中等规模数据几万个点可以降到 50initpca比随机初始化更稳定不会每次跑出完全不同的图。水文数据建图时把不同季节的样本用不同颜色画在同一张嵌入图上往往能直接看出季节模式。6.2 实验记录习惯固定一个默认配置再逐个改参数图神经网络超参相互影响同时调 dropout、hidden 维度、学习率、层数出了好结果也不知道是谁的功劳。我的习惯是先把第 2 章那组参数设为默认值每次只动一个变量记成一张表。参数默认值修改值验证 ACC/F1备注hidden_dim16320.812无提升dropout0.50.30.805过拟合回升lr0.010.0050.798收敛变慢weight_decay5e-41e-30.818可保留每个配置至少跑 3 个随机种子报告均值加减方差。单次结果说明不了问题图神经网络对随机初始化尤其敏感。6.3 把讲解材料落成一个能复现的仓库无论讲解材料是几十页还是一两百页 PPT最后都要落成一个能复现的仓库数据预处理一个脚本模型定义一个模块训练和评估各自独立可视化单独输出。重跑时只依赖原始数据和一条命令不依赖任何手动步骤。我吃过最大的亏就是讲解材料写得面面俱到代码却散落在十个 notebook 里过两周自己都跑不回来。现在的习惯是先把数据管道和基线跑通再回头对着公式讲理论讲完再复现一次复现不出训练曲线那页公式再漂亮也不能要。希望帮到你。本文还有配套的精品资源点击获取
