看到这个标题我就明白这是近期很多做通信网络优化和强化学习方向的朋友都在关注的方案。把无人机当作空中基站用多智能体深度Q学习去解决用户接入分配问题这个思路在应急通信、临时热点覆盖、赛事保障这些场景下确实有很实际的价值。我前段时间刚把一个类似的仿真实验完整跑通PyTorch环境下的MA-DQL实现把连接用户数的优化目标一步步落实到代码里。这篇文章就把我踩过的坑、调试过程中积累的经验、以及完整的设计思路全部整理出来代码部分也会拆开讲清楚方便你直接参考复现。先说清楚这个项目到底在解决什么问题一片区域内分布着多个地面用户若干架无人机扮演空中基站的角色每个用户需要选择接入哪一个无人机或者放弃接入目标是让“成功连接的用户数量”最大化同时要满足信干噪比约束。这个问题用传统的集中式优化去做计算复杂度高、实时性差而且网络拓扑一变就得重新求解。多智能体深度Q学习MA-DQL的思路是让每架无人机作为一个智能体通过局部观测和分布式决策来找到接近最优的连接策略。整套代码基于PyTorch实现主体包括自定义通信环境、DQN智能体模块、训练主循环三部分。适合正在做无人机通信网络优化方向的研究生或者想把多智能体强化学习落到实际场景中的开发者参考。1. 先把问题搞清楚无人机网络里的“连接最大化”到底在优化什么1.1 为什么无人机基站要多个而不是一架就够很多人第一反应是多架无人机部署最大的好处不就是覆盖面积变大吗其实这只是表象。更关键的因素在于单架无人机受限于机载功耗、回传带宽和天线数量能同时服务的用户数是有限的。比如说某型号无人机基站单时隙最多支持10个用户的可靠连接那地面有50个用户一架无人机根本吃不下。部署多架无人机不只是扩大覆盖更是为了分摊负载让整个网络在容量上能支撑更多用户同时在线。在实际场景里多无人机部署还会带来一个典型的物理层问题干扰。两架无人机如果覆盖范围重叠同一个用户在交叉区域能收到两边的信号但对某一架无人机来说另一架无人机的信号就是干扰源。所以用户连接决策和干扰是强耦合的——不是简单“谁信号靠近谁”就能达到最优一个用户的接入选择会影响周围用户的信干噪比这就是连接分配问题不能用贪心算法简单处理的核心原因。1.2 分布式用户连接最大化的问题建模思路建模是这里最关键的一步很多人一开始就搞错了方向直接跳进代码写神经网络结果环境定义不清楚后面全乱套。我建议先把这个场景抽象成数学形式模型清楚了代码就是一两个类的事。基本假设是这样的有K个地面用户和M个无人机基站用户位置在一个二维平面上随机分布无人机在固定高度悬停。每个用户在一个时隙内只能接入一架无人机或者选择不接入。成功接入需要满足两个条件接入无人机后用户收到的信干噪比SINR要高于一个预设阈值该无人机当前已服务的用户数还没超过它的容量上限。目标函数就是最大化成功接入的用户总数。写成数学形式就是max Σ_k Σ_m x_{k,m}其中x_{k,m}是0-1变量表示用户k是否接入无人机m。约束条件是每个用户最多接入一架无人机每架无人机的接入用户数不超过容量SINR满足阈值要求。这个优化问题看起来简单但难点在于SINR的计算和用户之间的干扰耦合。用户k接入无人机m的信干噪比公式为SINR_{k,m} P_m * g_{k,m} / (Σ_{m≠m} P_{m} * g_{k,m} σ²)其中P_m是无人机m的发射功率g_{k,m}是路径损耗和信道增益σ²是噪声功率。分母里包含了其他无人机对该用户的干扰也就是说用户k接入谁的决定会影响其他用户的干扰水平而其他用户的接入选择又反过来影响用户k的SINR。这种耦合关系让问题天然带有博弈性质单靠静态优化很难处理。1.3 为什么贪心算法和线性规划不是最优解我在刚开始做这个课题时也试过贪心每个用户按SINR从大到小依次选择接入直到无人机容量满为止。这个方案在用户少、无人机部署稀疏的时候效果还不错但一旦用户密度上来干扰耦合变强贪心结果离最优值可能差到20%以上。原因是全局的干扰关系是“牵一发动全身”的先选择接入的用户会把干扰强加给后接入的用户局部最优叠加之后反而是全局次优。用传统线性规划做全局优化理论上能拿到精确解但实际网络中用户位置是动态变化的无人机也可能因为任务需要移动每一帧都要重新求解一个整数规划问题计算时间在网络规模大时完全不可接受。而且集中式求解需要一个中心节点收集所有用户信道信息和无人机状态这在通信链路有限的分布式场景中根本不现实。所以多智能体深度强化学习的思路才会进入视野每架无人机只依据自己的局部观测做出接入决策通过试错学习去逼近全局最优训练之后的决策延迟只需要一个神经网络前向传播的时间。这里我做了一张对比表方便你直观看出三种方案的差异方案计算效率信息需求实时性可扩展性最优性贪心算法高低高中差集中式优化低高差差好MA-DQL高低高好近似最优这张表里“信息需求”是一个关键考量。集中式优化需要全局信道矩阵在真实环境中很难实时获取多智能体方案每架无人机只需要知道自己周围一定范围内的用户信道信息和自己的状态通信开销小得多而且某个节点损坏了也不至于全盘崩溃这在无人机应急组网中是很现实的优点。2. MA-DQL方案设计与原理拆解2.1 从单智能体DQN到多智能体MA-DQL改动最小但影响最大的三件事如果你已经对单智能体DQN很熟那MA-DQL理解起来难度不大。它的本质就是M架无人机各自维护一个独立的DQN每个智能体根据自己的观测做出动作选择环境返回奖励后各自更新自己的网络。但这里有一个新手很容易忽略的问题单智能体DQN的很多技术细节到多智能体场景就不成立了。我总结为三个关键的改动这也是MA-DQL和普通DQN代码最大的区别所在。第一观测不再是全局状态。每个智能体看到的是一部分环境信息比如自己覆盖区域内的用户位置、自己当前负载、收到的干扰强度而不是所有用户和所有无人机的完整状态。这个设计既符合分布式网络的实际约束也让每个智能体的输入维度不会爆炸。第二经验回放里要保存“联合动作”的痕迹。单智能体中一条经验是(s, a, r, s)只管自己就够了但在多智能体环境中状态转移其实是受所有智能体的联合动作影响的。严格来说你需要记录所有智能体的动作才能获得一致的环境模型。不过在实际实现中为了简化很多方案采用“我自己的动作其他智能体的可观测行为结果”作为补充特征比如收到多少干扰、邻居无人机的负载情况这样既不会破坏独立学习的架构又能缓解一点非平稳性。第三目标网络更新方式需要更谨慎。单智能体里目标网络慢更新问题不大但多智能体里如果每个智能体更新频率不一致会导致整个系统在训练中非常不稳定。我实验下来用较小的学习率加上定期的软更新τ取0.005~0.01比硬更新效果更稳定。2.2 状态空间、动作空间和奖励函数的设计细节这部分是决定实验成败的核心。我尽可能讲得具体一点因为我在这个环节返工了好几次。先看状态空间。以每架无人机智能体为例我选用了这样一组特征自身位置坐标二维和当前已接入用户数覆盖范围内各候选用户的相对位置、归一化信道增益当前时刻接收到的总干扰功率自身剩余容量比例。这里要注意的是候选用户数量可能非常多不同的位置分布导致用户数不固定而神经网络的输入维度必须是固定的。一种常见做法是维护一个最大候选列表比如每架无人机最多考虑10个候选用户不足的补零超出则按信道增益排序取前10个。再看动作空间。用户连接最大化问题中智能体动作的天然选项是“选择服务哪些用户”但如果直接定义成子集选择组合数是C(K, n)K稍微大一点动作空间就爆炸了。我在实验中采用了两种方案供你参考方案一每个智能体维护一个“用户优先级排序”根据自己的观测计算每个候选用户的接入得分取前T个接入。动作空间就是每个用户的得分权重通过神经网络输出10个浮点数然后施加softmax表示对每个候选用户的偏好程度。方案二把动作定义成离散等级。比如每架无人机有10个发射功率等级可以选用户根据收到的信号强度自动接入信干噪比最高且满足阈值约束的无人机。这种情况下目标函数虽然间接但简化了动作空间训练也更容易收敛。我最终实验采用了方案一理由是这个动作空间和“连接最大化”的目标直接对齐可解释性也更好。最后是奖励函数设计。这里是最容易出问题的地方。最直接的奖励成功接入一个用户给1总奖励就是接入用户数。但这样过于稀疏尤其是在训练初期智能体几乎得不到正向反馈。所以要加奖励塑形R_total R_connect λ * R_coverage - μ * R_penalty其中R_connect是新增成功连接用户数的奖励R_coverage是一个激励项奖励无人机向用户密集区域分配连接资源的倾向R_penalty是对过载或者过度集中行为的惩罚。λ和μ需要调试我用的是λ0.1μ0.5。2.3 多智能体场景下绕不开的非平稳性问题这是我在训练中最头疼的问题值得单独拿出来讲。单智能体DQN能收敛的核心基础是环境具有平稳性——同样的状态下执行同样的动作转移和奖励的分布是稳定的。但在多智能体场景中其他智能体也在不断学习和更新策略对当前智能体来说环境就变成了动态的这种非平稳性直接破坏了DQN收敛的理论基础。最直观的后果是训练曲线看起来在上升下一个时刻突然断崖式下跌或者每个智能体各搞各的整体性能却一直停滞不前。缓解非平稳性我试下来有几个比较实用的手段缩小学习率。多智能体里学习率过大的代价远比单智能体高我从默认的1e-3降到5e-4稳定性明显改善增大经验回放容量让历史经验覆盖更长时间维度降低因为策略突变带来的偏差每个智能体使用独立的经验回放不要让经验池跨智能体共享否则会互相干扰在训练初期固定一部分智能体的探索策略让环境相对稳定。另外关于“多智能体训练到底要不要集中式训练、分布式执行”这个问题我这里多说一句。严格来说集中训练分布执行CTDE的算法如QMIX、MADDPG在复杂场景下性能更好因为它们解决了非平稳性问题。但MA-DQL的价值在于结构简单、实现门槛低在连接分配这种动作空间和智能体规模都不算大的场景下独立学习的表现已经足够接近CTDE方案了。我选择先实现MA-DQL也是因为它在工程上更容易调试和定位问题。3. Python代码实现全过程3.1 环境模拟类UAVNetworkEnv的设计与实现整个代码的核心是环境类我建议你把这部分当作整个项目的“地基”来对待。环境定义不正确后面所有的强化学习算法都白搭。我写的环境类UAVNetworkEnv的核心职责有三个生成用户和无人机的位置与状态、计算信干噪比、执行连接分配并返回奖励和新的状态。import numpy as np import torch class UAVNetworkEnv: def __init__(self, n_users30, n_uavs3, area_size1000, uav_height100): self.n_users n_users self.n_uavs n_uavs self.area_size area_size self.uav_height uav_height self.uav_capacity 10 # 每架无人机最大可服务用户数 self.sinr_threshold 10.0 # dB self.noise_power 1e-13 # 噪声功率单位W self.uav_power 0.1 # 无人机发射功率单位W self.pathloss_exponent 2.8 # 路径损耗指数 # 初始化位置 self.user_positions np.random.rand(n_users, 2) * area_size self.uav_positions np.random.rand(n_uavs, 2) * area_size # 无人机高度信息单独保存计算距离时加进去 self.uav_positions_3d np.hstack([self.uav_positions, np.full((n_uavs, 1), uav_height)]) self.reset() def reset(self): # 每轮episode开始用户位置可以重新随机 self.user_positions np.random.rand(self.n_users, 2) * self.area_size self.uav_positions np.random.rand(self.n_uavs, 2) * self.area_size self.uav_positions_3d np.hstack([self.uav_positions, np.full((self.n_uavs, 1), self.uav_height)]) self.uav_load np.zeros(self.n_uavs, dtypeint) self.connected_users np.zeros(self.n_users, dtypeint) - 1 # -1表示未连接 return self._get_obs() def _pathloss(self, user_pos, uav_pos_3d): # 计算3D距离 dx user_pos[0] - uav_pos_3d[0] dy user_pos[1] - uav_pos_3d[1] dz uav_pos_3d[2] dist_3d np.sqrt(dx**2 dy**2 dz**2) # 对数距离路径损耗模型单位dB pl_db 128.1 37.6 * np.log10(max(dist_3d / 1000, 0.01)) return 10 ** (-pl_db / 10) # 转换为线性值 def _compute_sinr(self): # 计算所有用户到所有无人机的SINR矩阵 sinr_matrix np.zeros((self.n_users, self.n_uavs)) signal_matrix np.zeros((self.n_users, self.n_uavs)) for u in range(self.n_users): for m in range(self.n_uavs): signal self.uav_power * self._pathloss( self.user_positions[u], self.uav_positions_3d[m] ) signal_matrix[u, m] signal interference 0.0 for m2 in range(self.n_uavs): if m2 ! m: interference self.uav_power * self._pathloss( self.user_positions[u], self.uav_positions_3d[m2] ) sinr_matrix[u, m] signal / (interference self.noise_power) return 10 * np.log10(sinr_matrix) # 转为dB这段代码里的关键点是路径损耗模型。我用的是常见的3GPP Urban Macro模型简化版128.1 37.6 * log10(距离/1000单位)这个模型在几百米到几公里的范围比较准确刚好覆盖无人机通信场景。噪声功率取1e-13瓦这个数值大概对应-100dBm讲道理在仿真中算合理的默认值。3.2 连接分配逻辑与奖励计算有了SINR矩阵之后下一步就是执行连接决策。这部分我写了一个核心方法step()它接收所有智能体的动作执行分配返回奖励、新观测和是否结束的标志。def step(self, actions): # actions: 形状为[n_uavs, n_users]每个元素表示对应无人机对用户的接入偏好得分 assert len(actions) self.n_uavs # 初始化本轮连接为全部断开 self.connected_users np.zeros(self.n_users, dtypeint) - 1 self.uav_load np.zeros(self.n_uavs, dtypeint) # 计算SINR矩阵 sinr_db self._compute_sinr() # 按用户偏好和SINR约束进行分配 # 先把每个无人机按偏好得分排序优先接入偏好高的用户 for u in range(self.n_users): # 找出对该用户SINR最高且满足阈值的无人机 valid_uavs [m for m in range(self.n_uavs) if sinr_db[u, m] self.sinr_threshold and self.uav_load[m] self.uav_capacity] if len(valid_uavs) 0: continue # 在有效候选中按当前无人机的偏好多选一而不是只看SINR best_uav max(valid_uavs, keylambda m: actions[m][u]) self.connected_users[u] best_uav self.uav_load[best_uav] 1 # 如果这个无人机满了其他用户就不能再接入 if self.uav_load[best_uav] self.uav_capacity: continue # 奖励计算成功连接用户数 n_connected np.sum(self.connected_users 0) reward n_connected / self.n_users # 归一化方便训练 # 额外增加覆盖率均衡奖励 coverage_reward 0.0 if self.n_uavs 1: load_std np.std(self.uav_load) coverage_reward -0.1 * load_std # 负载越均衡越好 total_reward reward coverage_reward # 更新无人机状态这里简单模拟用户小范围移动增加环境动态性 self.user_positions np.random.randn(self.n_users, 2) * 2 self.user_positions np.clip(self.user_positions, 0, self.area_size) # 生成新的观测 obs self._get_obs() done False # 这个场景是持续决策没有结束状态 return obs, total_reward, done, {n_connected: n_connected}分配逻辑这里有一个细节值得琢磨。我在代码里采用了“用户优先找满足SINR的无人机然后在有效候选中根据无人机偏好打分选最优”的方式这比“纯SINR最高接入”更符合“智能体有自主决策能力”的设定。如果用户总是接入SINR最高那架那智能体的动作根本没发挥空间训练就没意义了。奖励我做了一个归一化处理n_connected除以总用户数让奖励范围控制在0到1之间。这样多个reward项相加时量纲一致学习率也好调节。负载均衡惩罚项用了负载标准差这个项的意图是避免所有用户挤到同一架无人机上虽然从全局看每个用户都连上了但单架无人机功率有限实际系统中多波束同时服务大量用户会导致波束增益下降所以在仿真中加上这个惩罚更贴近真实约束。3.3 观测函数每个智能体如何“看”环境多智能体架构和单智能体最大的差别在观测上。每个无人机不需要也不能看到所有用户的全局信息。我实现的_get_obs方法返回的是一个列表每个元素是单个无人机智能体的局部观测向量。这里我选择每个无人机agent观测自己覆盖区域内的用户特征。为了固定输入维度我设定每架无人机最多观测C10个候选用户。def _get_obs(self): obs_list [] max_candidates 10 for m in range(self.n_uavs): # 收集该无人机周围用户的信息 user_features [] # 计算所有用户到这个无人机的信道增益 gains [] for u in range(self.n_users): g self._pathloss(self.user_positions[u], self.uav_positions_3d[m]) gains.append(g) # 取信道增益最大的前max_candidates个用户 top_idx np.argsort(gains)[::-1][:max_candidates] for u in top_idx: # 每个用户的特征相对位置、归一化信道增益、当前连接状态 rel_pos (self.user_positions[u] - self.uav_positions[m]) / self.area_size norm_gain gains[u] / np.max(gains) connected_flag 1.0 if self.connected_users[u] m else 0.0 user_features.extend([rel_pos[0], rel_pos[1], norm_gain, connected_flag]) # 不足max_candidates的用0填充 while len(user_features) max_candidates * 4: user_features.append(0.0) # 加上自身状态特征 self_features [self.uav_load[m] / self.uav_capacity, self.uav_positions[m, 0] / self.area_size, self.uav_positions[m, 1] / self.area_size] obs np.array(self_features user_features, dtypenp.float32) obs_list.append(obs) return obs_list每架无人机的观测向量维度是3 40 43维。这个维度对于一个小型MLP来说是完全可以接受的。前面留max_candidates的补零逻辑我特别提醒一下补零不是简单地填数字而是要在代码注释里明确哪些位置是无效特征。不然网络会在填零位置上产生莫名其妙的偏差。3.4 DQN Agent实现网络结构、经验回放与更新逻辑环境搭好了接下来就是DQN实现。这部分和标准DQN区别不大但我是基于PyTorch写的有些细节顺手提一下。先看神经网络结构。输入层43维中间两层全连接激活函数ReLU输出维度是max_candidates10表示对10个候选用户的偏好打分。import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F import random from collections import deque class DQN(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(DQN, self).__init__() self.fc1 nn.Linear(input_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, hidden_dim) self.fc3 nn.Linear(hidden_dim, output_dim) def forward(self, x): x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) return self.fc3(x) class ReplayBuffer: def __init__(self, capacity): self.buffer deque(maxlencapacity) def push(self, state, action, reward, next_state): self.buffer.append((state, action, reward, next_state)) def sample(self, batch_size): batch random.sample(self.buffer, batch_size) states, actions, rewards, next_states zip(*batch) return (torch.FloatTensor(np.array(states)), torch.LongTensor(np.array(actions)), torch.FloatTensor(np.array(rewards)), torch.FloatTensor(np.array(next_states))) def __len__(self): return len(self.buffer)再来看训练更新逻辑。多智能体里每个agent都有自己的Q网络、目标网络和优化器。更新的时候每个agent独立从自己的buffer中采样计算梯度。class DQNAgent: def __init__(self, input_dim, output_dim, lr5e-4, gamma0.99, tau0.005): self.q_net DQN(input_dim, 128, output_dim) self.target_net DQN(input_dim, 128, output_dim) self.target_net.load_state_dict(self.q_net.state_dict()) self.optimizer optim.Adam(self.q_net.parameters(), lrlr) self.gamma gamma self.tau tau self.buffer ReplayBuffer(50000) def act(self, state, epsilon): if random.random() epsilon: return random.randint(0, 9) state_tensor torch.FloatTensor(state).unsqueeze(0) with torch.no_grad(): q_values self.q_net(state_tensor) return q_values.argmax().item() def update(self, batch_size64): if len(self.buffer) batch_size: return 0.0 states, actions, rewards, next_states self.buffer.sample(batch_size) # 计算当前Q值 q_values self.q_net(states).gather(1, actions.unsqueeze(1)).squeeze(1) # 计算目标Q值 with torch.no_grad(): next_q self.target_net(next_states).max(1)[0] target_q rewards self.gamma * next_q # 计算损失 loss F.mse_loss(q_values, target_q) self.optimizer.zero_grad() loss.backward() self.optimizer.step() # 软更新目标网络 for target_param, param in zip(self.target_net.parameters(), self.q_net.parameters()): target_param.data.copy_(self.tau * param.data (1.0 - self.tau) * target_param.data) return loss.item()这里有一个容易踩的细节我使用的动作是标量索引从0到9表示选择哪个候选用户优先接入。在上面的step()函数里actions[m][u]是每个用户对应的偏好分但因为agent输出的是离散索引所以我在实际使用中做了一步转换把索引映射到对应候选用户然后给该用户的偏好赋一个高分其他用户赋低分。这一步在衔接环境动作和神经网络输出时需要小心不然维度对不上会直接报错。具体来说我定义了一个decode_action方法把agent输出的动作索引转成step()能用的偏好向量。def decode_action(self, action, obs): # obs中包含该无人机观测到的候选用户特征前3维是自身状态 # 后40维中每4维对应一个候选用户 preference np.zeros(10, dtypenp.float32) preference[action] 1.0 # 只给选择的候选用户高分 return preference3.5 训练主循环完整实现训练主循环不算复杂但有些细节会影响训练效果。我下面给出完整的代码框架注释里标注了每个部分的作用。def train(): env UAVNetworkEnv(n_users30, n_uavs3) n_agents env.n_uavs input_dim 3 10 * 4 # 与观测维度一致 output_dim 10 # 候选用户数量 agents [DQNAgent(input_dim, output_dim) for _ in range(n_agents)] epsilon 1.0 epsilon_min 0.02 epsilon_decay 0.995 num_episodes 500 batch_size 64 for episode in range(num_episodes): obs_list env.reset() episode_reward 0 for step in range(200): # 每个episode内决策200次 actions [] for agent_idx in range(n_agents): action agents[agent_idx].act(obs_list[agent_idx], epsilon) decoded agents[agent_idx].decode_action(action, obs_list[agent_idx]) actions.append(decoded) next_obs_list, reward, done, info env.step(actions) # 每个agent存储经验 for agent_idx in range(n_agents): agents[agent_idx].buffer.push(obs_list[agent_idx], actions[agent_idx].argmax(), reward, next_obs_list[agent_idx]) # 更新所有agent for agent_idx in range(n_agents): agents[agent_idx].update(batch_size) obs_list next_obs_list episode_reward reward epsilon max(epsilon_min, epsilon * epsilon_decay) if episode % 20 0: print(fEpisode {episode}, Reward: {episode_reward:.4f}, Epsilon: {epsilon:.4f})训练好了之后评估方式也很重要。我在每个episode里统计了n_connected指标这个指标比累计奖励更直观。平均连接用户数达到总用户数的75%以上基本可以认为训练成功。4. 训练中的常见问题与排查实录4.1 必踩的坑经验回放陷阱与多智能体不收敛训练过程我遇到了好几个典型问题第一个就是训练曲线“飘”。刚开始用独立Q学习训练时每个agent都在自己的工作结果整体表现一直在某个水平震荡没有任何提升。排查后发现问题出在经验回放的采样上——我的经验buffer里存了太多“探索期”的低质量经验而agent更新时均匀采样导致该学的样本被低质量经验稀释了。解决办法有两个层面。第一是增大buffer容量让探索期的经验占比在训练中后期尽量小。第二是使用优先经验回放但会显著增加代码复杂度。一个更简单实用的折中方案是训练前先用随机策略往buffer里填入一些初始经验然后直接训练不再额外收集初始经验。这样做的好处是让网络在第一步更新之前就有了可用的训练数据避免前几百步梯度方向完全被随机动作主导。另一个容易踩的问题是训练后期所有无人机都只盯着同一个用户密集区域互相争抢整体负载分布失衡。网络虽然学到了“用户多的地方值得接入”但没有学会“避开其他无人机的强竞争区域”。我加了一个负载均衡惩罚项之后情况大幅改善。这个惩罚项本质上是告诉智能体不仅要考虑自己接入了多少用户还要考虑整体公平性。4.2 关键参数怎么调一张表对照参数调优是强化学习项目的必经之路我把自己常用的参数范围整理成一个表格你在实验时可以参考着设置参数推荐范围过大后果过小后果学习率3e-4 ~ 7e-4训练震荡严重收敛太慢经验回放容量20000 ~ 100000内存占用高样本相关性高批量大小32 ~ 128更新太慢梯度噪声大折扣因子γ0.95 ~ 0.99只看眼当前收益缺乏长远规划软更新系数τ0.001 ~ 0.01目标网络不稳定学习滞后ε衰减率0.99 ~ 0.999过早进入纯利用探索不足有一点我想特别强调多智能体场景下整体系统的性能对学习率最敏感比单智能体敏感得多。因为多个智能体同时学习时会互相放大学习率带来的波动所以我个人建议在单智能体能跑通的前提下多智能体把学习率调低到原来的50%~70%作为起点。4.3 结果评估只看连接数远远不够很多完成实验的同学喜欢只汇报“最终平均连接用户数达到了多少”但这个指标单独看意义有限。你还要关注平均SINR余量成功连接的用户里平均超出阈值多少dB。如果只是刚刚过门槛实际通信质量是很脆弱的环境稍微波动就断开负载均衡度各无人机接入用户数的标准差。标准差太大说明有的无人机过载、有的空闲资源利用不充分连接稳定性同一个用户在多时隙内是否被频繁切换。频繁切换会导致控制信令开销增加这也是工程中很重要但很多人忽略的指标。我在评估时会在每个episode里额外记录这些指标放进一个log字典里。训练结束后画一张图横轴是episode纵轴是多条曲线同时变化。如果连接数曲线在上升但负载标准差也同步上升说明模型学到的可能是“扎堆抢用户”的策略而不是真正的全局最优。4.4 环境随机性的重要性还有一个容易被忽略的点环境初始化的随机性要够。如果你每次训练时用户位置都固定不变模型过拟合的情况会非常严重测试时换一个用户分布性能立马崩掉。我在环境类里让用户位置每个episode都随机生成并且还在step()里给用户位置加了一个小幅随机游走模拟移动用户的场景。这个改动帮助训练出来的模型泛化性强很多在测试集上的表现比起固定场景稳定得多。不过随机性也要有个度。如果你把用户位置方差加得太大无人机在训练中几乎学不到任何稳定的规律因为环境变化速度远大于智能体的学习速度。我建议分阶段前期用小方差让模型先掌握基本规律后期再加大方差提升泛化能力。5. 个人经验总结与后续扩展方向5.1 调试顺序非常重要整个项目做完之后我最大的体会是调试多智能体强化学习项目顺序比技巧更重要。我强烈建议你按“单智能体 → 多智能体”的顺序推进。先在相同的环境下只放一架无人机把所有用户分配给它看看单个DQN能不能学到一个合理策略。如果单智能体都训练不收敛那问题大概率出在环境定义或奖励设计上而不是多智能体框架的问题。单智能体跑通之后再逐步增加无人机数量。从1架增加到2架观察性能变化没问题再加到3架。这样分步调试的好处是当你看到性能下降时能快速定位是哪个阶段引入的问题。我见过很多同学一把梭把10个agent摆上去结果训练几天才发现是环境问题浪费了大量时间。第二个经验是加日志。每个episode结束时不仅打印奖励还把每个agent自身的负载、成功率、平均Q值都记录下来。这些数据能帮你分析模型到底学得怎么样。比如训练后期平均Q值卡在一个保守区间说明模型还在探索阶段需要调整epsilon衰减率如果Q值在上涨但实际连接数没涨那很可能是奖励设计出现了偏差。5.2 一个提升收敛速度的小技巧最后分享一个很实用的小技巧给每个智能体一个预训练好的初始策略作为经验池的种子。做法是先用简单的规则生成一批经验比如“按最大SINR接入”或“随机接入”把经验存入buffer再开始训练DQN。这样DQN在第一次更新时就能看到一个分布合理的初始样本集而不是完全靠随机噪声起步。我试下来收敛速度能提升30%以上特别是多智能体场景效果更明显。具体实现也不复杂在训练循环前调用一次环境随机play生成1000条经验写入各自的buffer然后才开始正式训练。注意这些初始经验是用随机策略采样出来的跟正式训练时epsilon1.0的探索行为没有本质区别只是帮你把buffer“预热”了一下让网络启动时的baseline不至于太差。5.3 这个方案还能往哪些方向扩展如果你在这个基础实验跑通后想更进一步可以考虑以下几个方向第一把环境中的信道模型换得更精细比如加入小尺度衰落、不同用户类型的优先级权重。这样连接最大化问题就从纯数量优化变成了服务质量约束下的加权优化会更接近真实业务需求。第二控制变量从“连接分配”扩展到“无人机飞行轨迹规划”。也就是动作空间里同时包含功率控制和位置变化这会让问题复杂度显著上台阶但也就是多智能体算法真正发挥价值的地方。第三算法层面可以从独立DQN升级为CTDE框架比如QMIX或MADDPG。我之前在另一个模拟项目里验证过当智能体数量超过5个或者用户位置动态范围非常大的时候CTDE方案的优势就非常明显了。但代价是代码复杂度和调试难度同步上升。这个实验做完之后我对多智能体强化学习在通信网络中的应用有了更实际的理解理论论文里描述得很简单的事情真正落到工程实现上大部分时间其实花在了环境建模、奖励设计和参数调试上。DQN本身反而不是最难的部分难的是把你面对的现实约束用代码正确表达出来再用训练信号引导一群智能体找到那个平衡点。希望这篇文章能帮你少踩一些我踩过的坑尤其是环境建模和奖励设计那部分多做几个版本对比一下结果会让你有惊喜。
看到这个标题我就明白这是近期很多做通信网络优化和强化学习方向的朋友都在关注的方案。把无人机当作空中基站用多智能体深度Q学习去解决用户接入分配问题这个思路在应急通信、临时热点覆盖、赛事保障这些场景下确实有很实际的价值。我前段时间刚把一个类似的仿真实验完整跑通PyTorch环境下的MA-DQL实现把连接用户数的优化目标一步步落实到代码里。这篇文章就把我踩过的坑、调试过程中积累的经验、以及完整的设计思路全部整理出来代码部分也会拆开讲清楚方便你直接参考复现。先说清楚这个项目到底在解决什么问题一片区域内分布着多个地面用户若干架无人机扮演空中基站的角色每个用户需要选择接入哪一个无人机或者放弃接入目标是让“成功连接的用户数量”最大化同时要满足信干噪比约束。这个问题用传统的集中式优化去做计算复杂度高、实时性差而且网络拓扑一变就得重新求解。多智能体深度Q学习MA-DQL的思路是让每架无人机作为一个智能体通过局部观测和分布式决策来找到接近最优的连接策略。整套代码基于PyTorch实现主体包括自定义通信环境、DQN智能体模块、训练主循环三部分。适合正在做无人机通信网络优化方向的研究生或者想把多智能体强化学习落到实际场景中的开发者参考。1. 先把问题搞清楚无人机网络里的“连接最大化”到底在优化什么1.1 为什么无人机基站要多个而不是一架就够很多人第一反应是多架无人机部署最大的好处不就是覆盖面积变大吗其实这只是表象。更关键的因素在于单架无人机受限于机载功耗、回传带宽和天线数量能同时服务的用户数是有限的。比如说某型号无人机基站单时隙最多支持10个用户的可靠连接那地面有50个用户一架无人机根本吃不下。部署多架无人机不只是扩大覆盖更是为了分摊负载让整个网络在容量上能支撑更多用户同时在线。在实际场景里多无人机部署还会带来一个典型的物理层问题干扰。两架无人机如果覆盖范围重叠同一个用户在交叉区域能收到两边的信号但对某一架无人机来说另一架无人机的信号就是干扰源。所以用户连接决策和干扰是强耦合的——不是简单“谁信号靠近谁”就能达到最优一个用户的接入选择会影响周围用户的信干噪比这就是连接分配问题不能用贪心算法简单处理的核心原因。1.2 分布式用户连接最大化的问题建模思路建模是这里最关键的一步很多人一开始就搞错了方向直接跳进代码写神经网络结果环境定义不清楚后面全乱套。我建议先把这个场景抽象成数学形式模型清楚了代码就是一两个类的事。基本假设是这样的有K个地面用户和M个无人机基站用户位置在一个二维平面上随机分布无人机在固定高度悬停。每个用户在一个时隙内只能接入一架无人机或者选择不接入。成功接入需要满足两个条件接入无人机后用户收到的信干噪比SINR要高于一个预设阈值该无人机当前已服务的用户数还没超过它的容量上限。目标函数就是最大化成功接入的用户总数。写成数学形式就是max Σ_k Σ_m x_{k,m}其中x_{k,m}是0-1变量表示用户k是否接入无人机m。约束条件是每个用户最多接入一架无人机每架无人机的接入用户数不超过容量SINR满足阈值要求。这个优化问题看起来简单但难点在于SINR的计算和用户之间的干扰耦合。用户k接入无人机m的信干噪比公式为SINR_{k,m} P_m * g_{k,m} / (Σ_{m≠m} P_{m} * g_{k,m} σ²)其中P_m是无人机m的发射功率g_{k,m}是路径损耗和信道增益σ²是噪声功率。分母里包含了其他无人机对该用户的干扰也就是说用户k接入谁的决定会影响其他用户的干扰水平而其他用户的接入选择又反过来影响用户k的SINR。这种耦合关系让问题天然带有博弈性质单靠静态优化很难处理。1.3 为什么贪心算法和线性规划不是最优解我在刚开始做这个课题时也试过贪心每个用户按SINR从大到小依次选择接入直到无人机容量满为止。这个方案在用户少、无人机部署稀疏的时候效果还不错但一旦用户密度上来干扰耦合变强贪心结果离最优值可能差到20%以上。原因是全局的干扰关系是“牵一发动全身”的先选择接入的用户会把干扰强加给后接入的用户局部最优叠加之后反而是全局次优。用传统线性规划做全局优化理论上能拿到精确解但实际网络中用户位置是动态变化的无人机也可能因为任务需要移动每一帧都要重新求解一个整数规划问题计算时间在网络规模大时完全不可接受。而且集中式求解需要一个中心节点收集所有用户信道信息和无人机状态这在通信链路有限的分布式场景中根本不现实。所以多智能体深度强化学习的思路才会进入视野每架无人机只依据自己的局部观测做出接入决策通过试错学习去逼近全局最优训练之后的决策延迟只需要一个神经网络前向传播的时间。这里我做了一张对比表方便你直观看出三种方案的差异方案计算效率信息需求实时性可扩展性最优性贪心算法高低高中差集中式优化低高差差好MA-DQL高低高好近似最优这张表里“信息需求”是一个关键考量。集中式优化需要全局信道矩阵在真实环境中很难实时获取多智能体方案每架无人机只需要知道自己周围一定范围内的用户信道信息和自己的状态通信开销小得多而且某个节点损坏了也不至于全盘崩溃这在无人机应急组网中是很现实的优点。2. MA-DQL方案设计与原理拆解2.1 从单智能体DQN到多智能体MA-DQL改动最小但影响最大的三件事如果你已经对单智能体DQN很熟那MA-DQL理解起来难度不大。它的本质就是M架无人机各自维护一个独立的DQN每个智能体根据自己的观测做出动作选择环境返回奖励后各自更新自己的网络。但这里有一个新手很容易忽略的问题单智能体DQN的很多技术细节到多智能体场景就不成立了。我总结为三个关键的改动这也是MA-DQL和普通DQN代码最大的区别所在。第一观测不再是全局状态。每个智能体看到的是一部分环境信息比如自己覆盖区域内的用户位置、自己当前负载、收到的干扰强度而不是所有用户和所有无人机的完整状态。这个设计既符合分布式网络的实际约束也让每个智能体的输入维度不会爆炸。第二经验回放里要保存“联合动作”的痕迹。单智能体中一条经验是(s, a, r, s)只管自己就够了但在多智能体环境中状态转移其实是受所有智能体的联合动作影响的。严格来说你需要记录所有智能体的动作才能获得一致的环境模型。不过在实际实现中为了简化很多方案采用“我自己的动作其他智能体的可观测行为结果”作为补充特征比如收到多少干扰、邻居无人机的负载情况这样既不会破坏独立学习的架构又能缓解一点非平稳性。第三目标网络更新方式需要更谨慎。单智能体里目标网络慢更新问题不大但多智能体里如果每个智能体更新频率不一致会导致整个系统在训练中非常不稳定。我实验下来用较小的学习率加上定期的软更新τ取0.005~0.01比硬更新效果更稳定。2.2 状态空间、动作空间和奖励函数的设计细节这部分是决定实验成败的核心。我尽可能讲得具体一点因为我在这个环节返工了好几次。先看状态空间。以每架无人机智能体为例我选用了这样一组特征自身位置坐标二维和当前已接入用户数覆盖范围内各候选用户的相对位置、归一化信道增益当前时刻接收到的总干扰功率自身剩余容量比例。这里要注意的是候选用户数量可能非常多不同的位置分布导致用户数不固定而神经网络的输入维度必须是固定的。一种常见做法是维护一个最大候选列表比如每架无人机最多考虑10个候选用户不足的补零超出则按信道增益排序取前10个。再看动作空间。用户连接最大化问题中智能体动作的天然选项是“选择服务哪些用户”但如果直接定义成子集选择组合数是C(K, n)K稍微大一点动作空间就爆炸了。我在实验中采用了两种方案供你参考方案一每个智能体维护一个“用户优先级排序”根据自己的观测计算每个候选用户的接入得分取前T个接入。动作空间就是每个用户的得分权重通过神经网络输出10个浮点数然后施加softmax表示对每个候选用户的偏好程度。方案二把动作定义成离散等级。比如每架无人机有10个发射功率等级可以选用户根据收到的信号强度自动接入信干噪比最高且满足阈值约束的无人机。这种情况下目标函数虽然间接但简化了动作空间训练也更容易收敛。我最终实验采用了方案一理由是这个动作空间和“连接最大化”的目标直接对齐可解释性也更好。最后是奖励函数设计。这里是最容易出问题的地方。最直接的奖励成功接入一个用户给1总奖励就是接入用户数。但这样过于稀疏尤其是在训练初期智能体几乎得不到正向反馈。所以要加奖励塑形R_total R_connect λ * R_coverage - μ * R_penalty其中R_connect是新增成功连接用户数的奖励R_coverage是一个激励项奖励无人机向用户密集区域分配连接资源的倾向R_penalty是对过载或者过度集中行为的惩罚。λ和μ需要调试我用的是λ0.1μ0.5。2.3 多智能体场景下绕不开的非平稳性问题这是我在训练中最头疼的问题值得单独拿出来讲。单智能体DQN能收敛的核心基础是环境具有平稳性——同样的状态下执行同样的动作转移和奖励的分布是稳定的。但在多智能体场景中其他智能体也在不断学习和更新策略对当前智能体来说环境就变成了动态的这种非平稳性直接破坏了DQN收敛的理论基础。最直观的后果是训练曲线看起来在上升下一个时刻突然断崖式下跌或者每个智能体各搞各的整体性能却一直停滞不前。缓解非平稳性我试下来有几个比较实用的手段缩小学习率。多智能体里学习率过大的代价远比单智能体高我从默认的1e-3降到5e-4稳定性明显改善增大经验回放容量让历史经验覆盖更长时间维度降低因为策略突变带来的偏差每个智能体使用独立的经验回放不要让经验池跨智能体共享否则会互相干扰在训练初期固定一部分智能体的探索策略让环境相对稳定。另外关于“多智能体训练到底要不要集中式训练、分布式执行”这个问题我这里多说一句。严格来说集中训练分布执行CTDE的算法如QMIX、MADDPG在复杂场景下性能更好因为它们解决了非平稳性问题。但MA-DQL的价值在于结构简单、实现门槛低在连接分配这种动作空间和智能体规模都不算大的场景下独立学习的表现已经足够接近CTDE方案了。我选择先实现MA-DQL也是因为它在工程上更容易调试和定位问题。3. Python代码实现全过程3.1 环境模拟类UAVNetworkEnv的设计与实现整个代码的核心是环境类我建议你把这部分当作整个项目的“地基”来对待。环境定义不正确后面所有的强化学习算法都白搭。我写的环境类UAVNetworkEnv的核心职责有三个生成用户和无人机的位置与状态、计算信干噪比、执行连接分配并返回奖励和新的状态。import numpy as np import torch class UAVNetworkEnv: def __init__(self, n_users30, n_uavs3, area_size1000, uav_height100): self.n_users n_users self.n_uavs n_uavs self.area_size area_size self.uav_height uav_height self.uav_capacity 10 # 每架无人机最大可服务用户数 self.sinr_threshold 10.0 # dB self.noise_power 1e-13 # 噪声功率单位W self.uav_power 0.1 # 无人机发射功率单位W self.pathloss_exponent 2.8 # 路径损耗指数 # 初始化位置 self.user_positions np.random.rand(n_users, 2) * area_size self.uav_positions np.random.rand(n_uavs, 2) * area_size # 无人机高度信息单独保存计算距离时加进去 self.uav_positions_3d np.hstack([self.uav_positions, np.full((n_uavs, 1), uav_height)]) self.reset() def reset(self): # 每轮episode开始用户位置可以重新随机 self.user_positions np.random.rand(self.n_users, 2) * self.area_size self.uav_positions np.random.rand(self.n_uavs, 2) * self.area_size self.uav_positions_3d np.hstack([self.uav_positions, np.full((self.n_uavs, 1), self.uav_height)]) self.uav_load np.zeros(self.n_uavs, dtypeint) self.connected_users np.zeros(self.n_users, dtypeint) - 1 # -1表示未连接 return self._get_obs() def _pathloss(self, user_pos, uav_pos_3d): # 计算3D距离 dx user_pos[0] - uav_pos_3d[0] dy user_pos[1] - uav_pos_3d[1] dz uav_pos_3d[2] dist_3d np.sqrt(dx**2 dy**2 dz**2) # 对数距离路径损耗模型单位dB pl_db 128.1 37.6 * np.log10(max(dist_3d / 1000, 0.01)) return 10 ** (-pl_db / 10) # 转换为线性值 def _compute_sinr(self): # 计算所有用户到所有无人机的SINR矩阵 sinr_matrix np.zeros((self.n_users, self.n_uavs)) signal_matrix np.zeros((self.n_users, self.n_uavs)) for u in range(self.n_users): for m in range(self.n_uavs): signal self.uav_power * self._pathloss( self.user_positions[u], self.uav_positions_3d[m] ) signal_matrix[u, m] signal interference 0.0 for m2 in range(self.n_uavs): if m2 ! m: interference self.uav_power * self._pathloss( self.user_positions[u], self.uav_positions_3d[m2] ) sinr_matrix[u, m] signal / (interference self.noise_power) return 10 * np.log10(sinr_matrix) # 转为dB这段代码里的关键点是路径损耗模型。我用的是常见的3GPP Urban Macro模型简化版128.1 37.6 * log10(距离/1000单位)这个模型在几百米到几公里的范围比较准确刚好覆盖无人机通信场景。噪声功率取1e-13瓦这个数值大概对应-100dBm讲道理在仿真中算合理的默认值。3.2 连接分配逻辑与奖励计算有了SINR矩阵之后下一步就是执行连接决策。这部分我写了一个核心方法step()它接收所有智能体的动作执行分配返回奖励、新观测和是否结束的标志。def step(self, actions): # actions: 形状为[n_uavs, n_users]每个元素表示对应无人机对用户的接入偏好得分 assert len(actions) self.n_uavs # 初始化本轮连接为全部断开 self.connected_users np.zeros(self.n_users, dtypeint) - 1 self.uav_load np.zeros(self.n_uavs, dtypeint) # 计算SINR矩阵 sinr_db self._compute_sinr() # 按用户偏好和SINR约束进行分配 # 先把每个无人机按偏好得分排序优先接入偏好高的用户 for u in range(self.n_users): # 找出对该用户SINR最高且满足阈值的无人机 valid_uavs [m for m in range(self.n_uavs) if sinr_db[u, m] self.sinr_threshold and self.uav_load[m] self.uav_capacity] if len(valid_uavs) 0: continue # 在有效候选中按当前无人机的偏好多选一而不是只看SINR best_uav max(valid_uavs, keylambda m: actions[m][u]) self.connected_users[u] best_uav self.uav_load[best_uav] 1 # 如果这个无人机满了其他用户就不能再接入 if self.uav_load[best_uav] self.uav_capacity: continue # 奖励计算成功连接用户数 n_connected np.sum(self.connected_users 0) reward n_connected / self.n_users # 归一化方便训练 # 额外增加覆盖率均衡奖励 coverage_reward 0.0 if self.n_uavs 1: load_std np.std(self.uav_load) coverage_reward -0.1 * load_std # 负载越均衡越好 total_reward reward coverage_reward # 更新无人机状态这里简单模拟用户小范围移动增加环境动态性 self.user_positions np.random.randn(self.n_users, 2) * 2 self.user_positions np.clip(self.user_positions, 0, self.area_size) # 生成新的观测 obs self._get_obs() done False # 这个场景是持续决策没有结束状态 return obs, total_reward, done, {n_connected: n_connected}分配逻辑这里有一个细节值得琢磨。我在代码里采用了“用户优先找满足SINR的无人机然后在有效候选中根据无人机偏好打分选最优”的方式这比“纯SINR最高接入”更符合“智能体有自主决策能力”的设定。如果用户总是接入SINR最高那架那智能体的动作根本没发挥空间训练就没意义了。奖励我做了一个归一化处理n_connected除以总用户数让奖励范围控制在0到1之间。这样多个reward项相加时量纲一致学习率也好调节。负载均衡惩罚项用了负载标准差这个项的意图是避免所有用户挤到同一架无人机上虽然从全局看每个用户都连上了但单架无人机功率有限实际系统中多波束同时服务大量用户会导致波束增益下降所以在仿真中加上这个惩罚更贴近真实约束。3.3 观测函数每个智能体如何“看”环境多智能体架构和单智能体最大的差别在观测上。每个无人机不需要也不能看到所有用户的全局信息。我实现的_get_obs方法返回的是一个列表每个元素是单个无人机智能体的局部观测向量。这里我选择每个无人机agent观测自己覆盖区域内的用户特征。为了固定输入维度我设定每架无人机最多观测C10个候选用户。def _get_obs(self): obs_list [] max_candidates 10 for m in range(self.n_uavs): # 收集该无人机周围用户的信息 user_features [] # 计算所有用户到这个无人机的信道增益 gains [] for u in range(self.n_users): g self._pathloss(self.user_positions[u], self.uav_positions_3d[m]) gains.append(g) # 取信道增益最大的前max_candidates个用户 top_idx np.argsort(gains)[::-1][:max_candidates] for u in top_idx: # 每个用户的特征相对位置、归一化信道增益、当前连接状态 rel_pos (self.user_positions[u] - self.uav_positions[m]) / self.area_size norm_gain gains[u] / np.max(gains) connected_flag 1.0 if self.connected_users[u] m else 0.0 user_features.extend([rel_pos[0], rel_pos[1], norm_gain, connected_flag]) # 不足max_candidates的用0填充 while len(user_features) max_candidates * 4: user_features.append(0.0) # 加上自身状态特征 self_features [self.uav_load[m] / self.uav_capacity, self.uav_positions[m, 0] / self.area_size, self.uav_positions[m, 1] / self.area_size] obs np.array(self_features user_features, dtypenp.float32) obs_list.append(obs) return obs_list每架无人机的观测向量维度是3 40 43维。这个维度对于一个小型MLP来说是完全可以接受的。前面留max_candidates的补零逻辑我特别提醒一下补零不是简单地填数字而是要在代码注释里明确哪些位置是无效特征。不然网络会在填零位置上产生莫名其妙的偏差。3.4 DQN Agent实现网络结构、经验回放与更新逻辑环境搭好了接下来就是DQN实现。这部分和标准DQN区别不大但我是基于PyTorch写的有些细节顺手提一下。先看神经网络结构。输入层43维中间两层全连接激活函数ReLU输出维度是max_candidates10表示对10个候选用户的偏好打分。import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F import random from collections import deque class DQN(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(DQN, self).__init__() self.fc1 nn.Linear(input_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, hidden_dim) self.fc3 nn.Linear(hidden_dim, output_dim) def forward(self, x): x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) return self.fc3(x) class ReplayBuffer: def __init__(self, capacity): self.buffer deque(maxlencapacity) def push(self, state, action, reward, next_state): self.buffer.append((state, action, reward, next_state)) def sample(self, batch_size): batch random.sample(self.buffer, batch_size) states, actions, rewards, next_states zip(*batch) return (torch.FloatTensor(np.array(states)), torch.LongTensor(np.array(actions)), torch.FloatTensor(np.array(rewards)), torch.FloatTensor(np.array(next_states))) def __len__(self): return len(self.buffer)再来看训练更新逻辑。多智能体里每个agent都有自己的Q网络、目标网络和优化器。更新的时候每个agent独立从自己的buffer中采样计算梯度。class DQNAgent: def __init__(self, input_dim, output_dim, lr5e-4, gamma0.99, tau0.005): self.q_net DQN(input_dim, 128, output_dim) self.target_net DQN(input_dim, 128, output_dim) self.target_net.load_state_dict(self.q_net.state_dict()) self.optimizer optim.Adam(self.q_net.parameters(), lrlr) self.gamma gamma self.tau tau self.buffer ReplayBuffer(50000) def act(self, state, epsilon): if random.random() epsilon: return random.randint(0, 9) state_tensor torch.FloatTensor(state).unsqueeze(0) with torch.no_grad(): q_values self.q_net(state_tensor) return q_values.argmax().item() def update(self, batch_size64): if len(self.buffer) batch_size: return 0.0 states, actions, rewards, next_states self.buffer.sample(batch_size) # 计算当前Q值 q_values self.q_net(states).gather(1, actions.unsqueeze(1)).squeeze(1) # 计算目标Q值 with torch.no_grad(): next_q self.target_net(next_states).max(1)[0] target_q rewards self.gamma * next_q # 计算损失 loss F.mse_loss(q_values, target_q) self.optimizer.zero_grad() loss.backward() self.optimizer.step() # 软更新目标网络 for target_param, param in zip(self.target_net.parameters(), self.q_net.parameters()): target_param.data.copy_(self.tau * param.data (1.0 - self.tau) * target_param.data) return loss.item()这里有一个容易踩的细节我使用的动作是标量索引从0到9表示选择哪个候选用户优先接入。在上面的step()函数里actions[m][u]是每个用户对应的偏好分但因为agent输出的是离散索引所以我在实际使用中做了一步转换把索引映射到对应候选用户然后给该用户的偏好赋一个高分其他用户赋低分。这一步在衔接环境动作和神经网络输出时需要小心不然维度对不上会直接报错。具体来说我定义了一个decode_action方法把agent输出的动作索引转成step()能用的偏好向量。def decode_action(self, action, obs): # obs中包含该无人机观测到的候选用户特征前3维是自身状态 # 后40维中每4维对应一个候选用户 preference np.zeros(10, dtypenp.float32) preference[action] 1.0 # 只给选择的候选用户高分 return preference3.5 训练主循环完整实现训练主循环不算复杂但有些细节会影响训练效果。我下面给出完整的代码框架注释里标注了每个部分的作用。def train(): env UAVNetworkEnv(n_users30, n_uavs3) n_agents env.n_uavs input_dim 3 10 * 4 # 与观测维度一致 output_dim 10 # 候选用户数量 agents [DQNAgent(input_dim, output_dim) for _ in range(n_agents)] epsilon 1.0 epsilon_min 0.02 epsilon_decay 0.995 num_episodes 500 batch_size 64 for episode in range(num_episodes): obs_list env.reset() episode_reward 0 for step in range(200): # 每个episode内决策200次 actions [] for agent_idx in range(n_agents): action agents[agent_idx].act(obs_list[agent_idx], epsilon) decoded agents[agent_idx].decode_action(action, obs_list[agent_idx]) actions.append(decoded) next_obs_list, reward, done, info env.step(actions) # 每个agent存储经验 for agent_idx in range(n_agents): agents[agent_idx].buffer.push(obs_list[agent_idx], actions[agent_idx].argmax(), reward, next_obs_list[agent_idx]) # 更新所有agent for agent_idx in range(n_agents): agents[agent_idx].update(batch_size) obs_list next_obs_list episode_reward reward epsilon max(epsilon_min, epsilon * epsilon_decay) if episode % 20 0: print(fEpisode {episode}, Reward: {episode_reward:.4f}, Epsilon: {epsilon:.4f})训练好了之后评估方式也很重要。我在每个episode里统计了n_connected指标这个指标比累计奖励更直观。平均连接用户数达到总用户数的75%以上基本可以认为训练成功。4. 训练中的常见问题与排查实录4.1 必踩的坑经验回放陷阱与多智能体不收敛训练过程我遇到了好几个典型问题第一个就是训练曲线“飘”。刚开始用独立Q学习训练时每个agent都在自己的工作结果整体表现一直在某个水平震荡没有任何提升。排查后发现问题出在经验回放的采样上——我的经验buffer里存了太多“探索期”的低质量经验而agent更新时均匀采样导致该学的样本被低质量经验稀释了。解决办法有两个层面。第一是增大buffer容量让探索期的经验占比在训练中后期尽量小。第二是使用优先经验回放但会显著增加代码复杂度。一个更简单实用的折中方案是训练前先用随机策略往buffer里填入一些初始经验然后直接训练不再额外收集初始经验。这样做的好处是让网络在第一步更新之前就有了可用的训练数据避免前几百步梯度方向完全被随机动作主导。另一个容易踩的问题是训练后期所有无人机都只盯着同一个用户密集区域互相争抢整体负载分布失衡。网络虽然学到了“用户多的地方值得接入”但没有学会“避开其他无人机的强竞争区域”。我加了一个负载均衡惩罚项之后情况大幅改善。这个惩罚项本质上是告诉智能体不仅要考虑自己接入了多少用户还要考虑整体公平性。4.2 关键参数怎么调一张表对照参数调优是强化学习项目的必经之路我把自己常用的参数范围整理成一个表格你在实验时可以参考着设置参数推荐范围过大后果过小后果学习率3e-4 ~ 7e-4训练震荡严重收敛太慢经验回放容量20000 ~ 100000内存占用高样本相关性高批量大小32 ~ 128更新太慢梯度噪声大折扣因子γ0.95 ~ 0.99只看眼当前收益缺乏长远规划软更新系数τ0.001 ~ 0.01目标网络不稳定学习滞后ε衰减率0.99 ~ 0.999过早进入纯利用探索不足有一点我想特别强调多智能体场景下整体系统的性能对学习率最敏感比单智能体敏感得多。因为多个智能体同时学习时会互相放大学习率带来的波动所以我个人建议在单智能体能跑通的前提下多智能体把学习率调低到原来的50%~70%作为起点。4.3 结果评估只看连接数远远不够很多完成实验的同学喜欢只汇报“最终平均连接用户数达到了多少”但这个指标单独看意义有限。你还要关注平均SINR余量成功连接的用户里平均超出阈值多少dB。如果只是刚刚过门槛实际通信质量是很脆弱的环境稍微波动就断开负载均衡度各无人机接入用户数的标准差。标准差太大说明有的无人机过载、有的空闲资源利用不充分连接稳定性同一个用户在多时隙内是否被频繁切换。频繁切换会导致控制信令开销增加这也是工程中很重要但很多人忽略的指标。我在评估时会在每个episode里额外记录这些指标放进一个log字典里。训练结束后画一张图横轴是episode纵轴是多条曲线同时变化。如果连接数曲线在上升但负载标准差也同步上升说明模型学到的可能是“扎堆抢用户”的策略而不是真正的全局最优。4.4 环境随机性的重要性还有一个容易被忽略的点环境初始化的随机性要够。如果你每次训练时用户位置都固定不变模型过拟合的情况会非常严重测试时换一个用户分布性能立马崩掉。我在环境类里让用户位置每个episode都随机生成并且还在step()里给用户位置加了一个小幅随机游走模拟移动用户的场景。这个改动帮助训练出来的模型泛化性强很多在测试集上的表现比起固定场景稳定得多。不过随机性也要有个度。如果你把用户位置方差加得太大无人机在训练中几乎学不到任何稳定的规律因为环境变化速度远大于智能体的学习速度。我建议分阶段前期用小方差让模型先掌握基本规律后期再加大方差提升泛化能力。5. 个人经验总结与后续扩展方向5.1 调试顺序非常重要整个项目做完之后我最大的体会是调试多智能体强化学习项目顺序比技巧更重要。我强烈建议你按“单智能体 → 多智能体”的顺序推进。先在相同的环境下只放一架无人机把所有用户分配给它看看单个DQN能不能学到一个合理策略。如果单智能体都训练不收敛那问题大概率出在环境定义或奖励设计上而不是多智能体框架的问题。单智能体跑通之后再逐步增加无人机数量。从1架增加到2架观察性能变化没问题再加到3架。这样分步调试的好处是当你看到性能下降时能快速定位是哪个阶段引入的问题。我见过很多同学一把梭把10个agent摆上去结果训练几天才发现是环境问题浪费了大量时间。第二个经验是加日志。每个episode结束时不仅打印奖励还把每个agent自身的负载、成功率、平均Q值都记录下来。这些数据能帮你分析模型到底学得怎么样。比如训练后期平均Q值卡在一个保守区间说明模型还在探索阶段需要调整epsilon衰减率如果Q值在上涨但实际连接数没涨那很可能是奖励设计出现了偏差。5.2 一个提升收敛速度的小技巧最后分享一个很实用的小技巧给每个智能体一个预训练好的初始策略作为经验池的种子。做法是先用简单的规则生成一批经验比如“按最大SINR接入”或“随机接入”把经验存入buffer再开始训练DQN。这样DQN在第一次更新时就能看到一个分布合理的初始样本集而不是完全靠随机噪声起步。我试下来收敛速度能提升30%以上特别是多智能体场景效果更明显。具体实现也不复杂在训练循环前调用一次环境随机play生成1000条经验写入各自的buffer然后才开始正式训练。注意这些初始经验是用随机策略采样出来的跟正式训练时epsilon1.0的探索行为没有本质区别只是帮你把buffer“预热”了一下让网络启动时的baseline不至于太差。5.3 这个方案还能往哪些方向扩展如果你在这个基础实验跑通后想更进一步可以考虑以下几个方向第一把环境中的信道模型换得更精细比如加入小尺度衰落、不同用户类型的优先级权重。这样连接最大化问题就从纯数量优化变成了服务质量约束下的加权优化会更接近真实业务需求。第二控制变量从“连接分配”扩展到“无人机飞行轨迹规划”。也就是动作空间里同时包含功率控制和位置变化这会让问题复杂度显著上台阶但也就是多智能体算法真正发挥价值的地方。第三算法层面可以从独立DQN升级为CTDE框架比如QMIX或MADDPG。我之前在另一个模拟项目里验证过当智能体数量超过5个或者用户位置动态范围非常大的时候CTDE方案的优势就非常明显了。但代价是代码复杂度和调试难度同步上升。这个实验做完之后我对多智能体强化学习在通信网络中的应用有了更实际的理解理论论文里描述得很简单的事情真正落到工程实现上大部分时间其实花在了环境建模、奖励设计和参数调试上。DQN本身反而不是最难的部分难的是把你面对的现实约束用代码正确表达出来再用训练信号引导一群智能体找到那个平衡点。希望这篇文章能帮你少踩一些我踩过的坑尤其是环境建模和奖励设计那部分多做几个版本对比一下结果会让你有惊喜。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
