不断演化的城市环境中无人机的动态空域管理：协同合作与人类安全

大家读完觉得有帮助记得关注和点赞摘要低空经济是一个具有巨大发展潜力的新兴产业其中无人驾驶飞行器UAV运行的安全性是一个关键挑战。特别是在复杂的城市地形和有人环境中无人机空域管理必须优先考虑碰撞避免和人类安全。我们提出了Pharos一个协同式多无人机空域管理系统。Pharos介于分布式局部感知范式和集中式细粒度控制范式之间。Pharos协调多架无人机在共享空域中的安全并行执行同时创新性地考虑了人类恐惧的影响。Pharos使用MAPPO算法实现因为相比其他典型的MARL算法HAPPO和HATRPO它具有更快的收敛速度和更高的奖励。为了评估Pharos我们使用真实的城市数据开发了一个3D仿真系统。可视化结果展示了其有效的空域协调能力。在性能验证方面与基准算法Ipopt相比Pharos将人类恐惧降低了52.72%。此外我们设计了空间熵作为系统评估指标来量化空间利用率与基准算法Ipopt和A-star相比性能分别提升了70.82%和2.03%。源代码可在匿名化代码仓库获取GitHub - pharos-anonymized/source-code · GitHub。关键词空域管理无人机协同协调专属空间人类安全空间熵1. 引言在无人驾驶飞行器UAV快速演进的推动下低空经济近年来已成为一个高度活跃的领域Zhou, 2025。如今各种无人机平台正越来越多地融入日常运营从用于长途物流的重型无人机到用于基础设施检查和城市最后一公里配送的轻型无人机。然而当多架无人机在共享的低空空域内并行运行时它们各自的私有飞行任务极有可能发生冲突。当无人机飞行区域与人口稠密的城市区域重叠时无人机碰撞的风险及其对人类安全构成的威胁将显著增加Pereira et al., 2022。因此建立一个无人机空域管理系统以确保低空安全是一个紧迫的问题。这涉及应对两个主要挑战探索有效的多无人机协同协调解决方案Chen et al., 2025以及解决与低空飞行相关的人类恐惧问题Van Waveren et al., 2023。图1 三种空域管理范式(a) 分布式局部感知范式可能导致A、B在盲点处碰撞。(b) 集中式细粒度控制范式通过时间线①②的顺序指令确保A和B的安全。(c) Pharos通过粗粒度的全局管理协调A和B的专属空间以实现安全的并行通过。首先人类安全因素目前主要在涉及二维空间的应用中得到考虑例如自动驾驶Zhao et al., 2024和工业机器人Merckaert et al., 2024。与自动驾驶汽车相对可预测的道路或工业机器人封闭且受控的环境不同无人机在开放的三维环境中运行。在这些无人机与人类共存的动态、综合环境中解决无人机空域管理中的人类安全问题已变得日益复杂。迫切需要探索解决方案以填补该研究领域的空白。其次目前有两种主要的无人机协同协调范式。一种是分布式局部感知范式如传统的具身智能系统EAI中常见的那样Hu et al., 2024。这涉及为无人机配备本地传感器使其能够根据自身视野内的信息运行。虽然这对个体自主性有效但对机载传感器的依赖带来了显著的载荷和成本开销这可能限制轻型无人机可扩展部署。此外机载传感器提供的局部视野本质上限制了全局态势感知能力可能在存在障碍物的情况下使无人机暴露于盲点碰撞风险中。例如高层建筑可能阻碍无人机A和B在关键交叉口的相互探测如图1(a)所示。另一种范式是集中式细粒度控制范式如传统的空中交通管制ATC技术Huang et al., 2024。如图1(b)所示ATC中心集成雷达数据和无人机遥测数据以维持全局态势感知并通过细粒度轨迹规划算法Meng et al., 2024; Basil et al., 2025; Fu et al., 2024直接向无人机发出飞行命令。虽然这种范式增强了无人机协同的安全性但它面临实施挑战。这些挑战包括需要无人机制造商提供标准化控制接口以及集中控制中心可能出现的性能瓶颈。因此需要一种解决方案来桥接上述两种范式通过协调多架无人机的安全并行执行。为此我们提出了Pharos一种新颖的协同式多无人机空域管理范式。如图1(c)所示Pharos实现这种协调不是通过直接规划详细轨迹而是通过为每架无人机协调专属空间允许它们在该安全空间内自主运行。通过这样做Pharos有效地克服了分布式局部感知范式的局限性。它减少了因局部视野不完整而产生的碰撞风险以及因先进机载传感器特别是资源密集型的感知载荷如LiDAR和深度相机引起的载荷和成本约束。与集中式细粒度控制范式相比Pharos采用粗粒度的空域协调方案来缓解通常由细粒度轨迹规划导致的性能瓶颈。此外通过避免直接的运动控制Pharos不会干扰无人机底层的控制系统。它依靠用于数据交换的通信接口提供协同引导。这消除了要求无人机制造商开放其专有控制权限的挑战。Pharos的范式在地面交通管理中也有体现不同品牌和不同驾驶经验的车辆可以在交通信号的宏观协调下独立控制其车辆。为实现这种协同范式我们设计并实现了一个同名系统Pharos。该系统通过融合轻量级无人机遥测数据与动态行人状态来建立全局态势感知其中后者在现实部署中可以从概念上通过众包物联网网络获取。在此基础上Pharos采用多智能体强化学习MARL进行协同空域协调。在训练阶段Pharos使用人工势场法APF编码无人机观测特征以捕捉动态城市环境。为了实现以安全为优先的全局优化我们制定了一个全面的奖励机制优先考虑碰撞避免和人类安全同时将飞行进展作为辅助激励。具体来说我们创新性地引入了一个人类恐惧因子来量化低空飞行的心理影响综合考虑了物理距离、速度和方向向量。碰撞惩罚严格考虑了无人机间碰撞和静态城市障碍物。在推理阶段训练好的模型支持无人机间的并行执行在每个时间步多架无人机并行执行推理以确定它们非重叠的专属空间。最后我们在仿真中引入空间熵以有效评估它们在受限空域内的空间利用效率。本文的主要贡献如下(1) 我们提出了Pharos一种用于多无人机协同的空域管理解决方案它桥接了集中式控制和分布式局部感知从而减少了潜在的无人机碰撞和人类安全问题。(2) 我们引入了一个可量化的人类恐惧因子来模拟低空无人机运行的心理影响并将其整合到MAPPO算法的奖励机制中以执行无人机专属空间的并行推理。(3) 我们使用真实的城市数据实现了同名的Pharos仿真系统。全面的实验验证了其在低空空域协调中的准确性、有效性和性能。2. 相关工作2.1. 无人机空域协调对于当前无人机空域协调的研究我们总结了三种核心方法(1) 集中式规划与优化方法主要包括两类多智能体路径规划MAPF和数值优化NO。MAPF侧重于单目标问题如最短路径在处理多目标复杂权重和软约束方面存在困难。当目标被加权时状态空间和碰撞解决变得高度复杂降低了算法效率。NO使用数学函数对约束和飞行目标进行建模——如最优路径Phung and Ha, 2021、最小能耗Yao et al., 2025和经济负荷分配Akbari et al., 2022——将其转化为可解决的优化问题。为实现这些优化常使用基于几何的方法采用坐标变换例如几何距离Zhan et al., 2022、SE(3)Seo et al., 2023和图拓扑Musil et al., 2022来描述无人机运动约束。然而这些集中式方法通常计算复杂度高且在动态环境中的避障效果有限。(2) 分布式反应控制方法以人工势场法APF为代表。这些方法通过为目标点创建虚拟引力场和为障碍物创建虚拟斥力场来实现避障Pan et al., 2021。与集中式方法相比APF计算速度更快更适合动态环境。然而它本质上是一种短视的优化方法依赖于瞬时梯度下降容易使无人机陷入局部极小值引力和斥力平衡阻碍其向目的地前进。为缓解此问题研究人员提出了各种改进例如Li等人2022a集成光传输模型以及Zhang等人2024引入共线力偏转角。(3) 协同优化方法以多智能体强化学习MARL为代表。与APF依赖瞬时梯度不同MARL通过学习长期累积奖励的梯度来协同优化策略有效处理全局优化问题并避免局部极小值。近年来基于MARL的方法Yu et al., 2022在协同无人机决策Li et al., 2022b方面取得了显著进展通过结合探索和利用策略有效地避免了APF中的局部极小值问题。2.2. 人机共存安全随着人类与机器在各种环境中共存的加深确保人类安全的同时使智能机器高效工作成为一个关键问题。人机交互中人类安全的概念最早在阿西莫夫的机器人三定律和ISO 10218-1四项原则ISO, 2012中被提出。在工业机器人Pereira et al., 2022和自动驾驶Liao et al., 2024等领域人机交互的物理范围通常限于相对较小、封闭且多为二维的空间。然而在三维空间中运行的无人机对人类安全的影响仍然是一个重大挑战。尽管Van Waveren等人2023开发了一种控制屏障函数CBF来增强单无人机与单人类交互中的人类感知安全但在多无人机和多人类的复杂动态环境中优先考虑人类安全仍有待充分解决。3. 系统模型与问题描述第3.1节将介绍系统空间模型包括城市环境模型和无人机专属空间模型。第3.2节将形式化优化目标的问题。3.1. 空间模型在城市场景中为多架无人机协调专属、安全和可用空间时创建空间模型有两种不同的技术方法。第一种方法将空间视为连续资源允许根据无人机的飞行需求进行最优协调。这种方法最小化了协调空间但空间协调和冲突检测的计算复杂度很高。相比之下第二种方法将空间划分为大量独立的、细粒度的离散单元每个无人机接收一个由这些单元的整数倍定义的专属长方体切片。虽然这种方法可能导致一些空间浪费但与连续模型相比它显著降低了计算需求。因此Pharos采用离散空间模型进行无人机空域管理。图2 复杂城市空间模型中多无人机管理的示意图。我们使用图2所示的空间坐标系 S(x,y,z) 来表示3D空域该空域包括移动的人类和静止的建筑作为障碍物。一组人类 H{h} 在 xOy 平面上移动每个人类 h 具有速度 a_h 和重心在 p_h(x, y, \bar{h})其中 \bar{h} 是恒定高度。静止的建筑由 B{b} 表示。遵循Hu等人Hu et al., 2025的设计每个建筑被建模为一个长方体 c_b({Γ_b^-, Γ_b^}), Γ ∈ {x,y,z}基于其在x、y、z轴上的最小和最大投影。这种建模方法可以推广到其他类型的静止障碍物如雕塑或路灯。有一组无人机 U{u} 在空域中运行。为确保安全运行每架无人机被协调一个专属空间由一个长方体 c_u({Γ_u^-, Γ_u^}), Γ ∈ {x,y,z} 表示如图2中的虚线框所示。该长方体允许无人机自定义其飞行路径而不会与其他无人机或障碍物碰撞确保其专属空间不与其他空间重叠。对于具有目标点 p_u~ 和当前速度 v_u 的无人机 u其当前重心点为 p_u(x,y,z)。无人机 u 被视作一个体积对象而不仅仅是一个质点其体积由一个边长 μ 的立方体建模该立方体必须完全包含在专属空间内。无人机 u 到人类 h 的距离表示为 d(u,h)计算为它们重心之间的欧几里得距离。无人机 u 到建筑 b 的距离为 d(u,b)定义为从无人机重心 p_u 到 c_b 表面的最短欧几里得距离。当前空间 S 被视为全局态势感知区域 c_S。数据中心Pharos使用静止建筑数据和无人机及其他移动智能终端报告的态势数据来执行上述空间建模如图2所示和无人机空域管理。3.2. 问题描述无人机碰撞避免和人类安全是首要任务。此外为确保全面的空域管理解决方案我们还将飞行进展纳入优化目标。因此Pharos空域管理问题的优化目标分为三个方面由碰撞惩罚量化的碰撞避免以避免无人机间及无人机与障碍物之间的碰撞人类恐惧惩罚以减轻无人机可能对人类造成的恐惧飞行进展以促使无人机尽快到达目的地而非悬停。Pharos旨在为多无人机专属空间协调找到最优策略。3.2.1. 碰撞惩罚无人机 u 的潜在碰撞对象包括 U 中的其他无人机、人类 H 和建筑 B如公式1所示。其中惩罚分为两部分。I_{u,u} 表示 c_u 与另一无人机 c_{u} 的专属空间之间的交点数。在公式4中P_u^s 中的系数1/2消除了对所有无人机对交集体积的重复计数。u 与移动人类 H 和静止建筑 B 之间的碰撞被归类为与障碍物的碰撞。我们定义 A_{u,k} 来指示当无人机 u 的重心 p_u 到障碍物 k 的距离小于其体积立方体边长 μ 的一半时发生碰撞这符合直观预期。u 与 h 之间以及 u 与 b 之间的具体距离计算遵循第3.1节中的系统模型定义。图3 人类恐惧模型突出显示了无人机对人类影响的四个具体案例①至④投影在 xOz 平面上。值得注意的是Pharos使用3D向量而非2D视角。3.2.2. 人类恐惧惩罚我们提出了人类恐惧因子来量化无人机 u 对人类 h 的恐惧影响惩罚值 P_u^f 按公式2计算。这种影响仅在距离 d(u,h) 在图3的 \bar{r} 范围内时发生。角度 θ_{u,h} 表示无人机速度向量 v_u 与人类速度向量 a_h 之间的夹角而 φ_{u,h} 是 v_u 与从无人机指向人的向量之间的夹角。当无人机在情况①中接近人类时恐惧增加在情况③中远离时减少。此外在情况②和④中随着无人机与人类距离的增加恐惧减弱。3.2.3. 飞行进展无人机 u 的飞行进展由两部分组成到达目的地 p_u~ 时的即时奖励 R_u^l见公式3a在重心 p_u 到 p_u~ 的距离低于阈值 δ 时触发。第二部分是进展奖励 R_u^g见公式3b其中 p_u 表示 u 在前一时间戳的重心坐标。飞行进展旨在鼓励无人机向前飞行并防止其为了避免碰撞而悬停。因此无人机空域管理问题的最终优化目标由公式4中的 ℛ 表示。这里β_s、β_f、α_l 和 α_g 分别是碰撞惩罚、人类恐惧惩罚、即时飞行奖励和进展飞行奖励的权重参数。我们的目标是最大化 ℛ以协调无人机的专属空间实现动态空域管理。4. 所提出的方法鉴于本研究主要关注算法层面的协同决策与优化我们假设基于具有一致目标并满足准入条件的协同组框架的Pharos系统能够在每个时间步可靠地收集态势感知数据并分发专属空间协调结果。以下第4.1节将算法模型形式化为Dec-POMDP第4.2节介绍所采用的MAPPO算法。4.1. 空域管理决策模型多无人机空域管理问题本质上是一个协同多智能体系统MAS问题其中多架无人机必须在部分可观测且动态变化的环境中做出协同决策以实现全局目标。因此我们采用分散式部分可观测马尔可夫决策过程Dec-POMDP作为Pharos的形式化算法框架。该模型准确捕捉了无人机基于自身观测并行决策的特点而全局状态和共享奖励函数的设计则符合Pharos中心的宏观协作目标。这从算法框架的角度体现了集中式协作和并行执行的核心概念。我们从标准Dec-POMDP模型中提取了与Pharos空域管理问题直接相关的关键组件并将其表示为五元组 ℐ, , , , ℛ。一个完整的Dec-POMDP还应包括状态转移函数、观测函数和折扣因子等标准组件。在本研究中状态转移和观测函数由仿真环境的动态隐式定义。折扣因子 γ 是一个关键的超参数其设置将在第4.2节中解释并在表1中总结。我们将整个空域管理周期表示为 {t}。Pharos能够在每个时间步 t 处理城市环境的动态变化并为无人机协调适当的专属空间从而确保可靠的空域管理。在时间步 t 对应的 ℐ, , , , ℛ 组件详细阐述如下图4 Pharos基于MAPPO的核心算法。智能体 ℐ {i} 表示一个确定的无人机智能体集合。观测 _t {o_i} 是时间步 t 时智能体的观测集合每个 o_i 形式化为其中 o_i 是一个大小为24的一维向量包含四种类型的特征(1) 自身特征 id_i 是智能体 i 的整数身份编号N(p_i) p_i / (p_max - p_min) 是智能体 i 重心位置相对于坐标系 S 的归一化向量大小为3其中 p_max 和 p_min 分别是 S 的上下界。N(p_i~ - p_i) (p_i~ - p_i) / (p_max - p_min) 和 m(p_i, p_i~) 分别是 p_i 与其目的地 p_i~ 之间的归一化单位向量大小为3和曼哈顿距离值。(2) 部分无人机斥力特征 我们自定义了排序函数来计算 U 中最接近 i 的 κ 架无人机用于计算部分无人机斥力特征。基于物理学中斥力的定义得到无人机 i 和无人机 j 之间的计算i 的部分斥力特征 ρ_i 表示如下(3) 邻居无人机速度特征 i 的邻居速度特征为 σ_i^E {σ_i^e}σ_i^e 在公式6中形式化。为解释邻居无人机的含义六个观测方向定义为 E {e} {(0,0,e), (0,0,-e), (0,e,0), (0,-e,0), (e,0,0), (-e,0,0)}。则 i 在 e 方向的邻居是最近的无人机 j即 p_j p_i λ e取 λ 为使该表达式成立的第一个正整数。给定方向 e 上的邻居 jσ_i^e 计算智能体 j 和 i 沿 e 的相对速度特征。该特征与它们之间的距离系数 λ 成反比。几何上正的相对速度特征表示邻居 j 正在靠近飞行从而增加 σ_i^e而负特征表示 j 正在飞离导致 σ_i^e 减小。(4) 人类恐惧预测特征 通过上述六个观测方向无人机的操作也可以在当前悬停。因此人类恐惧特征的预测包括七个值使用公式2连接如下其中 P_i^f 表示当 i 悬停时对人类产生的恐惧P_{i~e}^f 表示如果 i 向 e 方向移动一步时对人类产生的恐惧。动作 _t {a_i} 表示智能体集合在时间步 t 有一个确定的动作集合。动作集合的几何意义是专属空间的方向和范围选择。因此在离散的3D空间中需要考虑六个方向 E与邻居无人机相同以及一个额外的无人机悬停动作即 E E ∪ {(0,0,0)}。则 a_i 表示如下每个智能体根据观测信息 a_i在 a_i^e 1 的方向 e 上被协调专属空间 c_ic_i 的计算形式化如下其中在公式8中p_i 是由动作 a_i 和当前位置 p_i 计算出的无人机 i 的下一个位置坐标。专属空间 c_i如图4是通过用坐标 p_i 和 p_i 形成一个长方体并将边界向外延伸 e/2 长度而获得的。无人机在 c_i 内的运行可以避免潜在碰撞并消除人类恐惧。状态 时间步 t 的环境状态是一个一维向量大小为 624*|ℐ|表示为其中 p_min 和 p_max 是坐标系信息{o_i} 是智能体的观测信息。奖励 奖励函数提供对智能体动作质量的反馈有助于在新行为探索和已知有效行为利用之间取得平衡。我们将公式4中所有智能体共享的奖励函数 ℛ_t 定义为指导无人机优化专属空间协调。在Dec-POMDP框架内多无人机空域管理问题被认为是一个NEXP-完全问题Bernstein et al., 2002这在理论上具有挑战性。然而由于当前问题的有限时域Oliehoek et al., 2016至少存在一个最优联合策略满足以下条件无人机的有限时间步集合 、观测集合 _t、动作集合 _t 和状态集合 _t由碰撞惩罚、人类恐惧惩罚和飞行奖励组成的有界奖励函数 ℛ_t系统的状态转移遵循马尔可夫性质。因此我们的目标不是找到精确的最优解而是让多架无人机协作逼近全局最优、安全且高效的空域协调策略。算法1Pharos基于MAPPO的多无人机动态空域管理算法0: 无人机 U人类 H建筑 B3D空间 S0: 多无人机专属空间结果集 {c_i | i ∈ U}1: 初始化评论家 V_ω演员 {π_{ϑ_i} | i ∈ ℐ}2: while ep ≤ episode do3: 初始化环境 t0, ₀, []4: while t do5: 从环境获取观测集合 _t {o_i}6: 执行每个演员_t {a_i} ← _t {o_i}7: 执行公式8{c_i} ← _t {a_i}8: 执行 _t 以推进环境_{t1}, ℛ_t ← _t9: 将 (_t, _t, ℛ_t, _{t1}) 存储到回放缓冲区 10: end while11: 通过损失函数 loss_ω 1/ ∑{t∈} (G_t - V_ω(_t))² 梯度更新评论家网络 V_ω12: 通过 loss{ϑ_i} 1/ ∑{t∈} (G_t - V_ω(_t)) · min[ prob(a_i), clip(prob(a_i), 1-ς, 1ς) ] 梯度更新每个演员 π{ϑ_i}其中 prob(a_i) π_{ϑ_i}(a_i) / π_{ϑ_i}^{ep-1}(a_i)13: end while4.2. 无人机空域管理算法在多无人机空域管理的Dec-POMDP建模中我们采用多智能体近端策略优化MAPPO算法Yu et al., 2022来获取近似解。MAPPO采用集中式训练与分散式执行的范式。在训练阶段使用全局信息来优化多架无人机的联合策略。在执行阶段每架无人机基于其局部观测独立做出决策随后规划详细路径。这种范式与Pharos系统的架构完美契合在集中式控制和分布式局部感知范式之间取得了平衡在算法层面确保了高效的协作和可扩展性。此外为了验证我们算法选择的合理性我们与HAPPO和HATRPO等典型多智能体强化学习算法进行了对比实验。相关结果和分析详见第5.3节。图5 (a) Pharos可视化系统概述。(b)(c) 系统能力测试用例的快照。完整动态效果见匿名化视频https://github.com/pharos-anonymized/source-code/blob/master/visualization.md。如图4所示构建在MAPPO算法之上的Pharos系统包含两个核心组件一组演员网络 {π_{ϑ_i}}每个对应一架无人机以及一个全局共享的评论家网络 V_ω用于评估演员策略的性能。演员和评论家网络均实现为多层感知器MLP。每个演员以其关联无人机的局部观测 o_i 作为输入并输出用于选择专属空间的可能方向的概率分布。为了符合决策模型中定义的离散动作集合 _t具有最高概率的动作 a_i 被赋值为1其他所有动作设为0。评论家接收全局状态 _t 作为输入并产生一个值估计 V_ω用于评估当前联合策略的质量并指导所有演员网络的基于梯度的更新。基于MAPPO的Pharos算法通过策略梯度方法优化每个无人机演员网络 π_{ϑ_i} 的策略。此优化旨在最大化长期累积回报 G_t其中 G_t 定义为当前时间戳奖励 ℛ_t 与下一时间戳折扣累积回报 G_{t1} 之和。该算法通过计算期望策略梯度 ∇_{ϑ_i} J(ϑ_i) 来更新策略参数这表示长期回报 G_t 随策略参数 ϑ_i 变化的方向。我们采用的MAPPO算法Yu et al., 2022的形式化计算如下∇{ϑ_i} J(ϑ_i) {π_{ϑ_i}} [ ∇{ϑ_i} G_t ], G_t ℛ_t γ · G{t1}随着梯度逐渐收敛Pharos系统最终在协作多无人机博弈中接近一个团队最优解。也就是说所有无人机演员的策略达到局部最优状态任何单个无人机单方面改变策略都无法增加全局奖励 ℛ_t。Pharos的完整算法流程总结在算法1中该算法能够在具有静止建筑和移动人类的复杂城市环境中为多架无人机协调专属空间同时确保人类和无人机的安全。5. 仿真我们在复杂城市环境中为Pharos开发了一个多无人机仿真可视化系统如图5(a)概述所示匿名化源代码可在 https://github.com/pharos-anonymized/source-code/tree/master/pharos-visual-3d 获取。详细的实验和分析如下。5.1. 仿真设置对于仿真数据集我们从OpenMapOSMOpenStreetMap contributors, 2012获取了中国上海一个155m × 135m矩形区域代表一个典型的复杂交叉口的静止建筑数据并基于Hu等人Hu et al., 2025的设计对建筑进行建模以构建Pharos空间地图。Pharos还随机生成具有不同速度和轨迹的移动人类以模拟现实世界的动态交互。在推理过程中静态布局保持不变而所有动态配置包括无人机目标位置和人类移动都是随机的。对于无人机飞行仿真我们没有预设任何特定的计划飞行路线。我们仅要求无人机能够在下一个时间步到达“下一个专属空间”。这种最小约束设计允许用户在实际无人机运行中保留完全的路线自定义自由。实现的相关超参数详见表1。其中基于安全优先奖励权重为碰撞避免的首要惩罚加上对人类心理影响的累积惩罚以及飞行进展的组合激励包括即时奖励和进展奖励。这确保了飞行进展仅作为辅助目标受安全约束。根据统计数据各种类型的无人机最大平飞速度为100 km/hCouncil, 2023最小端到端控制延迟为50 msCAAC, 2018这意味着无人机在每个通信时间步内最多可移动1.4米。因此我们将离散空间模型的粒度设定为米级。所有仿真实验在一台配备AMD EPYC 9554 CPU128核、251GB RAM和NVIDIA RTX A6000 GPU48GB VRAM的服务器上运行。表1 仿真中的超参数设置。超参数值空间模型δ, μ, e0.02, 0.5, 1人类恐惧模型\bar{h}, \bar{r}1.7, 5.0观测特征κ, ε, λU- 1, 0.3, 2奖励权重β_s, β_f, α_l, α_g100.0, 2.5, 3.0, 1.0损失函数γ, ς0.95, 0.2学习率演员评论家0.005, 0.002回合步数批量大小5e6, 100图6 在不同数量的无人机(U)、人类(H)和建筑(B)下与其它典型MARL算法的训练收敛性比较。5.2. 实验基线实验基线算法的描述及选择原因如下Ipopt 求解器Ipopt内点优化器由StefanStefan, 2024, 2025提出是一个基于内点法的开源数学优化工具包广泛用于解决约束优化问题。它为Pharos的全局优化目标 ℛ 提供了一个连续解作为Pharos离散模型的精度基准。HAPPO和HATRPO HAPPO异构智能体近端策略优化和HATRPO异构智能体近端策略优化都是Kuba等人2022在同一篇论文中提出的多智能体策略优化算法。我们采用了与MAPPO算法相同的超参数配置见表1以比较不同MARL算法在多无人机空域管理问题上的性能。A-star A-star是路径规划领域的经典基准Farid等人2022已将其应用于无人机路径规划。虽然Pharos主要解决多无人机空域协同管理问题但它也可以通过协调专属空间来引导飞行。我们将以A-star生成的最优路径作为比较基准并在相同安全约束下验证Pharos在复杂环境中能达到与传统方法相似的规划效率。5.3. 仿真结果与分析在本小节中我们进行了详细的实验来验证和分析系统的准确性、有效性和性能。图7 Pharos与Ipopt求解器在200步100毫秒/步内的推理性能比较。5.3.1. 全局优化性能为验证Pharos对全局优化目标 ℛ 的求解精度和收敛性能我们将其与两类基线方法进行了比较一类基于数学优化求解器Ipopt另一类使用先进MARL算法HAPPO和HATRPO。首先我们对相同优化目标 ℛ 比较了Pharos和Ipopt。在推理阶段Pharos在一个有10栋建筑、10个人类和10架无人机的环境中使用预训练模型。如图7所示两种方法随时间变化的奖励值曲线表明尽管在推理初期存在一些波动但Pharos保持稳定并且在大部分时间里显著优于Ipopt尤其是在推理的后半段平均奖励值高出60.59%。这是因为虽然Ipopt在单个时间步上达到了精确的数学最优但它缺乏长期规划能力。此外我们将Pharos与HAPPO和HATRPO算法进行了比较以测试训练阶段的模型收敛性。这三种算法使用相同的奖励函数和表1所列的超参数并在三种场景下进行训练仅有无人机、无人机-人类、以及无人机-人类-建筑。如图6所示Pharos在所有场景(a)-(c)中都表现出快速且稳定的收敛。此外Pharos在所有场景中都以最快的收敛速度达到了最高的奖励值这表明基于MAPPO算法的Pharos在我们的问题约束下能更好地找到一组近似最优的无人机协同管理策略。5.3.2. 碰撞避免与飞行进展为评估Pharos的碰撞避免和飞行进展能力我们基于一个包含10栋建筑、8个人类和10架无人机的预训练模型设计了两个测试用例并进行了可视化分析如图5(b)(c)所示。交叉口的无人机空域协调。 此测试用例再现了图1中的场景以验证系统在共享空域中的空域协调能力。实验结果在图5(b)的时间线(b)-1至(b)-3中呈现概述了它们相遇的三个阶段相遇前、安全避碰期间以及它们继续接近目的地的过程。尽管建筑 b1 作为 uav4 和 uav5 之间的直接障碍物但无人机智能体能够根据预训练策略获得适当的专属空间在其中安全运行并避免碰撞。此外可视化轨迹证实无人机没有陷入死锁在进展奖励的驱动下它们在相遇后立即恢复向各自目的地的累积进展。障碍物自适应绕行。 此测试侧重于无人机在高层建筑间飞行时的自主适应性。如图5(c)的时间线(c)-1至(c-2)所示uav5 能够利用模型训练期间学习的空间协调策略在实际决策中实时调整其路线实现平滑且安全的避障。重要的是飞行进展奖励可以引导无人机在绕过建筑后保持前进势头防止任何悬停或停滞。此结果展示了系统在复杂障碍环境中的环境适应性和持续执行能力。5.3.3. 人类恐惧影响为评估不同算法下无人机运行对人类造成的心理影响我们使用公式2计算人类因附近无人机而经历的恐惧值。我们使用无人机-人类对的平均恐惧值作为算法间心理恐惧影响的比较指标。公式2中的常数 d(u,h) 被定义为离散空间模型中的单位距离1以确保无人机与人类之间的绝对安全即不发生碰撞。因此无人机-人类对的平均恐惧值范围为[0,2]其中较小的平均恐惧值表示算法更人性化。对于Pharos算法我们针对不同数量的无人机10栋建筑8个人类使用集中式方法的预训练模型。在无人机并行执行期间我们记录每个时间步的推理结果。相比之下对于Ipopt求解器和A-star算法我们在相同的仿真环境中通过逐步求解和规划过程同步收集每个时间步对应的人类恐惧值。如表2所示与A-star相比Pharos平均将人类恐惧降低了52.72%。然而我们观察到与Pharos相比Ipopt表现出更低的人类恐惧。这是因为其缺乏长期规划如第5.3.1节所述。在实验中当无人机遇到移动人类或高层建筑时Ipopt确定最优奖励函数是让无人机保持悬停而不是向目的地绕行。这是一种次优策略。虽然这似乎产生了较低的人类恐惧但它常常导致大量无人机卡住而无法向前飞行。这种现象在图7的整体奖励趋势中得到进一步说明。表2人群恐惧度与空间利用率实验结果方法指标无人机数量10​20​30​Ipopth.f.0.17200.39530.3131s.e.29.508354.388181.9306A-starh.f.1.04361.98702.6175s.e.48.993693.8634134.0800Pharosh.f.0.42280.92731.4304s.e.49.741095.9659137.1851*注不同方法在200个推理步100毫秒/步中的平均人类恐惧(h.f.)和空间熵(s.e.)。5.3.4. 空间利用率为验证无人机协同管理系统Pharos的空间利用率我们在本小节引入了空间熵的概念。空间熵是一种专用的度量指标用于事后评估空域资源利用率而不是Pharos主要算法的一部分。受广泛应用的信息熵Liang et al., 2024; Liu et al., 2022; He et al., 2024启发——信息熵表示系统的无序程度——我们将此概念扩展到空间熵以量化无人机在空域内分布的均匀性。具体而言较低的空间熵值表示无人机分布更集中例如全部聚集在热点航线上这通常意味着空域资源利用不均且拥堵风险高。相反较高的空间熵值表示无人机在可用空域内分布更广泛和均匀象征着更高效和更彻底的空域资源利用。为了计算空间熵的值根据信息熵的原始定义简式表达ℋ -∑ log 由C. E. ShannonShannon, 1948提出我们将Pharos坐标系中单个无人机占用特定空间单元的事件类比为信息论中的随机事件。通过统计分析任务执行期间所有无人机对每个空间单元的占用频率我们可以获得每个空间单元的占用概率分布。最终得出代表空域内无人机分布总体特征的空间熵计算公式如下其中 q 是空间 S 中的坐标 q(x,y,z)p_u^t 表示无人机 u 在时间 t 的坐标 是指示函数当 p_u^t q 时为1否则为0。我们继续将预训练的Pharos与Ipopt和A-star算法进行比较。三种方法在不同无人机数量下的空间熵实验结果见表2。Pharos的空间熵最高与Ipopt和A-star相比分别增加了70.82%和2.03%。两种算法的空间熵差异显著。对于Ipopt如前节所述算法在面对障碍物时倾向于悬停导致人类恐惧较低因此熵值也较低因为它不占用额外空间。相反使用A-star的无人机累积地向目的地移动不考虑其可能对人类造成的恐惧因此空间熵相对较高。5.3.5. 复杂度分析我们确定计算成本主要产生在训练和推理阶段。训练阶段计算密集但属于一次性投入可以通过预训练进行优化。多智能体协作学习的理论分析表明此阶段的时间复杂度大致随智能体数量线性增加。我们实际进行了如图8所示的可扩展性测试证明了Pharos模型训练在不同数量无人机下的稳定收敛。这也与其他领先的无人机协作研究Huang et al., 2024; Yan et al., 2023a, b中的数据规模一致。在推理阶段每个无人机智能体以并行方式执行仅需运行轻量级策略网络进行前向计算从而实现低延迟响应。实验表明在当前动态环境下系统可实现每个时间步约100毫秒的平均推理延迟分别参见图8和表2中的注释使其适用于动态演变的城市低空环境。图8 基于MAPPO的Pharos可扩展性测试不同场景下每个智能体平均奖励的训练收敛性。6. 结论与未来工作我们开发了一个基于MAPPO算法的多无人机协同协调空域管理系统。通过碰撞避免、人类恐惧影响和空间利用率的全面测试我们展示了Pharos的有效性、准确性和性能。我们未来的研究重点如下(1) 无人机的跨区域协调我们将研究划分广域空域并实现跨区域无人机协调以提高系统效率和可扩展性。(2) 熵驱动的无人机按需协调基于实验中提到的空间熵评估指标我们将将其应用于城市场景中无人机的按需接入和按需协调。(3) 4D时空数据管理我们将开发一个4D数据管理引擎以处理城市低空复杂的3D空间和时间动态。