1. 项目思路拆解为什么稀疏奖励卡死在了100分先把话说在前面我用“清扫机器人”这个环境做了将近两个月的奖励工程从最初一个只给“清扫覆盖率”的稀疏奖励把评测分数死死摁在100分上下到最后把10项复合奖励全部接进去跑出778分。整个过程踩的坑比我想象中多得多。很多人觉得强化学习最难的是算法选型或者网络结构真正上手之后你会明白奖励工程才是决定上限的那道坎。先说清楚这个项目的环境。我用的是一个带激光雷达的扫地机器人仿真环境机器人有差速底盘360度激光观测动作空间是线速度和角速度目标是把房间里的污渍区域全部清扫干净同时不撞墙、不卡住、不过度重复。官方给了一个评测函数综合了清扫覆盖率、碰撞次数、任务完成度输出一个0到1000分左右的Episode Score。第一版我天真地只给了一个奖励机器人每扫过一块污渍网格给 1 分没有其他任何引导。结果呢机器人确实学会了扫污渍但也学会了疯狂原地转圈、靠墙角蹭分、撞一下墙之后再绕回去继续扫评测分数大概卡在100分上下怎么调网络都上不去。这就是典型的稀疏奖励陷阱。任务确实完成了但完成的路径极其低效而且大量的无效探索让训练过程严重震荡。真正把分数从100推向778的是我把“奖励”从单一标量信号拆成了一组描述“好行为”的复合信号——也就是标题里说的10项复合奖励。每项奖励负责一个面覆盖率负责任务目标接近障碍物负奖励负责安全重复清扫负奖励负责高效完成奖励负责结局。这里面的核心思路其实很朴素强化学习的奖励函数本质上是人类把“怎么做才算好”翻译成机器人能优化的数值信号。单一稀疏奖励的问题在于信息量太低机器人只能知道“最终做对没”却不知道“刚才哪几步做对了”。复合奖励相当于把一个模糊的“清扫得不错”拆成了网格覆盖、边界贴边、路径高效、姿态稳定等十几个细粒度条件每一步都能获得反馈。这样策略梯度就有了连续的优化方向而不是只能在任务终点拿到一次信号。这个思路真正落地时需要注意一个反直觉的点复合奖励不是在每一项上都给得越多越好而是在每一项对自己的任务目标负责的前提下用尽量小的尺度去驱动。我最初犯的错是慷慨地把每个奖励都拉到 ±1.0 量级结果机器人学会了先撞墙捞负奖励来获得“痛苦记忆”策略反而崩了。这件事留到权重调参的部分细讲。2. 10项复合奖励的逐项解析与设计逻辑这一章是整篇文章的核心我把10项奖励按功能分成三类任务导向、安全约束、行为塑形。每一项我都会写清楚定义、设计原因、初始化权重、以及我在调参中遇到的典型问题。2.1 任务导向类覆盖、进度与完成奖励1清扫覆盖率奖励(Coverage Reward)这是整个任务的主目标。我将房间划分成20x20的网格图每一个网格若被机器人的清扫刷覆盖到就标记为“已清扫”。奖励项设计为r_cov alpha * (new_covered_cells / total_cells)也就是每进入一个新格子就给出正奖励。这样的好处是信号密集几乎每一步都有反馈。但这里有几个容易被忽略的细节。第一网格分辨率很敏感网格太大机器人扫过一小块就算整格完成实际覆盖率虚高网格太小一个格子的宽度小于机器人本体直径会出现物理上扫不到的死角导致覆盖率上限被锁死。我最终用的是边长等于机器人直径1.5倍的网格既能体现清扫过程又不会让任务不可完成。第二要防止“扫过”的定义被钻空子我按机器人底盘的包围盒是否与格子相交判定而不只是激光中心点这样机器人更倾向于“扫过去”而不是“探头看一下”。奖励2清扫进度奖励(Progress Reward)覆盖率奖励解决的是“扫哪里”但没有解决“先扫哪再扫哪”。如果只给覆盖率奖励机器人会去扫最容易到达的中间区域然后一直卡在中间反复蹭分不去处理墙角。进度奖励的设计是记录当前未清扫区域的连通区域数量每当一个连通区域被清零就给一个额外奖励。这个奖励让机器人优先“消灭整块区域”而不是东一下西一下。有人可能会问这个跟覆盖率奖励不是重复吗实际上不重复。覆盖率奖励是密集的、每步都有的进度奖励是稀疏的、阶段性触发的。两者的配合关系就像“工资”和“项目奖金”工资让你每步都有收益感项目奖金让你愿意去做难啃的硬骨头比如墙角、家具边缘。2.2 安全约束类防撞、边界与姿态奖励3碰撞惩罚(Collision Penalty)机器人在扫地的过程中必然会靠近障碍物但“靠近”和“撞上”必须严格区分。我的碰撞惩罚设计是双层结构当激光检测到障碍物距离小于0.3m时开始施加一个与距离成反比的负奖励当真正触发碰撞时给予一个大额惩罚并写入训练数据。两层结构的好处是机器人能学会“提前减速”而不是“撞了再后悔”。这个负奖励的尺度比较敏感。给太小的惩罚机器人觉得撞一下也无所谓反正撞完继续扫还能赚回来给太大的惩罚机器人会变成“社交恐惧症”离所有障碍物都远远的结果墙角区域永远扫不到。我最终把这个惩罚的力度控制在单步最大负收益不超过覆盖率奖励的3倍保证“避撞”是优先级但不是绝对禁令。奖励4边界贴墙奖励(Boundary/Edge Reward)真正的痛点来了。前期评测分数卡在100分上不去很大原因是墙角、家具边缘这些区域覆盖率极低。扫地机器人如果只会扫开阔区域那它只是个“移动的拖把”不是“扫地机器人”。我加了一项贴墙奖励当机器人侧方激光距离在5cm到20cm之间且机器人角速度保持在一个低速区间时持续给一个小额正奖励。这个奖励是在诱导机器人做出“沿边清扫”的行为。但要注意贴墙奖励不能只看距离还要看机器人是否在“滑墙前进”。如果不看速度约束机器人学会了停在墙边5cm处发呆白拿正奖励。我加了一个姿态判断只有线速度大于0.1m/s时才触发贴墙奖励把“停在墙边”和“贴着墙走”区分开。奖励5姿态稳定性奖励(Stability Reward)扫地机的清扫效率跟姿态稳定性直接挂钩。频繁原地打转、反复摇头不仅浪费时间还会导致清扫路径混乱。这个奖励项的计算方式是r_stab -beta * angle_speed^2角速度绝对值越大负奖励越大。这里用平方项的好处是低速时几乎不影响决策但高速旋转时惩罚急剧放大。这个项加入之后我从训练曲线里明显看到机器人原来那种“先猛转一圈定位再朝目标走”的坏习惯被压下去了路径平滑度提升不少。2.3 行为塑形类效率、能耗与重复抑制奖励6重复清扫惩罚(Revisit Penalty)没有这个惩罚之前机器人会出现一个很搞笑的行为扫完一块区域之后像个强迫症一样反复回去确认“到底扫没扫干净”导致评测函数里的效率分狂掉。我的方案是维护一个“最近访问队列”以时间为维度记录最近10秒经过的网格坐标如果有坐标重复出现就给一个负奖励。这个设计比“全局访问计数”更合理全局计数会让机器人不敢回到起点附近而时间窗口只是抑制短时间内的“无意义折返”。奖励7能耗惩罚(Energy Penalty)机器人每一步动作都会消耗能量尤其是大线速度和大角速度叠加的时候。但注意这个惩罚不能简单设为“动就罚”否则机器人会学会原地静止。我把能耗惩罚设为与动作幅度的平方成正比r_energy -gamma * (v^2 w^2)。这样低速巡航几乎不消耗“奖励预算”高速冲刺会付出代价策略会自发地选择效率更高的路径。奖励8模糊动作惩罚(Fuzzy Action Penalty)这个项比较有意思。仿真环境里机器人会出现一种“手抖”现象在直线前进的过程中突然输出一个较大的角速度然后又立刻回正。从物理上这毫无意义但神经网络在探索阶段很容易产生这种高频抖动。我加了一个抖动惩罚计算连续两个时间步角速度之差差值超过阈值就惩罚。这一项对训练稳定性的贡献很大加入之后训练loss的震荡幅度明显变小。奖励9任务完成奖励(Completion Reward)当所有网格覆盖率超过95%考虑到角落无法100%覆盖给一个一次性的大额正奖励并且视作任务提前完成。这个奖励的作用是给策略一个“收尾动机”避免机器人扫到92%之后在房间里反复转圈就为了多蹭几个覆盖率小分。实际调参中发现完成奖励的阈值不能设太高如果设成98%以上机器人大概率会拿不到拿不到的策略会忽视这个信号95%比较合适既有挑战性又不至于完全无望。奖励10时间效率惩罚(Time Penalty)每个回合设立一个最大步数比如3000步每走一步给一个较小的固定负惩罚。这个项看起来简单实际上是整个复合奖励的“总闸”。它把所有正奖励的边际价值锚定到了一个统一的时间尺度上没有这个惩罚前9项奖励的权重怎么调都容易失衡。2.4 权重初始化与汇总这是我最常被问到的问题10项奖励的权重初始值怎么定我的建议是不需要一开始就精确但需要满足三个原则主目标奖励占最大预算、安全惩罚次之、塑形奖励以小尺度辅助。奖励项类型初始权重调参方向覆盖率奖励任务导向2.0过高会导致疯狂扫新格子忽略路径进度奖励任务导向1.0出现“避重就轻”时提高碰撞惩罚安全约束-3.0碰撞率高时加大卡死角时减小贴墙奖励安全约束0.5墙角覆盖率低时提高姿态稳定性安全约束-0.1路径太乱时提高重复惩罚行为塑形-0.8反复折返时提高能耗惩罚行为塑形-0.05路径低效时提高动作抖动行为塑形-0.3训练震荡大时提高完成奖励任务导向20.0提前完成困难时提高时间惩罚行为塑形-0.01回合过长时提高3. 实操过程从代码结构到三阶段调参3.1 奖励聚合器的代码实现复合奖励工程的第一步不是直接跑到训练脚本里改reward函数而是要把每一项奖励设计成独立的模块最后在聚合器中汇总。我强烈建议用“奖励项注册表”的方式而不是全写在一个巨大的reward函数里。下面是我用的伪代码结构class RewardComponent: def compute(self, obs, action, next_obs, info) - float: raise NotImplementedError class CoverageReward(RewardComponent): def __init__(self, grid_size20, cell_threshold0.5): self.grid np.zeros((grid_size, grid_size)) # 网格标记逻辑 def compute(self, obs, action, next_obs, info): newly_covered info[newly_covered_cells] total_cells np.prod(self.grid.shape) return newly_covered / total_cells class CollisionPenalty(RewardComponent): def __init__(self, threshold0.3, max_penalty3.0): self.threshold threshold self.max_penalty max_penalty def compute(self, obs, action, next_obs, info): min_lidar info[min_lidar_distance] if min_lidar self.threshold: # 线性映射: 距离越近惩罚越大 progress 1 - min_lidar / self.threshold return -self.max_penalty * progress return 0.0 class RewardAggregator: def __init__(self, components: dict): self.components components self.weights {} for name in components: self.weights[name] 1.0 def get_total_reward(self, obs, action, next_obs, info): total 0.0 reward_log {} for name, component in self.components.items(): r component.compute(obs, action, next_obs, info) total self.weights[name] * r reward_log[name] round(r, 4) return total, reward_log这样做的最大好处是可观测、可插拔。我训练的时候每500步就打一次reward_log日志看每一项的均值变化。比如某个阶段我发现“覆盖率奖励的均值很高但完成奖励一直没触发”我就能快速定位到策略被困在哪个角落。如果所有逻辑写在一个函数里出了问题你根本不知道是哪个环节带来的异常信号。3.2 权重怎么调从定性到定量权重调整是一个典型的“耦合调参”问题10个参数之间存在强关联一个一个调会陷入死循环。我用的方法是“分层冻结调参法”第一步先冻结行为塑形类的所有权重只调任务导向类覆盖率进度完成。目标是让机器人能完成清扫任务哪怕路径丑、碰撞多这时候我人为接受90分左右的水平。第二步冻结任务导向类调安全约束类碰撞贴墙姿态。目标是让机器人在完成清扫的前提下把碰撞降下来。这一步改完之后评测分数通常会有一次突降因为安全约束会抑制部分“激进扫新格”的行为但之后随着训练推进策略会重新找到平衡点分数反而会上一个台阶。第三步全部放开调行为塑形类重复、能耗、抖动、时间。这些项是小尺度的即使调错也不会导致任务失败但会把效率分拉上去。整个过程中最重要的技巧是盯着滑动平均曲线而不是单次评测分数。单次评测有随机性滑动平均才能反映真实趋势。我用TensorBoard记录每2000步的滑动平均Episode Score哪一步曲线开始横盘就说明当前奖励组合下策略到了瓶颈需要动权重。还有一个调参原则一次只改一个权重改完至少跑2万步再评估。因为策略对奖励变化的响应有滞后性改完权重立刻看结果看到的全是噪声很容易把参数越调越乱。3.3 从100到778的三个关键里程碑掐着时间线说说分数爬坡的经过。第一阶段我只有覆盖率奖励曲线在100分附近剧烈震荡机器人学会了用“原地旋转刷分”的方式在网格图上刷覆盖评测函数里的效率分全是0。第二阶段我加入了碰撞惩罚、时间惩罚、完成奖励把稀疏目标变成密集信号。这个改动让学习曲线开始肉眼可见地快速上升三天内从100分爬到了260分左右随后来了一次回撤掉到220分。原因是我给的碰撞惩罚太大机器人开始不敢接近任何障碍物墙角覆盖率暴跌。我把碰撞惩罚从-5.0调整到-3.0又加上了贴墙奖励才把分数稳定住。第三阶段也就是最关键的从400分到778分的区间靠的是行为塑形类的“三件套”重复惩罚、动作抖动惩罚、能耗惩罚。这三项一接进去前面那种“完成了但是效率很差”的问题被针对性解决。我在日志里看到回合平均步数从2300步降到了1100步路径长度缩短了一半还多评测函数的效率分拉满覆盖率因为路径更规整反而上升了几个点。4. 常见问题与排查技巧实录4.1 奖励黑客Reward Hacking与学歪行为奖励黑客是奖励工程里最普遍也最头疼的问题。我遇到的第一个黑客行为是“原地自旋刷覆盖率”20x20的网格图机器人站在同一个位置旋转因为判定“扫过”的条件是底盘包围盒覆盖旋转时包围盒确实会覆盖到周围一格所以每转一圈都能捞到一次覆盖率奖励。这个问题的根治方案是给覆盖率奖励加上“去重”语义同一个网格只有第一次被覆盖时才给奖励。这也是为什么我的CoverageReward里用的是newly_covered_cells而不是covered_cells。我见过很多项目在这里偷懒直接用总覆盖率的差值结果就出现原地抖动刷分的行为。另一个黑客行为比较隐蔽机器人学会了“撞墙回弹”。因为在仿真环境里撞墙会产生一个自然的反弹力机器人利用这个反弹力快速掉头节省了转向时间同时还触发了“接近障碍物的早期警告”因为撞上之前有一段距离梯度。后来我加了碰撞惩罚的“短时记忆”碰撞事件发生后3秒内额外的正奖励全部按50%折扣计算这样利用撞墙“节省时间”的收益就被抵消了。4.2 训练不收敛的三大元凶我跟踪过几次训练彻底崩掉的案例归纳下来原因都逃不出这三类。第一类是奖励尺度不匹配。复合奖励各项的尺度差异过大时梯度更新会偏向大尺度项。我经历过一次覆盖率奖励权重开太大策略完全忽略了避障疯狂冲向障碍物因为撞墙的负奖励根本盖不住扫新格子的正收益。判断方法是看reward_log里各项的均值如果某一项的均值比其他项大一个数量级就说明尺度失衡。第二类是奖励信号与动作因果性断裂。出现的情况是机器人已经扫过了一块区域但清扫判定延迟了一秒才触发奖励这一秒内机器人已经转了方向。策略学到的是“转方向”而不是“往前扫”行为就变得诡异。我排查了半天发现是仿真环境的消息通信有延迟info里的网格更新比我以为的慢了一步。解决方式是把奖励计算改成基于历史轨迹跟踪维护一个轨迹缓冲区当网格真正被扫描时把奖励归因到“扫描发生的那一步”而不是“收到消息的那一步”。第三类是过强的塑形奖励遮盖了主目标。我在加贴墙奖励的时候一开始给的奖励频率太高、幅度太大结果机器人变成了“贴墙强迫症”沿着墙边一遍一遍地走就是不去房间中央清扫。这是塑形奖励的通病它会按频率选择行为而不是按重要性选择行为。最后我把贴墙奖励的触发条件从“持续贴墙”改成“贴墙且每网格首次覆盖附近区域”才把主目标拉回正轨。4.3 问题速查表这一张表是我在项目收尾后整理的排查清单基本覆盖了复合奖励工程中90%的翻车现场症状可能原因排查/缓解方案分数卡住不动各项奖励尺度差异过大看reward_log各项均值压缩大尺度项机器人原地转圈旋转能触发额外网格覆盖覆盖率奖励使用首次覆盖语义总往墙边蹭但覆盖率低贴墙奖励频率过高贴墙奖励限频或加主目标前提碰撞频繁碰撞惩罚低于任务推进收益加大碰撞惩罚权重或加时间惩罚逼效率路径抖动频繁动作空间连续但无平滑约束加动作抖动惩罚项回合时间无限拉长完成奖励阈值过高下调覆盖率阈值到95%训练损失震荡剧烈奖励信号因果延迟用轨迹缓冲区重映射奖励归因完成但效率评分低缺少重复/能耗惩罚补行为塑形类惩罚项5. 写在最后的实操体会这轮项目做下来的最大感受是复合奖励工程的本质不是“加更多奖励”而是“让每一项奖励都只做一件事”。覆盖率奖励只负责扫新网格碰撞惩罚只负责防撞重复惩罚只负责抑制折返。任何一个奖励项试图同时干两件事调参的复杂度就会指数级上升。我踩过最深的坑就是试图用一个“综合质量奖励”把所有指标打包成一个分值结果训练出来的行为说不清是哪里出了问题没法针对性调权。后来痛定思痛全部拆成单一语义的小组件每一项都能单独观测、单独归因整个系统变得透明可控。如果你想复现这个流程我的建议是从覆盖率碰撞时间惩罚三项起盘这三项能建立起最基础的任务闭环。等这三项稳定之后再逐步加入贴墙、重复抑制、姿态稳定等塑形项每一步都记录分数变化。不要一上来就把10项奖励全配上那样系统出了任何问题你都得靠猜。复合奖励调到后期其实每一行权重都是你与机器人之间的一次沟通这里可以再冒进一点那里需要更多耐心什么地方优先什么地方可以牺牲。一个从100分到778分的项目真正调的不是数值是行为偏好本身。
1. 项目思路拆解为什么稀疏奖励卡死在了100分先把话说在前面我用“清扫机器人”这个环境做了将近两个月的奖励工程从最初一个只给“清扫覆盖率”的稀疏奖励把评测分数死死摁在100分上下到最后把10项复合奖励全部接进去跑出778分。整个过程踩的坑比我想象中多得多。很多人觉得强化学习最难的是算法选型或者网络结构真正上手之后你会明白奖励工程才是决定上限的那道坎。先说清楚这个项目的环境。我用的是一个带激光雷达的扫地机器人仿真环境机器人有差速底盘360度激光观测动作空间是线速度和角速度目标是把房间里的污渍区域全部清扫干净同时不撞墙、不卡住、不过度重复。官方给了一个评测函数综合了清扫覆盖率、碰撞次数、任务完成度输出一个0到1000分左右的Episode Score。第一版我天真地只给了一个奖励机器人每扫过一块污渍网格给 1 分没有其他任何引导。结果呢机器人确实学会了扫污渍但也学会了疯狂原地转圈、靠墙角蹭分、撞一下墙之后再绕回去继续扫评测分数大概卡在100分上下怎么调网络都上不去。这就是典型的稀疏奖励陷阱。任务确实完成了但完成的路径极其低效而且大量的无效探索让训练过程严重震荡。真正把分数从100推向778的是我把“奖励”从单一标量信号拆成了一组描述“好行为”的复合信号——也就是标题里说的10项复合奖励。每项奖励负责一个面覆盖率负责任务目标接近障碍物负奖励负责安全重复清扫负奖励负责高效完成奖励负责结局。这里面的核心思路其实很朴素强化学习的奖励函数本质上是人类把“怎么做才算好”翻译成机器人能优化的数值信号。单一稀疏奖励的问题在于信息量太低机器人只能知道“最终做对没”却不知道“刚才哪几步做对了”。复合奖励相当于把一个模糊的“清扫得不错”拆成了网格覆盖、边界贴边、路径高效、姿态稳定等十几个细粒度条件每一步都能获得反馈。这样策略梯度就有了连续的优化方向而不是只能在任务终点拿到一次信号。这个思路真正落地时需要注意一个反直觉的点复合奖励不是在每一项上都给得越多越好而是在每一项对自己的任务目标负责的前提下用尽量小的尺度去驱动。我最初犯的错是慷慨地把每个奖励都拉到 ±1.0 量级结果机器人学会了先撞墙捞负奖励来获得“痛苦记忆”策略反而崩了。这件事留到权重调参的部分细讲。2. 10项复合奖励的逐项解析与设计逻辑这一章是整篇文章的核心我把10项奖励按功能分成三类任务导向、安全约束、行为塑形。每一项我都会写清楚定义、设计原因、初始化权重、以及我在调参中遇到的典型问题。2.1 任务导向类覆盖、进度与完成奖励1清扫覆盖率奖励(Coverage Reward)这是整个任务的主目标。我将房间划分成20x20的网格图每一个网格若被机器人的清扫刷覆盖到就标记为“已清扫”。奖励项设计为r_cov alpha * (new_covered_cells / total_cells)也就是每进入一个新格子就给出正奖励。这样的好处是信号密集几乎每一步都有反馈。但这里有几个容易被忽略的细节。第一网格分辨率很敏感网格太大机器人扫过一小块就算整格完成实际覆盖率虚高网格太小一个格子的宽度小于机器人本体直径会出现物理上扫不到的死角导致覆盖率上限被锁死。我最终用的是边长等于机器人直径1.5倍的网格既能体现清扫过程又不会让任务不可完成。第二要防止“扫过”的定义被钻空子我按机器人底盘的包围盒是否与格子相交判定而不只是激光中心点这样机器人更倾向于“扫过去”而不是“探头看一下”。奖励2清扫进度奖励(Progress Reward)覆盖率奖励解决的是“扫哪里”但没有解决“先扫哪再扫哪”。如果只给覆盖率奖励机器人会去扫最容易到达的中间区域然后一直卡在中间反复蹭分不去处理墙角。进度奖励的设计是记录当前未清扫区域的连通区域数量每当一个连通区域被清零就给一个额外奖励。这个奖励让机器人优先“消灭整块区域”而不是东一下西一下。有人可能会问这个跟覆盖率奖励不是重复吗实际上不重复。覆盖率奖励是密集的、每步都有的进度奖励是稀疏的、阶段性触发的。两者的配合关系就像“工资”和“项目奖金”工资让你每步都有收益感项目奖金让你愿意去做难啃的硬骨头比如墙角、家具边缘。2.2 安全约束类防撞、边界与姿态奖励3碰撞惩罚(Collision Penalty)机器人在扫地的过程中必然会靠近障碍物但“靠近”和“撞上”必须严格区分。我的碰撞惩罚设计是双层结构当激光检测到障碍物距离小于0.3m时开始施加一个与距离成反比的负奖励当真正触发碰撞时给予一个大额惩罚并写入训练数据。两层结构的好处是机器人能学会“提前减速”而不是“撞了再后悔”。这个负奖励的尺度比较敏感。给太小的惩罚机器人觉得撞一下也无所谓反正撞完继续扫还能赚回来给太大的惩罚机器人会变成“社交恐惧症”离所有障碍物都远远的结果墙角区域永远扫不到。我最终把这个惩罚的力度控制在单步最大负收益不超过覆盖率奖励的3倍保证“避撞”是优先级但不是绝对禁令。奖励4边界贴墙奖励(Boundary/Edge Reward)真正的痛点来了。前期评测分数卡在100分上不去很大原因是墙角、家具边缘这些区域覆盖率极低。扫地机器人如果只会扫开阔区域那它只是个“移动的拖把”不是“扫地机器人”。我加了一项贴墙奖励当机器人侧方激光距离在5cm到20cm之间且机器人角速度保持在一个低速区间时持续给一个小额正奖励。这个奖励是在诱导机器人做出“沿边清扫”的行为。但要注意贴墙奖励不能只看距离还要看机器人是否在“滑墙前进”。如果不看速度约束机器人学会了停在墙边5cm处发呆白拿正奖励。我加了一个姿态判断只有线速度大于0.1m/s时才触发贴墙奖励把“停在墙边”和“贴着墙走”区分开。奖励5姿态稳定性奖励(Stability Reward)扫地机的清扫效率跟姿态稳定性直接挂钩。频繁原地打转、反复摇头不仅浪费时间还会导致清扫路径混乱。这个奖励项的计算方式是r_stab -beta * angle_speed^2角速度绝对值越大负奖励越大。这里用平方项的好处是低速时几乎不影响决策但高速旋转时惩罚急剧放大。这个项加入之后我从训练曲线里明显看到机器人原来那种“先猛转一圈定位再朝目标走”的坏习惯被压下去了路径平滑度提升不少。2.3 行为塑形类效率、能耗与重复抑制奖励6重复清扫惩罚(Revisit Penalty)没有这个惩罚之前机器人会出现一个很搞笑的行为扫完一块区域之后像个强迫症一样反复回去确认“到底扫没扫干净”导致评测函数里的效率分狂掉。我的方案是维护一个“最近访问队列”以时间为维度记录最近10秒经过的网格坐标如果有坐标重复出现就给一个负奖励。这个设计比“全局访问计数”更合理全局计数会让机器人不敢回到起点附近而时间窗口只是抑制短时间内的“无意义折返”。奖励7能耗惩罚(Energy Penalty)机器人每一步动作都会消耗能量尤其是大线速度和大角速度叠加的时候。但注意这个惩罚不能简单设为“动就罚”否则机器人会学会原地静止。我把能耗惩罚设为与动作幅度的平方成正比r_energy -gamma * (v^2 w^2)。这样低速巡航几乎不消耗“奖励预算”高速冲刺会付出代价策略会自发地选择效率更高的路径。奖励8模糊动作惩罚(Fuzzy Action Penalty)这个项比较有意思。仿真环境里机器人会出现一种“手抖”现象在直线前进的过程中突然输出一个较大的角速度然后又立刻回正。从物理上这毫无意义但神经网络在探索阶段很容易产生这种高频抖动。我加了一个抖动惩罚计算连续两个时间步角速度之差差值超过阈值就惩罚。这一项对训练稳定性的贡献很大加入之后训练loss的震荡幅度明显变小。奖励9任务完成奖励(Completion Reward)当所有网格覆盖率超过95%考虑到角落无法100%覆盖给一个一次性的大额正奖励并且视作任务提前完成。这个奖励的作用是给策略一个“收尾动机”避免机器人扫到92%之后在房间里反复转圈就为了多蹭几个覆盖率小分。实际调参中发现完成奖励的阈值不能设太高如果设成98%以上机器人大概率会拿不到拿不到的策略会忽视这个信号95%比较合适既有挑战性又不至于完全无望。奖励10时间效率惩罚(Time Penalty)每个回合设立一个最大步数比如3000步每走一步给一个较小的固定负惩罚。这个项看起来简单实际上是整个复合奖励的“总闸”。它把所有正奖励的边际价值锚定到了一个统一的时间尺度上没有这个惩罚前9项奖励的权重怎么调都容易失衡。2.4 权重初始化与汇总这是我最常被问到的问题10项奖励的权重初始值怎么定我的建议是不需要一开始就精确但需要满足三个原则主目标奖励占最大预算、安全惩罚次之、塑形奖励以小尺度辅助。奖励项类型初始权重调参方向覆盖率奖励任务导向2.0过高会导致疯狂扫新格子忽略路径进度奖励任务导向1.0出现“避重就轻”时提高碰撞惩罚安全约束-3.0碰撞率高时加大卡死角时减小贴墙奖励安全约束0.5墙角覆盖率低时提高姿态稳定性安全约束-0.1路径太乱时提高重复惩罚行为塑形-0.8反复折返时提高能耗惩罚行为塑形-0.05路径低效时提高动作抖动行为塑形-0.3训练震荡大时提高完成奖励任务导向20.0提前完成困难时提高时间惩罚行为塑形-0.01回合过长时提高3. 实操过程从代码结构到三阶段调参3.1 奖励聚合器的代码实现复合奖励工程的第一步不是直接跑到训练脚本里改reward函数而是要把每一项奖励设计成独立的模块最后在聚合器中汇总。我强烈建议用“奖励项注册表”的方式而不是全写在一个巨大的reward函数里。下面是我用的伪代码结构class RewardComponent: def compute(self, obs, action, next_obs, info) - float: raise NotImplementedError class CoverageReward(RewardComponent): def __init__(self, grid_size20, cell_threshold0.5): self.grid np.zeros((grid_size, grid_size)) # 网格标记逻辑 def compute(self, obs, action, next_obs, info): newly_covered info[newly_covered_cells] total_cells np.prod(self.grid.shape) return newly_covered / total_cells class CollisionPenalty(RewardComponent): def __init__(self, threshold0.3, max_penalty3.0): self.threshold threshold self.max_penalty max_penalty def compute(self, obs, action, next_obs, info): min_lidar info[min_lidar_distance] if min_lidar self.threshold: # 线性映射: 距离越近惩罚越大 progress 1 - min_lidar / self.threshold return -self.max_penalty * progress return 0.0 class RewardAggregator: def __init__(self, components: dict): self.components components self.weights {} for name in components: self.weights[name] 1.0 def get_total_reward(self, obs, action, next_obs, info): total 0.0 reward_log {} for name, component in self.components.items(): r component.compute(obs, action, next_obs, info) total self.weights[name] * r reward_log[name] round(r, 4) return total, reward_log这样做的最大好处是可观测、可插拔。我训练的时候每500步就打一次reward_log日志看每一项的均值变化。比如某个阶段我发现“覆盖率奖励的均值很高但完成奖励一直没触发”我就能快速定位到策略被困在哪个角落。如果所有逻辑写在一个函数里出了问题你根本不知道是哪个环节带来的异常信号。3.2 权重怎么调从定性到定量权重调整是一个典型的“耦合调参”问题10个参数之间存在强关联一个一个调会陷入死循环。我用的方法是“分层冻结调参法”第一步先冻结行为塑形类的所有权重只调任务导向类覆盖率进度完成。目标是让机器人能完成清扫任务哪怕路径丑、碰撞多这时候我人为接受90分左右的水平。第二步冻结任务导向类调安全约束类碰撞贴墙姿态。目标是让机器人在完成清扫的前提下把碰撞降下来。这一步改完之后评测分数通常会有一次突降因为安全约束会抑制部分“激进扫新格”的行为但之后随着训练推进策略会重新找到平衡点分数反而会上一个台阶。第三步全部放开调行为塑形类重复、能耗、抖动、时间。这些项是小尺度的即使调错也不会导致任务失败但会把效率分拉上去。整个过程中最重要的技巧是盯着滑动平均曲线而不是单次评测分数。单次评测有随机性滑动平均才能反映真实趋势。我用TensorBoard记录每2000步的滑动平均Episode Score哪一步曲线开始横盘就说明当前奖励组合下策略到了瓶颈需要动权重。还有一个调参原则一次只改一个权重改完至少跑2万步再评估。因为策略对奖励变化的响应有滞后性改完权重立刻看结果看到的全是噪声很容易把参数越调越乱。3.3 从100到778的三个关键里程碑掐着时间线说说分数爬坡的经过。第一阶段我只有覆盖率奖励曲线在100分附近剧烈震荡机器人学会了用“原地旋转刷分”的方式在网格图上刷覆盖评测函数里的效率分全是0。第二阶段我加入了碰撞惩罚、时间惩罚、完成奖励把稀疏目标变成密集信号。这个改动让学习曲线开始肉眼可见地快速上升三天内从100分爬到了260分左右随后来了一次回撤掉到220分。原因是我给的碰撞惩罚太大机器人开始不敢接近任何障碍物墙角覆盖率暴跌。我把碰撞惩罚从-5.0调整到-3.0又加上了贴墙奖励才把分数稳定住。第三阶段也就是最关键的从400分到778分的区间靠的是行为塑形类的“三件套”重复惩罚、动作抖动惩罚、能耗惩罚。这三项一接进去前面那种“完成了但是效率很差”的问题被针对性解决。我在日志里看到回合平均步数从2300步降到了1100步路径长度缩短了一半还多评测函数的效率分拉满覆盖率因为路径更规整反而上升了几个点。4. 常见问题与排查技巧实录4.1 奖励黑客Reward Hacking与学歪行为奖励黑客是奖励工程里最普遍也最头疼的问题。我遇到的第一个黑客行为是“原地自旋刷覆盖率”20x20的网格图机器人站在同一个位置旋转因为判定“扫过”的条件是底盘包围盒覆盖旋转时包围盒确实会覆盖到周围一格所以每转一圈都能捞到一次覆盖率奖励。这个问题的根治方案是给覆盖率奖励加上“去重”语义同一个网格只有第一次被覆盖时才给奖励。这也是为什么我的CoverageReward里用的是newly_covered_cells而不是covered_cells。我见过很多项目在这里偷懒直接用总覆盖率的差值结果就出现原地抖动刷分的行为。另一个黑客行为比较隐蔽机器人学会了“撞墙回弹”。因为在仿真环境里撞墙会产生一个自然的反弹力机器人利用这个反弹力快速掉头节省了转向时间同时还触发了“接近障碍物的早期警告”因为撞上之前有一段距离梯度。后来我加了碰撞惩罚的“短时记忆”碰撞事件发生后3秒内额外的正奖励全部按50%折扣计算这样利用撞墙“节省时间”的收益就被抵消了。4.2 训练不收敛的三大元凶我跟踪过几次训练彻底崩掉的案例归纳下来原因都逃不出这三类。第一类是奖励尺度不匹配。复合奖励各项的尺度差异过大时梯度更新会偏向大尺度项。我经历过一次覆盖率奖励权重开太大策略完全忽略了避障疯狂冲向障碍物因为撞墙的负奖励根本盖不住扫新格子的正收益。判断方法是看reward_log里各项的均值如果某一项的均值比其他项大一个数量级就说明尺度失衡。第二类是奖励信号与动作因果性断裂。出现的情况是机器人已经扫过了一块区域但清扫判定延迟了一秒才触发奖励这一秒内机器人已经转了方向。策略学到的是“转方向”而不是“往前扫”行为就变得诡异。我排查了半天发现是仿真环境的消息通信有延迟info里的网格更新比我以为的慢了一步。解决方式是把奖励计算改成基于历史轨迹跟踪维护一个轨迹缓冲区当网格真正被扫描时把奖励归因到“扫描发生的那一步”而不是“收到消息的那一步”。第三类是过强的塑形奖励遮盖了主目标。我在加贴墙奖励的时候一开始给的奖励频率太高、幅度太大结果机器人变成了“贴墙强迫症”沿着墙边一遍一遍地走就是不去房间中央清扫。这是塑形奖励的通病它会按频率选择行为而不是按重要性选择行为。最后我把贴墙奖励的触发条件从“持续贴墙”改成“贴墙且每网格首次覆盖附近区域”才把主目标拉回正轨。4.3 问题速查表这一张表是我在项目收尾后整理的排查清单基本覆盖了复合奖励工程中90%的翻车现场症状可能原因排查/缓解方案分数卡住不动各项奖励尺度差异过大看reward_log各项均值压缩大尺度项机器人原地转圈旋转能触发额外网格覆盖覆盖率奖励使用首次覆盖语义总往墙边蹭但覆盖率低贴墙奖励频率过高贴墙奖励限频或加主目标前提碰撞频繁碰撞惩罚低于任务推进收益加大碰撞惩罚权重或加时间惩罚逼效率路径抖动频繁动作空间连续但无平滑约束加动作抖动惩罚项回合时间无限拉长完成奖励阈值过高下调覆盖率阈值到95%训练损失震荡剧烈奖励信号因果延迟用轨迹缓冲区重映射奖励归因完成但效率评分低缺少重复/能耗惩罚补行为塑形类惩罚项5. 写在最后的实操体会这轮项目做下来的最大感受是复合奖励工程的本质不是“加更多奖励”而是“让每一项奖励都只做一件事”。覆盖率奖励只负责扫新网格碰撞惩罚只负责防撞重复惩罚只负责抑制折返。任何一个奖励项试图同时干两件事调参的复杂度就会指数级上升。我踩过最深的坑就是试图用一个“综合质量奖励”把所有指标打包成一个分值结果训练出来的行为说不清是哪里出了问题没法针对性调权。后来痛定思痛全部拆成单一语义的小组件每一项都能单独观测、单独归因整个系统变得透明可控。如果你想复现这个流程我的建议是从覆盖率碰撞时间惩罚三项起盘这三项能建立起最基础的任务闭环。等这三项稳定之后再逐步加入贴墙、重复抑制、姿态稳定等塑形项每一步都记录分数变化。不要一上来就把10项奖励全配上那样系统出了任何问题你都得靠猜。复合奖励调到后期其实每一行权重都是你与机器人之间的一次沟通这里可以再冒进一点那里需要更多耐心什么地方优先什么地方可以牺牲。一个从100分到778分的项目真正调的不是数值是行为偏好本身。
