前两周我帮一个刚接触智能控制的小团队带了个入门 Demo目标很朴素让机器人自己走出迷宫而且不告诉它“哪条路最省事”。迷宫是网格化的机器人只知道四个方向的动作撞墙会被扣分走到出口会拿到奖励除此之外它不掌握任何地图信息。跑了不到几百回合它从到处瞎撞到能稳定绕开障碍最后用一条很短的路径抵达出口。这个过程走完基本就把强化学习里最核心的状态、动作、奖励、训练循环都串起来了。这篇就从“机器人走出迷宫”这个任务讲起。适合第一次接触强化学习的开发者也适合那些已经看过公式、但不知道怎么落地到一个小 Demo 上的朋友。我会用一套简单的网格迷宫作为例子把 Q-learning 背后的原理、环境建模、参数调法和踩坑记录都写清楚。你不需要先懂神经网络也不需要翻完一本厚书只要照着这篇的思路跑一次就能理解强化学习到底是怎么回事。1. 迷宫任务到底在跟强化学习“交换”什么信息1.1 把迷宫抽象成状态、动作、奖励强化学习有四个最基本的零件环境、状态、动作、奖励。迷宫任务里机器人观察到的“状态”就是当前所在格子的坐标比如(0,0)表示左下角起点它能执行的“动作”就是向上、向下、向左、向右每一次动作之后环境会回一个“奖励”信号告诉它这个动作好不好。这四个零件缺一不可。状态决定了机器人目前处在什么局面动作决定了它可以怎么改变局面奖励决定了它应该往哪个方向优化而环境负责把所有逻辑串起来你给出一个动作环境返回下一个状态和奖励。初学者最容易忽略的一点是状态不一定等于完整地图。机器人不需要知道墙在哪里、出口在哪里它只需要知道自己“当前在哪个格子”。地图信息藏在环境里机器人必须通过一次次试错才能慢慢摸清。这跟普通游戏里打开小地图看全局路径是完全不同的体验。在一套简单的迷宫环境里我通常会这样定义组件迷宫中的对应说明环境整个网格地图包含边界、墙体、起点、出口状态机器人当前所在格子坐标例如(2,3)表示第二行第三列动作上下左右四个方向的移动撞墙时留在原地不越界奖励走到出口给正奖励撞墙给负奖励后续细讲推荐方案这个抽象方式非常关键。你之后把地图加大、改成连续空间、甚至换成机器人身上的摄像头画面本质上还是在围绕“状态、动作、奖励”这三件事做文章。1.2 “没有标准答案”才是关键很多第一次接触强化学习的人会拿它跟监督学习对比。监督学习里你已经知道每个输入对应的正确答案模型只需要把这些映射关系“背”下来比如判断一张图片是不是猫训练数据里有明确的标签。但强化学习没有这种标准答案。迷宫任务里你没有办法提前告诉机器人“当你站在(2,2)时就要向上走”。因为你不可能提前枚举所有情况而且一步动作的好坏要看未来几步的影响。站在某个格子向上走可能暂时看着绕路但能避开一面墙向下走可能立刻靠近出口却会走进死胡同。如果只用当前这一步的“对错”来判断机器人永远学不会长远规划。这就像小时候玩的“热/冷”游戏。你闭着眼睛找藏起来的奖品别人只告诉你“更热了”或者“更冷了”。你没有每一步的标准路径只能根据温度的反馈调整方向。温度不是标准答案它只是一个评估信号。强化学习的目标也不是“每一步都做对”而是“最大化整个过程的回报”。机器人可以偶尔走弯路但整体上要能攒到更多奖励。于是就有了策略这个概念策略π表示“状态到动作”的映射关系机器人要学的就是找到一个策略使执行它之后累积的奖励最多。2. 环境建模是第一道分水岭建模错了后面全白搭2.1 迷宫环境到底怎么定义才不容易出 bug很多强化学习项目跑不出效果问题不是出在算法而是出在环境代码。环境是算法和任务之间的桥梁如果桥搭歪了再高级的算法也过不去。我习惯用“坐标 墙体集合”的方式建模。这样写最直接也不容易跟二维数组的行列概念混淆。以下是一个 6 行 6 列的迷宫ROWS 6 COLS 6 # 墙体的坐标集合 WALLS { (1, 0), (1, 1), (1, 3), (1, 4), (3, 1), (3, 2), (3, 4), (4, 4), } START (0, 0) EXIT (5, 5) ACTIONS (up, down, left, right) MOVES { up: (-1, 0), down: (1, 0), left: (0, -1), right: (0, 1), }然后写一个不可见的地图逻辑判断一个位置是不是合法位置以及执行一次动作后到达哪里。def is_valid(pos): r, c pos return 0 r ROWS and 0 c COLS and pos not in WALLS def step(state, action): dr, dc MOVES[action] next_state (state[0] dr, state[1] dc) if not is_valid(next_state): # 撞墙或越界留在原地 return state return next_statestep函数是环境的核心。我特别强调一点撞墙或越界时不要直接让程序报错而是让机器人留在原地。这样方便在训练循环里统一处理 “撞墙” 这个信号也符合真实机器人的行为撞墙不是死亡只是行动失败得换一条路。墙体集合用set而不是列表是为了用x in WALLS做常数时间判断。这在小 Demo 里看不出性能差异但它能养成一个好习惯环境逻辑本身要快后面算法要跑几千几万次循环环境慢了会特别难受。2.2 奖励设置会带来完全不同的学习行为同一张地图奖励函数不同机器人学出来的行为很可能完全不同。这地方我踩过不少次下面说清楚几种典型写法。最常见的是“稀疏奖励”到达出口给一个大的正奖励其余情况一律 0 或很小的负奖励。这种方法概念上最直观机器人必须靠大量随机探索碰巧发现出口才能把奖励信号一路传回来。问题也很明显如果迷宫稍大随机撞到出口的概率太低训练会非常慢。另一种是“每一步都有一点小惩罚”比如走出终点之外的每一步给-0.04。这样机器人会天然倾向于用更少的步数到达出口学出来的路线更短。如果只给出入口奖励其余全是 0机器人虽然能到达但路径经常乱绕因为它并不在乎步数。还有一个做法是设计“势能奖励”根据目标点的距离给一个接近目标的加分。这种方式在某些场景收敛快但在迷宫里特别容易把机器人带偏。因为它会被“距离”欺骗比如墙体前面明明绕过去更近但它发现直接往目标方向走暂时能提高分数于是反而卡在墙边反复尝试。入门阶段我不推荐用这种奖励等基础扎实了再玩。我现在的默认结果是情况奖励到达出口10撞墙或越界-1普通移动-0.04为什么出口奖励和撞墙惩罚差这么多因为-0.04是微小的行为约束只让机器人尽量少走冤枉路-1是明显的行为否定让它迅速避开墙10是明确的正反馈让它知道目标在哪里。这三者之间要有比较清晰的层次混在一起会让 Q 值更新变得很“模糊”。奖励不是越大越好。如果出口奖励设为100但每步没有代价机器人可能走到出口附近还是会绕因为只要有正收益它就觉得“怎么走都行”。反过来如果每步惩罚设为-1机器人可能干脆原地不动因为至少不会继续扣分。奖励的数量级要经过实际跑分来判断不能拍脑袋。3. Q-learning一张表就能让机器人记住“哪个方向值得试”3.1 Q 表、TD target、更新公式拆开讲Q-learning 是入门强化学习绕不开的经典算法因为它好理解、好落地而且在小规模状态空间里效果很可靠。它要维护一张 Q 表记录“在状态s下执行动作a”的价值记作Q(s, a)。你可以把 Q 表想象成一本“经验账本”。每个格子的四个方向都有一笔账刚开始都是 0表示“没试过、不知道好坏”。机器人每走一步就根据实际收到的奖励去更新这笔账。Q-learning 的核心更新公式长这样Q(s, a) ← Q(s, a) α * [ r γ * max(Q(s, a)) - Q(s, a) ]拆开看每个符号α是学习率决定新经验有多大影响r是这一步拿到的奖励γ是折扣因子决定未来奖励在现在看来的权重s是执行动作后进入的下一个状态max(Q(s, a))表示下个状态里所有动作中最好的那个价值代表“未来能得到的最大收益”。公式里的r γ * max(Q(s, a))叫 TD target它是“当前即时奖励”和“未来最优收益”的组合Q(s, a)是旧估值。两者相减得到误差再用学习率去修正。这就是时序差分学习的核心思路不一定要走到终点才知道结果走一步之后就可以把“下一步的估计价值”当成部分答案拿回来更新。这个思想比动态规划要轻得多。机器人不需要知道完整的地图模型只需要通过实际采样一步步试错就能逐步逼近真实价值。这也是强化学习适合真实机器人控制的原因之一因为真实世界里你不可能提前拿到可靠的全局模型。为了直观理解我举个例子。假设机器人第一次随机走到出口旁边的格子(4,5)向左一步进入出口得到10。此时如果γ 0.9那么当前格子“向左”这个动作的价值会瞬间上涨很多。以后机器人再次到(4,5)附近时它就更倾向于向左而不是到处乱撞。3.2 一个完整可跑的 Q-learning 训练循环下面的代码不依赖任何第三方库用纯 Python 就能跑起来。它先初始化 Q 表然后开始多轮训练import random # 初始化 Q 表 Q {} for r in range(ROWS): for c in range(COLS): if (r, c) not in WALLS: for action in ACTIONS: Q[((r, c), action)] 0.0 alpha 0.1 gamma 0.95 epsilon 1.0 min_epsilon 0.05 epsilon_decay 0.995 total_episodes 2000 max_steps 100 for episode in range(total_episodes): state START done False for t in range(max_steps): # epsilon-greedy 策略 if random.random() epsilon: action random.choice(ACTIONS) else: best_value max(Q[(state, action)] for action in ACTIONS) candidates [ action for action in ACTIONS if Q[(state, action)] best_value ] action random.choice(candidates) next_state step(state, action) # 奖励统一在环境外面处理便于调试 if next_state EXIT: reward 10.0 done True elif next_state state: reward -1.0 else: reward -0.04 # 计算下一个状态的最大 Q 值 best_next max(Q[(next_state, action)] for action in ACTIONS) # Q-learning 更新 Q[(state, action)] alpha * ( reward gamma * best_next - Q[(state, action)] ) state next_state if done: break # 每回合结束后衰减探索率 epsilon max(min_epsilon, epsilon * epsilon_decay)这段代码里有几个容易看走眼的点。第一个是“在 Q 值相同的情况下随机挑选一个动作”。如果直接固定写max(ACTIONS, key...)机器人遇到所有动作 Q 值都等于 0 的情况时会一直选第一个动作导致某些方向永远没被探索过。随机打破平局是我一直坚持的写法。第二个是best_next的计算。当next_state是出口时我把这回合直接 break出口状态对应的 Q 值仍然是 0所以best_next算出来是 0正好符合“到达终点后没有未来奖励”的设定。如果你不希望依赖这一点也可以在done时强制把best_next设为 0逻辑上更严谨。第三个是探索率epsilon的衰减。一开始机器人完全随机这样才能尽可能覆盖地图。随着训练推进它的 Q 表越来越可信就应该逐渐减少随机行为更多利用已经学到的经验。衰减系数0.995表示每回合乘以0.995训练 2000 回合后探索率会从1.0慢慢掉到0.05附近不会过早进入纯利用阶段。3.3 训练完之后怎么把策略“导出来”训练完成后策略就藏在 Q 表里。下一步是让机器人从起点开始始终选择 Q 值最大的动作走出一条完整路径def choose_best_action(state): best_value max(Q[(state, action)] for action in ACTIONS) candidates [ action for action in ACTIONS if Q[(state, action)] best_value ] return random.choice(candidates) state START path [state] for _ in range(max_steps): action choose_best_action(state) state step(state, action) path.append(state) if state EXIT: break我比较喜欢把path打印出来一行坐标看过去基本能判断机器人是否学会了。如果打印出来的路径是(0,0) - (0,1) - ... - (5,5)而且没有反复经过同一个格子说明训练成功了。如果路径还是乱跳先别急着改算法。回到 Q 表里随便挑几个状态打印看看这几个方向的 Q 值分布是否合理。比如离出口近的那个方向 Q 值应该明显高于其他方向如果差距很小说明训练还不够或者参数需要调整。4. 参数不是玄学是有一套调法在的4.1 三个核心参数各自管什么很多人在 Q-learning 里调参就像在黑暗中拧旋钮拧完也不知道发生了什么。其实核心参数就那么几个理解清楚之后调参逻辑会清晰很多。参数含义初学者建议范围调过头会怎样alpha学习率新经验对旧 Q 值的影响程度0.05 ~ 0.2太大Q 值震荡不收敛太小训练慢gamma折扣因子对未来奖励的重视程度0.9 ~ 0.99太小变得短视学不会长路径epsilon探索率采取随机动作的概率从1.0衰减到0.05左右下降太快探索不足卡在局部最优先看学习率alpha。它本质上是“步伐大小”。如果alpha 0.1每次更新只向误差方向移动 10%。这个值听起来不大但在大量回合里足够稳定。新手最容易犯的错误是把alpha设成0.8甚至更高结果 Q 值像过山车一样剧烈震荡训练曲线看不出来它在收敛。我遇到震荡时第一反应就是把alpha降到0.1以下。再看折扣因子gamma。它的意思是“未来的一块钱现在值多少钱”。迷宫任务里如果gamma 0.9机器人更看重接下来几步内的收益如果gamma 0.99它会更重视长远的路线选择。太小的gamma会让机器人变得极度短视看到眼前有个奖励就走过去哪怕前方是死胡同。入门环境里0.9~0.95已经够用只有迷宫很大、路径很长时才需要逼近0.99。最后是探索率epsilon。我习惯从1.0开始让机器人先做大量随机动作把地图“摸”一遍随训练推进逐步下降到0.05。这个过程叫探索率的退火。如果一开始就把epsilon设成0.1机器人大部分时间直接走 Q 表里 Q 值最高的方向可 Q 表刚开始全是 0它很容易一条路走到黑很多区域永远探索不到。4.2 一套能直接抄的默认配置我不会一上来就调参而是先找一套能让任务跑起来的保守配置。对于一个 6x6 小迷宫我常用的配置是训练回合数2000单回合最大步数100学习率0.1折扣因子0.95初始探索率1.0最终探索率0.05探索率衰减0.995这套配置的好处是步数上限远超理论最短路径回合数够多探索衰减温和。即使地图稍微复杂一点也能大概率找到出口。如果你把迷宫改成 10x10我会把回合数提高到5000最大步数提高到200其余保持不变。为什么最大步数不能设置得太小因为探索初期机器人完全随机极大可能在迷宫里转很久到不了出口。如果提前截断回合它会失去很多“探索地图”的机会。但也不能设得太大否则每一个训练回合都很慢浪费计算资源。一个经验值是最大步数至少是“从起点到出口的最短路径长度”的三到五倍。4.3 怎么判断机器人“学会了”判断是否学会不能只看最后一次训练结果更不能看单个回合。我通常记录两个指标每回合的总回报、每回合到达出口时的步数。把总回报画成一条曲线你会看到它在训练早期可能是负的因为机器人经常撞墙、乱走随着探索到出口曲线开始爬升最后稳定在一个高位。单次结果波动很正常我习惯看最近几十个回合的滚动平均。如果曲线一直在原地不动只有两种可能一是奖励信号根本没有传回去二是探索不足。前者要检查环境里的step函数和奖励计算后者可以暂时把epsilon衰减调慢一点或者把min_epsilon调高一点看看有没有变化。如果曲线能爬升但步数降不下来说明机器人虽然找到了出口但没有学会“走近路”。此时把每步的负奖励从-0.04调成-0.1通常就能促使它选择更短的路径。奖励函数里那个“微小代价”的效果在这一步体现得非常明显。5. 迷宫变大之后从 Q 表到深度强化学习5.1 从二维数组到高维状态为什么 Q 表记不下Q-learning 在小迷宫上非常好用但它有一个硬伤它用一张二维表把每个离散状态都单独存一份。地图一旦变大状态数会迅速膨胀。举个例子一个 20x20 的迷宫去掉墙体后大概有 400 个状态每个状态有 4 个动作Q 表里有大约 1600 条记录。这个量级还好。但如果状态变成机器人的摄像头图像每一帧可能有几十万个像素每个像素还有连续数值你根本没法把每一种像素组合都单独列成一行。更麻烦的是 Q 表没法“泛化”。两个非常相似的格子一个是真实可走的路另一个是墙边Q 表会当成两个完全独立的状态来处理。机器人学会了 A 格子的经验却不知道把它迁移到 B 格子上。这种低效在小地图里可以忍在高维空间里会彻底撑不住。我把 Q 表和神经网络的差异比作“经验手册”和“判断能力”。手册把每条经验都写下来翻起来慢、占地方神经网络负责从经验中提炼规律遇到没见过的状态也能根据已有经验给出一个差不多的判断。5.2 把 Q 表换成神经网络思路其实没有变深度强化学习尤其是 DQN 风格的做法并不是把 Q-learning 推倒重来而是只做一个替换把“查 Q 表”这一步换成“神经网络前向计算”。Q-learningDQN 思路在 Q 表里查Q(s, a)输入状态s网络输出每个动作对应的 Q 值更新公式直接改表用均方误差损失反向传播更新网络权重r γ * max(Q(s, a))作为目标值目标网络计算目标值每条经验只更新一个格子从经验池里随机采样更新网络DQN 有一个关键训练技巧叫“经验回放”。它把机器人每一步产生的经验(s, a, r, s)存进一个缓冲区训练时随机抽一批出来更新网络。这样做有两个好处一是打断相邻采样之间的相关性防止网络只盯着最近几步二是让旧经验反复被使用数据利用率更高。还有一个技巧是“目标网络”。如果直接用同一个网络既算当前 Q 值又算目标值参数一变目标也跟着变训练会非常不稳定。于是训练时维护一个“滞后更新”的目标网络一段时间才同步一次参数让机器人有了一个相对固定的改进方向。这里不展开写具体网络结构因为从 Q-learning 到 DQN 的跳板核心是理解“用函数近似代替查表”。神经网络 Q 值输出的维度等于动作个数比如迷宫上下左右四个动作网络输出层就输出四个值。这是我自己从 Q 表过渡到深度强化学习时觉得最通顺的一条思路。5.3 什么时候不急着上深度强化学习新手很容易被“深度”两个字吸引一上来就搭神经网络。但深度强化学习远没有 Q-learning 稳它对超参数、网络结构、随机种子都更敏感。我见过不少项目明明用 Q-learning 几十秒就能跑通的训练换成 DQN 后反而一直不收敛。如果你只是做一个小迷宫务必先用 Q-learning 验证环境逻辑和奖励函数。只有确认“表格版本”能稳定收敛再考虑升级到深度版本。如果状态本来就是离散的、状态数也没超过几万个Q-learning 效率更高、逻辑也可解释。深度强化学习适合解决的是高维状态、连续动作、或者状态之间天然有共享特征的任务不是解决所有问题的银弹。当迷宫变成类似机器人视觉导航的任务时你自然会发现 Q 表没办法处理图像状态这时候再引入神经网络才有必要。从小处入手逻辑上会顺很多。6. 实操中翻过的车和排查清单6.1 机器人总在墙边横跳多半不是“傻”是信号问题有一种现象很典型机器人已经训练了很久但每次跑到一面墙前面就开始左一步右一步反复横跳就是不绕开。第一次遇到这个现象时我也以为是探索率太高后来打印 Q 值才发现问题出在奖励的设置上。如果普通移动奖励是 0撞墙奖励也是 0那么所有能移动动作的 Q 值在计算上可能都差不多。机器人发现撞墙和正常走没有区别横跳和绕路也没有区别自然会倾向于不动脑子地反复执行那几个动作。解决方法是给每步一个轻微的负奖励给撞墙一个更明显的负奖励让它在数值上分清楚“白白撞墙”和“有效移动”的差别。还有一个小概率原因是探索率长期过高。如果min_epsilon设成0.3即使训练结束它也有三成概率随机乱走看起来就像没有学会。评估模型时我会临时把epsilon强制设为0只看纯利用策略的表现。6.2 到达了出口路线却很绕问题出在哪如果机器人到达出口没问题但路径明显绕远路最可能的原因是它没有“长远计划”的压力。出口奖励对机器人来说是拿到了就行至于走了多少步如果每步没有惩罚它完全不在乎。我会先看两个参数gamma是不是太低每步惩罚是不是太小。gamma低了机器人只关心接下来几步内能不能拿到奖励每步惩罚太小它也不会为了节省几步去改变行为。通常把每步奖励从-0.04调到-0.1配合gamma 0.95路径就会明显变直。不要为了追求“绝对最短路径”而把惩罚设得太极端。惩罚如果大到超过探索成本机器人会变得过于保守宁可待在原地也不愿意尝试新的路径。安全和效率之间要留一点缓冲。6.3 一个 5 步排查流程当我面对一个训练失败的迷宫项目时不会上来就改算法而是按下面这个流程来走固定随机种子。这样每次结果一致否则你很难判断改动到底有没有效果。手动走一条可行路径。直接用step函数从起点一步一步到出口确认坐标方向、墙体判断、奖励计算都符合预期。关闭探索做一次评估。把epsilon设为 0从起点跑一次看看输出路径是否合理。打印若干关键状态的 Q 值。比如出口旁边的四个方向、起点附近的四个方向看数值是否跟直觉一致。逐步扩大地图。先在小地图上调通环境和奖励再往更复杂的迷宫上迁移。这个方法帮我省下了大量在算法层面乱试的时间。绝大多数训练失败最后都能在“环境错误”这一步里找到原因。6.4 一个小教训坐标方向弄反训练一万回合也没用有一次我帮一个朋友调试迷宫 Demo他告诉我机器人训练了好几千回合Q 值却始终没有上升趋势。我让他打印几次“状态转移日志”结果发现他定义动作down是行号加 1但地图里的出口坐标写反了机器人以为自己在往出口走实际上每次都在向着墙的方向移动。问题不在算法而在环境编码层的坐标方向不一致。这种错误在刚上手时很容易出现尤其是用二维数组表示地图时行和列非常容易混。我的习惯是在写训练循环之前先用几行代码手动跑一遍step函数把关键位置的转移结果打印出来看一眼。比如从(4,5)向左走应该到达(4,4)如果输出的是别的坐标说明MOVES表或者地图坐标定义有问题。这一步检查只要一分钟却可以省下后面几个小时盲目调参的时间。最后再分享一个我常用的调试习惯每个训练回合结束后额外记录一下“本回合是否到达出口”这个布尔值。看这个布尔值的频率变化比盯着 Q 值数字更容易判断训练是否进入正轨。如果到达出口的次数逐渐增加说明强化学习起作用了如果始终是 0那一定不只是参数问题回头把环境翻一遍。把这个习惯保持下来你会发现“让机器人走出迷宫”并不难难的是把每一步的反馈都设计得清清楚楚。
前两周我帮一个刚接触智能控制的小团队带了个入门 Demo目标很朴素让机器人自己走出迷宫而且不告诉它“哪条路最省事”。迷宫是网格化的机器人只知道四个方向的动作撞墙会被扣分走到出口会拿到奖励除此之外它不掌握任何地图信息。跑了不到几百回合它从到处瞎撞到能稳定绕开障碍最后用一条很短的路径抵达出口。这个过程走完基本就把强化学习里最核心的状态、动作、奖励、训练循环都串起来了。这篇就从“机器人走出迷宫”这个任务讲起。适合第一次接触强化学习的开发者也适合那些已经看过公式、但不知道怎么落地到一个小 Demo 上的朋友。我会用一套简单的网格迷宫作为例子把 Q-learning 背后的原理、环境建模、参数调法和踩坑记录都写清楚。你不需要先懂神经网络也不需要翻完一本厚书只要照着这篇的思路跑一次就能理解强化学习到底是怎么回事。1. 迷宫任务到底在跟强化学习“交换”什么信息1.1 把迷宫抽象成状态、动作、奖励强化学习有四个最基本的零件环境、状态、动作、奖励。迷宫任务里机器人观察到的“状态”就是当前所在格子的坐标比如(0,0)表示左下角起点它能执行的“动作”就是向上、向下、向左、向右每一次动作之后环境会回一个“奖励”信号告诉它这个动作好不好。这四个零件缺一不可。状态决定了机器人目前处在什么局面动作决定了它可以怎么改变局面奖励决定了它应该往哪个方向优化而环境负责把所有逻辑串起来你给出一个动作环境返回下一个状态和奖励。初学者最容易忽略的一点是状态不一定等于完整地图。机器人不需要知道墙在哪里、出口在哪里它只需要知道自己“当前在哪个格子”。地图信息藏在环境里机器人必须通过一次次试错才能慢慢摸清。这跟普通游戏里打开小地图看全局路径是完全不同的体验。在一套简单的迷宫环境里我通常会这样定义组件迷宫中的对应说明环境整个网格地图包含边界、墙体、起点、出口状态机器人当前所在格子坐标例如(2,3)表示第二行第三列动作上下左右四个方向的移动撞墙时留在原地不越界奖励走到出口给正奖励撞墙给负奖励后续细讲推荐方案这个抽象方式非常关键。你之后把地图加大、改成连续空间、甚至换成机器人身上的摄像头画面本质上还是在围绕“状态、动作、奖励”这三件事做文章。1.2 “没有标准答案”才是关键很多第一次接触强化学习的人会拿它跟监督学习对比。监督学习里你已经知道每个输入对应的正确答案模型只需要把这些映射关系“背”下来比如判断一张图片是不是猫训练数据里有明确的标签。但强化学习没有这种标准答案。迷宫任务里你没有办法提前告诉机器人“当你站在(2,2)时就要向上走”。因为你不可能提前枚举所有情况而且一步动作的好坏要看未来几步的影响。站在某个格子向上走可能暂时看着绕路但能避开一面墙向下走可能立刻靠近出口却会走进死胡同。如果只用当前这一步的“对错”来判断机器人永远学不会长远规划。这就像小时候玩的“热/冷”游戏。你闭着眼睛找藏起来的奖品别人只告诉你“更热了”或者“更冷了”。你没有每一步的标准路径只能根据温度的反馈调整方向。温度不是标准答案它只是一个评估信号。强化学习的目标也不是“每一步都做对”而是“最大化整个过程的回报”。机器人可以偶尔走弯路但整体上要能攒到更多奖励。于是就有了策略这个概念策略π表示“状态到动作”的映射关系机器人要学的就是找到一个策略使执行它之后累积的奖励最多。2. 环境建模是第一道分水岭建模错了后面全白搭2.1 迷宫环境到底怎么定义才不容易出 bug很多强化学习项目跑不出效果问题不是出在算法而是出在环境代码。环境是算法和任务之间的桥梁如果桥搭歪了再高级的算法也过不去。我习惯用“坐标 墙体集合”的方式建模。这样写最直接也不容易跟二维数组的行列概念混淆。以下是一个 6 行 6 列的迷宫ROWS 6 COLS 6 # 墙体的坐标集合 WALLS { (1, 0), (1, 1), (1, 3), (1, 4), (3, 1), (3, 2), (3, 4), (4, 4), } START (0, 0) EXIT (5, 5) ACTIONS (up, down, left, right) MOVES { up: (-1, 0), down: (1, 0), left: (0, -1), right: (0, 1), }然后写一个不可见的地图逻辑判断一个位置是不是合法位置以及执行一次动作后到达哪里。def is_valid(pos): r, c pos return 0 r ROWS and 0 c COLS and pos not in WALLS def step(state, action): dr, dc MOVES[action] next_state (state[0] dr, state[1] dc) if not is_valid(next_state): # 撞墙或越界留在原地 return state return next_statestep函数是环境的核心。我特别强调一点撞墙或越界时不要直接让程序报错而是让机器人留在原地。这样方便在训练循环里统一处理 “撞墙” 这个信号也符合真实机器人的行为撞墙不是死亡只是行动失败得换一条路。墙体集合用set而不是列表是为了用x in WALLS做常数时间判断。这在小 Demo 里看不出性能差异但它能养成一个好习惯环境逻辑本身要快后面算法要跑几千几万次循环环境慢了会特别难受。2.2 奖励设置会带来完全不同的学习行为同一张地图奖励函数不同机器人学出来的行为很可能完全不同。这地方我踩过不少次下面说清楚几种典型写法。最常见的是“稀疏奖励”到达出口给一个大的正奖励其余情况一律 0 或很小的负奖励。这种方法概念上最直观机器人必须靠大量随机探索碰巧发现出口才能把奖励信号一路传回来。问题也很明显如果迷宫稍大随机撞到出口的概率太低训练会非常慢。另一种是“每一步都有一点小惩罚”比如走出终点之外的每一步给-0.04。这样机器人会天然倾向于用更少的步数到达出口学出来的路线更短。如果只给出入口奖励其余全是 0机器人虽然能到达但路径经常乱绕因为它并不在乎步数。还有一个做法是设计“势能奖励”根据目标点的距离给一个接近目标的加分。这种方式在某些场景收敛快但在迷宫里特别容易把机器人带偏。因为它会被“距离”欺骗比如墙体前面明明绕过去更近但它发现直接往目标方向走暂时能提高分数于是反而卡在墙边反复尝试。入门阶段我不推荐用这种奖励等基础扎实了再玩。我现在的默认结果是情况奖励到达出口10撞墙或越界-1普通移动-0.04为什么出口奖励和撞墙惩罚差这么多因为-0.04是微小的行为约束只让机器人尽量少走冤枉路-1是明显的行为否定让它迅速避开墙10是明确的正反馈让它知道目标在哪里。这三者之间要有比较清晰的层次混在一起会让 Q 值更新变得很“模糊”。奖励不是越大越好。如果出口奖励设为100但每步没有代价机器人可能走到出口附近还是会绕因为只要有正收益它就觉得“怎么走都行”。反过来如果每步惩罚设为-1机器人可能干脆原地不动因为至少不会继续扣分。奖励的数量级要经过实际跑分来判断不能拍脑袋。3. Q-learning一张表就能让机器人记住“哪个方向值得试”3.1 Q 表、TD target、更新公式拆开讲Q-learning 是入门强化学习绕不开的经典算法因为它好理解、好落地而且在小规模状态空间里效果很可靠。它要维护一张 Q 表记录“在状态s下执行动作a”的价值记作Q(s, a)。你可以把 Q 表想象成一本“经验账本”。每个格子的四个方向都有一笔账刚开始都是 0表示“没试过、不知道好坏”。机器人每走一步就根据实际收到的奖励去更新这笔账。Q-learning 的核心更新公式长这样Q(s, a) ← Q(s, a) α * [ r γ * max(Q(s, a)) - Q(s, a) ]拆开看每个符号α是学习率决定新经验有多大影响r是这一步拿到的奖励γ是折扣因子决定未来奖励在现在看来的权重s是执行动作后进入的下一个状态max(Q(s, a))表示下个状态里所有动作中最好的那个价值代表“未来能得到的最大收益”。公式里的r γ * max(Q(s, a))叫 TD target它是“当前即时奖励”和“未来最优收益”的组合Q(s, a)是旧估值。两者相减得到误差再用学习率去修正。这就是时序差分学习的核心思路不一定要走到终点才知道结果走一步之后就可以把“下一步的估计价值”当成部分答案拿回来更新。这个思想比动态规划要轻得多。机器人不需要知道完整的地图模型只需要通过实际采样一步步试错就能逐步逼近真实价值。这也是强化学习适合真实机器人控制的原因之一因为真实世界里你不可能提前拿到可靠的全局模型。为了直观理解我举个例子。假设机器人第一次随机走到出口旁边的格子(4,5)向左一步进入出口得到10。此时如果γ 0.9那么当前格子“向左”这个动作的价值会瞬间上涨很多。以后机器人再次到(4,5)附近时它就更倾向于向左而不是到处乱撞。3.2 一个完整可跑的 Q-learning 训练循环下面的代码不依赖任何第三方库用纯 Python 就能跑起来。它先初始化 Q 表然后开始多轮训练import random # 初始化 Q 表 Q {} for r in range(ROWS): for c in range(COLS): if (r, c) not in WALLS: for action in ACTIONS: Q[((r, c), action)] 0.0 alpha 0.1 gamma 0.95 epsilon 1.0 min_epsilon 0.05 epsilon_decay 0.995 total_episodes 2000 max_steps 100 for episode in range(total_episodes): state START done False for t in range(max_steps): # epsilon-greedy 策略 if random.random() epsilon: action random.choice(ACTIONS) else: best_value max(Q[(state, action)] for action in ACTIONS) candidates [ action for action in ACTIONS if Q[(state, action)] best_value ] action random.choice(candidates) next_state step(state, action) # 奖励统一在环境外面处理便于调试 if next_state EXIT: reward 10.0 done True elif next_state state: reward -1.0 else: reward -0.04 # 计算下一个状态的最大 Q 值 best_next max(Q[(next_state, action)] for action in ACTIONS) # Q-learning 更新 Q[(state, action)] alpha * ( reward gamma * best_next - Q[(state, action)] ) state next_state if done: break # 每回合结束后衰减探索率 epsilon max(min_epsilon, epsilon * epsilon_decay)这段代码里有几个容易看走眼的点。第一个是“在 Q 值相同的情况下随机挑选一个动作”。如果直接固定写max(ACTIONS, key...)机器人遇到所有动作 Q 值都等于 0 的情况时会一直选第一个动作导致某些方向永远没被探索过。随机打破平局是我一直坚持的写法。第二个是best_next的计算。当next_state是出口时我把这回合直接 break出口状态对应的 Q 值仍然是 0所以best_next算出来是 0正好符合“到达终点后没有未来奖励”的设定。如果你不希望依赖这一点也可以在done时强制把best_next设为 0逻辑上更严谨。第三个是探索率epsilon的衰减。一开始机器人完全随机这样才能尽可能覆盖地图。随着训练推进它的 Q 表越来越可信就应该逐渐减少随机行为更多利用已经学到的经验。衰减系数0.995表示每回合乘以0.995训练 2000 回合后探索率会从1.0慢慢掉到0.05附近不会过早进入纯利用阶段。3.3 训练完之后怎么把策略“导出来”训练完成后策略就藏在 Q 表里。下一步是让机器人从起点开始始终选择 Q 值最大的动作走出一条完整路径def choose_best_action(state): best_value max(Q[(state, action)] for action in ACTIONS) candidates [ action for action in ACTIONS if Q[(state, action)] best_value ] return random.choice(candidates) state START path [state] for _ in range(max_steps): action choose_best_action(state) state step(state, action) path.append(state) if state EXIT: break我比较喜欢把path打印出来一行坐标看过去基本能判断机器人是否学会了。如果打印出来的路径是(0,0) - (0,1) - ... - (5,5)而且没有反复经过同一个格子说明训练成功了。如果路径还是乱跳先别急着改算法。回到 Q 表里随便挑几个状态打印看看这几个方向的 Q 值分布是否合理。比如离出口近的那个方向 Q 值应该明显高于其他方向如果差距很小说明训练还不够或者参数需要调整。4. 参数不是玄学是有一套调法在的4.1 三个核心参数各自管什么很多人在 Q-learning 里调参就像在黑暗中拧旋钮拧完也不知道发生了什么。其实核心参数就那么几个理解清楚之后调参逻辑会清晰很多。参数含义初学者建议范围调过头会怎样alpha学习率新经验对旧 Q 值的影响程度0.05 ~ 0.2太大Q 值震荡不收敛太小训练慢gamma折扣因子对未来奖励的重视程度0.9 ~ 0.99太小变得短视学不会长路径epsilon探索率采取随机动作的概率从1.0衰减到0.05左右下降太快探索不足卡在局部最优先看学习率alpha。它本质上是“步伐大小”。如果alpha 0.1每次更新只向误差方向移动 10%。这个值听起来不大但在大量回合里足够稳定。新手最容易犯的错误是把alpha设成0.8甚至更高结果 Q 值像过山车一样剧烈震荡训练曲线看不出来它在收敛。我遇到震荡时第一反应就是把alpha降到0.1以下。再看折扣因子gamma。它的意思是“未来的一块钱现在值多少钱”。迷宫任务里如果gamma 0.9机器人更看重接下来几步内的收益如果gamma 0.99它会更重视长远的路线选择。太小的gamma会让机器人变得极度短视看到眼前有个奖励就走过去哪怕前方是死胡同。入门环境里0.9~0.95已经够用只有迷宫很大、路径很长时才需要逼近0.99。最后是探索率epsilon。我习惯从1.0开始让机器人先做大量随机动作把地图“摸”一遍随训练推进逐步下降到0.05。这个过程叫探索率的退火。如果一开始就把epsilon设成0.1机器人大部分时间直接走 Q 表里 Q 值最高的方向可 Q 表刚开始全是 0它很容易一条路走到黑很多区域永远探索不到。4.2 一套能直接抄的默认配置我不会一上来就调参而是先找一套能让任务跑起来的保守配置。对于一个 6x6 小迷宫我常用的配置是训练回合数2000单回合最大步数100学习率0.1折扣因子0.95初始探索率1.0最终探索率0.05探索率衰减0.995这套配置的好处是步数上限远超理论最短路径回合数够多探索衰减温和。即使地图稍微复杂一点也能大概率找到出口。如果你把迷宫改成 10x10我会把回合数提高到5000最大步数提高到200其余保持不变。为什么最大步数不能设置得太小因为探索初期机器人完全随机极大可能在迷宫里转很久到不了出口。如果提前截断回合它会失去很多“探索地图”的机会。但也不能设得太大否则每一个训练回合都很慢浪费计算资源。一个经验值是最大步数至少是“从起点到出口的最短路径长度”的三到五倍。4.3 怎么判断机器人“学会了”判断是否学会不能只看最后一次训练结果更不能看单个回合。我通常记录两个指标每回合的总回报、每回合到达出口时的步数。把总回报画成一条曲线你会看到它在训练早期可能是负的因为机器人经常撞墙、乱走随着探索到出口曲线开始爬升最后稳定在一个高位。单次结果波动很正常我习惯看最近几十个回合的滚动平均。如果曲线一直在原地不动只有两种可能一是奖励信号根本没有传回去二是探索不足。前者要检查环境里的step函数和奖励计算后者可以暂时把epsilon衰减调慢一点或者把min_epsilon调高一点看看有没有变化。如果曲线能爬升但步数降不下来说明机器人虽然找到了出口但没有学会“走近路”。此时把每步的负奖励从-0.04调成-0.1通常就能促使它选择更短的路径。奖励函数里那个“微小代价”的效果在这一步体现得非常明显。5. 迷宫变大之后从 Q 表到深度强化学习5.1 从二维数组到高维状态为什么 Q 表记不下Q-learning 在小迷宫上非常好用但它有一个硬伤它用一张二维表把每个离散状态都单独存一份。地图一旦变大状态数会迅速膨胀。举个例子一个 20x20 的迷宫去掉墙体后大概有 400 个状态每个状态有 4 个动作Q 表里有大约 1600 条记录。这个量级还好。但如果状态变成机器人的摄像头图像每一帧可能有几十万个像素每个像素还有连续数值你根本没法把每一种像素组合都单独列成一行。更麻烦的是 Q 表没法“泛化”。两个非常相似的格子一个是真实可走的路另一个是墙边Q 表会当成两个完全独立的状态来处理。机器人学会了 A 格子的经验却不知道把它迁移到 B 格子上。这种低效在小地图里可以忍在高维空间里会彻底撑不住。我把 Q 表和神经网络的差异比作“经验手册”和“判断能力”。手册把每条经验都写下来翻起来慢、占地方神经网络负责从经验中提炼规律遇到没见过的状态也能根据已有经验给出一个差不多的判断。5.2 把 Q 表换成神经网络思路其实没有变深度强化学习尤其是 DQN 风格的做法并不是把 Q-learning 推倒重来而是只做一个替换把“查 Q 表”这一步换成“神经网络前向计算”。Q-learningDQN 思路在 Q 表里查Q(s, a)输入状态s网络输出每个动作对应的 Q 值更新公式直接改表用均方误差损失反向传播更新网络权重r γ * max(Q(s, a))作为目标值目标网络计算目标值每条经验只更新一个格子从经验池里随机采样更新网络DQN 有一个关键训练技巧叫“经验回放”。它把机器人每一步产生的经验(s, a, r, s)存进一个缓冲区训练时随机抽一批出来更新网络。这样做有两个好处一是打断相邻采样之间的相关性防止网络只盯着最近几步二是让旧经验反复被使用数据利用率更高。还有一个技巧是“目标网络”。如果直接用同一个网络既算当前 Q 值又算目标值参数一变目标也跟着变训练会非常不稳定。于是训练时维护一个“滞后更新”的目标网络一段时间才同步一次参数让机器人有了一个相对固定的改进方向。这里不展开写具体网络结构因为从 Q-learning 到 DQN 的跳板核心是理解“用函数近似代替查表”。神经网络 Q 值输出的维度等于动作个数比如迷宫上下左右四个动作网络输出层就输出四个值。这是我自己从 Q 表过渡到深度强化学习时觉得最通顺的一条思路。5.3 什么时候不急着上深度强化学习新手很容易被“深度”两个字吸引一上来就搭神经网络。但深度强化学习远没有 Q-learning 稳它对超参数、网络结构、随机种子都更敏感。我见过不少项目明明用 Q-learning 几十秒就能跑通的训练换成 DQN 后反而一直不收敛。如果你只是做一个小迷宫务必先用 Q-learning 验证环境逻辑和奖励函数。只有确认“表格版本”能稳定收敛再考虑升级到深度版本。如果状态本来就是离散的、状态数也没超过几万个Q-learning 效率更高、逻辑也可解释。深度强化学习适合解决的是高维状态、连续动作、或者状态之间天然有共享特征的任务不是解决所有问题的银弹。当迷宫变成类似机器人视觉导航的任务时你自然会发现 Q 表没办法处理图像状态这时候再引入神经网络才有必要。从小处入手逻辑上会顺很多。6. 实操中翻过的车和排查清单6.1 机器人总在墙边横跳多半不是“傻”是信号问题有一种现象很典型机器人已经训练了很久但每次跑到一面墙前面就开始左一步右一步反复横跳就是不绕开。第一次遇到这个现象时我也以为是探索率太高后来打印 Q 值才发现问题出在奖励的设置上。如果普通移动奖励是 0撞墙奖励也是 0那么所有能移动动作的 Q 值在计算上可能都差不多。机器人发现撞墙和正常走没有区别横跳和绕路也没有区别自然会倾向于不动脑子地反复执行那几个动作。解决方法是给每步一个轻微的负奖励给撞墙一个更明显的负奖励让它在数值上分清楚“白白撞墙”和“有效移动”的差别。还有一个小概率原因是探索率长期过高。如果min_epsilon设成0.3即使训练结束它也有三成概率随机乱走看起来就像没有学会。评估模型时我会临时把epsilon强制设为0只看纯利用策略的表现。6.2 到达了出口路线却很绕问题出在哪如果机器人到达出口没问题但路径明显绕远路最可能的原因是它没有“长远计划”的压力。出口奖励对机器人来说是拿到了就行至于走了多少步如果每步没有惩罚它完全不在乎。我会先看两个参数gamma是不是太低每步惩罚是不是太小。gamma低了机器人只关心接下来几步内能不能拿到奖励每步惩罚太小它也不会为了节省几步去改变行为。通常把每步奖励从-0.04调到-0.1配合gamma 0.95路径就会明显变直。不要为了追求“绝对最短路径”而把惩罚设得太极端。惩罚如果大到超过探索成本机器人会变得过于保守宁可待在原地也不愿意尝试新的路径。安全和效率之间要留一点缓冲。6.3 一个 5 步排查流程当我面对一个训练失败的迷宫项目时不会上来就改算法而是按下面这个流程来走固定随机种子。这样每次结果一致否则你很难判断改动到底有没有效果。手动走一条可行路径。直接用step函数从起点一步一步到出口确认坐标方向、墙体判断、奖励计算都符合预期。关闭探索做一次评估。把epsilon设为 0从起点跑一次看看输出路径是否合理。打印若干关键状态的 Q 值。比如出口旁边的四个方向、起点附近的四个方向看数值是否跟直觉一致。逐步扩大地图。先在小地图上调通环境和奖励再往更复杂的迷宫上迁移。这个方法帮我省下了大量在算法层面乱试的时间。绝大多数训练失败最后都能在“环境错误”这一步里找到原因。6.4 一个小教训坐标方向弄反训练一万回合也没用有一次我帮一个朋友调试迷宫 Demo他告诉我机器人训练了好几千回合Q 值却始终没有上升趋势。我让他打印几次“状态转移日志”结果发现他定义动作down是行号加 1但地图里的出口坐标写反了机器人以为自己在往出口走实际上每次都在向着墙的方向移动。问题不在算法而在环境编码层的坐标方向不一致。这种错误在刚上手时很容易出现尤其是用二维数组表示地图时行和列非常容易混。我的习惯是在写训练循环之前先用几行代码手动跑一遍step函数把关键位置的转移结果打印出来看一眼。比如从(4,5)向左走应该到达(4,4)如果输出的是别的坐标说明MOVES表或者地图坐标定义有问题。这一步检查只要一分钟却可以省下后面几个小时盲目调参的时间。最后再分享一个我常用的调试习惯每个训练回合结束后额外记录一下“本回合是否到达出口”这个布尔值。看这个布尔值的频率变化比盯着 Q 值数字更容易判断训练是否进入正轨。如果到达出口的次数逐渐增加说明强化学习起作用了如果始终是 0那一定不只是参数问题回头把环境翻一遍。把这个习惯保持下来你会发现“让机器人走出迷宫”并不难难的是把每一步的反馈都设计得清清楚楚。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
