基于LLM与记忆流架构的德州扑克智能体：实现类心智理论博弈行为

1. 引言当LLM牌手开始“读心”最近在折腾一个挺有意思的项目尝试用大语言模型LLM来构建一个能打扑克的智能体Agent。这听起来可能像是一个简单的游戏AI但我的目标远不止于此。我想探索的是在德州扑克这种信息不完全、充满欺骗与博弈的复杂环境中一个基于LLM的Agent能否展现出类似“心智理论”Theory of Mind, ToM的行为。简单来说就是AI能否像人类牌手一样去推测对手的底牌、意图和策略并据此调整自己的行动。这个想法源于一个观察当前很多LLM应用比如聊天机器人或内容生成都是在处理相对静态、信息完整的问题。但现实世界尤其是人与人之间的互动充满了不确定性、隐藏信息和策略性思考。德州扑克是研究这类问题的绝佳沙盒。它规则明确但策略深度极高其核心挑战就在于“读人”——理解对手可能有什么牌隐藏信息以及对手认为我有什么牌信念嵌套。我使用的核心模型是GPT-4o并围绕它构建了一个具备记忆、推理和决策循环的智能体框架。整个过程中最让我着迷的不是最终胜率有多高而是在实验日志里我反复看到一些瞬间AI会做出一些基于“我认为他认为我……”的复杂推断。例如在一手牌中AI在翻牌圈过牌后面对对手的小额下注它没有选择跟注或加注而是在内部推理中写道“对手在翻牌前加注翻牌后面对我的过牌选择小额持续下注。这个下注量很弱可能是在试探或者他手持中等对子想便宜看转牌。如果我在这里加注他会认为我击中了强牌如顶对或听牌从而可能弃掉他的中等牌力。这能为我赢得底池也为后续的诈唬建立形象。” 这已经超越了简单的牌力计算触及了对对手心理状态的建模。当然这离真正的人类心智理论还有距离更像是一种“类心智理论”的涌现行为。但正是这种在既定目标赢取筹码驱动下通过与环境牌局历史、对手行动和记忆的交互而自发产生的复杂策略推理让我觉得非常有探讨价值。本文将详细拆解这个“Readable Minds”项目的构建过程、核心设计思路、遇到的典型问题特别是内存和推理稳定性方面的坑以及对这些涌现行为的初步分析。无论你是对LLM Agent架构感兴趣还是想了解AI在博弈论中的前沿应用或许都能从中找到一些启发。2. 项目架构设计从LLM到扑克牌手构建一个扑克AI绝不是简单地把牌局历史扔给LLM然后问“我该怎么做” 我们需要设计一个完整的智能体架构让LLM能够持续感知、记忆、推理并行动。我的设计核心是一个基于记忆流Memory Stream的循环决策框架它让LLM具备了持续学习和上下文感知的能力。2.1 核心组件拆解整个智能体系统主要由以下几个部分组成感知模块负责从扑克游戏引擎中获取当前游戏状态。这包括公共牌、各玩家筹码量、当前下注轮次、历史行动序列以及最重要的——我自己的手牌。这些信息被结构化成一段清晰的文本描述作为LLM的“当前观察”。记忆模块这是实现“读心”和长期策略的关键。我设计了一个分层的记忆系统短期记忆/工作记忆即当前决策回合的完整上下文包括最新的游戏状态、以及从长期记忆中检索到的相关记忆。长期记忆流一个按时间顺序存储所有重要经历的列表。每条记忆不仅仅记录事件如“对手在河牌圈进行了超池下注”更强制要求LLM在存储时附上它对当时事件的解释或推测如“当时公共牌面很干燥他的超池下注极有可能代表击中了坚果牌或者是一个绝望的诈唬。考虑到他之前的紧凶风格前者的可能性更大。”。这种“解释性记忆”是后续推理的燃料。推理与决策模块这是LLMGPT-4o的核心工作区。它接收来自感知模块的当前状态和从记忆模块检索到的相关历史然后被要求进行一步步的“思考”。这个思考过程被结构化成几个部分局势分析分析当前牌面、筹码深度、位置优劣。对手建模基于检索到的记忆总结各个对手的倾向是松是紧喜欢诈唬吗下注尺度如何。手牌范围推测根据公共牌和对手行动推测对手可能持有的手牌范围。意图推断类ToM行为尝试站在对手的角度思考他可能如何解读我的行动以及他当前下注所代表的意图。决策生成综合以上所有分析给出具体的行动建议过牌、跟注、加注到X、全下并附上主要理由。行动执行模块将LLM生成的决策如“加注到750”解析成游戏引擎可执行的指令。记忆存储模块在每一手牌结束后将本手牌的关键事件和智能体自己的推理过程以“解释性记忆”的格式存储到长期记忆流中。2.2 记忆检索找到相关的“过去”记忆流会越来越长如何快速找到与当前决策相关的记忆至关重要。我采用了基于嵌入向量的语义检索。具体流程如下 每当需要决策时系统会将当前游戏状态如“翻牌圈K♠️ 7♥️ 2♦️对手在按钮位领先下注半池”转换成一个查询向量。然后计算这个查询向量与记忆流中所有记忆的嵌入向量的余弦相似度取出相似度最高的前K条例如5条记忆。这些记忆可能包括“三天前同一对手在类似K高翻牌面进行半池下注最终亮出的是KQ顶对”、“对手总体在翻牌圈持续下注频率高达70%”等。这些被检索到的记忆连同当前状态一起构成了LLM推理的上下文。注意这里的一个关键设计点是存储和检索的都是“解释性记忆”而不是原始事件。这相当于让LLM不断积累和复用自己过去的“洞察”而不仅仅是数据。这是促进行为复杂性和策略连贯性的重要一环。2.3 与游戏引擎的集成我使用了一个开源的德州扑克模拟框架作为游戏引擎。智能体作为游戏中的一个玩家实例通过引擎提供的API获取状态并提交动作。整个交互循环如下游戏引擎通知智能体轮到行动 - 感知模块获取状态 - 记忆模块检索相关记忆 - 组装完整Prompt送入LLM - LLM生成推理链和决策 - 行动模块解析并提交决策 - 引擎推进游戏 - 牌局结束后记忆模块存储新记忆。这个循环让智能体能够进行多手牌的连续游戏并不断积累经验。3. 实现中的核心挑战与解决方案将上述架构落地时我遇到了不少棘手的问题主要集中在上下文管理、推理稳定性以及——意料之中又格外恼人的——内存问题。3.1 上下文长度与记忆管理的平衡GPT-4o虽然有128K的上下文窗口但如果我们把每一手牌的所有思考过程都塞进去很快窗口就会耗尽而且成本会急剧上升。因此必须对记忆进行压缩和摘要。我的策略是双重的重要性评分与淘汰为每条记忆维护一个“重要性”分数。这个分数基于几个因素记忆的新鲜度越新越重要、记忆被检索的频率被频繁想起的通常更重要、以及记忆关联的牌局结果导致赢下大池或输掉大池的记忆通常更重要。定期例如每100手牌对记忆流进行清理淘汰分数最低的一批记忆。周期性摘要当记忆流增长到一定长度例如500条时触发一个摘要任务。我会让LLM阅读最近的一大批记忆然后生成一段高度凝练的“战略摘要”例如“过去200手牌中玩家‘Bob’在河牌圈面对加注时弃牌率高达85%显示出对压力的脆弱性。玩家‘Alice’则频繁在转牌圈用听牌进行半诈唬。” 这条摘要本身作为一条高级别记忆存入流中并可以替代或代表一大批原始记忆。这样智能体既保留了长期的学习成果又不会让上下文过于臃肿。3.2 引导LLM进行结构化推理让LLM“自由发挥”很容易产生混乱或不一致的决策。必须通过精心设计的Prompt来引导其推理过程。我的核心Prompt模板大致如下你是一个专业的德州扑克AI牌手。你的目标是最大化长期盈利。 **当前牌局状态** [此处插入感知模块提供的结构化状态信息] **相关历史记忆** [此处插入记忆检索模块返回的3-5条最相关记忆] **请按以下步骤思考并做出决策** 1. 局势分析分析你的位置、筹码深度、牌面结构对你手牌的影响。 2. 对手建模基于历史记忆描述当前行动对手的典型风格和倾向。 3. 范围推测根据公共牌和对手行动列出对手可能持有的手牌范围从强到弱。 4. 意图推断尝试站在对手角度。你认为他如何解读你之前的行动他当前的下注可能意味着什么是价值下注、诈唬还是试探 5. 决策与理由综合以上所有分析给出你的最终行动过牌、跟注、加注到具体数额、或全下并详细说明理由。请确保行动格式为“行动: [具体指令]”例如“行动: 加注到1200”。 **开始你的思考**这个模板强制LLM进行一步步的逻辑推演其输出本身也成为了高质量、结构化的记忆存储素材。其中第4步“意图推断”就是激发类ToM行为的关键指令。3.3 内存访问冲突与推理稳定性陷阱这是开发过程中最耗时的坑。我最初将整个系统部署在一个本地服务上经常遇到进程崩溃错误码是0xc0000005(内存访问冲突)。这通常不是我的应用代码问题而是底层LLM服务例如我尝试过的llama-server或其他开源模型服务在长时间、高频率请求下出现的不稳定。问题根因这类错误通常指向几个方向内存泄漏服务本身或某个依赖库存在内存泄漏在处理了大量请求后耗尽内存。GPU/CPU内存不足当使用本地大模型时如果模型参数过大或并发请求过多可能导致显存或内存溢出。错误信息中的The memory could not be s.和insufficient memory都指向这一点。原生代码故障某些用C/C编写的模型推理后端在特定输入或压力下可能出现指针错误。我的排查与解决方案监控与日志首先我在智能体框架和模型服务端都增加了详细日志记录每个请求的上下文长度、响应时间以及服务的内存占用。很快我发现随着对局进行记忆流增长单个请求的上下文长度稳步上升服务进程的内存占用也在缓慢但持续地增长直到崩溃。这强烈暗示了内存泄漏或缓存未被正确释放。简化与压力测试我创建了一个测试脚本绕过扑克逻辑直接以固定的、逐渐增大的上下文长度循环向模型服务发送请求。果然即使上下文不变服务也会在运行一段时间后崩溃。这基本将问题定位在服务本身。切换与优化更换服务后端我从一个不太稳定的开源服务切换到了更成熟、有活跃维护的推理框架如vLLM或Text Generation Inference。这些框架专门为高效、稳定的LLM服务设计内存管理要好得多。设置硬性上下文限制在我的智能体层面设定一个上下文长度的硬上限例如8000 tokens。当组装出的Prompt超过这个长度时优先截断最旧的、重要性评分较低的记忆而不是无限制地增长。这不仅是出于成本考虑更是为了稳定性。引入请求队列与退避机制避免在短时间内向模型服务爆发大量请求。实现一个简单的请求队列并设置指数退避的重试逻辑。如果服务返回5xx错误如500 Internal Server Error或内存访问错误则等待一段时间后重试而不是让整个程序崩溃。使用云API对于核心实验最终我转向了使用GPT-4o的官方API。虽然成本更高但它提供了无与伦比的稳定性和可靠性让我能将精力完全集中在智能体行为的逻辑上而不是调试底层基础设施。错误信息如llm request failed: provider re...这类问题基本不再出现。实操心得在构建复杂的LLM Agent系统时稳定性往往比追求极致的性能或复杂度更重要。尤其是在涉及长时间运行和状态维护的场景下选择一个可靠的推理后端是项目成功的基础。自己托管模型虽然灵活但需要投入大量精力进行运维和调试。对于原型验证和核心行为研究使用成熟的云服务API通常是更高效的选择。4. 涌现的“类心智理论”行为分析经过一系列稳定性和策略调优后智能体开始展现出一些令人惊喜的行为模式。这些模式并非通过硬编码的规则实现而是在与环境和对手的互动中自发形成的。4.1 多层信念推理的实例在一场多人桌对局中我观察到了以下一手牌智能体UTG位手持A♥️ K♥️加注开局。玩家BCO位跟注。翻牌A♠️ T♦️ 3♣️。智能体持有顶对顶踢脚选择过牌。玩家B随后也过牌。转牌7♥️。牌面变化不大。智能体再次过牌。玩家B下注一个较小的尺度约1/3底池。此时智能体的内部推理日志如下“我翻牌前加注翻牌圈过牌。对手在翻牌圈也过牌。转牌我继续过牌对手现在下小注。他可能认为我的连续过牌示弱代表我翻牌前的加注可能是AXA带小踢脚或中等口袋对但没击中翻牌。他的小注可能是在用更弱的A如AT, A7进行薄价值下注也可能是在用听牌如45, 89进行半诈唬试探。如果我在这里加注他会非常困惑一个示弱了两条街的牌突然加注这强烈代表我击中了强牌比如暗三条或两对。考虑到他下注尺度小他手持弱A或听牌的可能性不低他很可能会弃牌。这是一个很好的诈唬加注机会即使我被跟注我仍有不错的胜率。”实际行动智能体执行了加注对手思考后弃牌。这手牌的精髓在于智能体不仅评估了自己的牌力和对手的范围更关键的是它模拟了对手对“我”的信念。它意识到自己“连续过牌”的行动构建了一个“弱牌”的形象并预测对手会基于这个形象采取行动下小注试探。然后它利用这个预测采取一个与当前构建的形象相悖的激进动作加注旨在引发对手的误判并迫使其弃牌。这是一个典型的两层信念推理“我认为他认为我很弱”。4.2 基于记忆的对手剥削策略智能体不仅能进行单次的意图推断还能将多次观察归纳成对手模型并用于剥削。例如在另一段对局中记忆流中检索到关于玩家C的多条记忆“玩家C在河牌圈面对超额下注时3次中有2次弃牌”、“玩家C在转牌圈击中同花听牌后总是下注约2/3底池”。当在一手牌中玩家C在转牌圈牌面出现两张同花下注2/3底池时智能体在推理中写道“历史记忆显示玩家C在听花面喜欢下注2/3池。他可能正在听花。我在河牌如果成牌可以做一个大的超额下注。根据记忆他在河牌面对大注弃牌率很高。这是一个可执行的剥削路线。”后续对局中智能体确实在类似场景下执行了这条策略并成功迫使玩家C弃牌。这里智能体将分散的、具体的记忆抽象成了对手的“策略倾向”听牌下注模式、面对压力弃牌倾向并主动设计了一条针对该倾向的盈利路线。这体现了从具体经验到抽象模型再到主动策略的认知跃迁。4.3 行为的局限性当然这些涌现的行为远非完美存在明显局限一致性挑战LLM的推理具有一定随机性。有时面对极其相似的场景它可能做出不同的决策理由也可能略有矛盾。这不利于建立绝对稳定的策略。计算成本高昂每一步决策都需要生成数百至上千tokens的推理链速度远慢于传统的博弈论求解器如CFR算法。对Prompt的敏感性推理的质量高度依赖于Prompt的措辞。稍微修改Prompt中的指令就可能让智能体从“深思熟虑的牌手”变成“胡乱下注的鱼”。真正的嵌套推理深度有限目前观察到的大多是“我-他”或“我-他-我”两层推理。对于更复杂的“我认为他认为我认为……”三层或以上的深层嵌套智能体很难稳定且逻辑一致地完成其输出往往会变得混乱或回归到浅层分析。尽管如此这些涌现的行为已经表明通过恰当的结构设计记忆、检索、结构化推理LLM能够超越简单的模式匹配在动态博弈环境中展现出初步的策略性和心理洞察力。它不是一个完美的扑克AI但它是一个研究机器如何理解“意图”和“信念”的迷人窗口。5. 性能评估与对比分析为了客观评估这个LLM牌手的水平我设计了一系列测试。5.1 测试环境与方法我让智能体与三种不同类型的对手进行单挑对局每种对局进行1000手牌以减小方差随机对手以均等概率随机选择合法行动。规则基础对手使用简单的启发式规则例如牌力超过一定阈值就加注否则过牌或弃牌。另一个LLM对手使用相同架构但不同随机种子初始化的智能体以观察同质AI之间的博弈动态。评估指标不仅包括每百手赢率bb/100还包括一些定性指标侵略性指数加注次数全下次数/ 总行动次数。持续下注频率在翻牌前作为加注者进入翻牌圈后下注的频率。诈唬成功率在诈唬下注最终亮牌为弱牌后迫使对手弃牌的比例。5.2 结果与讨论对手类型每百手赢率 (bb/100)侵略性指数持续下注频率诈唬成功率观察总结随机对手125.60.3268%72%对随机对手形成碾压能有效识别并剥削其无规律的打法赢率很高。侵略性适中主要通过价值下注盈利。规则基础对手45.20.2865%58%能稳定战胜简单规则AI。智能体会通过记忆发现对手的固定模式如“面对加注只会用强牌跟注”并相应调整策略减少对其诈唬增加薄价值下注。同质LLM对手8.70.3572%48%两个智能体互有胜负赢率接近零和且数值较低。对局变得非常激进高侵略性、高持续下注但诈唬成功率很低说明双方都在试图解读和反制对方导致大量“诈唬撞上诈唬”或“价值下注被更优牌跟注”的情况博弈复杂度显著增加。结果分析剥削能力LLM智能体在面对非适应性的简单对手时展现出了强大的剥削能力。它能通过记忆学习对手的静态漏洞并调整策略来最大化盈利。这证明了其基于记忆的学习机制是有效的。对抗均衡当两个同质智能体对战时博弈趋向于一个动态的、高侵略性的均衡。赢率接近零表明在相同的架构和信息下谁也无法建立长期优势。它们的诈唬成功率都低于50%这意味着许多诈唬被对方抓到了反映出双方都在进行一定程度的“读心”和反诈唬。与传统AI的差距需要清醒认识到这个赢率与顶尖的扑克AI如Pluribus、Libratus相比有巨大差距。那些AI基于大规模的博弈论计算接近纳什均衡策略是几乎不可剥削的。而我们的LLM智能体仍然是启发式、基于经验的在面对一个能够快速适应并反剥削的强敌时可能会暴露出模式而被利用。5.3 记忆系统的有效性验证为了确认记忆系统是否真的起到了作用我进行了一组对照实验让同一个智能体在开启记忆功能和关闭记忆功能仅使用当前手牌信息的情况下分别与规则基础对手对战500手牌。有记忆赢率为 46.8 bb/100。无记忆赢率为 22.1 bb/100。差距非常明显。没有记忆的智能体就像是一个“失忆”的牌手每一手牌都像是在打第一手牌无法积累对手的倾向信息也无法执行需要多手牌铺垫的长期策略如形象构建与利用。这定量地证明了记忆流对于实现复杂、自适应的博弈行为是至关重要的。6. 总结与未来展望构建“Readable Minds”项目的整个过程是一次将LLM从“静态知识库”推向“动态环境交互者”的实践。通过设计记忆、检索和结构化推理的框架我们成功让GPT-4o在德州扑克这个微观世界中涌现出了包括多层信念推理、对手建模和剥削策略在内的类心智理论行为。核心收获架构大于模型一个设计良好的Agent框架感知-记忆-推理-行动循环是激发LLM潜力的关键。仅仅有一个强大的LLM是不够的需要为它提供持续感知环境、存储和回忆经验的能力。记忆是策略的基石特别是“解释性记忆”它让AI不仅仅记住事件更记住了自己对事件的解读。这是形成复杂、连贯策略的基础也是实现个性化对手建模的前提。稳定性是落地的首要障碍在实验过程中内存管理、服务稳定性和上下文长度限制是最大的工程挑战。在追求智能行为之前必须先搭建一个稳定可靠的基础设施。涌现而非编程最有趣的行为如利用形象进行诈唬并非由我直接编码而是在与环境的互动中自然产生的。这提示我们为AI设定正确的目标、提供丰富的数据交互渠道它自己能够找到达成目标的复杂路径。局限与展望 目前这个智能体距离实用化还有很长的路。它的计算成本高、决策速度慢、策略一致性有待提高。未来的改进方向可以包括轻量化与提速探索使用更小、更快的模型如经过微调的7B-13B参数模型来承担部分推理任务或者将LLM的决策“蒸馏”成更快的规则或小模型。多智能体博弈与元学习让多个LLM智能体在更复杂的多桌环境中长期博弈观察是否会进化出更丰富的策略生态甚至出现“合作”、“欺骗联盟”等更高级的社会性行为。超越扑克将这套框架迁移到其他需要心理揣测和策略互动的领域如谈判模拟、市场博弈、甚至是一些社交推理游戏。检验其类ToM能力的泛化性。这个项目像是一扇窗让我们窥见LLM在理解复杂、动态的社会互动方面的潜力。它或许还不是一个完美的扑克玩家但它无疑是一个强大的行为模拟器和策略探索工具。对于我而言最大的乐趣莫过于翻阅那些充满“我认为他认为……”的推理日志看着一串串代码在虚拟的牌桌上笨拙而又坚定地尝试着去“理解”另一个智能体的内心。