二、智能体发展史2.1、基于符号与逻辑的早期智能体人工智能领域的早期探索深受数理逻辑和计算机科学基本原理的影响。当时候研究者们普遍相信人类的智能尤其是逻辑推理能力可以被形式化的符号体系所捕捉和复现。这一核心思想催生了人工智能的第一个重要范式——符号主义Symbolicism也被称为 “逻辑AI” 或 “传统AI”在符号主义看来智能行为的核心是基于一套明确规则对符号进行操作。因此一个智能体可以被视为一个物理符号系统它通过内部的符号来表示外部世界并通过逻辑推理来规划行动。这个时代的智能体其 “智慧” 完全来源于设计者预先编码的知识库和推理规则而非通过自主学习获得2.1.1、物理符号系统假说符号主义时代的理论根据是1976年提出的物理符号系统假说Physical Symbol System Hypothesis, PSSH。该假说为在计算机上实现通用人工智能提供了理论指导与判定标准该假说包含两个核心论断充分性论断任何一个物理符号系统都具备产生通用智能行为的充分手段必要性论断任何一个能够展现通用智能行为的系统其本质必然是一个物理符号系统这里的物理符号系统指的是一个能够在物理世界中存在的系统它由一组可被区分的符号和一系列对这些符号进行操作的过程组成。这些符号可以组合成更复杂的结构例如表达式而过程则可以创建、修改、复制和销毁这些符号结构简而言之PSSH大胆地宣称智能的本质就是符号的计算与处理这个假说具有深远的影响。它将人类心智这一模糊、复杂的哲学问题转化为可在计算机上进行工程化实现的具体问题。它为早期人工智能研究者注入了强大的信心只要找到正确方式来表示知识并设计出有效的推理算法就一定能创造出与人类媲美的机器智能。整个符号主义时代的研究从专家系统到自动规划几乎都在这一假说指引下展开2.1.2、专家系统在物理符号系统假说的直接影响下专家系统Expert System成为符号主义时代最重要、最成功的应用成果。其核心目标是模拟人类专家在特定领域内解决问题的能力通过将专家的知识和经验编码成计算机程序使其能够在面对相似问题时给出媲美甚至超越人类专家的结论或建议一个典型的专家系统通常由知识库、推理机、用户界面等几个核心部分构成这种架构清晰地体现了知识与推理相分离的设计思想是符号主义AI的重要特征知识库与推理机专家系统的 “智能” 主要源于其两大核心组件知识库Knowledge Base和推理机Inference Engine1、知识库是专家系统的知识存储中心用于存放领域专家的知识和经验。知识表示是构建知识库的关键。在专家系统中最常用的一种知识表示方法是产生式规则Production Rules即一系列 “IF-THEN” 形式的条件语句。例如IF 病人有发烧症状 AND 咳嗽 THEN 可能患有呼吸道感染。这些规则将特定情境IF部分条件与相应的结论或行动THEN部分结论关联起来。一个复杂的专家系统可能包含成百上千条这样的规则共同构成一个庞大的知识网络2、推理机是专家系统的核心计算引擎。它是一个通用的程序其任务是根据用户提供的事实在知识库中寻找并应用相关的规则从而推导出新的结论。推理机的工作方式主要有两种正向链Forward Chaining从已知事实出发不断匹配规则的IF部分触发THEN部分的结论并将新结论加入事实库直到最终推导出目标或无新规则可匹配。这是一种 “数据驱动”的推理方式反向链Backward Chaining从一个假设的目标比如“病人是否患有肺炎”出发寻找能够推导出该目标的规则然后将该规则的IF部分作为新的子目标如此递归下去直到所有子目标都能被已知事实所证明。这是一种“目标驱动”的推理方式2.1.3、SHRDLU如果说专家系统展示了符号 AI 在专业领域的“深度”那么 1968—1970 年开发的 SHRDLU 项目则在“广度”上实现了革命性突破。SHRDLU 旨在构建一个能在“积木世界”这一微观环境中通过自然语言与人类流畅交互的综合性智能体。“积木世界” 是一个模拟的三维虚拟空间包含不同形状、颜色、大小的积木以及一个可抓取和移动它们的虚拟机械臂。用户通过自然语言向 SHRDLU 下达指令或提问SHRDLU 则在虚拟世界中执行动作或给出文字回答SHRDLU 在当时引起广泛关注主要原因在于它首次将多个独立的人工智能模块如语言解析、规划、记忆集成在一个统一的系统中并使它们协同工作1、自然语言理解SHRDLU 能解析结构复杂且含歧义的英语句子不仅能理解直接命令如 Pick up a big red block.还能处理更复杂的指令指代消解Find a block which is taller than the one you are holding and put it into the box. 该指令中系统需理解 the one you are holding 指代当前机械臂正抓取的物体上下文记忆用户可说 Grasp the pyramid.接着问 What does the box contain?系统能联系上下文回答2、规划与行动理解指令后SHRDLU 能自主规划一系列必要动作以完成任务。例如若指令为“把蓝色积木放到红色积木上”而红色积木上已有另一绿色积木系统会规划出“先把绿色积木移开再把蓝色积木放上去”的动作序列3、记忆与问答SHRDLU 拥有关于其所处环境与自身行为的记忆用户可就此提问例如询问世界状态Is there a large block behind a pyramid?询问行为历史Did you touch any pyramid before you put the green one on the little cube?询问行为动机Why did you pick up the red block? SHRDLU 可回答BECAUSE YOU ASKED ME TO.SHRDLU的历史地位与影响主要体现在三个方面综合性智能的典范在 SHRDLU 之前AI 研究大多聚焦于单一功能。它首次将语言理解、推理规划与行动记忆等多个 AI 模块集成于统一系统其 “感知-思考-行动” 的闭环设计奠定了现代智能体研究的基础微观世界研究方法的普及成功证明在一个规则明确的简化环境中探索和验证复杂智能体基本原理的可行性这一方法深刻影响了后续的机器人学与AI规划研究引发的乐观与反思SHRDLU的成功激发了对 AGI 的早期乐观预期但其能力又严格局限于积木世界。这种局限性引发了AI 领域关于 “符号处理” 与 “真正理解” 之间差异的长期思辨揭示了通往通用智能的深层挑战2.1.4、符号主义面临的根本性挑战尽管早期项目成就显著但从20世纪80年代起符号主义 AI 在从 “微观世界” 走向开放、复杂的现实世界时遇到了其方法论固有的根本性难题。这些难题主要可归结为两大类1常识知识与知识获取瓶颈符号主义智能体的 “智能” 完全依赖于其知识库的质量和完备性。然而如何构建一个能够支撑真实世界交互的知识库被证明是一项极其艰巨的任务主要体现在两个方面知识获取瓶颈Knowledge Acquisition Bottleneck专家系统的知识需要由人类专家和知识工程师通过繁琐的访谈、提炼和编码过程来构建。这个过程成本高昂、耗时漫长且难以规模化。更重要的是人类专家的许多知识是内隐的、直觉性的很难被清晰地表达为 “IF-THEN”规则。试图将整个世界的知识都进行手工符号化被认为是一项几乎不可能完成的任务常识问题Common-sense Problem人类行为依赖于庞大的常识背景例如“水是湿的”等但符号系统除非被明确编码否则对此一无所知。为广阔、模糊的常识建立完备的知识库至今仍是重大挑战Cyc项目历经数十年努力其成果和应用仍然非常有限2框架问题与系统脆弱性除了知识层面的挑战外符号主义在处理动态变化的世界时也遇到了逻辑上的困境框架问题Frame Problem在动态世界中智能体执行一个动作后如何高效判断哪些事物未发生改变是一个逻辑难题。为每个动作显式地声明所有不变的状态在计算上是不可行的而人类却能毫不费力地忽略不相关的变化系统脆弱性Brittleness符号系统完全依赖预设规则导致其行为非常“脆弱”。一旦遇到规则之外的任何微小变化或新情况系统便可能完全失灵无法像人类一样灵活变通。SHRDLU的成功也正是因为它运行在一个规则完备的封闭世界里而真实世界充满了例外2.2 构建基于规则的聊天机器人在探讨了符号主义的理论挑战后将尝试复现人工智能历史上一个极具影响力的早期聊天机器人——ELIZA来直观地感受基于规则的系统是如何工作的2.2.1、ELIZA 的设计思想ELIZA 于 1966 年发布是早期自然语言处理领域的著名尝试之一。ELIZA 并非单一程序而是一个可执行不同 “脚本” 的框架。其中最广为人知也最成功的脚本是“DOCTOR”模仿一位罗杰斯学派的非指导性心理治疗师ELIZA的工作方式极其巧妙它从不正面回答问题或提供信息而是通过识别用户输入中的关键词然后应用一套预设的转换规则将用户的陈述转化为一个开放式的提问。例如当用户说“我为某人感到难过”时ELIZA可能会识别出关键词“我为……感到难过”并应用规则生成回应“你为什么会为某人感到难过”其设计思想并非创造真正“理解”人类情感的智能体恰恰相反旨在证明通过简单句式转换技巧机器可在完全不理解对话内容的情况下营造出“智能”与“共情”的假象。然而出乎意料许多与 ELIZA 交互过的用户都对其产生情感依赖深信它能够理解自己2.2.2、模式匹配与文本替换ELIZA的算法流程基于模式匹配Pattern Matching与文本替换Text Substitution可被清晰地分解为以下四个步骤1、关键词识别与排序规则库为每个关键词如 mother、dreamed、depressed设定优先级。当输入包含多个关键词时程序选择优先级最高的关键词所对应的规则进行处理2、分解规则找到关键词后程序使用带通配符*的分解规则捕获句子其余部分规则示例* my *用户输入My mother is afraid of me捕获结果[, mother is afraid of me]3、重组规则程序从与分解规则关联的一组重组规则中选择一条生成回应通常随机选择以增加多样性并可选地使用上一步捕获的内容规则示例Tell me more about your family.生成输出Tell me more about your family.4、代词转换重组前程序进行简单代词转换如 I → you、my → your以维持对话连贯性FUNCTION generate_response(user_input): // 1. 将用户输入拆分成单词 words SPLIT(user_input) // 2. 寻找优先级最高的关键词规则 best_rule FIND_BEST_RULE(words) IF best_rule is NULL: RETURN a_generic_response() // 例如: Please go on. // 3. 使用规则分解用户输入 decomposed_parts DECOMPOSE(user_input, best_rule.decomposition_pattern) IF decomposition_failed: RETURN a_generic_response() // 4. 对分解出的部分进行代词转换 transformed_parts TRANSFORM_PRONOUNS(decomposed_parts) // 5. 使用重组规则生成回应 response REASSEMBLE(transformed_parts, best_rule.reassembly_patterns) RETURN response可直观总结出规则驱动系统的根本局限性缺乏语义理解系统不理解词义会机械匹配规则并生成语义不通的回应无法理解否定词等语义要素的作用无上下文记忆系统是无状态的Stateless每次回应仅基于当前单句输入无法进行连贯的多轮对话规则的扩展性问题增加更多规则会导致规则库规模爆炸式增长规则间冲突与优先级管理变得极其复杂最终导致系统难以维护然而尽管存在这些显而易见的缺陷ELIZA 在当时却产生了著名的 “ELIZA 效应”许多用户相信它能理解自己。这种智能幻觉主要源于其巧妙的对话策略如扮演被动提问者、使用开放式模板以及人类天生的情感投射心理ELIZA 的实践清晰揭示了符号主义方法的核心矛盾系统看似智能的表现完全依赖设计者预先编码的规则。然而面对真实世界语言的无限可能性这种穷举式方法注定不可扩展。系统没有真正理解只是在执行符号操作这正是其脆弱性的根源2.3、马文·明斯基的心智社会符号主义的探索与 ELIZA 的实践共同指向一个问题通过预设规则构建的、单一且集中的推理引擎似乎难以通向真正的智能。无论规则库多么庞大系统在面对真实世界的模糊性、复杂性与无穷变化时总是显得僵化而脆弱2.3.1、对单一整体智能模型的反思|20 世纪 70 至 80 年代符号主义的局限性日益明显。专家系统虽然在高度垂直的领域取得了成功但它们无法拥有儿童般的常识SHRDLU 虽然能在封闭的积木世界中表现出色却无法理解这个世界之外的任何事情ELIZA 虽然能模仿对话但对对话内容本身一无所知。这些系统都遵循着一种自上而下Top-down的设计思路一个全知全能的中央处理器根据一套统一的逻辑规则来处理信息和做出决策面对这种普遍的失败明斯基开始提出一系列根本性的问题“理解” 是什么 理解一个故事是一种单一能力还是视觉化能力、逻辑推理能力、情感共鸣能力、社会关系常识等数十种不同心智过程协同工作的结果“常识” 是什么 常识是包含数百万条逻辑规则的庞大知识库如 Cyc 项目的尝试还是一种分布式的、由无数具体经验与简单规则片段交织而成的网络智能体应该如何构建 应该继续追求一个完美、统一的逻辑系统还是承认智能本身就是“不完美”的、由许多功能各异甚至彼此冲突的简单部分组成的大杂烩这些问题直指单一整体智能模型的核心弊端。该类模型试图用一种统一的表示与推理机制来解决所有问题但这与观察到的自然智能尤其是人类智能运作方式相去甚远。强行将多样化的心智活动塞进一个僵化逻辑框架正是导致早期人工智能研究停滞不前的根源基于这样的反思一种颠覆性构想被提出不再将心智视为一个金字塔式的层级结构而是将其看作一个扁平化、充满互动与协作的 “社会”2.3.2、作为协作体的智能在明斯基的理论框架中智能体的定义与现代智能体有所不同这里的智能体指的是一个极其简单的、专门化的心智过程其自身是“无心”的。例如一个负责识别线条的 LINE-FINDER 智能体或一个负责抓握的 GRASP 智能体这些简单的智能体被组织起来形成功能更强大的机构Agency。一个机构是一组协同工作的智能体旨在完成更复杂的任务。例如负责搭积木的 BUILD 机构可能由 SEE、FIND、GET、PUT 等多个下层智能体或机构组成。它们之间通过去中心化的激活与抑制信号相互影响形成动态控制流涌现Emergence是理解心智社会理论的关键。复杂的、有目的性的智能行为并非由某个高级智能体预先规划而是从大量简单的底层智能体之间的局部交互中自发产生的以经典 “搭建积木塔” 任务为例当高层目标如 “要搭一个塔”出现时会激活名为 BUILD-TOWER 的高层机构BUILD-TOWER 机构并不知道如何执行具体物理动作其唯一作用是激活下属机构如 BUILDERBUILDER 机构同样简单可能只包含一个循环逻辑只要塔还没搭完就激活 ADD-BLOCK 机构ADD-BLOCK 机构负责协调更具体的子任务依次激活 FIND-BLOCK、GET-BLOCK 与 PUT-ON-TOP 三个子机构每个子机构又由更底层的智能体构成。例如GET-BLOCK 机构会激活视觉系统中的 SEE-SHAPE 智能体、运动系统中的 REACH 与 GRASP 智能体在这个过程中没有任何一个智能体或机构拥有整个任务的全局规划。GRASP 只负责抓握不知道什么是塔BUILDER 只负责循环不知道如何控制手臂。然而当这个由无数 “无心” 的智能体组成的社会通过简单的激活和抑制规则相互作用时一个看似高度智能的行为搭建积木塔就自然而然地涌现了出来2.3.3、对多智能体系统的理论启发心智社会理论最深远的影响在于为分布式人工智能Distributed Artificial Intelligence, DAI及后来的多智能体系统Multi-Agent System, MAS提供了重要概念基础如果一个心智内部的智能是通过大量简单智能体的协作而涌现的那么在多个独立的、物理上分离的计算实体计算机、机器人之间是否也能通过协作涌现出更强大的 “群体智能” 这个问题的提出直接将研究焦点从“如何构建一个全能的单一智能体” 转向了 “如何设计一个高效协作的智能体群体”。具体而言心智社会在以下几个方面直接启发了多智能体系统的研究去中心化控制Decentralized Control理论的核心在于不存在中央控制器。该思想被MAS领域完全继承如何设计没有中心节点的协调机制和任务分配策略成为了MAS的核心研究课题之一涌现式计算Emergent Computation复杂问题的解决方案可以从简单的局部交互规则中自发产生。这启发了MAS中大量基于涌现思想的算法如蚁群算法、粒子群优化等用于解决复杂的优化和搜索问题智能体的社会性Agent Sociality明斯基的理论强调了智能体之间的交互激活、抑制。MAS领域将其进一步扩展系统地研究智能体之间的通信语言如ACL、交互协议如契约网、协商策略、信任模型乃至组织结构从而构建起真正的计算社会可以说“心智社会”理论为AI研究者理解 “群体智能” 的内在构造提供了重要的分析框架提供了一套全新的视角去探索由独立的、自治的、具备社会能力的计算智能体所构成的复杂系统从而正式开启了多智能体系统研究的序幕2.4、学习范式的演进与现代智能体“心智社会”理论在哲学层面为群体智能与去中心化协作指明了方向但实现路径尚不明确。与此同时符号主义在应对真实世界复杂性时暴露的根本性挑战也表明仅靠预先编码的规则无法构建真正鲁棒的智能这两条线索共同指向一个问题如果智能无法被完全设计那么它是否可以被学习出来这一设问开启了人工智能的“学习”时代。其核心目标不再是手动编码知识而是构建能从经验与数据中自动获取知识与能力的系统。演进历程从联结主义奠定的学习基础到强化学习实现的交互式学习直至今日由大型语言模型驱动的现代智能体2.4.1、从符号到联结作为对符号主义局限性的直接回应联结主义Connectionism在 20 世纪 80 年代重新兴起。与符号主义自上而下、依赖明确逻辑规则的设计哲学不同联结主义是一种自下而上的方法其灵感来源于对生物大脑神经网络结构的模仿。其核心思想可概括为以下几点知识的分布式表示知识并非以明确的符号或规则形式存储在某个知识库中而是以连接权重的形式分布式地存储在大量简单的处理单元即人工神经元的连接之间。整个网络的连接模式本身就构成了知识简单的处理单元每个神经元只执行非常简单的计算如接收来自其他神经元的加权输入通过一个激活函数进行处理然后将结果输出给下一个神经元通过学习调整权重系统的智能并非来自于设计者预先编写的复杂程序而是来自于 “学习” 过程。系统通过接触大量样本根据某种学习算法如反向传播算法自动、迭代地调整神经元之间的连接权重从而使得整个网络的输出逐渐接近期望的目标在这种范式下智能体不再是一个被动执行规则的逻辑推理机而是一个能够通过经验自我优化的适应性系统。下图代表了构建智能体核心思想的根本性转变符号主义试图将人类的知识显式地编码给机器而联结主义则试图创造出能够像人类一样学习知识的机器2.4.2、基于强化学习的智能体联结主义主要解决了感知问题例如“这张图片里有什么”但智能体更核心的任务是进行决策例如“在这种情况下应该做什么”。强化学习正是专注于解决序贯决策问题的学习范式。它并非直接从标注好的静态数据集中学习而是通过智能体与环境的直接交互在“试错”中学习如何最大化其长期收益以AlphaGo为例其核心的自我对弈学习过程便是强化学习的经典体现。该过程中AlphaGo智能体通过观察棋盘的当前布局环境状态决定下一步棋的落子位置行动。一局棋结束后根据胜负结果它会收到一个明确的信号赢了就是正向奖励输了则是负向奖励。通过数百万次这样的自我对弈AlphaGo不断调整其内部策略逐渐学会了在何种棋局下选择何种行动最有可能导向最终的胜利。这个过程完全是自主的不依赖于人类棋谱的直接指导这种通过与环境互动、根据反馈信号来优化自身行为的学习机制就是强化学习的核心框架。其框架可以用几个核心要素来描述智能体Agent学习者和决策者。在AlphaGo的例子中就是其决策程序环境Environment智能体外部的一切是智能体与之交互的对象。对AlphaGo而言就是围棋的规则和对手状态State, S对环境在某一时刻的特定描述是智能体做出决策的依据。例如棋盘上所有棋子的当前位置行动Action, A智能体根据当前状态所能采取的操作。例如在棋盘的某个合法位置上落下一子奖励Reward, R环境在智能体执行一个行动后反馈给智能体的一个标量信号用于评价该行动在特定状态下的好坏。例如一局棋结束后胜利获得1的奖励失败获得-1的奖励基于上述核心要素强化学习智能体在一个 “感知-行动-学习” 的闭环中持续迭代这个循环的具体步骤如下在时间步 t智能体观察到环境的当前状态 S_t。基于状态 S_t智能体根据其内部策略Policy, π选择一个行动 A_t 并执行。策略本质上是一个从状态到行动的映射定义了智能体的行为方式。环境接收到行动 A_t 后转移到一个新的状态 S_t1。同时环境反馈给智能体一个即时奖励 R_t1。智能体利用该反馈新状态 S_t1与奖励 R_t1更新并优化内部策略以便在未来做出更好决策。该更新过程即学习智能体的学习目标并非最大化某一个时间步的即时奖励而是最大化从当前时刻开始到未来的累积奖励Cumulative Reward也称为回报Return。这意味着智能体需要具备“远见”有时为了获得未来更大的奖励需要牺牲当前的即时奖励。通过在上述循环中不断探索、收集反馈并优化策略智能体最终能够学会在复杂动态环境中进行自主决策和长期规划2.4.3、基于大规模数据的预训练强化学习赋予了智能体从交互中学习决策策略的能力但这通常需要海量的、针对特定任务的交互数据导致智能体在学习之初缺乏先验知识需要从零开始构建对任务的理解。无论是符号主义试图手动编码的常识还是人类在决策时所依赖的背景知识在RL智能体中都是缺失的。如何让智能体在开始学习具体任务前就先具备对世界的广泛理解这一问题的解决方案最终在自然语言处理 NLP领域中浮现其核心便是基于大规模数据的预训练Pre-training从特定任务到通用模型在预训练范式出现之前传统的自然语言处理模型通常是为单一特定任务如情感分析、机器翻译在专门标注的中小规模数据集上从零开始独立训练的。这种模式导致了几个问题模型的知识面狭窄难以将在一个任务中学到的知识泛化到另一个任务并且每一个新任务都需要耗费大量的人力去标注数据。预训练与微调Pre-training, Fine-tuning范式的提出彻底改变了这一现状。其核心思想分为两步1、预训练阶段首先在一个包含互联网级别海量文本数据的通用语料库上通过自监督学习Self-supervised Learning的方式训练一个超大规模的神经网络模型。这个阶段的目标不是完成任何特定任务而是学习语言本身内在的规律、语法结构、事实知识以及上下文逻辑。最常见的目标是 “预测下一个词”2、微调阶段完成预训练后这个模型就已经学习到了和数据集有关的丰富知识。之后针对特定的下游任务只需使用少量该任务的标注数据对模型进行微调即可让模型适应对应任务直观地展示了这一预训练与微调的完整流程通用文本数据经过自监督学习形成基础模型随后通过特定任务数据进行微调最终适应各项下游任务大型语言模型的诞生与涌现能力通过在数万亿级别的文本上进行预训练大型语言模型的神经网络权重实际上已经构建了一个关于世界知识的、高度压缩的隐式模型。它以一种全新的方式解决了符号主义时代最棘手的 “知识获取瓶颈” 问题。更令人惊讶的是当模型的规模参数量、数据量、计算量跨越某个阈值后它们开始展现出未被直接训练的、预料之外的涌现能力Emergent Abilities例如上下文学习In-context Learning无需调整模型权重仅在输入中提供几个示例Few-shot甚至零个示例Zero-shot模型就能理解并完成新的任务思维链Chain-of-Thought推理通过引导模型在回答复杂问题前先输出一步步的推理过程可以显著提升其在逻辑、算术和常识推理任务上的准确性这些能力的出现标志着 LLM 已不再仅仅是语言模型而演变为兼具海量知识库与通用推理引擎双重角色的组件。至此智能体发展的历史长河中几大关键技术拼图悉数登场符号主义提供了逻辑推理框架联结主义与强化学习提供了学习与决策能力大型语言模型则提供了前所未有的、通过预训练获得的世界知识与通用推理能力2.4.4、基于大语言模型的智能体随着大型语言模型技术飞速发展以 LLM 为核心的智能体已成为人工智能领域的新范式。它不仅能理解和生成人类语言更重要的是能通过与环境的交互自主感知、规划、决策并执行任务智能体与环境的交互可以被抽象为一个核心循环。LLM驱动的智能体通过一个由多个模块协同工作的、持续迭代的闭环流程来完成任务具体步骤如下1、感知 (Perception) 流程始于感知模块(Perception Module)它通过传感器从外部环境 (Environment) 接收原始输入形成观察 (Observation)。这些观察信息如用户指令、API返回的数据或环境状态的变化是智能体决策的起点处理后将被传递给思考阶段2、思考 (Thought) 这是智能体的认知核心由规划模块 (Planning Module) 和 LLM 的协同工作规划与分解首先规划模块接收观察信息进行高级策略制定。它通过反思 (Reflection) 和自我批判 (Self-criticism) 等机制将宏观目标分解为更具体、可执行的步骤推理与决策随后作为中枢的 LLM 接收来自规划模块的指令并与记忆模块 (Memory) 交互以整合历史信息。LLM 进行深度推理最终决策出下一步要执行的具体操作这通常表现为一个工具调用 (Tool Call)3、行动 (Action) 决策完成后进入行动阶段由执行模块 (Execution Module) 负责。LLM 生成的工具调用指令被发送到执行模块。该模块解析指令从工具箱 (Tool Use) 中选择并调用合适的工具如代码执行器、搜索引擎、API等来与环境交互或执行任务。这个与环境的实际交互就是智能体的行动 (Action)4、观察 (Observation) 与循环 行动会改变环境的状态并产生结果。工具执行后返回工具结果Tool Result给 LLM构成对行动效果的直接反馈。同时智能体行动改变环境产生全新环境状态。该 “工具结果” 与 “新的环境状态” 共同构成一轮全新观察Observation。新观察被感知模块再次捕获LLM 则根据行动结果更新记忆Memory Update从而启动下一轮 “感知—思考—行动” 循环这种模块化的协同机制与持续的迭代循环构成了LLM驱动智能体解决复杂问题的核心工作流2.4.5、智能体发展关键节点概览人工智能体的发展史并非一条笔直的单行道而是几大核心思想流派长达半个多世纪交织、竞争与融合的历程。这其中主要有三大思潮主导着不同时期的研究范式符号主义认为智能的核心在于对符号的操作与逻辑推理。这一思想催生了能够理解自然语言指令的SHRDLU、知识驱动的专家系统以及在国际象棋领域取得巨大成功的 “深蓝” 计算机联结主义其灵感源于对大脑神经网络的模拟。尽管早期发展受限但反向传播算法为神经网络的复苏奠定了基础。最终随着深度学习时代的到来这一思想通过卷积神经网络、Transformer 等模型成为当前的主流行为主义强调智能体通过与环境的互动和试错来学习最优策略其现代化身为强化学习 。从早期的 TD-Gammon 到与深度学习结合并击败人类顶尖棋手的AlphaGo这一流派为智能体赋予了从经验中习得复杂决策行为的能力进入 21 世纪 20 年代这些思想流派以前所未有的方式深度融合。以 GPT 系列为代表的大语言模型本身是联结主义的产物却成为执行符号推理、进行工具调用与规划决策的核心“大脑”形成神经—符号结合的现代智能体架构得益于大语言模型的突破智能体技术栈呈现出前所未有的活跃度与多样性。下图展示了当前 AI Agent 领域的一个典型技术栈全貌涵盖从底层模型到上层应用的各个环节。该技术栈图由 Letta 公司于 2024 年 11 月发布将 AI 智能体相关工具、平台与服务进行分层与分类为理解当前市场格局与技术选型提供了宝贵参考
二、智能体发展史2.1、基于符号与逻辑的早期智能体人工智能领域的早期探索深受数理逻辑和计算机科学基本原理的影响。当时候研究者们普遍相信人类的智能尤其是逻辑推理能力可以被形式化的符号体系所捕捉和复现。这一核心思想催生了人工智能的第一个重要范式——符号主义Symbolicism也被称为 “逻辑AI” 或 “传统AI”在符号主义看来智能行为的核心是基于一套明确规则对符号进行操作。因此一个智能体可以被视为一个物理符号系统它通过内部的符号来表示外部世界并通过逻辑推理来规划行动。这个时代的智能体其 “智慧” 完全来源于设计者预先编码的知识库和推理规则而非通过自主学习获得2.1.1、物理符号系统假说符号主义时代的理论根据是1976年提出的物理符号系统假说Physical Symbol System Hypothesis, PSSH。该假说为在计算机上实现通用人工智能提供了理论指导与判定标准该假说包含两个核心论断充分性论断任何一个物理符号系统都具备产生通用智能行为的充分手段必要性论断任何一个能够展现通用智能行为的系统其本质必然是一个物理符号系统这里的物理符号系统指的是一个能够在物理世界中存在的系统它由一组可被区分的符号和一系列对这些符号进行操作的过程组成。这些符号可以组合成更复杂的结构例如表达式而过程则可以创建、修改、复制和销毁这些符号结构简而言之PSSH大胆地宣称智能的本质就是符号的计算与处理这个假说具有深远的影响。它将人类心智这一模糊、复杂的哲学问题转化为可在计算机上进行工程化实现的具体问题。它为早期人工智能研究者注入了强大的信心只要找到正确方式来表示知识并设计出有效的推理算法就一定能创造出与人类媲美的机器智能。整个符号主义时代的研究从专家系统到自动规划几乎都在这一假说指引下展开2.1.2、专家系统在物理符号系统假说的直接影响下专家系统Expert System成为符号主义时代最重要、最成功的应用成果。其核心目标是模拟人类专家在特定领域内解决问题的能力通过将专家的知识和经验编码成计算机程序使其能够在面对相似问题时给出媲美甚至超越人类专家的结论或建议一个典型的专家系统通常由知识库、推理机、用户界面等几个核心部分构成这种架构清晰地体现了知识与推理相分离的设计思想是符号主义AI的重要特征知识库与推理机专家系统的 “智能” 主要源于其两大核心组件知识库Knowledge Base和推理机Inference Engine1、知识库是专家系统的知识存储中心用于存放领域专家的知识和经验。知识表示是构建知识库的关键。在专家系统中最常用的一种知识表示方法是产生式规则Production Rules即一系列 “IF-THEN” 形式的条件语句。例如IF 病人有发烧症状 AND 咳嗽 THEN 可能患有呼吸道感染。这些规则将特定情境IF部分条件与相应的结论或行动THEN部分结论关联起来。一个复杂的专家系统可能包含成百上千条这样的规则共同构成一个庞大的知识网络2、推理机是专家系统的核心计算引擎。它是一个通用的程序其任务是根据用户提供的事实在知识库中寻找并应用相关的规则从而推导出新的结论。推理机的工作方式主要有两种正向链Forward Chaining从已知事实出发不断匹配规则的IF部分触发THEN部分的结论并将新结论加入事实库直到最终推导出目标或无新规则可匹配。这是一种 “数据驱动”的推理方式反向链Backward Chaining从一个假设的目标比如“病人是否患有肺炎”出发寻找能够推导出该目标的规则然后将该规则的IF部分作为新的子目标如此递归下去直到所有子目标都能被已知事实所证明。这是一种“目标驱动”的推理方式2.1.3、SHRDLU如果说专家系统展示了符号 AI 在专业领域的“深度”那么 1968—1970 年开发的 SHRDLU 项目则在“广度”上实现了革命性突破。SHRDLU 旨在构建一个能在“积木世界”这一微观环境中通过自然语言与人类流畅交互的综合性智能体。“积木世界” 是一个模拟的三维虚拟空间包含不同形状、颜色、大小的积木以及一个可抓取和移动它们的虚拟机械臂。用户通过自然语言向 SHRDLU 下达指令或提问SHRDLU 则在虚拟世界中执行动作或给出文字回答SHRDLU 在当时引起广泛关注主要原因在于它首次将多个独立的人工智能模块如语言解析、规划、记忆集成在一个统一的系统中并使它们协同工作1、自然语言理解SHRDLU 能解析结构复杂且含歧义的英语句子不仅能理解直接命令如 Pick up a big red block.还能处理更复杂的指令指代消解Find a block which is taller than the one you are holding and put it into the box. 该指令中系统需理解 the one you are holding 指代当前机械臂正抓取的物体上下文记忆用户可说 Grasp the pyramid.接着问 What does the box contain?系统能联系上下文回答2、规划与行动理解指令后SHRDLU 能自主规划一系列必要动作以完成任务。例如若指令为“把蓝色积木放到红色积木上”而红色积木上已有另一绿色积木系统会规划出“先把绿色积木移开再把蓝色积木放上去”的动作序列3、记忆与问答SHRDLU 拥有关于其所处环境与自身行为的记忆用户可就此提问例如询问世界状态Is there a large block behind a pyramid?询问行为历史Did you touch any pyramid before you put the green one on the little cube?询问行为动机Why did you pick up the red block? SHRDLU 可回答BECAUSE YOU ASKED ME TO.SHRDLU的历史地位与影响主要体现在三个方面综合性智能的典范在 SHRDLU 之前AI 研究大多聚焦于单一功能。它首次将语言理解、推理规划与行动记忆等多个 AI 模块集成于统一系统其 “感知-思考-行动” 的闭环设计奠定了现代智能体研究的基础微观世界研究方法的普及成功证明在一个规则明确的简化环境中探索和验证复杂智能体基本原理的可行性这一方法深刻影响了后续的机器人学与AI规划研究引发的乐观与反思SHRDLU的成功激发了对 AGI 的早期乐观预期但其能力又严格局限于积木世界。这种局限性引发了AI 领域关于 “符号处理” 与 “真正理解” 之间差异的长期思辨揭示了通往通用智能的深层挑战2.1.4、符号主义面临的根本性挑战尽管早期项目成就显著但从20世纪80年代起符号主义 AI 在从 “微观世界” 走向开放、复杂的现实世界时遇到了其方法论固有的根本性难题。这些难题主要可归结为两大类1常识知识与知识获取瓶颈符号主义智能体的 “智能” 完全依赖于其知识库的质量和完备性。然而如何构建一个能够支撑真实世界交互的知识库被证明是一项极其艰巨的任务主要体现在两个方面知识获取瓶颈Knowledge Acquisition Bottleneck专家系统的知识需要由人类专家和知识工程师通过繁琐的访谈、提炼和编码过程来构建。这个过程成本高昂、耗时漫长且难以规模化。更重要的是人类专家的许多知识是内隐的、直觉性的很难被清晰地表达为 “IF-THEN”规则。试图将整个世界的知识都进行手工符号化被认为是一项几乎不可能完成的任务常识问题Common-sense Problem人类行为依赖于庞大的常识背景例如“水是湿的”等但符号系统除非被明确编码否则对此一无所知。为广阔、模糊的常识建立完备的知识库至今仍是重大挑战Cyc项目历经数十年努力其成果和应用仍然非常有限2框架问题与系统脆弱性除了知识层面的挑战外符号主义在处理动态变化的世界时也遇到了逻辑上的困境框架问题Frame Problem在动态世界中智能体执行一个动作后如何高效判断哪些事物未发生改变是一个逻辑难题。为每个动作显式地声明所有不变的状态在计算上是不可行的而人类却能毫不费力地忽略不相关的变化系统脆弱性Brittleness符号系统完全依赖预设规则导致其行为非常“脆弱”。一旦遇到规则之外的任何微小变化或新情况系统便可能完全失灵无法像人类一样灵活变通。SHRDLU的成功也正是因为它运行在一个规则完备的封闭世界里而真实世界充满了例外2.2 构建基于规则的聊天机器人在探讨了符号主义的理论挑战后将尝试复现人工智能历史上一个极具影响力的早期聊天机器人——ELIZA来直观地感受基于规则的系统是如何工作的2.2.1、ELIZA 的设计思想ELIZA 于 1966 年发布是早期自然语言处理领域的著名尝试之一。ELIZA 并非单一程序而是一个可执行不同 “脚本” 的框架。其中最广为人知也最成功的脚本是“DOCTOR”模仿一位罗杰斯学派的非指导性心理治疗师ELIZA的工作方式极其巧妙它从不正面回答问题或提供信息而是通过识别用户输入中的关键词然后应用一套预设的转换规则将用户的陈述转化为一个开放式的提问。例如当用户说“我为某人感到难过”时ELIZA可能会识别出关键词“我为……感到难过”并应用规则生成回应“你为什么会为某人感到难过”其设计思想并非创造真正“理解”人类情感的智能体恰恰相反旨在证明通过简单句式转换技巧机器可在完全不理解对话内容的情况下营造出“智能”与“共情”的假象。然而出乎意料许多与 ELIZA 交互过的用户都对其产生情感依赖深信它能够理解自己2.2.2、模式匹配与文本替换ELIZA的算法流程基于模式匹配Pattern Matching与文本替换Text Substitution可被清晰地分解为以下四个步骤1、关键词识别与排序规则库为每个关键词如 mother、dreamed、depressed设定优先级。当输入包含多个关键词时程序选择优先级最高的关键词所对应的规则进行处理2、分解规则找到关键词后程序使用带通配符*的分解规则捕获句子其余部分规则示例* my *用户输入My mother is afraid of me捕获结果[, mother is afraid of me]3、重组规则程序从与分解规则关联的一组重组规则中选择一条生成回应通常随机选择以增加多样性并可选地使用上一步捕获的内容规则示例Tell me more about your family.生成输出Tell me more about your family.4、代词转换重组前程序进行简单代词转换如 I → you、my → your以维持对话连贯性FUNCTION generate_response(user_input): // 1. 将用户输入拆分成单词 words SPLIT(user_input) // 2. 寻找优先级最高的关键词规则 best_rule FIND_BEST_RULE(words) IF best_rule is NULL: RETURN a_generic_response() // 例如: Please go on. // 3. 使用规则分解用户输入 decomposed_parts DECOMPOSE(user_input, best_rule.decomposition_pattern) IF decomposition_failed: RETURN a_generic_response() // 4. 对分解出的部分进行代词转换 transformed_parts TRANSFORM_PRONOUNS(decomposed_parts) // 5. 使用重组规则生成回应 response REASSEMBLE(transformed_parts, best_rule.reassembly_patterns) RETURN response可直观总结出规则驱动系统的根本局限性缺乏语义理解系统不理解词义会机械匹配规则并生成语义不通的回应无法理解否定词等语义要素的作用无上下文记忆系统是无状态的Stateless每次回应仅基于当前单句输入无法进行连贯的多轮对话规则的扩展性问题增加更多规则会导致规则库规模爆炸式增长规则间冲突与优先级管理变得极其复杂最终导致系统难以维护然而尽管存在这些显而易见的缺陷ELIZA 在当时却产生了著名的 “ELIZA 效应”许多用户相信它能理解自己。这种智能幻觉主要源于其巧妙的对话策略如扮演被动提问者、使用开放式模板以及人类天生的情感投射心理ELIZA 的实践清晰揭示了符号主义方法的核心矛盾系统看似智能的表现完全依赖设计者预先编码的规则。然而面对真实世界语言的无限可能性这种穷举式方法注定不可扩展。系统没有真正理解只是在执行符号操作这正是其脆弱性的根源2.3、马文·明斯基的心智社会符号主义的探索与 ELIZA 的实践共同指向一个问题通过预设规则构建的、单一且集中的推理引擎似乎难以通向真正的智能。无论规则库多么庞大系统在面对真实世界的模糊性、复杂性与无穷变化时总是显得僵化而脆弱2.3.1、对单一整体智能模型的反思|20 世纪 70 至 80 年代符号主义的局限性日益明显。专家系统虽然在高度垂直的领域取得了成功但它们无法拥有儿童般的常识SHRDLU 虽然能在封闭的积木世界中表现出色却无法理解这个世界之外的任何事情ELIZA 虽然能模仿对话但对对话内容本身一无所知。这些系统都遵循着一种自上而下Top-down的设计思路一个全知全能的中央处理器根据一套统一的逻辑规则来处理信息和做出决策面对这种普遍的失败明斯基开始提出一系列根本性的问题“理解” 是什么 理解一个故事是一种单一能力还是视觉化能力、逻辑推理能力、情感共鸣能力、社会关系常识等数十种不同心智过程协同工作的结果“常识” 是什么 常识是包含数百万条逻辑规则的庞大知识库如 Cyc 项目的尝试还是一种分布式的、由无数具体经验与简单规则片段交织而成的网络智能体应该如何构建 应该继续追求一个完美、统一的逻辑系统还是承认智能本身就是“不完美”的、由许多功能各异甚至彼此冲突的简单部分组成的大杂烩这些问题直指单一整体智能模型的核心弊端。该类模型试图用一种统一的表示与推理机制来解决所有问题但这与观察到的自然智能尤其是人类智能运作方式相去甚远。强行将多样化的心智活动塞进一个僵化逻辑框架正是导致早期人工智能研究停滞不前的根源基于这样的反思一种颠覆性构想被提出不再将心智视为一个金字塔式的层级结构而是将其看作一个扁平化、充满互动与协作的 “社会”2.3.2、作为协作体的智能在明斯基的理论框架中智能体的定义与现代智能体有所不同这里的智能体指的是一个极其简单的、专门化的心智过程其自身是“无心”的。例如一个负责识别线条的 LINE-FINDER 智能体或一个负责抓握的 GRASP 智能体这些简单的智能体被组织起来形成功能更强大的机构Agency。一个机构是一组协同工作的智能体旨在完成更复杂的任务。例如负责搭积木的 BUILD 机构可能由 SEE、FIND、GET、PUT 等多个下层智能体或机构组成。它们之间通过去中心化的激活与抑制信号相互影响形成动态控制流涌现Emergence是理解心智社会理论的关键。复杂的、有目的性的智能行为并非由某个高级智能体预先规划而是从大量简单的底层智能体之间的局部交互中自发产生的以经典 “搭建积木塔” 任务为例当高层目标如 “要搭一个塔”出现时会激活名为 BUILD-TOWER 的高层机构BUILD-TOWER 机构并不知道如何执行具体物理动作其唯一作用是激活下属机构如 BUILDERBUILDER 机构同样简单可能只包含一个循环逻辑只要塔还没搭完就激活 ADD-BLOCK 机构ADD-BLOCK 机构负责协调更具体的子任务依次激活 FIND-BLOCK、GET-BLOCK 与 PUT-ON-TOP 三个子机构每个子机构又由更底层的智能体构成。例如GET-BLOCK 机构会激活视觉系统中的 SEE-SHAPE 智能体、运动系统中的 REACH 与 GRASP 智能体在这个过程中没有任何一个智能体或机构拥有整个任务的全局规划。GRASP 只负责抓握不知道什么是塔BUILDER 只负责循环不知道如何控制手臂。然而当这个由无数 “无心” 的智能体组成的社会通过简单的激活和抑制规则相互作用时一个看似高度智能的行为搭建积木塔就自然而然地涌现了出来2.3.3、对多智能体系统的理论启发心智社会理论最深远的影响在于为分布式人工智能Distributed Artificial Intelligence, DAI及后来的多智能体系统Multi-Agent System, MAS提供了重要概念基础如果一个心智内部的智能是通过大量简单智能体的协作而涌现的那么在多个独立的、物理上分离的计算实体计算机、机器人之间是否也能通过协作涌现出更强大的 “群体智能” 这个问题的提出直接将研究焦点从“如何构建一个全能的单一智能体” 转向了 “如何设计一个高效协作的智能体群体”。具体而言心智社会在以下几个方面直接启发了多智能体系统的研究去中心化控制Decentralized Control理论的核心在于不存在中央控制器。该思想被MAS领域完全继承如何设计没有中心节点的协调机制和任务分配策略成为了MAS的核心研究课题之一涌现式计算Emergent Computation复杂问题的解决方案可以从简单的局部交互规则中自发产生。这启发了MAS中大量基于涌现思想的算法如蚁群算法、粒子群优化等用于解决复杂的优化和搜索问题智能体的社会性Agent Sociality明斯基的理论强调了智能体之间的交互激活、抑制。MAS领域将其进一步扩展系统地研究智能体之间的通信语言如ACL、交互协议如契约网、协商策略、信任模型乃至组织结构从而构建起真正的计算社会可以说“心智社会”理论为AI研究者理解 “群体智能” 的内在构造提供了重要的分析框架提供了一套全新的视角去探索由独立的、自治的、具备社会能力的计算智能体所构成的复杂系统从而正式开启了多智能体系统研究的序幕2.4、学习范式的演进与现代智能体“心智社会”理论在哲学层面为群体智能与去中心化协作指明了方向但实现路径尚不明确。与此同时符号主义在应对真实世界复杂性时暴露的根本性挑战也表明仅靠预先编码的规则无法构建真正鲁棒的智能这两条线索共同指向一个问题如果智能无法被完全设计那么它是否可以被学习出来这一设问开启了人工智能的“学习”时代。其核心目标不再是手动编码知识而是构建能从经验与数据中自动获取知识与能力的系统。演进历程从联结主义奠定的学习基础到强化学习实现的交互式学习直至今日由大型语言模型驱动的现代智能体2.4.1、从符号到联结作为对符号主义局限性的直接回应联结主义Connectionism在 20 世纪 80 年代重新兴起。与符号主义自上而下、依赖明确逻辑规则的设计哲学不同联结主义是一种自下而上的方法其灵感来源于对生物大脑神经网络结构的模仿。其核心思想可概括为以下几点知识的分布式表示知识并非以明确的符号或规则形式存储在某个知识库中而是以连接权重的形式分布式地存储在大量简单的处理单元即人工神经元的连接之间。整个网络的连接模式本身就构成了知识简单的处理单元每个神经元只执行非常简单的计算如接收来自其他神经元的加权输入通过一个激活函数进行处理然后将结果输出给下一个神经元通过学习调整权重系统的智能并非来自于设计者预先编写的复杂程序而是来自于 “学习” 过程。系统通过接触大量样本根据某种学习算法如反向传播算法自动、迭代地调整神经元之间的连接权重从而使得整个网络的输出逐渐接近期望的目标在这种范式下智能体不再是一个被动执行规则的逻辑推理机而是一个能够通过经验自我优化的适应性系统。下图代表了构建智能体核心思想的根本性转变符号主义试图将人类的知识显式地编码给机器而联结主义则试图创造出能够像人类一样学习知识的机器2.4.2、基于强化学习的智能体联结主义主要解决了感知问题例如“这张图片里有什么”但智能体更核心的任务是进行决策例如“在这种情况下应该做什么”。强化学习正是专注于解决序贯决策问题的学习范式。它并非直接从标注好的静态数据集中学习而是通过智能体与环境的直接交互在“试错”中学习如何最大化其长期收益以AlphaGo为例其核心的自我对弈学习过程便是强化学习的经典体现。该过程中AlphaGo智能体通过观察棋盘的当前布局环境状态决定下一步棋的落子位置行动。一局棋结束后根据胜负结果它会收到一个明确的信号赢了就是正向奖励输了则是负向奖励。通过数百万次这样的自我对弈AlphaGo不断调整其内部策略逐渐学会了在何种棋局下选择何种行动最有可能导向最终的胜利。这个过程完全是自主的不依赖于人类棋谱的直接指导这种通过与环境互动、根据反馈信号来优化自身行为的学习机制就是强化学习的核心框架。其框架可以用几个核心要素来描述智能体Agent学习者和决策者。在AlphaGo的例子中就是其决策程序环境Environment智能体外部的一切是智能体与之交互的对象。对AlphaGo而言就是围棋的规则和对手状态State, S对环境在某一时刻的特定描述是智能体做出决策的依据。例如棋盘上所有棋子的当前位置行动Action, A智能体根据当前状态所能采取的操作。例如在棋盘的某个合法位置上落下一子奖励Reward, R环境在智能体执行一个行动后反馈给智能体的一个标量信号用于评价该行动在特定状态下的好坏。例如一局棋结束后胜利获得1的奖励失败获得-1的奖励基于上述核心要素强化学习智能体在一个 “感知-行动-学习” 的闭环中持续迭代这个循环的具体步骤如下在时间步 t智能体观察到环境的当前状态 S_t。基于状态 S_t智能体根据其内部策略Policy, π选择一个行动 A_t 并执行。策略本质上是一个从状态到行动的映射定义了智能体的行为方式。环境接收到行动 A_t 后转移到一个新的状态 S_t1。同时环境反馈给智能体一个即时奖励 R_t1。智能体利用该反馈新状态 S_t1与奖励 R_t1更新并优化内部策略以便在未来做出更好决策。该更新过程即学习智能体的学习目标并非最大化某一个时间步的即时奖励而是最大化从当前时刻开始到未来的累积奖励Cumulative Reward也称为回报Return。这意味着智能体需要具备“远见”有时为了获得未来更大的奖励需要牺牲当前的即时奖励。通过在上述循环中不断探索、收集反馈并优化策略智能体最终能够学会在复杂动态环境中进行自主决策和长期规划2.4.3、基于大规模数据的预训练强化学习赋予了智能体从交互中学习决策策略的能力但这通常需要海量的、针对特定任务的交互数据导致智能体在学习之初缺乏先验知识需要从零开始构建对任务的理解。无论是符号主义试图手动编码的常识还是人类在决策时所依赖的背景知识在RL智能体中都是缺失的。如何让智能体在开始学习具体任务前就先具备对世界的广泛理解这一问题的解决方案最终在自然语言处理 NLP领域中浮现其核心便是基于大规模数据的预训练Pre-training从特定任务到通用模型在预训练范式出现之前传统的自然语言处理模型通常是为单一特定任务如情感分析、机器翻译在专门标注的中小规模数据集上从零开始独立训练的。这种模式导致了几个问题模型的知识面狭窄难以将在一个任务中学到的知识泛化到另一个任务并且每一个新任务都需要耗费大量的人力去标注数据。预训练与微调Pre-training, Fine-tuning范式的提出彻底改变了这一现状。其核心思想分为两步1、预训练阶段首先在一个包含互联网级别海量文本数据的通用语料库上通过自监督学习Self-supervised Learning的方式训练一个超大规模的神经网络模型。这个阶段的目标不是完成任何特定任务而是学习语言本身内在的规律、语法结构、事实知识以及上下文逻辑。最常见的目标是 “预测下一个词”2、微调阶段完成预训练后这个模型就已经学习到了和数据集有关的丰富知识。之后针对特定的下游任务只需使用少量该任务的标注数据对模型进行微调即可让模型适应对应任务直观地展示了这一预训练与微调的完整流程通用文本数据经过自监督学习形成基础模型随后通过特定任务数据进行微调最终适应各项下游任务大型语言模型的诞生与涌现能力通过在数万亿级别的文本上进行预训练大型语言模型的神经网络权重实际上已经构建了一个关于世界知识的、高度压缩的隐式模型。它以一种全新的方式解决了符号主义时代最棘手的 “知识获取瓶颈” 问题。更令人惊讶的是当模型的规模参数量、数据量、计算量跨越某个阈值后它们开始展现出未被直接训练的、预料之外的涌现能力Emergent Abilities例如上下文学习In-context Learning无需调整模型权重仅在输入中提供几个示例Few-shot甚至零个示例Zero-shot模型就能理解并完成新的任务思维链Chain-of-Thought推理通过引导模型在回答复杂问题前先输出一步步的推理过程可以显著提升其在逻辑、算术和常识推理任务上的准确性这些能力的出现标志着 LLM 已不再仅仅是语言模型而演变为兼具海量知识库与通用推理引擎双重角色的组件。至此智能体发展的历史长河中几大关键技术拼图悉数登场符号主义提供了逻辑推理框架联结主义与强化学习提供了学习与决策能力大型语言模型则提供了前所未有的、通过预训练获得的世界知识与通用推理能力2.4.4、基于大语言模型的智能体随着大型语言模型技术飞速发展以 LLM 为核心的智能体已成为人工智能领域的新范式。它不仅能理解和生成人类语言更重要的是能通过与环境的交互自主感知、规划、决策并执行任务智能体与环境的交互可以被抽象为一个核心循环。LLM驱动的智能体通过一个由多个模块协同工作的、持续迭代的闭环流程来完成任务具体步骤如下1、感知 (Perception) 流程始于感知模块(Perception Module)它通过传感器从外部环境 (Environment) 接收原始输入形成观察 (Observation)。这些观察信息如用户指令、API返回的数据或环境状态的变化是智能体决策的起点处理后将被传递给思考阶段2、思考 (Thought) 这是智能体的认知核心由规划模块 (Planning Module) 和 LLM 的协同工作规划与分解首先规划模块接收观察信息进行高级策略制定。它通过反思 (Reflection) 和自我批判 (Self-criticism) 等机制将宏观目标分解为更具体、可执行的步骤推理与决策随后作为中枢的 LLM 接收来自规划模块的指令并与记忆模块 (Memory) 交互以整合历史信息。LLM 进行深度推理最终决策出下一步要执行的具体操作这通常表现为一个工具调用 (Tool Call)3、行动 (Action) 决策完成后进入行动阶段由执行模块 (Execution Module) 负责。LLM 生成的工具调用指令被发送到执行模块。该模块解析指令从工具箱 (Tool Use) 中选择并调用合适的工具如代码执行器、搜索引擎、API等来与环境交互或执行任务。这个与环境的实际交互就是智能体的行动 (Action)4、观察 (Observation) 与循环 行动会改变环境的状态并产生结果。工具执行后返回工具结果Tool Result给 LLM构成对行动效果的直接反馈。同时智能体行动改变环境产生全新环境状态。该 “工具结果” 与 “新的环境状态” 共同构成一轮全新观察Observation。新观察被感知模块再次捕获LLM 则根据行动结果更新记忆Memory Update从而启动下一轮 “感知—思考—行动” 循环这种模块化的协同机制与持续的迭代循环构成了LLM驱动智能体解决复杂问题的核心工作流2.4.5、智能体发展关键节点概览人工智能体的发展史并非一条笔直的单行道而是几大核心思想流派长达半个多世纪交织、竞争与融合的历程。这其中主要有三大思潮主导着不同时期的研究范式符号主义认为智能的核心在于对符号的操作与逻辑推理。这一思想催生了能够理解自然语言指令的SHRDLU、知识驱动的专家系统以及在国际象棋领域取得巨大成功的 “深蓝” 计算机联结主义其灵感源于对大脑神经网络的模拟。尽管早期发展受限但反向传播算法为神经网络的复苏奠定了基础。最终随着深度学习时代的到来这一思想通过卷积神经网络、Transformer 等模型成为当前的主流行为主义强调智能体通过与环境的互动和试错来学习最优策略其现代化身为强化学习 。从早期的 TD-Gammon 到与深度学习结合并击败人类顶尖棋手的AlphaGo这一流派为智能体赋予了从经验中习得复杂决策行为的能力进入 21 世纪 20 年代这些思想流派以前所未有的方式深度融合。以 GPT 系列为代表的大语言模型本身是联结主义的产物却成为执行符号推理、进行工具调用与规划决策的核心“大脑”形成神经—符号结合的现代智能体架构得益于大语言模型的突破智能体技术栈呈现出前所未有的活跃度与多样性。下图展示了当前 AI Agent 领域的一个典型技术栈全貌涵盖从底层模型到上层应用的各个环节。该技术栈图由 Letta 公司于 2024 年 11 月发布将 AI 智能体相关工具、平台与服务进行分层与分类为理解当前市场格局与技术选型提供了宝贵参考
