本文节选自交互式科普电子书《AI是如何思考的》 在线阅读AI的边界什么是AI做不到的意识AI能拥有感受吗1974年哲学家托马斯·内格尔写了一篇著名的论文《做一只蝙蝠是什么感觉》。他的核心论点是即使我们完全理解了蝙蝠的回声定位系统——超声波如何发出、如何在耳蜗中转换为神经信号、如何在大脑中形成三维空间地图——我们仍然无法知道成为一只蝙蝠的主观体验是什么样的。这个问题直指AI的终极边界。我们可以构建一个神经网络它能完美地识别红色物体、用精确的语言描述红色的波长和情感联想。但它是否感受到了红色这个红色的感受就是哲学家大卫·查尔默斯所说的意识的困难问题。目前关于AI意识有三种主流理论整合信息理论IIT——意识等同于系统整合信息的能力。按照这个理论现有AI的意识趋近于零。全局工作空间理论GWT——意识是大脑中一个全局广播的过程不同模块竞争访问这个广播通道。按照这个理论AI可能在架构层面更接近意识。高阶思维理论HOT——意识是对自身认知状态的再认知。AI需要具备元认知能力。绝大多数科学家认为当前的AI没有意识我们也不知道如何制造有意识的AI。创造力AI是真正在创造吗玛格丽特·博登提出了三种创造力的经典分类组合创造力Combinatorial将已知元素以新颖方式组合。AI已经能做得很好。探索创造力Exploratory在给定的概念空间内探索边界。AI在风格迁移等领域表现出色。变革创造力Transformational改变概念空间本身的规则——发明新范式。这是AI目前完全做不到的。AI可以创作巴赫风格的赋格曲它在巴赫的概念空间内探索但它无法发明赋格曲这种全新的音乐形式。AI可以写出合格的商业文案但它不会创造出全新的文学体裁。这种基于现有模式进行统计意义上合理的重组的能力本质上还是模式匹配而非从零到一的原创。因果推理从相关到因果统计学习告诉我们相关性不等于因果性。但大语言模型本质上做的就是统计相关性——它在海量数据中学习Token之间的共现模式。计算机科学家朱迪亚·珀尔将人的推理分为三个层次第一层关联——“观察到什么”看到乌云 → 可能下雨。所有深度学习模型目前停留在这个层次。第二层干预——“如果我做X会怎样”打开洒水器 → 草坪变湿。需要理解因果机制而非仅仅关联。第三层反事实——“如果没有做X会怎样”如果昨天没吃药今天会头疼吗。这需要构建可能世界的心智模型。当前的AI严格停留在第一层。尽管GPT-4有时能给出看起来包含因果推理的回答但研究者普遍认为这是从训练数据中背诵的因果表达而非真正的因果推理。常识与物理直觉海伦·凯勒的感官世界是一个信息匮乏的世界——她无法观察阳光下的灰尘粒子运动来推断风的轨迹。但她仍然建立了远超GPT-4的物理直觉。人类不需要牛顿定律也能预测球从斜坡滚下会加速、水从杯子倒出会往下流。AI缺乏这种隐性物理知识。它可以通过训练学习预测球从斜坡滚下的方向但这是一种基于模式匹配的预测而非基于物理直觉的理解。当遇到训练数据中从未出现的物理场景时模型的表现急剧下降——这说明它并没有内化物理世界的运行规律。道德判断与情感电车难题的AI版本让AI选择撞向五人还是一人。问题在于AI的判断完全取决于训练数据中的人类偏好标注。RLHF过程本质上是在对驴弹琴——AI无法真正理解生命的分量它只是在模仿人类标注员的道德偏好。情感方面同样如此AI可以分析眼泪的成分是盐水但它不知道流泪是什么感觉。它可以基于生理学和心理学模型解释为什么人会哭——外部刺激激活边缘系统 → 释放神经递质 → 引发泪腺分泌。但它没有悲伤的主观体验。目前的AI是情感的模拟器而非体验者。幻觉与偏见AI的系统性硬伤幻觉的根因是概率生成机制模型的目标是生成从统计角度看最合理的文本而非从事实上看最准确的文本。RAG检索增强生成通过引入外部知识库约束模型的生成范围是目前最有效但并非彻底的缓解方案。数据偏见的四种来源历史偏见训练数据记录了历史上的不平等和刻板印象代表偏见某些群体在训练数据中代表性不足测量偏见用于评估的数据集本身存在偏见聚合偏见将不同群体的数据简单聚合导致掩盖群体间差异四大阿喀琉斯之踵海量数据依赖人类儿童学会猫只需见过几十只AI需要数百万张图片不理解为什么AI能预测下雨导致地面湿滑但不理解水循环和摩擦力的因果链条灾难性遗忘学会新任务会覆盖旧任务的能力分布外脆弱遇到与训练数据统计分布不同的场景时AI的表现急剧下降未来突破的可能方向包括神经符号AI将神经网络的灵活性符号推理的可解释性结合、世界模型让AI建立物理世界的内在模拟、小数据学习让AI像人类一样从少量样本中归纳规律。人机共生未来已来AI不会取代你但会用AI的人会全书的核心命题可以浓缩为一句话AI不会取代人类但会用AI的人会取代不会用AI的人。这不是安慰剂而是对技术变革历史的客观总结。蒸汽机没有取代工人——它取代了用镐挖煤的工人创造了操作蒸汽机的工种。电力没有取代工人——它取代了手动车床的工人创造了操作电动机械的工种。AI正在做同样的事。把它当作元技能——一种能够放大你所有其他能力的放大器。会AI的医生工作效率远超不会AI的医生会AI的程序员产出远超不会AI的程序员。教育的根本重构当AI能够回答所有考试题目时教育的本质是什么不是传递信息AI做得更好不是记忆知识AI记得更多更准不是执行计算AI算得更快更准。教育的新核心能力清单提出好问题的能力不是熟练答题而是能提出新颖、深刻的问题批判性评估AI输出的能力分辨什么是事实、什么是幻觉跨领域连接的能力AI擅长单一领域人类擅长连接看似不相关的领域价值判断与伦理决策AI可以提供选项分析但不能替人类做价值选择职业变革中间挤压现象职业类型AI影响评估核心原因初级程序员高替代风险代码生成能力远超入门水平高级架构师低风险工具赋能架构设计需要经验、判断和权衡初级设计师中高风险素材生成、排版标准流程化创意总监低风险审美判断和创意方向需要人类洞察翻译员高风险机器翻译质量已接近专业水平谈判专家极低风险涉及人际信任建立、微表情解读和动态博弈放射科医生中风险AI读片准确率在某些场景超过人类外科医生低风险精细操作短期难以被完全替代中间挤压现象高技能岗位需要深层经验判断和纯体力岗位需要物理灵活性相对安全中间层的标准流程性工作被AI替代的风险最大。创意产业的重新定义AI生成的艺术是真艺术吗这个问题没有标准答案但一个有用的框架是区分工具创作和表达创作。AI作为工具可以提高创作效率辅助完成重复性技术工作但艺术的价值在于人类通过作品表达独特的情感和视角——这是AI无法替代的。DeepFake和AI生成内容对真实性概念的冲击也是前所未有的。当一张照片、一段视频、一段录音都可以被完美伪造时我们如何定义真实这个问题的社会影响才刚刚开始。AI伦理与监管AI伦理的四大核心支柱对齐AlignmentAI的行为是否符合人类价值观和意图而非简单地最大化某个指标公平FairnessAI的决策是否对不同群体产生系统性歧视透明TransparencyAI的决策过程和依据是否可以被人类理解和审查问责Accountability当AI造成伤害时谁来承担法律和道德责任——开发者、使用者还是AI本身全球监管格局欧盟AI法案2024全球第一部综合性AI法规按风险等级分类AI系统高风险系统需满足透明度、人为监督等要求中国生成式AI暂行办法2023要求生成内容体现社会主义核心价值观训练数据须合法来源美国行政命令2023要求大型AI模型的开发者向政府分享安全测试结果开源 vs 闭源之争开源促进创新和透明度但恶意用途的门槛也同时降低。Meta开源的Llama系列成为最受欢迎的开源大模型而OpenAI和Google坚持闭源——两条路线各有拥趸。2050年的四种可能情景AAGI实现——人类与超级智能共存社会形态被根本性地重塑情景B人均AI助手——每个人拥有AI助手提高生产力但AGI尚未实现情景C双速世界——掌握AI的人群和不掌握AI的人群之间出现巨大的生产力鸿沟情景DAI监管过度——过度监管导致AI发展被严重阻碍技术创新停滞读者行动建议立刻开始使用AI工具不要等时机成熟现在就用GPT、Cursor、Midjourney培养AI思维学会将任务拆解为AI擅长的和人类擅长的部分保持终身学习技能半衰期正在急剧缩短关注AI伦理与社会影响技术选择不只是技术问题更是社会契约问题保持批判性思维在AI生成内容的时代信息素养成为了比编程更核心的能力标签建议#AI伦理 #人机共生 #AGI #AI边界 #职业变革 #DeepFake #科普
本文节选自交互式科普电子书《AI是如何思考的》 在线阅读AI的边界什么是AI做不到的意识AI能拥有感受吗1974年哲学家托马斯·内格尔写了一篇著名的论文《做一只蝙蝠是什么感觉》。他的核心论点是即使我们完全理解了蝙蝠的回声定位系统——超声波如何发出、如何在耳蜗中转换为神经信号、如何在大脑中形成三维空间地图——我们仍然无法知道成为一只蝙蝠的主观体验是什么样的。这个问题直指AI的终极边界。我们可以构建一个神经网络它能完美地识别红色物体、用精确的语言描述红色的波长和情感联想。但它是否感受到了红色这个红色的感受就是哲学家大卫·查尔默斯所说的意识的困难问题。目前关于AI意识有三种主流理论整合信息理论IIT——意识等同于系统整合信息的能力。按照这个理论现有AI的意识趋近于零。全局工作空间理论GWT——意识是大脑中一个全局广播的过程不同模块竞争访问这个广播通道。按照这个理论AI可能在架构层面更接近意识。高阶思维理论HOT——意识是对自身认知状态的再认知。AI需要具备元认知能力。绝大多数科学家认为当前的AI没有意识我们也不知道如何制造有意识的AI。创造力AI是真正在创造吗玛格丽特·博登提出了三种创造力的经典分类组合创造力Combinatorial将已知元素以新颖方式组合。AI已经能做得很好。探索创造力Exploratory在给定的概念空间内探索边界。AI在风格迁移等领域表现出色。变革创造力Transformational改变概念空间本身的规则——发明新范式。这是AI目前完全做不到的。AI可以创作巴赫风格的赋格曲它在巴赫的概念空间内探索但它无法发明赋格曲这种全新的音乐形式。AI可以写出合格的商业文案但它不会创造出全新的文学体裁。这种基于现有模式进行统计意义上合理的重组的能力本质上还是模式匹配而非从零到一的原创。因果推理从相关到因果统计学习告诉我们相关性不等于因果性。但大语言模型本质上做的就是统计相关性——它在海量数据中学习Token之间的共现模式。计算机科学家朱迪亚·珀尔将人的推理分为三个层次第一层关联——“观察到什么”看到乌云 → 可能下雨。所有深度学习模型目前停留在这个层次。第二层干预——“如果我做X会怎样”打开洒水器 → 草坪变湿。需要理解因果机制而非仅仅关联。第三层反事实——“如果没有做X会怎样”如果昨天没吃药今天会头疼吗。这需要构建可能世界的心智模型。当前的AI严格停留在第一层。尽管GPT-4有时能给出看起来包含因果推理的回答但研究者普遍认为这是从训练数据中背诵的因果表达而非真正的因果推理。常识与物理直觉海伦·凯勒的感官世界是一个信息匮乏的世界——她无法观察阳光下的灰尘粒子运动来推断风的轨迹。但她仍然建立了远超GPT-4的物理直觉。人类不需要牛顿定律也能预测球从斜坡滚下会加速、水从杯子倒出会往下流。AI缺乏这种隐性物理知识。它可以通过训练学习预测球从斜坡滚下的方向但这是一种基于模式匹配的预测而非基于物理直觉的理解。当遇到训练数据中从未出现的物理场景时模型的表现急剧下降——这说明它并没有内化物理世界的运行规律。道德判断与情感电车难题的AI版本让AI选择撞向五人还是一人。问题在于AI的判断完全取决于训练数据中的人类偏好标注。RLHF过程本质上是在对驴弹琴——AI无法真正理解生命的分量它只是在模仿人类标注员的道德偏好。情感方面同样如此AI可以分析眼泪的成分是盐水但它不知道流泪是什么感觉。它可以基于生理学和心理学模型解释为什么人会哭——外部刺激激活边缘系统 → 释放神经递质 → 引发泪腺分泌。但它没有悲伤的主观体验。目前的AI是情感的模拟器而非体验者。幻觉与偏见AI的系统性硬伤幻觉的根因是概率生成机制模型的目标是生成从统计角度看最合理的文本而非从事实上看最准确的文本。RAG检索增强生成通过引入外部知识库约束模型的生成范围是目前最有效但并非彻底的缓解方案。数据偏见的四种来源历史偏见训练数据记录了历史上的不平等和刻板印象代表偏见某些群体在训练数据中代表性不足测量偏见用于评估的数据集本身存在偏见聚合偏见将不同群体的数据简单聚合导致掩盖群体间差异四大阿喀琉斯之踵海量数据依赖人类儿童学会猫只需见过几十只AI需要数百万张图片不理解为什么AI能预测下雨导致地面湿滑但不理解水循环和摩擦力的因果链条灾难性遗忘学会新任务会覆盖旧任务的能力分布外脆弱遇到与训练数据统计分布不同的场景时AI的表现急剧下降未来突破的可能方向包括神经符号AI将神经网络的灵活性符号推理的可解释性结合、世界模型让AI建立物理世界的内在模拟、小数据学习让AI像人类一样从少量样本中归纳规律。人机共生未来已来AI不会取代你但会用AI的人会全书的核心命题可以浓缩为一句话AI不会取代人类但会用AI的人会取代不会用AI的人。这不是安慰剂而是对技术变革历史的客观总结。蒸汽机没有取代工人——它取代了用镐挖煤的工人创造了操作蒸汽机的工种。电力没有取代工人——它取代了手动车床的工人创造了操作电动机械的工种。AI正在做同样的事。把它当作元技能——一种能够放大你所有其他能力的放大器。会AI的医生工作效率远超不会AI的医生会AI的程序员产出远超不会AI的程序员。教育的根本重构当AI能够回答所有考试题目时教育的本质是什么不是传递信息AI做得更好不是记忆知识AI记得更多更准不是执行计算AI算得更快更准。教育的新核心能力清单提出好问题的能力不是熟练答题而是能提出新颖、深刻的问题批判性评估AI输出的能力分辨什么是事实、什么是幻觉跨领域连接的能力AI擅长单一领域人类擅长连接看似不相关的领域价值判断与伦理决策AI可以提供选项分析但不能替人类做价值选择职业变革中间挤压现象职业类型AI影响评估核心原因初级程序员高替代风险代码生成能力远超入门水平高级架构师低风险工具赋能架构设计需要经验、判断和权衡初级设计师中高风险素材生成、排版标准流程化创意总监低风险审美判断和创意方向需要人类洞察翻译员高风险机器翻译质量已接近专业水平谈判专家极低风险涉及人际信任建立、微表情解读和动态博弈放射科医生中风险AI读片准确率在某些场景超过人类外科医生低风险精细操作短期难以被完全替代中间挤压现象高技能岗位需要深层经验判断和纯体力岗位需要物理灵活性相对安全中间层的标准流程性工作被AI替代的风险最大。创意产业的重新定义AI生成的艺术是真艺术吗这个问题没有标准答案但一个有用的框架是区分工具创作和表达创作。AI作为工具可以提高创作效率辅助完成重复性技术工作但艺术的价值在于人类通过作品表达独特的情感和视角——这是AI无法替代的。DeepFake和AI生成内容对真实性概念的冲击也是前所未有的。当一张照片、一段视频、一段录音都可以被完美伪造时我们如何定义真实这个问题的社会影响才刚刚开始。AI伦理与监管AI伦理的四大核心支柱对齐AlignmentAI的行为是否符合人类价值观和意图而非简单地最大化某个指标公平FairnessAI的决策是否对不同群体产生系统性歧视透明TransparencyAI的决策过程和依据是否可以被人类理解和审查问责Accountability当AI造成伤害时谁来承担法律和道德责任——开发者、使用者还是AI本身全球监管格局欧盟AI法案2024全球第一部综合性AI法规按风险等级分类AI系统高风险系统需满足透明度、人为监督等要求中国生成式AI暂行办法2023要求生成内容体现社会主义核心价值观训练数据须合法来源美国行政命令2023要求大型AI模型的开发者向政府分享安全测试结果开源 vs 闭源之争开源促进创新和透明度但恶意用途的门槛也同时降低。Meta开源的Llama系列成为最受欢迎的开源大模型而OpenAI和Google坚持闭源——两条路线各有拥趸。2050年的四种可能情景AAGI实现——人类与超级智能共存社会形态被根本性地重塑情景B人均AI助手——每个人拥有AI助手提高生产力但AGI尚未实现情景C双速世界——掌握AI的人群和不掌握AI的人群之间出现巨大的生产力鸿沟情景DAI监管过度——过度监管导致AI发展被严重阻碍技术创新停滞读者行动建议立刻开始使用AI工具不要等时机成熟现在就用GPT、Cursor、Midjourney培养AI思维学会将任务拆解为AI擅长的和人类擅长的部分保持终身学习技能半衰期正在急剧缩短关注AI伦理与社会影响技术选择不只是技术问题更是社会契约问题保持批判性思维在AI生成内容的时代信息素养成为了比编程更核心的能力标签建议#AI伦理 #人机共生 #AGI #AI边界 #职业变革 #DeepFake #科普
