大语言模型Large Language ModelLLM是当前人工智能领域最核心的技术之一。它本质上是一个**基于海量文本训练的、参数量巨大的神经网络**核心能力是建模 token 序列的概率分布从而根据上下文预测下一个 token。典型代表包括 GPT、Claude、Gemini、Llama、Qwen、DeepSeek 等。下面从架构、训练、推理、能力、局限和趋势几个维度深入介绍。---## 1. 核心架构Transformer Decoder-Only现代 LLM 几乎都基于 **Transformer** 架构且大多采用 **Decoder-Only** 结构如 GPT 系列、Llama 系列。其核心流程1. **Tokenization**将文本切分为 token词、子词或字符常用算法有 BPE、WordPiece、SentencePiece。例如 “人工智能” 可能被切分为 “人工” “智能” 两个 token。2. **Embedding**每个 token 映射为一个高维向量同时加入位置信息位置编码如 RoPE、ALiBi 或可学习位置编码。3. **多层 Transformer Block**每层包含- **多头自注意力Multi-Head Self-Attention**- **前馈网络FFN**- **残差连接 LayerNorm**自注意力的核心公式\[\text{Attention}(Q,K,V)\text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V\]其中 Q、K、V 分别是 Query、Key、Value 矩阵。多头机制让模型从不同子空间捕捉语义关系。4. **因果掩码Causal Mask**Decoder-Only 模型只能看到当前 token 及之前的 token不能“偷看”未来保证自回归生成。5. **输出层**最后一层隐状态经过线性映射到词表大小再经 softmax 得到下一个 token 的概率分布。---## 2. 训练流程三阶段范式### 2.1 预训练Pre-training- **目标**下一个 token 预测Next Token Prediction。- **损失**交叉熵损失最大化\[\sum_{t} \log P(x_t \mid x_{t})\]- **数据**网页、书籍、论文、代码、百科、对话等规模可达数万亿 token。- **规模**参数量从几十亿到上万亿训练需数千张 GPU/TPU耗时数周至数月。**缩放定律Scaling Laws**- Kaplan 等人发现模型性能随参数量、数据量、计算量呈幂律提升。- Chinchilla 进一步指出在固定计算预算下模型参数与训练 token 数应大致同比例增长约 **20 token/参数** 为最优。例如 70B 模型应训练约 1.4T token。### 2.2 监督微调SFT预训练后的模型只是“超级自动补全”不一定听懂指令。SFT 使用人工标注的“指令-回答”数据对模型进行微调使其学会遵循指令。### 2.3 对齐Alignment让模型输出更有用、诚实、无害。主流方法- **RLHF**训练奖励模型再用 PPO 优化策略。- **DPO**直接偏好优化无需显式奖励模型更简单稳定。- **RLAIF / Constitutional AI**用 AI 反馈替代部分人类反馈。- **Instruction Tuning**大量指令数据混合训练。### 2.4 参数高效微调PEFT- **LoRA**低秩适配只训练少量新增参数。- **QLoRA**量化 LoRA可在单卡微调大模型。- **Adapter、Prefix Tuning、Prompt Tuning** 等。---## 3. 推理与生成LLM 推理是**自回归**的一次生成一个 token再拼回输入继续生成。- **KV Cache**缓存已计算的 Key/Value避免重复计算大幅加速。- **解码策略**- Greedy每次选概率最大的 token。- Beam Search保留多个候选路径。- Temperature控制随机性。- Top-k / Top-p从概率最高的 k 个或累积概率 p 的 token 中采样。- **上下文窗口**从早期 2K 扩展到 128K、1M 甚至更长。长上下文挑战注意力复杂度 \(O(n^2)\)、位置外推、记忆衰减。- **加速技术**- FlashAttention、PagedAttention- 量化INT8、INT4- 蒸馏、剪枝- MoE混合专家稀疏激活- 推测解码Speculative Decoding---## 4. 能力与涌现LLM 展现出许多传统 NLP 模型不具备的能力- **上下文学习In-Context Learning**无需更新参数仅通过提示中的示例学会新任务。- **零样本 / 少样本学习**直接给出指令或几个例子即可。- **思维链Chain-of-Thought, CoT**让模型逐步推理提升数学、逻辑表现。- **推理模型**如 OpenAI o1、DeepSeek-R1通过强化学习训练长推理链。- **代码生成**HumanEval、MBPP 等基准上表现优异。- **工具调用与 Agent**调用搜索、计算器、API完成复杂任务。- **RAG检索增强生成**结合外部知识库减少幻觉。- **多模态**文本 图像 音频 视频如 GPT-4o、Gemini。---## 5. 局限与挑战- **幻觉Hallucination**生成看似合理但事实错误的内容。- **知识截止**训练数据有时间边界无法实时更新。- **上下文限制**长文档中可能遗忘早期信息。- **推理脆弱**多步逻辑、数学、规划仍易出错。- **偏见与安全**可能放大训练数据中的社会偏见。- **计算成本高**训练和推理能耗巨大。- **可解释性差**内部决策过程难以完全理解。- **评估困难**基准测试可能被污染人类评估成本高。常用评估基准MMLU、GSM8K、MATH、HumanEval、TruthfulQA、MT-Bench、Chatbot Arena 等。---## 6. 生态与趋势- **开源 vs 闭源**Llama、Mistral、Qwen、DeepSeek 等开源模型快速追赶 GPT-4、Claude、Gemini。- **MoE 架构**如 Mixtral、DeepSeek-MoE用稀疏激活降低推理成本。- **长上下文与记忆**百万 token 上下文、外部记忆、向量数据库。- **多模态统一**一个模型处理文本、图像、音频、视频。- **推理与规划**从“预测下一个 token”走向“思考后行动”。- **Agent 化**LLM 作为大脑调用工具、执行任务、自我反思。- **对齐与安全**可扩展监督、红队测试、宪法 AI。- **效率优化**量化、蒸馏、剪枝、专用芯片。---## 7. 一句话总结LLM 是“**大规模预训练 指令微调 对齐**”的产物本质是一个**基于 Transformer 的概率模型**。它通过学习海量文本中的统计规律获得了语言理解、生成、推理和工具使用能力。它不是数据库不能保证事实正确但作为通用文本接口正在深刻改变软件、搜索、编程、教育和科研的形态。如果想进一步深入可以分别研究Transformer 细节、注意力机制、训练并行策略、RLHF/DPO、RAG、Agent、量化部署等方向。
大语言模型Large Language ModelLLM是当前人工智能领域最核心的技术之一。它本质上是一个**基于海量文本训练的、参数量巨大的神经网络**核心能力是建模 token 序列的概率分布从而根据上下文预测下一个 token。典型代表包括 GPT、Claude、Gemini、Llama、Qwen、DeepSeek 等。下面从架构、训练、推理、能力、局限和趋势几个维度深入介绍。---## 1. 核心架构Transformer Decoder-Only现代 LLM 几乎都基于 **Transformer** 架构且大多采用 **Decoder-Only** 结构如 GPT 系列、Llama 系列。其核心流程1. **Tokenization**将文本切分为 token词、子词或字符常用算法有 BPE、WordPiece、SentencePiece。例如 “人工智能” 可能被切分为 “人工” “智能” 两个 token。2. **Embedding**每个 token 映射为一个高维向量同时加入位置信息位置编码如 RoPE、ALiBi 或可学习位置编码。3. **多层 Transformer Block**每层包含- **多头自注意力Multi-Head Self-Attention**- **前馈网络FFN**- **残差连接 LayerNorm**自注意力的核心公式\[\text{Attention}(Q,K,V)\text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V\]其中 Q、K、V 分别是 Query、Key、Value 矩阵。多头机制让模型从不同子空间捕捉语义关系。4. **因果掩码Causal Mask**Decoder-Only 模型只能看到当前 token 及之前的 token不能“偷看”未来保证自回归生成。5. **输出层**最后一层隐状态经过线性映射到词表大小再经 softmax 得到下一个 token 的概率分布。---## 2. 训练流程三阶段范式### 2.1 预训练Pre-training- **目标**下一个 token 预测Next Token Prediction。- **损失**交叉熵损失最大化\[\sum_{t} \log P(x_t \mid x_{t})\]- **数据**网页、书籍、论文、代码、百科、对话等规模可达数万亿 token。- **规模**参数量从几十亿到上万亿训练需数千张 GPU/TPU耗时数周至数月。**缩放定律Scaling Laws**- Kaplan 等人发现模型性能随参数量、数据量、计算量呈幂律提升。- Chinchilla 进一步指出在固定计算预算下模型参数与训练 token 数应大致同比例增长约 **20 token/参数** 为最优。例如 70B 模型应训练约 1.4T token。### 2.2 监督微调SFT预训练后的模型只是“超级自动补全”不一定听懂指令。SFT 使用人工标注的“指令-回答”数据对模型进行微调使其学会遵循指令。### 2.3 对齐Alignment让模型输出更有用、诚实、无害。主流方法- **RLHF**训练奖励模型再用 PPO 优化策略。- **DPO**直接偏好优化无需显式奖励模型更简单稳定。- **RLAIF / Constitutional AI**用 AI 反馈替代部分人类反馈。- **Instruction Tuning**大量指令数据混合训练。### 2.4 参数高效微调PEFT- **LoRA**低秩适配只训练少量新增参数。- **QLoRA**量化 LoRA可在单卡微调大模型。- **Adapter、Prefix Tuning、Prompt Tuning** 等。---## 3. 推理与生成LLM 推理是**自回归**的一次生成一个 token再拼回输入继续生成。- **KV Cache**缓存已计算的 Key/Value避免重复计算大幅加速。- **解码策略**- Greedy每次选概率最大的 token。- Beam Search保留多个候选路径。- Temperature控制随机性。- Top-k / Top-p从概率最高的 k 个或累积概率 p 的 token 中采样。- **上下文窗口**从早期 2K 扩展到 128K、1M 甚至更长。长上下文挑战注意力复杂度 \(O(n^2)\)、位置外推、记忆衰减。- **加速技术**- FlashAttention、PagedAttention- 量化INT8、INT4- 蒸馏、剪枝- MoE混合专家稀疏激活- 推测解码Speculative Decoding---## 4. 能力与涌现LLM 展现出许多传统 NLP 模型不具备的能力- **上下文学习In-Context Learning**无需更新参数仅通过提示中的示例学会新任务。- **零样本 / 少样本学习**直接给出指令或几个例子即可。- **思维链Chain-of-Thought, CoT**让模型逐步推理提升数学、逻辑表现。- **推理模型**如 OpenAI o1、DeepSeek-R1通过强化学习训练长推理链。- **代码生成**HumanEval、MBPP 等基准上表现优异。- **工具调用与 Agent**调用搜索、计算器、API完成复杂任务。- **RAG检索增强生成**结合外部知识库减少幻觉。- **多模态**文本 图像 音频 视频如 GPT-4o、Gemini。---## 5. 局限与挑战- **幻觉Hallucination**生成看似合理但事实错误的内容。- **知识截止**训练数据有时间边界无法实时更新。- **上下文限制**长文档中可能遗忘早期信息。- **推理脆弱**多步逻辑、数学、规划仍易出错。- **偏见与安全**可能放大训练数据中的社会偏见。- **计算成本高**训练和推理能耗巨大。- **可解释性差**内部决策过程难以完全理解。- **评估困难**基准测试可能被污染人类评估成本高。常用评估基准MMLU、GSM8K、MATH、HumanEval、TruthfulQA、MT-Bench、Chatbot Arena 等。---## 6. 生态与趋势- **开源 vs 闭源**Llama、Mistral、Qwen、DeepSeek 等开源模型快速追赶 GPT-4、Claude、Gemini。- **MoE 架构**如 Mixtral、DeepSeek-MoE用稀疏激活降低推理成本。- **长上下文与记忆**百万 token 上下文、外部记忆、向量数据库。- **多模态统一**一个模型处理文本、图像、音频、视频。- **推理与规划**从“预测下一个 token”走向“思考后行动”。- **Agent 化**LLM 作为大脑调用工具、执行任务、自我反思。- **对齐与安全**可扩展监督、红队测试、宪法 AI。- **效率优化**量化、蒸馏、剪枝、专用芯片。---## 7. 一句话总结LLM 是“**大规模预训练 指令微调 对齐**”的产物本质是一个**基于 Transformer 的概率模型**。它通过学习海量文本中的统计规律获得了语言理解、生成、推理和工具使用能力。它不是数据库不能保证事实正确但作为通用文本接口正在深刻改变软件、搜索、编程、教育和科研的形态。如果想进一步深入可以分别研究Transformer 细节、注意力机制、训练并行策略、RLHF/DPO、RAG、Agent、量化部署等方向。
