大模型这个词这两年几乎成了技术圈的硬通货不管你是做后端、做前端、做数据还是做算法面试里不聊两句Transformer都不好意思开口。但问题也恰恰出在这里——网上关于大模型的资料多到爆炸从三行代码调用API的爽文到几百页的论文合集中间却缺了一条真正能让人从零走到能上手干活的路径。我自己带过几个刚入行的同事也帮不少转方向的朋友梳理过学习路线发现大家卡住的地方高度一致不是不够努力而是资料太散、顺序太乱、深浅不分。这篇内容就是把我自己走过、也带人走过的那条路完整摊开从机器学习的地基一直铺到大模型微调和部署告诉你每一层该学什么、为什么学、学到什么程度可以往下走。适合完全没接触过机器学习但有一点编程基础的人也适合已经会调API但说不清底层原理、想补课的从业者。1. 先把地基打对机器学习到底在解决什么问题很多人一上来就冲着Transformer去结果看到注意力机制里的QKV矩阵就懵了回头补数学又觉得枯燥来回折腾几个月原地踏步。根子在于跳过了机器学习这一层。大模型不是凭空长出来的它是机器学习这条线上的一个具体分支你不理解机器学习在干什么就永远只能背Transformer的公式而不知道它为什么长这样。1.1 机器学习的本质是找函数不是写规则传统编程是你把规则写清楚输入进去得到输出。比如判断一封邮件是不是垃圾邮件你得手写一堆if-else包含中奖扣分、包含免费扣分、发件人不在通讯录扣分。机器学习换了个思路——我不写规则我给你一堆已经标好是垃圾和不是垃圾的邮件你自己去找出那个能把输入映射到输出的函数。这个思路的转变是理解一切后续内容的前提。所谓训练就是在一个巨大的函数空间里搜索那个最合适的函数所谓模型就是搜索完之后固定下来的那个函数所谓参数就是这个函数里那些可以调的系数。你把这个想通了后面看到损失函数梯度下降过拟合这些词就不会觉得是天书它们全都是围绕怎么找到那个好函数展开的工具。我一般建议新手先用一个最小的例子把这条链路走通比如用几十行代码做一个房价预测输入是面积、房间数输出是价格。不用任何框架纯手写线性回归把损失函数、求导、更新参数这三步亲手敲一遍。这一步花不了两个小时但它建立起来的直觉比你看十篇科普文章都管用。1.2 监督、无监督、强化学习的分野要拎清机器学习往下分三大类这个分类必须刻在脑子里因为后面所有具体算法都能归到这三类里。监督学习是你有标准答案。给图片标好猫或狗给邮件标好垃圾或正常模型学的是从输入到标签的映射。大模型预训练阶段用的预测下一个词本质上也是监督学习只不过标签是从文本自身里切出来的不需要人工标注这叫自监督是监督学习的一个变种。无监督学习是没有标准答案让模型自己找结构。比如把一堆用户按行为聚类或者把高维数据压到二维做可视化。自编码器、聚类算法都属于这一类。强化学习是模型在环境里试错根据奖励信号调整策略。AlphaGo下棋、机器人走路都是这个路子。现在大模型的对齐阶段比如RLHF也用到了强化学习的思想但那是进阶内容入门阶段知道有这么个东西就行。提示入门阶段把八成精力放在监督学习上尤其是回归和分类这两个基本任务。大模型表面上花哨底层干的事无非是超大规模的预测下一个token本质还是监督学习的框架。1.3 数据处理是机器学习里最不性感但最要命的部分热词里有个机器学习中的数据处理是什么这个问题问到了点子上。真实项目里数据处理和特征工程占掉的时间经常超过百分之七十而模型本身可能就那几行代码。数据处理要干的事包括处理缺失值删掉、填均值、填中位数、用模型预测、处理异常值箱线图、Z-score、业务判断、把类别变量编码成数字独热编码、标签编码、把数值特征做标准化或归一化、把数据切成训练集验证集测试集。每一步都有坑比如标准化的时候你必须用训练集的均值和方差去处理验证集和测试集绝不能各自算各自的否则就是数据泄露模型在测试集上的表现会虚高上线就崩。我踩过最典型的一个坑是做时间序列预测时随手用了随机切分结果模型看到了未来的数据去预测过去离线指标漂亮得不像话一上线就废。时间相关的数据必须按时间顺序切分这个教训值好几天的返工。2. 深度学习登场从手工特征到自动表征机器学习里有个绕不开的环节叫特征工程就是你要手工设计出对任务有用的输入特征。做图像识别你得自己算边缘、角点、纹理做文本分类你得自己搞TF-IDF、n-gram。深度学习最大的贡献就是把这个环节自动化了——你直接把原始数据喂进去网络自己学出有用的特征表示。2.1 神经网络的基本单元其实很朴素一个神经元干的事简单到令人发指把输入乘上权重加起来加个偏置过一个非线性激活函数输出。就这么个东西堆叠起来、加上反向传播就能拟合极其复杂的函数。为什么需要非线性激活函数因为如果全是线性的多层叠加等价于一层深度就失去意义了。ReLU把负数变零正数不变是目前最常用的简单、计算快、缓解梯度消失。Sigmoid和Tanh在早期用得多现在主要出现在特定位置比如门控结构里。反向传播是深度学习的发动机。它的核心是链式法则损失对某个参数的梯度等于损失对输出的梯度乘以输出对该参数的梯度一层层往回传。你不需要手推每一层但必须理解这个从后往前、逐层求导、更新参数的流程否则调参时你就是在瞎蒙。2.2 CNN、RNN到Transformer的演进逻辑理解了基本单元再看网络架构的演进就顺了。CNN卷积神经网络解决的是图像问题。它的核心假设是局部相关性——图像里相邻的像素关系密切所以用一个小窗口卷积核在图上滑动共享权重。这个设计大幅减少了参数量还带来了平移不变性。热词里的深度学习cnn和计算机视觉和机器学习区别其实是一回事的两面计算机视觉是应用领域CNN是解决这个领域问题的主流工具而它们都属于机器学习/深度学习的大范畴。RNN循环神经网络解决的是序列问题。文本、语音、时间序列前后有依赖关系。RNN的思路是维护一个隐藏状态每读一个词就更新一次把历史信息带下去。但它有个致命问题序列一长梯度要么消失要么爆炸记不住远处的东西。LSTM和GRU用门控机制缓解了这个问题但没根治。Transformer就是来根治这个问题的。它彻底抛弃了循环结构用注意力机制让序列里任意两个位置直接建立联系距离不再是障碍。而且它天然支持并行计算训练效率碾压RNN。这就是为什么2017年那篇《Attention Is All You Need》之后整个领域迅速转向Transformer。2.3 为什么PyTorch成了事实标准框架选择上热词里出现了pytorch基础框架springboot框架若依框架这些注意区分——后两个是Java后端的东西跟深度学习没关系别搞混了。深度学习框架主流就两个PyTorch和TensorFlow。我毫不犹豫推荐PyTorch入门理由有三。第一它的代码是动态图你写的时候就像写普通Python能随时打印中间结果调试对新手极其友好。第二学术界几乎全面倒向PyTorch你想复现的论文九成都有PyTorch实现。第三它的API设计直观nn.Module定义模型、DataLoader管数据、optim管优化器各司其职学起来不累。TensorFlow在工业部署上曾经有优势但PyTorch这几年在部署侧也补齐了TorchScript、ONNX导出所以入门阶段完全不用纠结直接PyTorch。import torch import torch.nn as nn class SimpleNet(nn.Module): def __init__(self): super().__init__() self.fc1 nn.Linear(784, 128) self.relu nn.ReLU() self.fc2 nn.Linear(128, 10) def forward(self, x): x self.fc1(x) x self.relu(x) x self.fc2(x) return x model SimpleNet() print(sum(p.numel() for p in model.parameters()))上面这段就是一个最小可用的网络定义参数量打印出来一目了然。入门阶段把MNIST手写数字识别用这套结构跑通准确率能到百分之九十七以上你就对深度学习的全流程有了体感。3. Transformer拆到骨头里大模型的真正起点Transformer是绕不过去的。热词里transformer模型详解transformer手写the illustrated transformerswin transformer全指向它。我的建议是不要只读科普一定要手写一遍。看懂和写出来之间隔着一条鸿沟跨过去才算真懂。3.1 自注意力机制到底在算什么自注意力的核心思想是序列里每个词在编码自己的时候去看看其他所有词根据相关性决定从谁那里取多少信息。具体怎么算每个词生成三个向量Query我在找什么、Key我有什么、Value我实际的内容。用我的Query去和所有词的Key做点积得到一组分数分数越高说明越相关。把分数除以根号dd是向量维度防止点积过大导致softmax梯度消失过softmax归一化成概率再用这些概率对所有词的Value加权求和得到我这个位置的新表示。用生活化的类比你在一个会议室里想了解某个话题你Query会去听每个人Key的发言谁讲的内容跟你关心的越匹配你就越认真听最后你脑子里形成的理解就是所有人发言Value按你关注程度加权混合的结果。多头注意力就是把这个过程并行做多次每次用不同的投影矩阵让模型从不同角度捕捉关系。有的头关注语法关系有的头关注语义相似有的头关注位置邻近。最后把多个头的结果拼起来再投影一次。import torch import torch.nn.functional as F def self_attention(x, W_q, W_k, W_v): Q x W_q K x W_k V x W_v d_k Q.size(-1) scores Q K.transpose(-2, -1) / (d_k ** 0.5) weights F.softmax(scores, dim-1) return weights V这段代码就是自注意力的骨架去掉batch维度和mask处理核心逻辑就这几行。手写一遍你对QKV的理解会从背概念变成肌肉记忆。3.2 位置编码、残差连接和层归一化Transformer抛弃了循环结构带来一个副作用它本身不知道词的顺序。我爱你和你爱我在纯注意力看来是一样的。所以必须注入位置信息这就是位置编码。原始论文用的是正弦余弦函数生成的位置编码好处是可以外推到训练时没见过的长度。后来主流大模型多用可学习的位置嵌入或者RoPE旋转位置编码RoPE在长文本场景下表现更好现在几乎是标配。残差连接解决的是深层网络的训练问题。每一层的输出等于该层的计算结果加上该层的输入这样梯度可以沿着捷径直接回传几十层甚至上百层也能训得动。层归一化则是对每个样本的特征做归一化稳定训练过程。这两个东西看起来不起眼但去掉任何一个深层Transformer都训不起来。注意新手读Transformer论文时容易忽略残差和归一化的位置。原始论文是先归一化再注意力还是先注意力再归一化其实有讲究后来的Pre-LN结构归一化放在子层前面比Post-LN更容易训练现在的大模型基本都用Pre-LN。3.3 编码器、解码器和三种架构变体Transformer原始结构是编码器-解码器用于机器翻译。但后来演化出三种变体对应不同任务。Encoder-only如BERT只保留编码器双向注意力每个词能看到左右两边。适合理解类任务分类、抽取、句子相似度。Decoder-only如GPT系列只保留解码器单向注意力每个词只能看到左边。适合生成类任务这就是当前大模型的主流架构。你听到的大模型绝大多数都是Decoder-only。Encoder-Decoder如T5、原始Transformer编码器读输入解码器生成输出。适合序列到序列的任务翻译、摘要。理解这个分类很重要因为它决定了你拿到一个模型后该怎么用。热词里的swin transformer是Transformer在视觉领域的变体把注意力限制在窗口内以降低计算量属于Encoder-only思路在图像上的应用。而missformer是针对医学图像分割的改进版思路类似。4. 大模型这条线预训练、微调与提示工程地基和Transformer都通了才真正进入大模型的地界。这里要分清三个层次预训练是造模型微调是改模型提示工程是用模型。绝大多数从业者接触的是后两个。4.1 预训练为什么预测下一个词这么强大模型预训练的任务简单到不可思议给一段文本预测下一个词是什么。就这么个任务在海量数据上训练模型居然学会了语法、事实、推理甚至一定的代码能力。为什么因为要准确预测下一个词模型必须隐式地理解大量世界知识。你让它续写法国的首都是它得知道是巴黎你让它续写一段Python代码它得理解语法结构。这个任务像一个万能教练逼着模型把语言的规律和背后的知识都压缩进参数里。预训练的成本极高动辄几千张GPU跑几个月不是个人能玩的。所以个人和小团队的实际路径是拿开源预训练模型如LLaMA系列、Qwen系列做起点往下走微调或直接推理。4.2 微调把通用模型改造成你的专用模型微调是用你自己的数据在预训练模型的基础上继续训练让模型适配特定任务或领域。热词里大模型微调实战大模型微调热度很高说明这是大家最想落地的环节。微调分几种。全量微调是更新模型所有参数效果最好但显存要求极高一个7B模型全量微调轻松吃掉上百G显存。LoRA低秩适配是目前最流行的方案它冻结原模型只在旁边加一小撮可训练的低秩矩阵参数量能降到原来的千分之一甚至更低单张消费级显卡就能跑。QLoRA更进一步把原模型量化到4-bit再挂LoRA显存需求再降一大截。微调的数据准备是关键。一般要构造成指令格式比如指令-输入-输出的三元组。数据质量远比数量重要几百条高质量、多样化的样本效果常常好过几万条脏数据。我见过太多人爬了一堆数据直接扔进去训结果模型学会了各种噪声和错误格式还不如不微调。# LoRA微调的核心配置示意基于peft库 from peft import LoraConfig, get_peft_model lora_config LoraConfig( r8, # 低秩矩阵的秩越大容量越强也越容易过拟合 lora_alpha32, # 缩放系数通常设为r的2到4倍 target_modules[q_proj, v_proj], # 作用在哪些层 lora_dropout0.1, biasnone, task_typeCAUSAL_LM ) model get_peft_model(base_model, lora_config) model.print_trainable_parameters()跑一下最后那行你会看到可训练参数只占总参数的百分之零点几这就是LoRA的威力。4.3 提示工程与上下文工程不训练也能用好模型不是所有场景都值得微调。很多时候把提示词写好就能解决问题这就是提示工程。热词里大模型提示词工程与上下文工程正是这个方向。提示工程的核心技巧包括给清晰的指令、提供几个示例少样本学习、让模型一步步思考思维链、指定输出格式。上下文工程则更进一步关注的是怎么把外部知识、历史对话、工具返回结果组织进模型的上下文窗口里让模型在有限窗口内拿到最相关的信息。RAG检索增强生成就是上下文工程的典型应用先从知识库检索相关文档拼进提示词再让模型基于这些文档回答。我的经验是一个任务先别急着微调先用提示工程试。如果提示工程能做到八成效果就别上微调因为微调的维护成本、数据成本、迭代成本都高得多。只有当提示工程撞到天花板或者对延迟、成本有极致要求时才考虑微调。5. 部署与落地让模型真正跑起来模型训好了或者选好了最后一步是部署。热词里大模型部署本地部署大模型让个人电脑智能化说明很多人想在本地跑起来。5.1 本地部署的硬件账要算清楚本地部署第一个问题是显存。模型参数量的粗略估算FP16精度下每十亿参数约需2GB显存。一个7B模型FP16需要约14GB加上推理时的KV Cache和中间激活实际要16GB以上。4-bit量化后7B模型约需4到5GB一张消费级显卡就能跑。量化是本地部署的关键技术。GGUF格式配合llama.cpp能在CPU上跑量化模型虽然慢但门槛极低。GPU上用vLLM或TGI吞吐量高适合服务化部署。选择哪条路取决于你的场景个人玩玩用llama.cpp或Ollama最省心要做服务用vLLM。提示本地部署别一上来就追求大参数模型。7B量化模型在消费级硬件上跑通比在云端调API更能让你理解推理的各个环节——加载、tokenize、生成、解码每一步都能看到、能调。5.2 推理优化的几个实用手段模型跑起来之后下一步是让它跑得快、跑得省。KV Cache是最基础的优化。生成式模型每生成一个token都要重新计算前面所有token的注意力KV Cache把已经算过的Key和Value缓存下来避免重复计算速度提升立竿见影。批处理是提升吞吐的关键。把多个请求拼成一个batch一起推理GPU利用率大幅提升。但要注意不同请求的生成长度不一样需要做padding和attention mask处理。量化、蒸馏、剪枝是压缩模型的三板斧。量化降精度蒸馏让小模型学大模型剪枝去掉不重要的连接。实际落地中量化用得最多因为实现简单、效果可控。5.3 从Demo到产品的距离跑通一个Demo和做成一个产品之间隔着工程化的鸿沟。你要考虑并发、超时、重试、限流、日志、监控、成本控制。一个请求进来tokenize要多久、推理要多久、网络传输要多久每个环节都可能成为瓶颈。还有一个容易被忽略的点是评估。模型上线后怎么知道它答得好不好需要建立评估集定期跑评测监控输出质量的变化。大模型的输出有随机性同一个问题问两次答案可能不同评估要设计得能容忍这种波动。我自己做落地时的一个体会是先把最核心的一条链路打通哪怕很粗糙先让它跑起来产生价值再逐步优化。很多人卡在要把所有细节都设计完美才动手结果永远停在设计阶段。大模型这个领域变化太快先跑起来比想清楚更重要。6. 一条能走通的学习路线最后把我自己验证过的学习顺序整理一下供参考。第一阶段机器学习基础。重点掌握监督学习、损失函数、梯度下降、过拟合与正则化、训练集验证集测试集划分。推荐《机器学习》西瓜书配合scikit-learn动手每个算法都跑一遍。第二阶段深度学习基础。理解神经网络、反向传播、CNN、RNN用PyTorch把MNIST和CIFAR-10跑通。这个阶段不要贪多把全连接网络和卷积网络吃透就够。第三阶段Transformer。读原始论文配合《The Illustrated Transformer》这类图解然后手写一遍自注意力。这一步是整个路线的分水岭写出来了后面就顺了。第四阶段大模型应用。先学提示工程再学RAG然后学LoRA微调。每个方向都做一个小项目比如用RAG搭一个文档问答用LoRA微调一个特定风格的模型。第五阶段部署与优化。学量化、学vLLM、学评估。把前面做的模型真正部署起来感受工程化的挑战。这条路线走下来快则三到六个月慢则一年取决于你每天投入的时间。关键是每一步都要动手光看不动手等于没学。我见过太多人收藏了几百G的资料一个都没跑通最后还是在原地。选一条路跑通它比什么都强。
大模型这个词这两年几乎成了技术圈的硬通货不管你是做后端、做前端、做数据还是做算法面试里不聊两句Transformer都不好意思开口。但问题也恰恰出在这里——网上关于大模型的资料多到爆炸从三行代码调用API的爽文到几百页的论文合集中间却缺了一条真正能让人从零走到能上手干活的路径。我自己带过几个刚入行的同事也帮不少转方向的朋友梳理过学习路线发现大家卡住的地方高度一致不是不够努力而是资料太散、顺序太乱、深浅不分。这篇内容就是把我自己走过、也带人走过的那条路完整摊开从机器学习的地基一直铺到大模型微调和部署告诉你每一层该学什么、为什么学、学到什么程度可以往下走。适合完全没接触过机器学习但有一点编程基础的人也适合已经会调API但说不清底层原理、想补课的从业者。1. 先把地基打对机器学习到底在解决什么问题很多人一上来就冲着Transformer去结果看到注意力机制里的QKV矩阵就懵了回头补数学又觉得枯燥来回折腾几个月原地踏步。根子在于跳过了机器学习这一层。大模型不是凭空长出来的它是机器学习这条线上的一个具体分支你不理解机器学习在干什么就永远只能背Transformer的公式而不知道它为什么长这样。1.1 机器学习的本质是找函数不是写规则传统编程是你把规则写清楚输入进去得到输出。比如判断一封邮件是不是垃圾邮件你得手写一堆if-else包含中奖扣分、包含免费扣分、发件人不在通讯录扣分。机器学习换了个思路——我不写规则我给你一堆已经标好是垃圾和不是垃圾的邮件你自己去找出那个能把输入映射到输出的函数。这个思路的转变是理解一切后续内容的前提。所谓训练就是在一个巨大的函数空间里搜索那个最合适的函数所谓模型就是搜索完之后固定下来的那个函数所谓参数就是这个函数里那些可以调的系数。你把这个想通了后面看到损失函数梯度下降过拟合这些词就不会觉得是天书它们全都是围绕怎么找到那个好函数展开的工具。我一般建议新手先用一个最小的例子把这条链路走通比如用几十行代码做一个房价预测输入是面积、房间数输出是价格。不用任何框架纯手写线性回归把损失函数、求导、更新参数这三步亲手敲一遍。这一步花不了两个小时但它建立起来的直觉比你看十篇科普文章都管用。1.2 监督、无监督、强化学习的分野要拎清机器学习往下分三大类这个分类必须刻在脑子里因为后面所有具体算法都能归到这三类里。监督学习是你有标准答案。给图片标好猫或狗给邮件标好垃圾或正常模型学的是从输入到标签的映射。大模型预训练阶段用的预测下一个词本质上也是监督学习只不过标签是从文本自身里切出来的不需要人工标注这叫自监督是监督学习的一个变种。无监督学习是没有标准答案让模型自己找结构。比如把一堆用户按行为聚类或者把高维数据压到二维做可视化。自编码器、聚类算法都属于这一类。强化学习是模型在环境里试错根据奖励信号调整策略。AlphaGo下棋、机器人走路都是这个路子。现在大模型的对齐阶段比如RLHF也用到了强化学习的思想但那是进阶内容入门阶段知道有这么个东西就行。提示入门阶段把八成精力放在监督学习上尤其是回归和分类这两个基本任务。大模型表面上花哨底层干的事无非是超大规模的预测下一个token本质还是监督学习的框架。1.3 数据处理是机器学习里最不性感但最要命的部分热词里有个机器学习中的数据处理是什么这个问题问到了点子上。真实项目里数据处理和特征工程占掉的时间经常超过百分之七十而模型本身可能就那几行代码。数据处理要干的事包括处理缺失值删掉、填均值、填中位数、用模型预测、处理异常值箱线图、Z-score、业务判断、把类别变量编码成数字独热编码、标签编码、把数值特征做标准化或归一化、把数据切成训练集验证集测试集。每一步都有坑比如标准化的时候你必须用训练集的均值和方差去处理验证集和测试集绝不能各自算各自的否则就是数据泄露模型在测试集上的表现会虚高上线就崩。我踩过最典型的一个坑是做时间序列预测时随手用了随机切分结果模型看到了未来的数据去预测过去离线指标漂亮得不像话一上线就废。时间相关的数据必须按时间顺序切分这个教训值好几天的返工。2. 深度学习登场从手工特征到自动表征机器学习里有个绕不开的环节叫特征工程就是你要手工设计出对任务有用的输入特征。做图像识别你得自己算边缘、角点、纹理做文本分类你得自己搞TF-IDF、n-gram。深度学习最大的贡献就是把这个环节自动化了——你直接把原始数据喂进去网络自己学出有用的特征表示。2.1 神经网络的基本单元其实很朴素一个神经元干的事简单到令人发指把输入乘上权重加起来加个偏置过一个非线性激活函数输出。就这么个东西堆叠起来、加上反向传播就能拟合极其复杂的函数。为什么需要非线性激活函数因为如果全是线性的多层叠加等价于一层深度就失去意义了。ReLU把负数变零正数不变是目前最常用的简单、计算快、缓解梯度消失。Sigmoid和Tanh在早期用得多现在主要出现在特定位置比如门控结构里。反向传播是深度学习的发动机。它的核心是链式法则损失对某个参数的梯度等于损失对输出的梯度乘以输出对该参数的梯度一层层往回传。你不需要手推每一层但必须理解这个从后往前、逐层求导、更新参数的流程否则调参时你就是在瞎蒙。2.2 CNN、RNN到Transformer的演进逻辑理解了基本单元再看网络架构的演进就顺了。CNN卷积神经网络解决的是图像问题。它的核心假设是局部相关性——图像里相邻的像素关系密切所以用一个小窗口卷积核在图上滑动共享权重。这个设计大幅减少了参数量还带来了平移不变性。热词里的深度学习cnn和计算机视觉和机器学习区别其实是一回事的两面计算机视觉是应用领域CNN是解决这个领域问题的主流工具而它们都属于机器学习/深度学习的大范畴。RNN循环神经网络解决的是序列问题。文本、语音、时间序列前后有依赖关系。RNN的思路是维护一个隐藏状态每读一个词就更新一次把历史信息带下去。但它有个致命问题序列一长梯度要么消失要么爆炸记不住远处的东西。LSTM和GRU用门控机制缓解了这个问题但没根治。Transformer就是来根治这个问题的。它彻底抛弃了循环结构用注意力机制让序列里任意两个位置直接建立联系距离不再是障碍。而且它天然支持并行计算训练效率碾压RNN。这就是为什么2017年那篇《Attention Is All You Need》之后整个领域迅速转向Transformer。2.3 为什么PyTorch成了事实标准框架选择上热词里出现了pytorch基础框架springboot框架若依框架这些注意区分——后两个是Java后端的东西跟深度学习没关系别搞混了。深度学习框架主流就两个PyTorch和TensorFlow。我毫不犹豫推荐PyTorch入门理由有三。第一它的代码是动态图你写的时候就像写普通Python能随时打印中间结果调试对新手极其友好。第二学术界几乎全面倒向PyTorch你想复现的论文九成都有PyTorch实现。第三它的API设计直观nn.Module定义模型、DataLoader管数据、optim管优化器各司其职学起来不累。TensorFlow在工业部署上曾经有优势但PyTorch这几年在部署侧也补齐了TorchScript、ONNX导出所以入门阶段完全不用纠结直接PyTorch。import torch import torch.nn as nn class SimpleNet(nn.Module): def __init__(self): super().__init__() self.fc1 nn.Linear(784, 128) self.relu nn.ReLU() self.fc2 nn.Linear(128, 10) def forward(self, x): x self.fc1(x) x self.relu(x) x self.fc2(x) return x model SimpleNet() print(sum(p.numel() for p in model.parameters()))上面这段就是一个最小可用的网络定义参数量打印出来一目了然。入门阶段把MNIST手写数字识别用这套结构跑通准确率能到百分之九十七以上你就对深度学习的全流程有了体感。3. Transformer拆到骨头里大模型的真正起点Transformer是绕不过去的。热词里transformer模型详解transformer手写the illustrated transformerswin transformer全指向它。我的建议是不要只读科普一定要手写一遍。看懂和写出来之间隔着一条鸿沟跨过去才算真懂。3.1 自注意力机制到底在算什么自注意力的核心思想是序列里每个词在编码自己的时候去看看其他所有词根据相关性决定从谁那里取多少信息。具体怎么算每个词生成三个向量Query我在找什么、Key我有什么、Value我实际的内容。用我的Query去和所有词的Key做点积得到一组分数分数越高说明越相关。把分数除以根号dd是向量维度防止点积过大导致softmax梯度消失过softmax归一化成概率再用这些概率对所有词的Value加权求和得到我这个位置的新表示。用生活化的类比你在一个会议室里想了解某个话题你Query会去听每个人Key的发言谁讲的内容跟你关心的越匹配你就越认真听最后你脑子里形成的理解就是所有人发言Value按你关注程度加权混合的结果。多头注意力就是把这个过程并行做多次每次用不同的投影矩阵让模型从不同角度捕捉关系。有的头关注语法关系有的头关注语义相似有的头关注位置邻近。最后把多个头的结果拼起来再投影一次。import torch import torch.nn.functional as F def self_attention(x, W_q, W_k, W_v): Q x W_q K x W_k V x W_v d_k Q.size(-1) scores Q K.transpose(-2, -1) / (d_k ** 0.5) weights F.softmax(scores, dim-1) return weights V这段代码就是自注意力的骨架去掉batch维度和mask处理核心逻辑就这几行。手写一遍你对QKV的理解会从背概念变成肌肉记忆。3.2 位置编码、残差连接和层归一化Transformer抛弃了循环结构带来一个副作用它本身不知道词的顺序。我爱你和你爱我在纯注意力看来是一样的。所以必须注入位置信息这就是位置编码。原始论文用的是正弦余弦函数生成的位置编码好处是可以外推到训练时没见过的长度。后来主流大模型多用可学习的位置嵌入或者RoPE旋转位置编码RoPE在长文本场景下表现更好现在几乎是标配。残差连接解决的是深层网络的训练问题。每一层的输出等于该层的计算结果加上该层的输入这样梯度可以沿着捷径直接回传几十层甚至上百层也能训得动。层归一化则是对每个样本的特征做归一化稳定训练过程。这两个东西看起来不起眼但去掉任何一个深层Transformer都训不起来。注意新手读Transformer论文时容易忽略残差和归一化的位置。原始论文是先归一化再注意力还是先注意力再归一化其实有讲究后来的Pre-LN结构归一化放在子层前面比Post-LN更容易训练现在的大模型基本都用Pre-LN。3.3 编码器、解码器和三种架构变体Transformer原始结构是编码器-解码器用于机器翻译。但后来演化出三种变体对应不同任务。Encoder-only如BERT只保留编码器双向注意力每个词能看到左右两边。适合理解类任务分类、抽取、句子相似度。Decoder-only如GPT系列只保留解码器单向注意力每个词只能看到左边。适合生成类任务这就是当前大模型的主流架构。你听到的大模型绝大多数都是Decoder-only。Encoder-Decoder如T5、原始Transformer编码器读输入解码器生成输出。适合序列到序列的任务翻译、摘要。理解这个分类很重要因为它决定了你拿到一个模型后该怎么用。热词里的swin transformer是Transformer在视觉领域的变体把注意力限制在窗口内以降低计算量属于Encoder-only思路在图像上的应用。而missformer是针对医学图像分割的改进版思路类似。4. 大模型这条线预训练、微调与提示工程地基和Transformer都通了才真正进入大模型的地界。这里要分清三个层次预训练是造模型微调是改模型提示工程是用模型。绝大多数从业者接触的是后两个。4.1 预训练为什么预测下一个词这么强大模型预训练的任务简单到不可思议给一段文本预测下一个词是什么。就这么个任务在海量数据上训练模型居然学会了语法、事实、推理甚至一定的代码能力。为什么因为要准确预测下一个词模型必须隐式地理解大量世界知识。你让它续写法国的首都是它得知道是巴黎你让它续写一段Python代码它得理解语法结构。这个任务像一个万能教练逼着模型把语言的规律和背后的知识都压缩进参数里。预训练的成本极高动辄几千张GPU跑几个月不是个人能玩的。所以个人和小团队的实际路径是拿开源预训练模型如LLaMA系列、Qwen系列做起点往下走微调或直接推理。4.2 微调把通用模型改造成你的专用模型微调是用你自己的数据在预训练模型的基础上继续训练让模型适配特定任务或领域。热词里大模型微调实战大模型微调热度很高说明这是大家最想落地的环节。微调分几种。全量微调是更新模型所有参数效果最好但显存要求极高一个7B模型全量微调轻松吃掉上百G显存。LoRA低秩适配是目前最流行的方案它冻结原模型只在旁边加一小撮可训练的低秩矩阵参数量能降到原来的千分之一甚至更低单张消费级显卡就能跑。QLoRA更进一步把原模型量化到4-bit再挂LoRA显存需求再降一大截。微调的数据准备是关键。一般要构造成指令格式比如指令-输入-输出的三元组。数据质量远比数量重要几百条高质量、多样化的样本效果常常好过几万条脏数据。我见过太多人爬了一堆数据直接扔进去训结果模型学会了各种噪声和错误格式还不如不微调。# LoRA微调的核心配置示意基于peft库 from peft import LoraConfig, get_peft_model lora_config LoraConfig( r8, # 低秩矩阵的秩越大容量越强也越容易过拟合 lora_alpha32, # 缩放系数通常设为r的2到4倍 target_modules[q_proj, v_proj], # 作用在哪些层 lora_dropout0.1, biasnone, task_typeCAUSAL_LM ) model get_peft_model(base_model, lora_config) model.print_trainable_parameters()跑一下最后那行你会看到可训练参数只占总参数的百分之零点几这就是LoRA的威力。4.3 提示工程与上下文工程不训练也能用好模型不是所有场景都值得微调。很多时候把提示词写好就能解决问题这就是提示工程。热词里大模型提示词工程与上下文工程正是这个方向。提示工程的核心技巧包括给清晰的指令、提供几个示例少样本学习、让模型一步步思考思维链、指定输出格式。上下文工程则更进一步关注的是怎么把外部知识、历史对话、工具返回结果组织进模型的上下文窗口里让模型在有限窗口内拿到最相关的信息。RAG检索增强生成就是上下文工程的典型应用先从知识库检索相关文档拼进提示词再让模型基于这些文档回答。我的经验是一个任务先别急着微调先用提示工程试。如果提示工程能做到八成效果就别上微调因为微调的维护成本、数据成本、迭代成本都高得多。只有当提示工程撞到天花板或者对延迟、成本有极致要求时才考虑微调。5. 部署与落地让模型真正跑起来模型训好了或者选好了最后一步是部署。热词里大模型部署本地部署大模型让个人电脑智能化说明很多人想在本地跑起来。5.1 本地部署的硬件账要算清楚本地部署第一个问题是显存。模型参数量的粗略估算FP16精度下每十亿参数约需2GB显存。一个7B模型FP16需要约14GB加上推理时的KV Cache和中间激活实际要16GB以上。4-bit量化后7B模型约需4到5GB一张消费级显卡就能跑。量化是本地部署的关键技术。GGUF格式配合llama.cpp能在CPU上跑量化模型虽然慢但门槛极低。GPU上用vLLM或TGI吞吐量高适合服务化部署。选择哪条路取决于你的场景个人玩玩用llama.cpp或Ollama最省心要做服务用vLLM。提示本地部署别一上来就追求大参数模型。7B量化模型在消费级硬件上跑通比在云端调API更能让你理解推理的各个环节——加载、tokenize、生成、解码每一步都能看到、能调。5.2 推理优化的几个实用手段模型跑起来之后下一步是让它跑得快、跑得省。KV Cache是最基础的优化。生成式模型每生成一个token都要重新计算前面所有token的注意力KV Cache把已经算过的Key和Value缓存下来避免重复计算速度提升立竿见影。批处理是提升吞吐的关键。把多个请求拼成一个batch一起推理GPU利用率大幅提升。但要注意不同请求的生成长度不一样需要做padding和attention mask处理。量化、蒸馏、剪枝是压缩模型的三板斧。量化降精度蒸馏让小模型学大模型剪枝去掉不重要的连接。实际落地中量化用得最多因为实现简单、效果可控。5.3 从Demo到产品的距离跑通一个Demo和做成一个产品之间隔着工程化的鸿沟。你要考虑并发、超时、重试、限流、日志、监控、成本控制。一个请求进来tokenize要多久、推理要多久、网络传输要多久每个环节都可能成为瓶颈。还有一个容易被忽略的点是评估。模型上线后怎么知道它答得好不好需要建立评估集定期跑评测监控输出质量的变化。大模型的输出有随机性同一个问题问两次答案可能不同评估要设计得能容忍这种波动。我自己做落地时的一个体会是先把最核心的一条链路打通哪怕很粗糙先让它跑起来产生价值再逐步优化。很多人卡在要把所有细节都设计完美才动手结果永远停在设计阶段。大模型这个领域变化太快先跑起来比想清楚更重要。6. 一条能走通的学习路线最后把我自己验证过的学习顺序整理一下供参考。第一阶段机器学习基础。重点掌握监督学习、损失函数、梯度下降、过拟合与正则化、训练集验证集测试集划分。推荐《机器学习》西瓜书配合scikit-learn动手每个算法都跑一遍。第二阶段深度学习基础。理解神经网络、反向传播、CNN、RNN用PyTorch把MNIST和CIFAR-10跑通。这个阶段不要贪多把全连接网络和卷积网络吃透就够。第三阶段Transformer。读原始论文配合《The Illustrated Transformer》这类图解然后手写一遍自注意力。这一步是整个路线的分水岭写出来了后面就顺了。第四阶段大模型应用。先学提示工程再学RAG然后学LoRA微调。每个方向都做一个小项目比如用RAG搭一个文档问答用LoRA微调一个特定风格的模型。第五阶段部署与优化。学量化、学vLLM、学评估。把前面做的模型真正部署起来感受工程化的挑战。这条路线走下来快则三到六个月慢则一年取决于你每天投入的时间。关键是每一步都要动手光看不动手等于没学。我见过太多人收藏了几百G的资料一个都没跑通最后还是在原地。选一条路跑通它比什么都强。
