一、这玩意儿到底是干嘛的说白了这是一个用C17从零写的、CPU优先的大语言模型LLM推理引擎。它的工作模式很直接你给它一个GGUF格式的模型文件比如Llama-3.2-1B-Instruct再给它一段提示词它就在你的CPU上逐token生成回复文本。整个过程不需要GPU、不需要CUDA、不需要PyTorch甚至不需要Python运行时——就一个二进制文件双击就能跑。它支持的模型架构是Llama家族包括Llama 2/3.x系列。支持的量化格式覆盖了主流选择F32全精度、F16半精度、Q8_0、Q4_0、Q4_1、Q5_0、Q5_1以及更高效的K-quantsQ4_K、Q5_K、Q6_K。其中Q4_K_M是HuggingFace上最常见的量化格式这个项目能直接加载和运行。除了基本的文本生成它还实现了三个硬核扩展三级SIMD调度运行时自动检测CPU支持的指令集在Scalar纯标量、AVX2、AVX-512之间动态选择最优路径SuperSpec多草稿推测解码用多个小模型同时猜未来token大模型一次验证减少解码步数Initial-Key Cache选择性KV缓存长上下文时只保留最重要的KV防止内存爆炸二、为什么要从零手搓一个CPU推理引擎现在跑大模型主流方案是调HuggingFace的Transformers库背后用PyTorchCUDA在GPU上跑。这套方案的问题是第一GPU不是人人都有。一台带RTX 4090的台式机要两三万而一台普通的Windows笔记本几乎人人都有。如果能在CPU上跑起来门槛就低太多了。第二部署太重。PyTorch本身几百MBCUDA驱动几个GB再加上Python环境部署到服务器或者边缘设备上资源占用和依赖链条都很长。第三Python的GIL限制。全局解释器锁让多线程并发成了摆设CPU多核优势发挥不出来。第四启动慢。Python解释器PyTorch的初始化开销在serverless或者短连接场景下很头疼。所以这个项目的思路很直接用C17重新实现Transformer推理的每一层直接读GGUF权重文件在CPU上跑完整的前向传播。体积小、依赖少、启动快、跨平台。三、核心架构设计思路3.1 整体链路从文件到文本整个推理流程可以概括为五个阶段GGUF文件 → 加固加载器 → Tokenizer → Transformer推理 → 采样器 → 输出文本GGUF文件是llama.cpp社区定义的二进制格式把PyTorch训练好的模型权重、tokenizer配置、模型超参数全部打包在一个文件里。加固加载器是这个项目的一大亮点。它遵循不信任任何输入的安全原则内存映射文件、边界检查、算术溢出检测、 capped counts、fail-closed验证。即使有人给你一个恶意构造的GGUF文件加载器也会优雅地拒绝而不是崩溃或者越界读写。Tokenizer实现了byte-level BPE分词直接从GGUF里读取tokenizer配置支持Llama-3的chat template自动注入|begin_of_text|、|start_header_id|等特殊token。Transformer推理实现了Llama-family的完整架构RMSNorm、RoPE位置编码、GQA分组查询注意力、SwiGLU前馈网络、残差连接。采样器支持多种策略贪心采样、温度采样、top-k、top-p、min-p全部带种子控制的RNG。3.2 面向阶段的设计Phase 0~9这个项目按照推理引擎圣经的九个阶段逐步构建阶段内容Phase 0项目骨架、构建系统、单元测试框架Phase 1张量基础形状、步长、内存布局Phase 2矩阵运算点积、矩阵乘法、SIMD加速Phase 3激活函数ReLU、GELU、SoftmaxPhase 4归一化LayerNorm、RMSNormPhase 5注意力机制Self-Attention、RoPE、GQAPhase 6完整Transformer层Attention FFN 残差Phase 7模型加载GGUF v3 reader、内存映射Phase 8文本生成KV Cache、Prefill/Decode循环、采样Phase 9生产化CLI、Chat模式、性能调优这种渐进式开发的好处是每一阶段都有独立的单元测试验证确保基础扎实后再往上盖楼。四、代码实现原理拆解4.1 加固加载器不信任任何输入加载GGUF文件时代码做了层层防护魔数验证文件开头4字节必须是0x67676d6cggml的ASCII。不对就直接返回错误防止加载任意文件。超参数读取依次读取10个int32参数词表大小、最大位置编码、中间层维度、注意力头数、隐藏层层数、pad_token_id、嵌入维度、标签数、beam数、量化类型。每个读取都有边界检查。词表加载循环读取n_vocab个token。每个token先读长度4字节再读字符串。长度异常负数或超大值直接报错。张量加载每个张量的元数据包括维度数、名字长度、数据类型、shape数组、名字字符串。代码会校验维度数在合理范围内1~4名字长度不超过上限数据类型是支持的格式之一F32/F16/Q4_0/Q4_1/Q5_0/Q5_1/Q8_0/Q4_K/Q5_K/Q6_K计算出的数据大小和文件剩余大小匹配内存映射使用操作系统提供的内存映射memory-mapped file而不是把整个文件读到堆内存。这样大模型文件几个GB不会撑爆RAM操作系统会自动按需分页加载。4.2 TokenizerByte-Level BPETokenizer实现了完整的三层架构BasicTokenizer可选的NFD Unicode归一化全部转小写用正则表达式按Llama-3的pre-tokenizer规则切分数字、字母、标点、CJK字符分别处理WordpieceTokenizer对每个切分后的片段从长到短匹配词表如果匹配不上就拆成子词前面加##标记比如unhappiness可能切成un, “##happiness”FullTokenizer组合Basic Wordpiece自动在开头加[CLS]或|begin_of_text|结尾加[SEP]或|eot_id|支持Chat模式下的Llama-3模板注入关键细节特殊token如|eot_id|是通过token ID直接注入的而不是经过BPE编码。这确保了停止条件能精确匹配。4.3 Transformer推理Prefill Decode推理分为两个阶段这是生成式模型的标准做法Prefill阶段并行处理把用户的prompt一次性tokenize所有token一起过Transformer。这个阶段可以充分利用矩阵乘法的并行性计算效率高。同时每一层的Key和Value矩阵被写入KV Cache。Decode阶段逐个生成从Prefill的最后一个token开始每次只处理1个新token查Embedding表得到输入向量过RMSNorm算Q/K/V。K和V只算新token的历史的K/V从Cache里读做AttentionQ × K_cacheᵀ → Softmax → × V_cache过FFNSwiGLU残差连接重复N层最后的线性投影tied embeddings时复用token embedding权重Softmax得到下一个token的概率分布采样器选一个token如果选到|eot_id|就停止否则把新token加入序列继续DecodeKV Cache的关键作用没有KV Cache的话每次生成新token都要重新计算所有历史token的K和V复杂度是O(n²)。有了KV Cache复杂度降到O(n)长文本生成才实用。4.4 注意力机制GQA RoPEGrouped-Query AttentionGQA标准Multi-Head Attention里Q/K/V各有num_heads个头。GQA让K和V共享更少的头比如Q有32个头K/V只有8个每个K/V头服务4个Q头。这样KV Cache的内存占用减少到1/4推理速度更快而质量损失很小。RoPERotary Position Embedding传统的位置编码是直接把位置向量加到token embedding上。RoPE的做法更巧妙它把Q和K向量拆成两半用旋转矩阵按位置角度旋转然后把两半拼回去。这样位置信息就揉进了注意力分数的计算里而且天然支持外推比训练时更长的序列。这个项目用的是half-split RoPE不是interleaved和HuggingFace的原始布局一致。加载时会把llama.cpp风格的permuted Q/K权重un-permute回来确保和参考实现逐层对齐。4.5 SwiGLU前馈网络Llama-family的FFN不是简单的线性→激活→线性而是SwiGLUFFN(x) (Swish(xW₁) ⊗ xW₂) W₃其中W₁和W₂是两个并行的线性投影把维度从n_embd扩到intermediate_sizeSwish是SiLU激活函数x * sigmoid(x)⊗是逐元素乘法门控机制W₃把维度压回n_embdSwiGLU比标准FFN表达能力更强是Llama系列效果好的关键之一。4.6 采样器从概率到token模型输出的是词汇表上每个token的概率。采样器决定选哪个贪心采样Greedy永远选概率最大的token。确定性强但输出可能比较死板。温度采样Temperature把概率分布除以一个温度参数TT→0趋近贪心T1保持原分布T1分布更平坦输出更随机Top-K只保留概率最高的K个token其他的概率清零后重新归一化。Top-PNucleus Sampling按概率从大到小累加直到累加和≥P只保留这些token。比Top-K更自适应。Min-P设置一个最小概率阈值只保留概率≥threshold的token。防止低概率的离谱token被选到。所有采样器都支持种子控制的RNG同样的种子产生同样的输出方便复现和调试。五、硬核特性详解If you need the complete source code, please add the WeChat number (c17865354792)5.1 三级SIMD调度矩阵乘法是推理的瓶颈而SIMD指令可以一次算多个数。这个项目实现了三级运行时调度Level 1Scalar标量最基础的C实现纯循环不依赖任何特殊指令。所有CPU都能跑。Level 2AVX2 FMA检测CPU是否支持AVX2和FMA指令集。如果支持就用256位宽的SIMD寄存器一次算8个float。点积运算用FMA乘加融合指令减少延迟。Level 3AVX-512如果CPU支持AVX-512就用512位宽寄存器一次算16个float。进一步提升吞吐量。运行时检测程序启动时调用CPUID指令检测CPU能力然后设置一个函数指针。后续所有矩阵运算都通过这个指针调用零运行时开销。位一致性保证无论用几个线程、哪种SIMD级别输出结果完全一致。这是通过确定性的线程调度实现的——每个输出行固定分配给特定线程没有race condition。5.2 SuperSpec多草稿推测解码推测解码Speculative Decoding是加速LLM推理的前沿技术。核心思想是用小模型快速生成草稿token大模型一次验证多个减少大模型的调用次数。这个项目的SuperSpec实现包含多草稿器Multi-Drafter同时加载多个草稿模型比如一个Q8量化、一个Q4量化各自独立生成草稿序列。每个草稿器有自己的KV Cache。批量验证Batch Verifier目标模型大模型一次前向传播验证所有草稿token。这里用的是数组结构的批量验证不是token树。全局最优接受策略在所有草稿器的预测中选择最长被接受的前缀。比如草稿器1猜对了3个token草稿器2猜对了5个那就接受5个。Adaptive-K动态调整每个草稿器生成的token数量K。如果接受率高就增加K如果接受率低就减少K。用气泡控制器算法自动调节。KV Cache回滚如果验证到某个token被拒绝就把所有草稿器的KV Cache回滚到上一个被接受的位置从那里重新开始。正确性保证在贪心验证模式下SuperSpec的输出和目标模型单独跑的结果完全一致。推测解码只改变速度不改变结果。5.3 Initial-Key Cache选择性KV缓存长上下文时KV Cache的内存占用随序列长度线性增长。这个项目实现了选择性KV缓存三类token的KV被保留Initial注意力汇聚点序列开头的几个token注意力分数通常很高是注意力汇聚现象的核心Recent近期上下文最近N个token保证局部连贯性Top-K Important中间token中按Score Sum最近几层注意力分数的滚动和排序保留最重要的K个驱逐策略当KV Cache超过预算时把不属于上述三类的token的KV驱逐掉并做内存压缩。正确性保证如果预算大于等于实际序列长度就退化成全量KV Cache输出和参考实现完全一致。使用方式llm--modelmodel.gguf--prompt...--n2000--kv-budget256--kv-recent1285.4 量化格式详解格式每权重位数说明F3232全精度无损失体积最大F1616半精度几乎无损失体积减半Q8_08每块256个权重共享一个缩放因子质量接近无损Q4_04每块32个权重共享一个缩放因子体积砍到1/8Q4_14比Q4_0多一个偏移量精度略好Q4_K4K-quants每子块有自己的scalemin更精细Q4_K_M4K-quants混合模式大部分用Q4_K敏感层用F16/Q5_KQ5_K5K-quants比Q4_K更精细Q6_K6K-quants接近Q8_0的质量K-quants的优势传统Q4_0/Q4_1是整个矩阵共享一个缩放因子而K-quants把矩阵分成更小的子块每个子块有自己的scale和min。这样对权重分布不均匀的情况比如有些层权重范围很大有些层很小处理得更精细同样4-bit下质量明显更好。六、相关领域知识点速览知识点一句话解释Transformer用自注意力机制捕捉序列中任意位置关系的神经网络架构Llama架构Meta开源的Decoder-only TransformerRMSNormRoPEGQASwiGLUGGUF格式llama.cpp社区定义的二进制模型格式自描述、支持量化KV Cache缓存历史token的Key和Value避免重复计算加速DecodePrefill/DecodePrefill并行处理promptDecode逐个生成tokenRoPE旋转位置编码通过旋转Q/K向量注入位置信息GQA分组查询注意力K/V共享更少的头减少KV Cache内存SwiGLU门控前馈网络SiLU激活逐元素乘法表达能力更强RMSNorm均方根归一化比LayerNorm更简单高效BPE分词Byte-Pair Encoding从字符对开始逐步合并构建子词词表SIMDAVX2/AVX-512单指令多数据一条指令同时处理多个数据元素FMA乘加融合指令一条指令完成a×bc减少延迟推测解码小模型快速草稿大模型批量验证减少大模型调用次数量化Quantization把32位浮点权重压缩到更低精度减少体积和内存带宽K-quants每子块独立scalemin的量化策略4-bit下质量更优困惑度Perplexity衡量语言模型预测能力的指标越低越好CPUIDx86指令查询CPU支持的特性指令集、缓存大小等内存映射mmap把文件直接映射到虚拟地址空间按需加载省内存七、怎么跑起来环境配置与运行测试手把手教Python依赖仅构建时pipinstallnumpy7.1 生成参考模型和测试数据项目自带了一套tiny参考模型随机权重用于验证引擎正确性需要通过Python脚本生成python tools\export_weights.py python tools\dump_reference.py python tools\export_tokenizer.py python tools\export_quantized.py python tools\export_gguf.py python tools\export_q6k_test.py这些脚本会export_weights.py生成tiny模型的随机权重dump_reference.py用numpy实现参考前向传播保存每层输出export_tokenizer.py导出tokenizer词表export_quantized.py生成Q8_0和Q4_0量化版本export_gguf.py生成GGUF格式的模型文件export_q6k_test.py生成Q6_K测试数据7.2 编译Release版本推荐tools\build.cmd Release这个脚本会自动调用vcvars64.bat设置MSVC环境然后用CMakeNinja编译。带AddressSanitizer的Debug版本用于内存错误检测tools\build.cmd Debug ASAN编译完成后可执行文件在Releasebuild\Release\llm.exeDebug ASANbuild\Debug-asan\llm.exe7.3 运行单元测试build\Release\unit_tests.exe项目包含100个单元测试全部通过且AddressSanitizer下无内存错误。测试覆盖张量运算形状、步长、索引矩阵乘法标量、AVX2、AVX-512路径激活函数ReLU、GELU、Softmax归一化RMSNorm逐层对比numpy参考注意力机制RoPE、GQA完整Transformer层cosine similarity 0.999 vs numpy参考GGUF加载器边界检查、错误处理采样器确定性输出验证7.4 运行基本推理用tiny模型测试随机权重输出是乱码仅用于验证引擎build\Release\llm.exe--modelmodels\tiny.lem--promptHello--n32用tiny GGUF模型build\Release\llm.exe--modelmodels\tiny.f32.gguf--promptHello--n32输出说明生成的文本输出到stdout统计信息、警告输出到stderr所以llm.exe ... out.txt会把纯文本保存到文件7.5 运行真实模型第一步下载模型从HuggingFace下载一个Llama-family的GGUF模型。推荐bartowski/Llama-3.2-1B-Instruct-GGUF选择Q4_K_M、Q8_0或Q4_0格式。Q4_K_M是性价比最高的选择。第二步运行推理build\Release\llm.exe--model.\Llama-3.2-1B-Instruct-Q4_0.gguf--promptExplain what a KV cache is.--n128Chat模式推荐用于对话build\Release\llm.exe--model.\Llama-3.2-1B-Instruct-Q4_0.gguf--chat--promptWhat is the capital of France?--n64--chat会自动用Llama-3的chat template包装prompt注入|begin_of_text|、|start_header_id|system等特殊token在|eot_id|处停止生成自定义系统提示build\Release\llm.exe--modelmodel.gguf--chat--systemYou are terse.--prompt...--n647.6 运行SuperSpec推测解码build\Release\llm.exe--modelmodels\tiny.lem ^--specmodels\tiny.q8.lem--specmodels\tiny.q4.lem ^--promptHello--n32--spec参数可以多次使用指定多个草稿模型。验证时输出和单独跑目标模型完全一致。7.7 运行Initial-Key Cachebuild\Release\llm.exe--modelmodel.gguf--prompt...--n2000--kv-budget256--kv-recent128--kv-budget设置KV Cache最大槽位数--kv-recent设置保留的近期token数。7.8 计算困惑度build\Release\llm.exe--modelmodel.gguf--perplexitywiki.test.raw这会计算给定文本文件的分块next-token困惑度用于客观比较不同量化格式的质量。7.9 调整线程数build\Release\llm.exe--modelmodel.gguf--prompt...-t8-t指定推理线程数默认用所有可用核心。7.10 CLI完整参数参考参数说明--model PATH模型文件路径.gguf或.lem--prompt TEXT输入提示词--n N最大生成token数--chat启用Chat模式Llama-3模板--system TEXT系统提示词Chat模式-t N推理线程数--spec PATH草稿模型路径可多次使用--kv-budget NKV Cache预算--kv-recent N保留的近期token数--perplexity FILE计算困惑度--temp FLOAT采样温度--top-k NTop-K采样--top-p FLOATTop-P采样--min-p FLOATMin-P采样--seed NRNG种子八、性能数据与基准测试8.1 量化质量对比Llama-3.2-1B-Instruct在wikitext-2-raw测试集的前8KB上测量1,855个评分token512-token窗口12线程AVX2格式文件大小困惑度nats/tokenQ4_0773 MB19.902.991Q4_K_M808 MB18.622.924Q8_01.32 GB17.862.883解读Q4_K_M只比Q4_0多4.5%的体积却填补了约63%的质量差距从Q4_0到Q8_0的gap。这是K-quants per-sub-block scalemin编码的实测收益。8.2 吞吐量tiny模型基准在dim64、2层、vocab288的tiny模型上12线程AVX2模式tok/s约贪心采样~4000GGUF F32~4000SuperSpec2草稿器~700注意tiny模型的数字主要反映per-token overhead不代表真实模型的吞吐量。真实1B量化模型在笔记本CPU上通常是单到双位数的tok/s这是正常的。8.3 逐层验证每一层的输出都和numpy参考实现做cosine similarity对比全精度F32cosine 0.999Q8_0量化cosine 0.999Q4_0量化cosine 0.95贪心采样模式下完整输出的token序列和参考实现完全一致。九、总结这个项目虽然是从零开始的手写实现但把CPU上跑大语言模型的核心机制都覆盖到了完整的Llama-family架构RMSNorm、RoPE、GQA、SwiGLU、残差连接每一层都用numpy参考验证加固的GGUF加载器不信任任何输入边界检查、算术校验、fail-closed多级量化支持从F32到Q4_K_M覆盖主流格式K-quants质量实测优秀三级SIMD调度运行时CPUID检测自动选择Scalar/AVX2/AVX-512位一致性保证SuperSpec推测解码多草稿器批量验证Adaptive-K正确性严格保证Initial-Key Cache选择性KV保留长上下文内存可控完整的生产化CLI工具、Chat模式、困惑度评估、100个单元测试、AddressSanitizer清洁如果你正在研究LLM推理的底层原理或者需要一个轻量级的CPU推理方案部署到边缘设备这就是一个很好的参考实现。纯C17、零Python依赖、CPU就能跑Llama 3——在很多场景下这就足够了。
一、这玩意儿到底是干嘛的说白了这是一个用C17从零写的、CPU优先的大语言模型LLM推理引擎。它的工作模式很直接你给它一个GGUF格式的模型文件比如Llama-3.2-1B-Instruct再给它一段提示词它就在你的CPU上逐token生成回复文本。整个过程不需要GPU、不需要CUDA、不需要PyTorch甚至不需要Python运行时——就一个二进制文件双击就能跑。它支持的模型架构是Llama家族包括Llama 2/3.x系列。支持的量化格式覆盖了主流选择F32全精度、F16半精度、Q8_0、Q4_0、Q4_1、Q5_0、Q5_1以及更高效的K-quantsQ4_K、Q5_K、Q6_K。其中Q4_K_M是HuggingFace上最常见的量化格式这个项目能直接加载和运行。除了基本的文本生成它还实现了三个硬核扩展三级SIMD调度运行时自动检测CPU支持的指令集在Scalar纯标量、AVX2、AVX-512之间动态选择最优路径SuperSpec多草稿推测解码用多个小模型同时猜未来token大模型一次验证减少解码步数Initial-Key Cache选择性KV缓存长上下文时只保留最重要的KV防止内存爆炸二、为什么要从零手搓一个CPU推理引擎现在跑大模型主流方案是调HuggingFace的Transformers库背后用PyTorchCUDA在GPU上跑。这套方案的问题是第一GPU不是人人都有。一台带RTX 4090的台式机要两三万而一台普通的Windows笔记本几乎人人都有。如果能在CPU上跑起来门槛就低太多了。第二部署太重。PyTorch本身几百MBCUDA驱动几个GB再加上Python环境部署到服务器或者边缘设备上资源占用和依赖链条都很长。第三Python的GIL限制。全局解释器锁让多线程并发成了摆设CPU多核优势发挥不出来。第四启动慢。Python解释器PyTorch的初始化开销在serverless或者短连接场景下很头疼。所以这个项目的思路很直接用C17重新实现Transformer推理的每一层直接读GGUF权重文件在CPU上跑完整的前向传播。体积小、依赖少、启动快、跨平台。三、核心架构设计思路3.1 整体链路从文件到文本整个推理流程可以概括为五个阶段GGUF文件 → 加固加载器 → Tokenizer → Transformer推理 → 采样器 → 输出文本GGUF文件是llama.cpp社区定义的二进制格式把PyTorch训练好的模型权重、tokenizer配置、模型超参数全部打包在一个文件里。加固加载器是这个项目的一大亮点。它遵循不信任任何输入的安全原则内存映射文件、边界检查、算术溢出检测、 capped counts、fail-closed验证。即使有人给你一个恶意构造的GGUF文件加载器也会优雅地拒绝而不是崩溃或者越界读写。Tokenizer实现了byte-level BPE分词直接从GGUF里读取tokenizer配置支持Llama-3的chat template自动注入|begin_of_text|、|start_header_id|等特殊token。Transformer推理实现了Llama-family的完整架构RMSNorm、RoPE位置编码、GQA分组查询注意力、SwiGLU前馈网络、残差连接。采样器支持多种策略贪心采样、温度采样、top-k、top-p、min-p全部带种子控制的RNG。3.2 面向阶段的设计Phase 0~9这个项目按照推理引擎圣经的九个阶段逐步构建阶段内容Phase 0项目骨架、构建系统、单元测试框架Phase 1张量基础形状、步长、内存布局Phase 2矩阵运算点积、矩阵乘法、SIMD加速Phase 3激活函数ReLU、GELU、SoftmaxPhase 4归一化LayerNorm、RMSNormPhase 5注意力机制Self-Attention、RoPE、GQAPhase 6完整Transformer层Attention FFN 残差Phase 7模型加载GGUF v3 reader、内存映射Phase 8文本生成KV Cache、Prefill/Decode循环、采样Phase 9生产化CLI、Chat模式、性能调优这种渐进式开发的好处是每一阶段都有独立的单元测试验证确保基础扎实后再往上盖楼。四、代码实现原理拆解4.1 加固加载器不信任任何输入加载GGUF文件时代码做了层层防护魔数验证文件开头4字节必须是0x67676d6cggml的ASCII。不对就直接返回错误防止加载任意文件。超参数读取依次读取10个int32参数词表大小、最大位置编码、中间层维度、注意力头数、隐藏层层数、pad_token_id、嵌入维度、标签数、beam数、量化类型。每个读取都有边界检查。词表加载循环读取n_vocab个token。每个token先读长度4字节再读字符串。长度异常负数或超大值直接报错。张量加载每个张量的元数据包括维度数、名字长度、数据类型、shape数组、名字字符串。代码会校验维度数在合理范围内1~4名字长度不超过上限数据类型是支持的格式之一F32/F16/Q4_0/Q4_1/Q5_0/Q5_1/Q8_0/Q4_K/Q5_K/Q6_K计算出的数据大小和文件剩余大小匹配内存映射使用操作系统提供的内存映射memory-mapped file而不是把整个文件读到堆内存。这样大模型文件几个GB不会撑爆RAM操作系统会自动按需分页加载。4.2 TokenizerByte-Level BPETokenizer实现了完整的三层架构BasicTokenizer可选的NFD Unicode归一化全部转小写用正则表达式按Llama-3的pre-tokenizer规则切分数字、字母、标点、CJK字符分别处理WordpieceTokenizer对每个切分后的片段从长到短匹配词表如果匹配不上就拆成子词前面加##标记比如unhappiness可能切成un, “##happiness”FullTokenizer组合Basic Wordpiece自动在开头加[CLS]或|begin_of_text|结尾加[SEP]或|eot_id|支持Chat模式下的Llama-3模板注入关键细节特殊token如|eot_id|是通过token ID直接注入的而不是经过BPE编码。这确保了停止条件能精确匹配。4.3 Transformer推理Prefill Decode推理分为两个阶段这是生成式模型的标准做法Prefill阶段并行处理把用户的prompt一次性tokenize所有token一起过Transformer。这个阶段可以充分利用矩阵乘法的并行性计算效率高。同时每一层的Key和Value矩阵被写入KV Cache。Decode阶段逐个生成从Prefill的最后一个token开始每次只处理1个新token查Embedding表得到输入向量过RMSNorm算Q/K/V。K和V只算新token的历史的K/V从Cache里读做AttentionQ × K_cacheᵀ → Softmax → × V_cache过FFNSwiGLU残差连接重复N层最后的线性投影tied embeddings时复用token embedding权重Softmax得到下一个token的概率分布采样器选一个token如果选到|eot_id|就停止否则把新token加入序列继续DecodeKV Cache的关键作用没有KV Cache的话每次生成新token都要重新计算所有历史token的K和V复杂度是O(n²)。有了KV Cache复杂度降到O(n)长文本生成才实用。4.4 注意力机制GQA RoPEGrouped-Query AttentionGQA标准Multi-Head Attention里Q/K/V各有num_heads个头。GQA让K和V共享更少的头比如Q有32个头K/V只有8个每个K/V头服务4个Q头。这样KV Cache的内存占用减少到1/4推理速度更快而质量损失很小。RoPERotary Position Embedding传统的位置编码是直接把位置向量加到token embedding上。RoPE的做法更巧妙它把Q和K向量拆成两半用旋转矩阵按位置角度旋转然后把两半拼回去。这样位置信息就揉进了注意力分数的计算里而且天然支持外推比训练时更长的序列。这个项目用的是half-split RoPE不是interleaved和HuggingFace的原始布局一致。加载时会把llama.cpp风格的permuted Q/K权重un-permute回来确保和参考实现逐层对齐。4.5 SwiGLU前馈网络Llama-family的FFN不是简单的线性→激活→线性而是SwiGLUFFN(x) (Swish(xW₁) ⊗ xW₂) W₃其中W₁和W₂是两个并行的线性投影把维度从n_embd扩到intermediate_sizeSwish是SiLU激活函数x * sigmoid(x)⊗是逐元素乘法门控机制W₃把维度压回n_embdSwiGLU比标准FFN表达能力更强是Llama系列效果好的关键之一。4.6 采样器从概率到token模型输出的是词汇表上每个token的概率。采样器决定选哪个贪心采样Greedy永远选概率最大的token。确定性强但输出可能比较死板。温度采样Temperature把概率分布除以一个温度参数TT→0趋近贪心T1保持原分布T1分布更平坦输出更随机Top-K只保留概率最高的K个token其他的概率清零后重新归一化。Top-PNucleus Sampling按概率从大到小累加直到累加和≥P只保留这些token。比Top-K更自适应。Min-P设置一个最小概率阈值只保留概率≥threshold的token。防止低概率的离谱token被选到。所有采样器都支持种子控制的RNG同样的种子产生同样的输出方便复现和调试。五、硬核特性详解If you need the complete source code, please add the WeChat number (c17865354792)5.1 三级SIMD调度矩阵乘法是推理的瓶颈而SIMD指令可以一次算多个数。这个项目实现了三级运行时调度Level 1Scalar标量最基础的C实现纯循环不依赖任何特殊指令。所有CPU都能跑。Level 2AVX2 FMA检测CPU是否支持AVX2和FMA指令集。如果支持就用256位宽的SIMD寄存器一次算8个float。点积运算用FMA乘加融合指令减少延迟。Level 3AVX-512如果CPU支持AVX-512就用512位宽寄存器一次算16个float。进一步提升吞吐量。运行时检测程序启动时调用CPUID指令检测CPU能力然后设置一个函数指针。后续所有矩阵运算都通过这个指针调用零运行时开销。位一致性保证无论用几个线程、哪种SIMD级别输出结果完全一致。这是通过确定性的线程调度实现的——每个输出行固定分配给特定线程没有race condition。5.2 SuperSpec多草稿推测解码推测解码Speculative Decoding是加速LLM推理的前沿技术。核心思想是用小模型快速生成草稿token大模型一次验证多个减少大模型的调用次数。这个项目的SuperSpec实现包含多草稿器Multi-Drafter同时加载多个草稿模型比如一个Q8量化、一个Q4量化各自独立生成草稿序列。每个草稿器有自己的KV Cache。批量验证Batch Verifier目标模型大模型一次前向传播验证所有草稿token。这里用的是数组结构的批量验证不是token树。全局最优接受策略在所有草稿器的预测中选择最长被接受的前缀。比如草稿器1猜对了3个token草稿器2猜对了5个那就接受5个。Adaptive-K动态调整每个草稿器生成的token数量K。如果接受率高就增加K如果接受率低就减少K。用气泡控制器算法自动调节。KV Cache回滚如果验证到某个token被拒绝就把所有草稿器的KV Cache回滚到上一个被接受的位置从那里重新开始。正确性保证在贪心验证模式下SuperSpec的输出和目标模型单独跑的结果完全一致。推测解码只改变速度不改变结果。5.3 Initial-Key Cache选择性KV缓存长上下文时KV Cache的内存占用随序列长度线性增长。这个项目实现了选择性KV缓存三类token的KV被保留Initial注意力汇聚点序列开头的几个token注意力分数通常很高是注意力汇聚现象的核心Recent近期上下文最近N个token保证局部连贯性Top-K Important中间token中按Score Sum最近几层注意力分数的滚动和排序保留最重要的K个驱逐策略当KV Cache超过预算时把不属于上述三类的token的KV驱逐掉并做内存压缩。正确性保证如果预算大于等于实际序列长度就退化成全量KV Cache输出和参考实现完全一致。使用方式llm--modelmodel.gguf--prompt...--n2000--kv-budget256--kv-recent1285.4 量化格式详解格式每权重位数说明F3232全精度无损失体积最大F1616半精度几乎无损失体积减半Q8_08每块256个权重共享一个缩放因子质量接近无损Q4_04每块32个权重共享一个缩放因子体积砍到1/8Q4_14比Q4_0多一个偏移量精度略好Q4_K4K-quants每子块有自己的scalemin更精细Q4_K_M4K-quants混合模式大部分用Q4_K敏感层用F16/Q5_KQ5_K5K-quants比Q4_K更精细Q6_K6K-quants接近Q8_0的质量K-quants的优势传统Q4_0/Q4_1是整个矩阵共享一个缩放因子而K-quants把矩阵分成更小的子块每个子块有自己的scale和min。这样对权重分布不均匀的情况比如有些层权重范围很大有些层很小处理得更精细同样4-bit下质量明显更好。六、相关领域知识点速览知识点一句话解释Transformer用自注意力机制捕捉序列中任意位置关系的神经网络架构Llama架构Meta开源的Decoder-only TransformerRMSNormRoPEGQASwiGLUGGUF格式llama.cpp社区定义的二进制模型格式自描述、支持量化KV Cache缓存历史token的Key和Value避免重复计算加速DecodePrefill/DecodePrefill并行处理promptDecode逐个生成tokenRoPE旋转位置编码通过旋转Q/K向量注入位置信息GQA分组查询注意力K/V共享更少的头减少KV Cache内存SwiGLU门控前馈网络SiLU激活逐元素乘法表达能力更强RMSNorm均方根归一化比LayerNorm更简单高效BPE分词Byte-Pair Encoding从字符对开始逐步合并构建子词词表SIMDAVX2/AVX-512单指令多数据一条指令同时处理多个数据元素FMA乘加融合指令一条指令完成a×bc减少延迟推测解码小模型快速草稿大模型批量验证减少大模型调用次数量化Quantization把32位浮点权重压缩到更低精度减少体积和内存带宽K-quants每子块独立scalemin的量化策略4-bit下质量更优困惑度Perplexity衡量语言模型预测能力的指标越低越好CPUIDx86指令查询CPU支持的特性指令集、缓存大小等内存映射mmap把文件直接映射到虚拟地址空间按需加载省内存七、怎么跑起来环境配置与运行测试手把手教Python依赖仅构建时pipinstallnumpy7.1 生成参考模型和测试数据项目自带了一套tiny参考模型随机权重用于验证引擎正确性需要通过Python脚本生成python tools\export_weights.py python tools\dump_reference.py python tools\export_tokenizer.py python tools\export_quantized.py python tools\export_gguf.py python tools\export_q6k_test.py这些脚本会export_weights.py生成tiny模型的随机权重dump_reference.py用numpy实现参考前向传播保存每层输出export_tokenizer.py导出tokenizer词表export_quantized.py生成Q8_0和Q4_0量化版本export_gguf.py生成GGUF格式的模型文件export_q6k_test.py生成Q6_K测试数据7.2 编译Release版本推荐tools\build.cmd Release这个脚本会自动调用vcvars64.bat设置MSVC环境然后用CMakeNinja编译。带AddressSanitizer的Debug版本用于内存错误检测tools\build.cmd Debug ASAN编译完成后可执行文件在Releasebuild\Release\llm.exeDebug ASANbuild\Debug-asan\llm.exe7.3 运行单元测试build\Release\unit_tests.exe项目包含100个单元测试全部通过且AddressSanitizer下无内存错误。测试覆盖张量运算形状、步长、索引矩阵乘法标量、AVX2、AVX-512路径激活函数ReLU、GELU、Softmax归一化RMSNorm逐层对比numpy参考注意力机制RoPE、GQA完整Transformer层cosine similarity 0.999 vs numpy参考GGUF加载器边界检查、错误处理采样器确定性输出验证7.4 运行基本推理用tiny模型测试随机权重输出是乱码仅用于验证引擎build\Release\llm.exe--modelmodels\tiny.lem--promptHello--n32用tiny GGUF模型build\Release\llm.exe--modelmodels\tiny.f32.gguf--promptHello--n32输出说明生成的文本输出到stdout统计信息、警告输出到stderr所以llm.exe ... out.txt会把纯文本保存到文件7.5 运行真实模型第一步下载模型从HuggingFace下载一个Llama-family的GGUF模型。推荐bartowski/Llama-3.2-1B-Instruct-GGUF选择Q4_K_M、Q8_0或Q4_0格式。Q4_K_M是性价比最高的选择。第二步运行推理build\Release\llm.exe--model.\Llama-3.2-1B-Instruct-Q4_0.gguf--promptExplain what a KV cache is.--n128Chat模式推荐用于对话build\Release\llm.exe--model.\Llama-3.2-1B-Instruct-Q4_0.gguf--chat--promptWhat is the capital of France?--n64--chat会自动用Llama-3的chat template包装prompt注入|begin_of_text|、|start_header_id|system等特殊token在|eot_id|处停止生成自定义系统提示build\Release\llm.exe--modelmodel.gguf--chat--systemYou are terse.--prompt...--n647.6 运行SuperSpec推测解码build\Release\llm.exe--modelmodels\tiny.lem ^--specmodels\tiny.q8.lem--specmodels\tiny.q4.lem ^--promptHello--n32--spec参数可以多次使用指定多个草稿模型。验证时输出和单独跑目标模型完全一致。7.7 运行Initial-Key Cachebuild\Release\llm.exe--modelmodel.gguf--prompt...--n2000--kv-budget256--kv-recent128--kv-budget设置KV Cache最大槽位数--kv-recent设置保留的近期token数。7.8 计算困惑度build\Release\llm.exe--modelmodel.gguf--perplexitywiki.test.raw这会计算给定文本文件的分块next-token困惑度用于客观比较不同量化格式的质量。7.9 调整线程数build\Release\llm.exe--modelmodel.gguf--prompt...-t8-t指定推理线程数默认用所有可用核心。7.10 CLI完整参数参考参数说明--model PATH模型文件路径.gguf或.lem--prompt TEXT输入提示词--n N最大生成token数--chat启用Chat模式Llama-3模板--system TEXT系统提示词Chat模式-t N推理线程数--spec PATH草稿模型路径可多次使用--kv-budget NKV Cache预算--kv-recent N保留的近期token数--perplexity FILE计算困惑度--temp FLOAT采样温度--top-k NTop-K采样--top-p FLOATTop-P采样--min-p FLOATMin-P采样--seed NRNG种子八、性能数据与基准测试8.1 量化质量对比Llama-3.2-1B-Instruct在wikitext-2-raw测试集的前8KB上测量1,855个评分token512-token窗口12线程AVX2格式文件大小困惑度nats/tokenQ4_0773 MB19.902.991Q4_K_M808 MB18.622.924Q8_01.32 GB17.862.883解读Q4_K_M只比Q4_0多4.5%的体积却填补了约63%的质量差距从Q4_0到Q8_0的gap。这是K-quants per-sub-block scalemin编码的实测收益。8.2 吞吐量tiny模型基准在dim64、2层、vocab288的tiny模型上12线程AVX2模式tok/s约贪心采样~4000GGUF F32~4000SuperSpec2草稿器~700注意tiny模型的数字主要反映per-token overhead不代表真实模型的吞吐量。真实1B量化模型在笔记本CPU上通常是单到双位数的tok/s这是正常的。8.3 逐层验证每一层的输出都和numpy参考实现做cosine similarity对比全精度F32cosine 0.999Q8_0量化cosine 0.999Q4_0量化cosine 0.95贪心采样模式下完整输出的token序列和参考实现完全一致。九、总结这个项目虽然是从零开始的手写实现但把CPU上跑大语言模型的核心机制都覆盖到了完整的Llama-family架构RMSNorm、RoPE、GQA、SwiGLU、残差连接每一层都用numpy参考验证加固的GGUF加载器不信任任何输入边界检查、算术校验、fail-closed多级量化支持从F32到Q4_K_M覆盖主流格式K-quants质量实测优秀三级SIMD调度运行时CPUID检测自动选择Scalar/AVX2/AVX-512位一致性保证SuperSpec推测解码多草稿器批量验证Adaptive-K正确性严格保证Initial-Key Cache选择性KV保留长上下文内存可控完整的生产化CLI工具、Chat模式、困惑度评估、100个单元测试、AddressSanitizer清洁如果你正在研究LLM推理的底层原理或者需要一个轻量级的CPU推理方案部署到边缘设备这就是一个很好的参考实现。纯C17、零Python依赖、CPU就能跑Llama 3——在很多场景下这就足够了。
