Byte Latent Transformer：用字节熵动态切Patch，彻底扔掉分词器的新范式

扔掉分词器Byte Latent Transformer用字节熵动态切 patch 的语言模型新范式做过大模型训练或微调的同学大概率都有过被分词器支配的经历词表怎么定BPE 合并多少次OOV 怎么办多语言语料要不要单独加 token还有每次换领域、换语种都得重新训练分词器简直是“一改全改”。这两年业界的主流做法基本都绕不开“子词分词 固定词表”这套框架。但你有没有想过一个问题如果干脆不用分词器模型直接读原始字节会发生什么Meta 近期开源的 Byte Latent Transformer简称 BLT正是干这件事的。它不依赖任何传统分词器而是用“字节熵”动态决定把哪些字节拼成一个 patch再把这些 patch 输入 Transformer 进行计算。这个思路在架构层面绕开了分词器同时在计算效率上又比逐字节建模高不少。这篇文章我会从面试官最常追问的角度出发把 BLT 的动机、核心机制、动态 patch 切分逻辑、和传统 BPE 的对比、以及工程上的落地要点一次讲清楚。不管你是准备大模型方向的面试还是想了解下一代 Tokenizer-free 架构这篇都值得收藏。1. 这篇文章真正要解决的问题先下一个判断BLT 不是对 BPE 的修修补补而是试图从根本上替代“分词器”这个组件。为什么要替代分词器因为分词器带来的问题在大模型时代被放大了第一分词器是强先验。BPE 这类算法通过统计语料频率来合并子词单元一旦训练完词表就固定了。遇到训练时没见过的拼写、emoji、特殊符号轻则表示成unk重则直接影响模型在对应任务上的表现。虽然现在的 tokenizer 大多不会产出unk而是用 byte fallback但信息损失和变形仍然存在。第二词表大小和 embedding 矩阵强耦合。词表越大embedding 层和输出层的参数就越多。很多大规模模型光 token embedding 就占了总参数的 30% 以上这是一个相当大的存储和显存开销。第三不同语言、不同领域的 token 分布差异巨大。同一套 BPE 词表在英文代码上表现很好切到中文、日文或者生物医药文本切分质量会明显下降。多语言场景下分词器往往成为模型效果的天花板。BLT 的思路是不再把“分词”看作是训练前的一次性静态预处理而是把“如何切分输入”变成一个由模型输入动态决定的、可学习的隐式过程。它用字节熵作为信号熵高难以预测的地方切细一点熵低容易预测的地方合并成大块这就是“动态切 patch”的核心含义。所以这篇文章要解决的问题可以概括为三个分词器到底有什么本质缺陷为什么 BLT 值得关注字节熵是什么BLT 如何利用它动态切 patch如果要在实际工程里用 BLT哪些环节和传统 BPE 流程不一样下面逐步展开。2. 基础概念与核心原理2.1 从 Token 到 Patch粒度选择的博弈传统模型输入单位是 token。一个 token 可以是一个词、半个词、一个 subword甚至一个字节。Token 粒度越细模型对输入的覆盖越完整但序列长度越长计算成本越高。Token 粒度越粗序列长度越短但信息损失和稀疏性问题越明显。BLT 引入了一个新的输入单位Patch。一个 Patch 是若干字节组成的一个块。与传统固定词表不同Patch 的边界不是训练前静态定好的而是在推理的时候根据输入动态计算出来的。可以这样理解Patch 是“按需聚合的字节组”。遇到容易预测的常见文本比如the 可能几个字节合并成一个 Patch遇到高熵的噪声字符比如随机密码、生僻字可能每个字节单独成一个 Patch。这样设计的好处是序列长度可以大幅缩短同时不会丢失信息因为模型始终能访问原始字节。2.2 字节熵动态切分的核心信号“字节熵”这个词听起来玄其实可以理解为给定前面的字节序列下一个字节有多难预测。如果下一个字节很容易预测说明当前文本模式很固定熵值低如果很难预测说明文本信息密度高、变化剧烈熵值高。举个例子文本The quick brown fox jumps over the lazy dog.如果模型已经看到了The quick brown 那么下一个字符f虽然不能完全确定但结合英文单词频率概率分布会比较集中熵相对较低。再看另一个情况文本Qx7!#z9Lm下一个字符完全无法从前面推测熵很高。BLT 的核心思想就是在低熵区域把多个字节打包成一个 Patch减少计算量在高熵区域让每个字节单独成为一个 Patch保证模型能捕捉到足够的细节。从信息论角度看这种切分方式相当于让模型把有限的注意力预算优先分配给“信息量大”的位置。2.3 BLT 的整体架构两套 Transformer 协同BLT 并不只是“字节输入 普通 Transformer”。它的架构大致分为三层局部编码器Local Encoder一个小型 Transformer负责把 Patch 内的字节信息编码成 Patch 向量。潜空间 TransformerLatent Transformer一个标准的大 Transformer在 Patch 级别上处理全局语义。局部解码器Local Decoder另一个小型 Transformer负责把 Patch 向量解码回字节级别的预测。训练和推理时大模型部分在 Patch 序列上计算计算复杂度大幅降低而字节级别的细节由轻量级的小模型负责。这种“粗粒度计算 细粒度编码”的设计让 BLT 在长文本建模上具有天然优势。组件作用输入粒度参数量级Local Encoder把字节序列编码为 Patch 向量字节/短序列小Latent Transformer全局语义建模Patch大Local Decoder从 Patch 向量解码到字节预测字节小2.4 Patch 的生成过程BLT 的完整前向过程可以简化为以下几步输入原始字节流。用一个轻量模型预测每个位置的字节熵。根据熵阈值决定在哪些位置打断形成候选 Patch。Local Encoder 对每个 Patch 内的字节做编码得到 Patch 向量。Latent Transformer 对 Patch 向量序列做骨干计算。Local Decoder 把输出还原到字节级用于预测下一个字节。这里最关键的一步是第 3 步如何确定 Patch 边界。3. 环境准备与前置条件BLT 目前已经开源官方仓库提供了训练和推理的代码。如果你想跑通一个最小示例需要准备以下环境。注意这里以通用配置为例具体版本请参考官方仓库的最新要求不建议直接照搬所有版本号。3.1 硬件要求BLT 虽然在架构上减少了 token 数量但完整的预训练仍然需要大量 GPU。如果不是做预训练只是想体验一下模型推理或微调单张 A100 80G 或 H100 基本够用。如果只是做源码阅读和调试用 CPU 配合小 batch 也可以跑通流程只是速度会慢很多。3.2 软件依赖从开源代码来看主要依赖包括Python 3.10 或更高版本。PyTorch 2.x。fairscale 或 fsdp 相关库。sentencepiece仅用于数据预处理对比实验不是模型必需组件。官方仓库中的blt数据加载和模型定义模块。建议用 conda 创建虚拟环境避免污染系统 Pythonconda create -n blt python3.10 -y conda activate blt pip install torch --index-url https://download.pytorch.org/whl/cu118 pip install fairscale transformers sentencepiece3.3 从源码安装 BLTgit clone https://github.com/facebookresearch/blt.git cd blt pip install -e .需要提醒的是BLT 目前主要面向研究场景代码结构还在快速迭代中。如果你是做业务系统集成建议先等社区稳定版本发布或者仔细评估当前 commit 的稳定性。4. 核心流程拆解动态 Patch 切分的实现思路动态 Patch 切分是整个 BLT 最核心、也最容易让人困惑的部分。面试官如果问起来八成会围绕这里展开。我们把它拆成四个子问题怎么预测熵、怎么确定阈值、怎么处理不定长 Patch、怎么和 Transformer 训练对齐。4.1 如何预测字节熵BLT 没有用独立的语言模型来预测熵而是利用一个轻量的本地模型基于前面已观察到的上下文输出下一个字节的概率分布。有了概率分布就可以计算熵。在实际实现中预训练阶段会先用一个“entropy model”在大量文本上预训练或者在训练时联合训练。为了减少额外开销这个模型通常很小可能是单层 LSTM 或小规模的 Transformer。熵的具体计算公式是H(x_next | context) - Σ p(x|c) * log p(x|c)当模型对下一个字节的预测概率接近均匀分布时熵最大当某个字节的概率接近 1 时熵接近 0。4.2 阈值策略如何决定切分位置得到每个字节的熵序列后需要把这个连续值变成离散的切分决策。常见的策略是设定一个熵阈值τ。具体规则如果当前位置的熵低于τ说明下一个字节可预测性高不需要在这里断开。如果当前位置的熵高于τ说明紧接着会出现高信息量内容需要在这里切出一个边界。这里要特别注意“切在哪个位置”。理论上高熵位置意味着下一个字节难以预测但我们希望高熵的字节本身能够尽可能独立成 Patch所以边界通常切在“高熵字节的前面”或“紧跟着高熵字节的位置”。论文和开源实现中的具体细节会有所差异但核心思想一致高熵位置是信息密度的局部峰值应该成为 Patch 边界。此外还有一个最大 Patch 长度的限制。即使整段文本熵都很低也不能让 Patch 无限变长。一般会设置一个max_patch_len比如 32 或 64 字节。超过这个长度强制断开保证模型不会在单个 Patch 内塞入过多信息。4.3 从字节熵到变长 Patch经过阈值和长度限制原本的字节序列会被切分成一组变长的 Patch。有些 Patch 可能只有 1 个字节有些可能包含几十个字节。举个例子假设输入是英文句子和一个特殊 tokenhello world! ☃️在传统 BPE 中它可能被切成[hel, lo, world, !, ☃️]这样的 token 序列。在 BLT 中hello中的字母组合如果熵低可能直接被合成一个 Patch而☃️的 UTF-8 字节熵高很可能每个字节单独作为 Patch。这里有个细节BLT 的 Patch 天然为变长不需要像 BPE 那样维护一个固定词表。模型在训练时可以通过对 Patch 内部字节做均值池化或局部编码器编码把变长 Patch 变成固定维度的向量供 Latent Transformer 使用。4.4 动态切分与训练稳定性很多第一次接触 BLT 的人会担心如果 Patch 的边界每次都不一样模型还能稳定训练吗答案是能。因为 BLT 的处理方式是每次前向时动态计算 Patch 边界然后只对当前 Patch 序列做 Transformer 计算。语义信息仍然由字节流完整保留不同的切分只会影响计算粒度不会影响信息完整性。训练时BLT 采用类似标准因果语言模型的方式在每个字节位置计算损失而不是只在 Patch 边界处计算。这样确保模型在字节级别也能得到监督信号不会因为 Patch 化而损失学习信号密度。4.5 推理加速缓存与并行动态切分在训练时比较直观但在推理时如果每个 step 都重新计算 entropy会引入额外开销。为了提速BLT 会先对输入文本做一次性 Pre-tokenization用类似 CKY 或贪心的方式确定所有 Patch 边界然后在这些 Patch 上做 KV Cache 推理。如果你在做长文本续写这种一次性切分配合缓存性能会很可观。因为即使输入有 10000 个字节如果平均每个 Patch 有 4 个字节Latent Transformer 实际只需要处理 2500 个 Patch计算量直接降为原来的四分之一。5. 完整示例与代码实现BLT 的完整预训练代码比较长这里我只演示一个“最小可行实现”帮助你理解动态 Patch 切分的核心逻辑以及如何在自定义数据上运行 BLT 风格的训练流程。这部分代码可以去官方仓库对照阅读这里做简化处理。5.1 数据准备与预处理假设我们有少量中文和英文混合的纯文本数据准备一个data/sample.txt人工智能正在改变世界。 The quick brown fox jumps over the lazy dog. 大模型训练离不开高质量数据。 Byte Latent Transformer removes tokenizers.首先把文件读成字节序列为后续熵计算做准备# 文件路径prepare_bytes.py from pathlib import Path text_path Path(data/sample.txt) raw text_path.read_text(encodingutf-8) byte_seq raw.encode(utf-8) print(total bytes:, len(byte_seq)) # 输出示例total bytes: 165这里强调的是BLT 的数据输入层不需要 tokenizer直接把文本编码成 UTF-8 字节数组即可。后续所有操作都发生在字节序列上。5.2 计算字节熵的轻量模型我们用一个简单的双字母统计模型来模拟 entropy model。实际训练中会用神经网络但原理相同# 文件路径entropy_model.py from collections import defaultdict import math class BigramEntropyModel: def __init__(self): self.cnt defaultdict(int) self.context_cnt defaultdict(int) self.vocab set() def train(self, byte_seq): for i in range(len(byte_seq) - 1): ctx byte_seq[i] nxt byte_seq[i 1] self.cnt[(ctx, nxt)] 1 self.context_cnt[ctx] 1 self.vocab.add(nxt) self.vocab sorted(self.vocab) def entropy_at(self, ctx): total self.context_cnt.get(ctx, 1) ent 0.0 for nxt in self.vocab: p self.cnt.get((ctx, nxt), 0) / total if p 0: ent - p * math.log(p, 2) return ent这个模型根据前一个字节统计下一个字节的分布从而在给定上下文中估计熵。严格来说BLT 的 entropy model 应该基于更长上下文这里只是为了演示动态切分逻辑。5.3 动态 Patch 切分实现有了熵模型就可以实现核心的make_patches函数# 文件路径patchify.py from entropy_model import BigramEntropyModel def make_patches(byte_seq, entropy_model, threshold2.5, max_patch_len32): patches [] current [] for i, b in enumerate(byte_seq): if i 0: current.append(b) continue ctx byte_seq[i - 1] ent entropy_model.entropy_at(ctx) # 熵高或者当前 patch 过长则断开 if ent threshold or len(current) max_patch_len: patches.append(bytes(current)) current [b] else: current.append(b) if current: patches.append(bytes(current)) return patches这里有两个关键参数threshold熵阈值。阈值越大Patch 越粗序列越短阈值越小Patch 越细序列越长。max_patch_len最大 Patch 字节数防止低熵长文本产生超大 Patch。对data/sample.txt应用这个切分逻辑# 文件路径demo_patch.py from pathlib import Path from entropy_model import BigramEntropyModel from patchify import make_patches raw Path(data/sample.txt).read_text(encodingutf-8) byte_seq raw.encode(utf-8) model BigramEntropyModel() model.train(byte_seq) patches make_patches(byte_seq, model, threshold2.5, max_patch_len8) print(fbytes: {len(byte_seq)}) print(fpatches: {len(patches)}) print(faverage patch bytes: {len(byte_seq) / len(patches):.2f}) for p in patches[:10]: print(p, -, p.decode(utf-8, errorsreplace))运行后你会看到类似下面的输出bytes: 177 patches: 48 average patch bytes: 3.69 b\xe4\xba - b\xba - b\xe4\xba\xba\xe5 - ... bThe - The b - bquick - quick注意中文字符因为 UTF-8 编码每个汉字占 3 个字节在简单双字母熵模型下熵值偏高所以切分较碎。英文字母组合因为可预测性高往往能合并成更长的 Patch。这正体现了字节熵的动态特性不同语种、不同内容的切分方式完全不同。5.4 简易 BLT 前向过程为了在概念上跑通“Patch 编码 - Transformer - 字节解码”下面给一个极简的 PyTorch 示例。这个示例实际上没有完整实现 Local Encoder/Decoder但足以展示数据流# 文件路径simple_blt_forward.py import torch import torch.nn as nn from pathlib import Path from entropy_model import BigramEntropyModel from patchify import make_patches class PatchEmbedding(nn.Module): def __init__(self, patch_dim64, hidden_dim128): super().__init__() self.patch_dim patch_dim self.proj nn.Linear(patch_dim, hidden_dim) def forward(self, patches): # 简单做法把每个 patch padding/截断到固定长度然后均值池化 batch [] for p in patches: if len(p) self.patch_dim: p p[:self.patch_dim] else: p p b\x00 * (self.patch_dim - len(p)) vec torch.tensor(list(p), dtypetorch.float32) / 255.0 batch.append(vec) mat torch.stack(batch) pooled mat.mean(dim1) return self.proj(pooled) class MinimalBLT(nn.Module): def __init__(self, hidden_dim128, num_layers2): super().__init__() self.embed PatchEmbedding(patch_dim64, hidden_dimhidden_dim) self.transformer nn.TransformerEncoder( nn.TransformerEncoderLayer(d_modelhidden_dim, nhead4, batch_firstTrue), num_layersnum_layers ) self.output_proj nn.Linear(hidden_dim, 256) # 预测下一个字节 def forward(self, patches): x self.embed(patches) x self.transformer(x) # 最后一个 patch 位置输出一个字节级预测简化处理 return self.output_proj(x[:, -1, :]) raw Path(data/sample.txt).read_text(encodingutf-8) byte_seq raw.encode(utf-8) model_ent BigramEntropyModel() model_ent.train(byte_seq) patches make_patches(byte_seq, model_ent, threshold2.5, max_patch_len8) net MinimalBLT() out net(patches) print(output shape:, out.shape) # 输出示例output shape: torch.Size([1, 256])这个示例说明了 BLT 的核心数据流字符序列 - Patch 序列 - 向量序列 - Transformer - 输出。实际实现中Local Decoder 会为 Patch 内部每个字节生成独立的预测向量而不是像我这里这样只取最后一个位置。5.5 如何运行和验证把上述四个 Python 文件放在同一目录下依次运行python prepare_bytes.py python demo_patch.py python simple_blt_forward.py如果输出中能看到字节数、Patch 数、平均 Patch 长度以及最后的output shape: torch.Size([1, 256])说明流程跑通了。这里要明确这个最小示例主要用于理解原理不是完整的 BLT 训练代码。真实训练还需要实现 Local Encoder/Decoder、熵模型联合训练、损失计算、分布式训练等建议直接参考官方仓库。6. 运行结果与效果验证6.1 如何判断动态切分是否有效在你的实验中有两个指标值得关注Patch 数量下降比例。假设输入 1000 字节BPE token 数是 300BLT patch 数是多少如果 patch 数明显低于字节数说明压缩有效。不同熵区域的 patch 长度差异。在数字、乱码、特殊符号附近patch 长度应该更短在常见英文单词、空格、标点附近patch 长度应该更长。如果看到类似下面的输出bytes: 10000 patches: 2800 average patch bytes: 3.57基本说明动态切分正常工作。6.2 与传统 BPE 的对比实验为了验证 BLT 的优点建议在相同语料上跑两组实验一组用GPT2Tokenizer或LlamaTokenizer做 BPE 编码。一组用 BLT 的字节熵动态切分。对比维度包括序列长度、序列长度的方差、在生僻字和代码片段上的表示差异。下面是一个简单的对比脚本# 文件路径compare_tokenizers.py from transformers import AutoTokenizer from pathlib import Path from entropy_model import BigramEntropyModel from patchify import make_patches text Path(data/sample.txt).read_text(encodingutf-8) tokenizer AutoTokenizer.from_pretrained(bert-base-uncased) bpe_tokens tokenizer.tokenize(text) model_ent BigramEntropyModel() byte_seq text.encode(utf-8) model_ent.train(byte_seq) patches make_patches(byte_seq, model_ent, threshold2.5, max_patch_len8) print(fBPE token count: {len(bpe_tokens)}) print(fBLT patch count: {len(patches)})输出示例BPE token count: 126 BLT patch count: 48这说明在同样输入下BLT 可以用更少的 Patch 数承载同样信息计算层面更高效。当然这只是小样本演示真实效果还需要在更大语料上评估。6.3 失败排查第一步如果你运行demo_patch.py时出现解码错误比如UnicodeDecodeError往往是打印 Patch 时对二进制做了错误的 UTF-8 解码。解决方案是像示例中一样在decode时加上errorsreplace或者直接打印字节的十六进制表示。如果输出的平均 Patch 字节数接近 1说明熵阈值设置得太低几乎所有字节都被单独切开。此时应把threshold调高比如从2.5调到4.0。如果 Patch 数量少得奇怪导致个别 Patch 超过 100 字节说明max_patch_len设置过大或熵阈值过高。建议结合数据分布来调参而不是拍脑袋固定一个值。7. 常见问题与排查思路问题现象可能原因排查方式解决方案Patch 切分过碎平均长度接近 1熵阈值过低打印每个高熵位置分布调高 threshold观察平均 patch 字节数Patch 切分过大语义信息被揉在一起熵阈值过高或 max_patch_len 过大检查特殊符号、换行符附近是否断开降低阈值合理设置 max_patch_len中文字符切分混乱中文 UTF-8 字节熵高逐字节切分统计不同语种字节熵在中文语料上单独评估或使用更大的 entropy model推理速度比预期慢每次前向都重新计算熵模型检查是否对输入做了全局预切分推理时一次性生成 patch 序列并复用 KV cache训练 loss 下降很慢缺少局部编码器或字节级损失检查模型是否在每个字节位置计算 loss在 patch 内部补充局部解码器输出逐字节预测加载官方模型报错代码版本与模型权重不匹配查看 commit 和模型文件命名切换到官方对应分支按 SHA 安装依赖显存不足输入过长Patch 序列仍然过大查看平均 Patch 长度和 latent transformer 层数增加 max_patch_len降低 threshold或换更小的 backbone8. 最佳实践与工程建议8.1 不要试图在业务系统里立刻替换所有分词器BLT 目前仍然是一个研究导向的项目。如果你正在做的是一个生产级 NLP 系统比如搜索、对话、翻译服务我建议先用传统分词器稳定运行同时把 BLT 放在离线实验环境里做对比评估。等它在多语言、长文档、代码等场景上的优势被充分验证后再考虑逐步迁移。8.2 关注序列长度压缩比BLT 的核心经济性在于它用动态 patch 降低了大模型需要处理的序列长度。在做技术选型时建议用三类数据做压测普通网页文本代码仓库多语言混合数据分别统计字节数 - patch 数的压缩比。压缩比越高说明该场景下 BLT 的计算效率优势越明显。8.3 熵模型的参数不能太随意虽然我在示例里用双字母统计模型但这只是教学演示。真实环境中entropy model 的容量会影响 patch 切分质量。如果 entropy model 太弱它会低估很多字节的可预测性导致切分比最优情况更碎。建议至少使用一个小型 transformer 或强一点的 n-gram 模型并保证 entropy model 的训练语料与主模型一致。8.4 与现有工具链的兼容性当前很多工具链都是基于 tokenizer 的例如prompt 长度计算。数据混入策略。日志打印和推理服务中的 token 数统计。按 token 计费的服务商 API。如果你在业务中引入 BLT这些环节全部要改造。哪怕只是做微调也要重新实现count_patches这样的统计函数而不是继续用 tokenizer 的计数逻辑。这一点很容易被忽略却往往是最花时间的工程点。8.5 多语言场景下的收益更明显传统 BPE 的常见问题是低频语言或语系中token 切分碎片化严重导致模型需要更多步数才能学会该语言的基本单位。BLT 用字节熵动态切分天然适应不同语言的字节分布。英文单词可以合并成大 patch中文拼音或者偏旁部首、日文假名、阿拉伯文连写都可以在各自信息熵规律下得到合理表示。这也是 BLT 在多语言评测上表现突出的重要原因。9. 总结与后续学习方向这篇文章从一个面试高频问题切入把 BLT 的核心设计梳理了一遍。可以这样总结BLT 抛弃了传统分词器改用字节熵动态决定 Patch 边界。字节熵不是抽象概念它是根据上下文对下一个字节可预测性的量化。Patch 是变长的字节组高熵处切得细低熵处合并得粗从而兼顾信息保真和计算效率。架构上采用 Local Encoder Latent Transformer Local Decoder让模型在字节级和 Patch 级同时获得能力。对于准备面试的同学建议重点准备这几类问题BPE 的流程和局限性是什么字节熵的公式、直觉和实现方式是什么如果让你设计一个去掉 tokenizer 的模型你会怎么做BLT 与传统 byte-level model 的区别是什么动态 patch 切分的阈值如何选择过大过小分别有什么影响对于做工程的同学下一步可以尝试在开源 BLT 的基础上用你自己的领域数据做小规模预训练或微调观察在代码、医疗、金融文本上的表现。对比 BLT 与 BPE 在不同序列长度下的吞吐量和显存占用。尝试修改 Patch 长度阈值和熵阈值形成一套适合你垂直场景的配置经验。对于想深入研究的人建议继续读三块内容BLT 论文中的消融实验、Local Encoder/Decoder 的实现细节以及它在长文本基准上的表现分析。理解完这些你就不仅能回答“怎么用”还能回答“为什么有效”这才是在面试和工程中真正拉开差距的地方。建议把这个主题收藏起来之后在看大模型推理和 tokenizer-free 方向的文章时可以时时回来对照。有动手条件的同学今天就可以把最小示例跑起来你会更直观地感受到“字节熵”到底在做什么。