简介这套面向中文命名实体识别NER任务的Python资源包集成了HMM、CRF、BiLSTM、BiLSTMCRF等经典模型的完整实现并配有包含人名、地名、机构名及“其它”类别的标注数据集。数据标签基于B/M/E位置标记形成10种类别可直接用于序列标注模型的训练与评测。压缩包共28个文件包体约625KB以Python脚本、Jupyter Notebook演示、模型定义文件和网页可视化模块为主3个.ipynb分别演示HMM、BiLSTM-CRF、ALBERT的训练流程models目录下存放可复用代码前端页面支持交互式识别展示。目前已有90人学习下载适合自然语言处理初学者及高校计算机、人工智能相关专业学生用于毕设、课设等项目参考代码按notebooks、models、static等目录划分便于逐模块理解与二次开发。项目还提供了网页面板与模型性能对比图HMM、BiLSTM-CRF、ALBERT等训练效果一目了然统一入口脚本可快速启动演示节省环境配置时间降低复现门槛。1. 中文命名实体识别模型选型从 HMM 到 BiLSTMCRFPython 里能复现到什么程度中文命名实体识别NER要解决的核心问题是给定一句中文把里面的人名PER、地名LOC、机构名ORG按边界和类型抽出来。上过 NLP 课的人都知道有 HMM、CRF、BiLSTM、BiLSTMCRF 这些模型名字但真正在 Python 里把它们全部跑通、再在数据集上分出高低大多数人会卡在数据格式、标签对齐和解码细节上。这篇笔记直接按一条能落地的路线来先准备数据集和标签体系再实现 HMM、CRF 两个统计基线接着上 BiLSTM 和 BiLSTMCRF最后给出我实际踩过的坑和选型建议。适合正在做毕设、或者要在业务里快速出一版中文实体抽取结果的人。2. 数据准备与标签体系中文 NER 用什么数据集、怎么定标签2.1 三个常见数据集怎么选MSRA、人民日报语料、CLUENER2020中文 NER 的第一个坑通常不在模型而在数据。公开的中文标注语料没有统一格式有的给实体偏移量有的直接给“字 标签”两列还有的是整段 doc 文本需要自己解析。先选对数据集后面所有对比才有意义。数据集实体类型规模口径适合做什么MSRA 语料PER、LOC、ORG 三类常用版本约 5 万句经典三分类评测做 HMM/CRF 基线最省事1998 人民日报标注语料人名、地名、机构名、时间等原始 doc 需自行转换文本风格贴近新闻量大但清洗成本高CLUENER202010 类细粒度实体约 1.2 万条短文本稀疏类别多考验模型泛化能力MSRA 语料是微软亚洲研究院的中文 NER 评测集公开版本大多已经带 BIO 标注拿来即用适合先把流程跑通。人民日报语料常见版本是 1998 年 1 月标注文本除了实体还有词性等额外信息转换脚本要处理不少噪声。CLUENER2020 的类别覆盖地址、书名、公司、游戏、政府、电影、姓名、组织机构、职位、景点分布极不均衡用来检验模型在低频实体上的表现很合适。选数据集时我一般看两个硬指标实体类别数量和单条文本长度。类别超过 5 类HMM 基本就不够看文本长度超过 200 字CRF 的特征窗口会变得很弱这时候神经网络路线更值得投入。2.2 BIO 还是 BIOES标签集设计是第一个影响 F1 的决策选定数据集后第一个决策不是模型而是标签方案。BIO 用 B 表示实体开头、I 表示实体内部、O 表示非实体BIOES 在 BIO 基础上多了 E 和 S分别表示实体结尾和单字实体。BIOES 在序列模型上的表现普遍更好因为模型能学到“I-PER 后面必须跟 E-PER 或 I-PER”这类边界约束而 BIO 里 I 后面既可以接 O 也可以接 B边界信息不够紧凑。转换规则不复杂单字实体 B 直接变 S多字实体里第一个 B 保留最后一个 I 变 EBIO 里没有单独成词的 I遇到孤立 I 要回溯修正。中文里单字姓氏、二字名很常见S 标签能显著减少边界混淆。def bio_to_bioes(bio_tags): 把 BIO 标注序列转换为 BIOES 序列 n len(bio_tags) bioes [O] * n i 0 while i n: tag bio_tags[i] if tag O: i 1 continue prefix, etype tag.split(-, 1) j i 1 while j n and bio_tags[j] I- etype: j 1 if j - i 1: bioes[i] S- etype else: bioes[i] B- etype for k in range(i 1, j - 1): bioes[k] I- etype bioes[j - 1] E- etype i j return bioes这段代码按实体块扫描把连续的同类型 I 合并成一个 span 再分配标签。逻辑说明j - i 1表示实体只有一个字直接标 S否则首字 B、中间 I、尾字 E。参数说明输入必须是合法的 BIO 序列如果原始语料本身就标得乱转换前先做合法性校验否则 B 后面跟了不同类型的 I这段转换会直接跳过错误块。2.3 从原始语料到字-标签序列转换脚本和三个注意点不管数据集长什么样最后都要转换成语料里最常见的“字 标签”两列格式。下面的函数把实体偏移量转成 BIO 序列这是最通用的中间表示。def spans_to_bio(text, entities): 根据实体区间生成 BIO 标签序列 entities: [(start, end, entity_type), ...] 字符级闭区间 tags [O] * len(text) for start, end, etype in entities: if end - start 1: tags[start] B- etype else: tags[start] B- etype for i in range(start 1, end): tags[i] I- etype return [(ch, tag) for ch, tag in zip(text, tags)]注意点有三个。第一全角空格和换行符必须过滤掉否则会把 padding 和“字”混在一起vocab 里会出现空字符串后面 embedding 查表直接翻车。第二中文 NER 用字粒度是标准做法分词会把实体内部结构打散错误会顺着词边界传播。第三数据切分按文档或段落切不要按句子随机 shuffle跨句实体虽然少但人名在正文和引文里重复出现会让模型“记住”而不是“学会”。环境准备这一步也提一下。建议 Python 3.8 以上用 venv 或 conda 隔离依赖。需要安装 sklearn-crfsuite 和 PyTorchLinux 上装 Python 时顺手把虚拟环境建好后面 CRF 的 lbfgs 求解和 CUDA 版本互不干扰能少很多莫名其妙的依赖问题。3. 统计基线实现用 Python 把 HMM 和 CRF 跑通3.1 HMM 中文 NER 实现计数统计加维特比解码HMM 是生成式模型假设当前标签只依赖上一个标签转移概率和当前字发射概率。中文 NER 里把字当作观测标签当作隐状态训练就是在统计频次。from collections import defaultdict class HMMNER: def __init__(self, smooth1.0): self.smooth smooth self.pi defaultdict(float) self.trans defaultdict(lambda: defaultdict(float)) self.emit defaultdict(lambda: defaultdict(float)) self.total_emit defaultdict(float) self.states set() def fit(self, sentences, tags_list): for sent, tags in zip(sentences, tags_list): for i, (ch, tag) in enumerate(zip(sent, tags)): self.states.add(tag) self.emit[tag][ch] 1.0 self.total_emit[tag] 1.0 if i 0: self.pi[tag] 1.0 else: self.trans[tags[i-1]][tag] 1.0 # 拉普拉斯平滑 归一化 total sum(self.pi.values()) self.smooth * len(self.states) for s in self.states: self.pi[s] (self.pi.get(s, 0.0) self.smooth) / total for s in self.states: total_t sum(self.trans[s].values()) self.smooth * len(self.states) for t in self.states: self.trans[s][t] (self.trans[s].get(t, 0.0) self.smooth) / total_t for ch in self.emit[s]: self.emit[s][ch] (self.emit[s][ch] self.smooth) / (self.total_emit[s] self.smooth) def decode(self, sent): # 维特比解码返回标签列表 n, states len(sent), list(self.states) dp, back [dict() for _ in range(n)], [dict() for _ in range(n)] for s in states: e self.emit[s].get(sent[0], self.smooth / (self.total_emit[s] self.smooth)) dp[0][s] self.pi[s] * e for i in range(1, n): for s in states: e self.emit[s].get(sent[i], self.smooth / (self.total_emit[s] self.smooth)) best_p, best_score None, -1.0 for p in states: v dp[i-1][p] * self.trans[p][s] * e if v best_score: best_p, best_score p, v dp[i][s], back[i][s] best_score, best_p last max(states, keylambda s: dp[n-1][s]) path [last] for i in range(n-1, 0, -1): path.append(back[i][path[-1]]) return list(reversed(path))逻辑说明fit 阶段统计三组概率——初始状态概率、状态转移概率、发射概率然后做拉普拉斯平滑防止测试集里出现训练集没见过的字导致概率直接为零。decode 阶段用维特比算法动态规划dp[i][s]表示走到第 i 个字符且当前状态为 s 的最大连乘概率back记录最优路径回溯。参数说明smooth是拉普拉斯平滑系数取值 1.0 表示加一平滑。系数越大低频标签的概率越被拉平对只有几千句的小数据集有帮助但会牺牲实体边界精度。这段代码用乘法累乘概率长句场景下有下溢风险实际工程里建议改成对数加法效果一样且数值更安全。状态集合在这里是 7 个左右三类实体的 B/I 加 O或 BIOES 的 7 个标签viterbi 的复杂度是 O(n times state^2)CPU 秒级算完。3.2 CRF 中文 NER 实现特征模板和 sklearn-crfsuiteCRF 是判别式模型直接对条件概率 P(标签序列 | 句子) 建模它的优势在于可以塞入任意特征而不只是 HMM 里那个“只看当前字”的发射概率。中文 NER 里最常用的是线性链 CRF配合人工设计的特征模板。# crf_ner.py import sklearn_crfsuite def word2features(sent, i): 特征模板窗口字、前后缀、数字字母标记 return { w: sent[i], w-1: sent[i-1] if i 0 else BOS, w1: sent[i1] if i len(sent)-1 else EOS, w-1w: (sent[i-1] if i 0 else BOS) : sent[i], ww1: sent[i] : (sent[i1] if i len(sent)-1 else EOS), is_digit: sent[i].isdigit(), is_alpha: sent[i].isalpha(), prefix2: sent[i:i2], suffix2: sent[max(0, i-2):i1], } def sent2features(sent): return [word2features(sent, i) for i in range(len(sent))] def sent2labels(tags): return tags crf sklearn_crfsuite.CRF( algorithmlbfgs, c10.1, c20.1, max_iterations200, all_possible_transitionsTrue, ) crf.fit( [sent2features(s) for s in train_sents], [sent2labels(t) for t in train_tags] )特征模板构造逻辑每个位置的样本是一个 dict包含当前字、左右各一个字、前后组合特征、是否数字/字母、前后二字窗口。CRF 的学习目标是自动权衡这些特征的权重比 HMM 硬编码的概率组合灵活得多。prefix2和suffix2这种局部窗口特征对中文地名和机构名的后缀“公司”“大学”“集团”特别有效。参数说明algorithmlbfgs是拟牛顿求解器比默认的梯度下降收敛快c1、c2是 L1/L2 正则系数习惯从 0.1 起调数据量小就调大到 0.5防止特征权重过拟合all_possible_transitionsTrue让模型为所有标签对学习转移权重相比只学数据中出现过的转移能避免预测阶段遇到“没见过的转移直接禁掉”的尴尬。训练完预测用crf.predict([sent2features(s) for s in test_sents])返回的就是每个字的标签列表。3.3 两个统计模型的效果边界什么时候该换神经网络HMM 和 CRF 的差距主要来自特征。HMM 只能看到当前字CRF 能看到左右上下文、前后缀和字型特征。在同一份 MSRA 类数据集上CRF 的 span-F1 通常比 HMM 高 5 到 10 个点hmm 的边界错误集中在人名和地名上因为人名没有稳定的字面规律只能靠上下文猜。我的选型判断比较直白数据不到 5000 句、实体 3 类以内CRF 优先训练只要几分钟特征可解释性也强业务方问起来能一条条说清楚数据上万句、类别超过 5 类CRF 的特征模板开始顾不过来直接上 BiLSTMCRF如果只是想先跑一条完整 pipeline 验证数据标注质量HMM 就够了它的下限最低但跑得最快。4. Pytorch 实现 BiLSTM 与 BiLSTMCRF4.1 数据批次构建字索引、Padding 与掩码神经网络训练需要固定长度的 batch中文句子长短不一所以要做 padding。0 号位置留给 PAD1 号位置留给 OUNK 也单独占一个 ID。标签的 padding 位置用 -1 填充PyTorch 的 CrossEntropyLoss 设置ignore_index-1后会忽略这些位置。import torch from torch.utils.data import Dataset class NERDataset(Dataset): def __init__(self, sentences, tags, word2idx, tag2idx, max_len128): self.data [] for sent, tag_list in zip(sentences, tags): ids [word2idx.get(ch, word2idx[UNK]) for ch in sent[:max_len]] tids [tag2idx[t] for t in tag_list[:max_len]] self.data.append((ids, tids)) def __len__(self): return len(self.data) def __getitem__(self, i): return torch.tensor(self.data[i][0]), torch.tensor(self.data[i][1]) def collate_fn(batch): ids, tids zip(*batch) max_len max(len(x) for x in ids) pad_ids, pad_tids, mask [], [], [] for x, y in zip(ids, tids): pad_len max_len - len(x) pad_ids.append(x [0] * pad_len) pad_tids.append(y [-1] * pad_len) mask.append([1] * len(x) [0] * pad_len) return (torch.tensor(pad_ids), torch.tensor(pad_tids), torch.tensor(mask, dtypetorch.bool))逻辑说明word2idx和tag2idx是全局映射表在训练前构建并保存成 json。collate_fn把一个 batch 内的序列补到相同长度同时生成布尔掩码标记真实 token 位置。CRF 层计算路径得分时要用掩码跳过 padding 位置。参数说明max_len128是中文 NER 里比较稳妥的截断长度超过 128 的句子丢失尾部内容在多数业务场景可接受。tag2idx里必须包含PAD和UNK的映射否则预测阶段遇到新字直接 KeyError。padding 标签用 -1 而不是 0是为了让 loss 计算时明确排除。4.2 BiLSTM 序列标注模型双向编码加线性分类头BiLSTM 把每个字的向量编码成融合左右上下文的信息再经过线性层输出每个位置的标签分数。它比 CRF 强的点是不用手工设计特征弱点是输出层没有全局约束可能出现“B-PER 后面直接接 B-LOC”这种不合法序列。class BiLSTMNER(nn.Module): def __init__(self, vocab_size, num_tags, embed_dim128, hidden_dim256, dropout0.5): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.drop nn.Dropout(dropout) self.lstm nn.LSTM(embed_dim, hidden_dim // 2, batch_firstTrue, bidirectionalTrue) self.fc nn.Linear(hidden_dim, num_tags) def forward(self, x, mask): emb self.drop(self.embedding(x)) # [batch, seq, embed_dim] out, _ self.lstm(emb) # [batch, seq, hidden_dim] logits self.fc(self.drop(out)) # [batch, seq, num_tags] return logits逻辑说明padding_idx0让 PAD 位置的 embedding 全程是零向量不参与梯度更新。LSTM 设置bidirectionalTrue后输出维度是 hidden_dim两个方向各占一半。mask在这种结构里没有直接使用因为 BiLSTM 天然对 padding 位置只编码零向量但后续接 CRF 时 mask 必须传进去。参数说明embed_dim128对中文 NER 够用预训练词向量一般也是这个量级hidden_dim256是双向 LSTM 的常见设置再大容易过拟合dropout0.5在序列标注里算偏高的小数据集靠它压过拟合但训练集上万句时建议降到 0.3。这层的输出是 logits不加 softmax因为 loss 函数内部处理。只用 BiLSTM 训练时loss 用nn.CrossEntropyLoss(ignore_index-1)对每个 token 独立计算。预测时对每个位置取 argmax然后再把相邻同类型标签合并成实体。4.3 CRF 层实现转移矩阵、前向得分与维特比解码BiLSTMCRF 的增强点在于 CRF 层学习一个可训练的转移矩阵给“上一标签到下一标签”的转移打分同时用维特比解码保证输出序列全局最优。这个实现比 torchcrf 库版本啰嗦但能看清内部逻辑。class CRF(nn.Module): def __init__(self, num_tags): super().__init__() self.num_tags num_tags self.trans nn.Parameter(torch.randn(num_tags, num_tags) * 0.1) self.start nn.Parameter(torch.randn(num_tags) * 0.1) self.end nn.Parameter(torch.randn(num_tags) * 0.1) def score_tags(self, emissions, tags, mask): 给定路径的总得分发射得分 转移得分 起止得分 batch_size tags.size(0) score self.start[tags[:, 0]] emissions[torch.arange(batch_size), 0, tags[:, 0]] length mask.sum(dim1) for t in range(1, emissions.size(1)): valid mask[:, t].bool() step (self.trans[tags[:, t-1], tags[:, t]] emissions[torch.arange(batch_size), t, tags[:, t]]) score torch.where(valid, step, torch.zeros_like(score)) last tags[torch.arange(batch_size), length - 1] score self.end[last] return score def forward(self, emissions, mask): 前向算法计算 log Z用循环累计便于阅读 batch, seq, tags_n emissions.shape alpha emissions[:, 0, :] self.start.unsqueeze(0) for t in range(1, seq): alpha_t torch.logsumexp( alpha.unsqueeze(2) self.trans.unsqueeze(0), dim1 ) emissions[:, t, :] alpha_t torch.where(mask[:, t].bool().unsqueeze(1), alpha_t, alpha) alpha alpha_t return torch.logsumexp(alpha, dim1) def nll(self, emissions, tags, mask): return self.forward(emissions, mask) - self.score_tags(emissions, tags, mask) def decode(self, emissions, mask): 维特比解码返回每个 batch 的标签路径 batch, seq, tags_n emissions.shape result [] for b in range(batch): length int(mask[b].sum()) dp emissions[b, 0] self.start back [] for t in range(1, length): scores dp.unsqueeze(1) self.trans # [i, j] dp, prev scores.max(dim0) dp dp emissions[b, t] back.append(prev.tolist()) last int(dp.argmax()) path [last] for prev in reversed(back): path.append(int(prev[path[-1]])) result.append(list(reversed(path))) return result逻辑说明score_tags计算一条真实标签路径的总得分由发射得分、转移得分、起始和结束得分四部分组成。forward用前向算法计算所有可能路径的 log-sum-exp因为发射分数来自 BiLSTM 的 logits路径得分要在对数空间求和。nll返回负对数似然训练时最小化它等价于最大化真实路径在全部路径中的占比。decode是标准的维特比在每一步记录使当前得分最大的上一个标签最后回溯整条路径。参数说明转移矩阵初始化用torch.randn * 0.1把初始转移得分压小避免训练初期路径得分被转移矩阵主导。num_tags必须和 BiLSTM 的fc输出维度一致否则拼接时直接报错。训练时把 BiLSTM 的 logits 传给 CRF 层model BiLSTMNER(len(word2idx), len(tag2idx)) crf CRF(len(tag2idx)) optimizer torch.optim.Adam(model.parameters(), lr1e-3) for epoch in range(20): for batch_ids, batch_tags, batch_mask in loader: logits model(batch_ids, batch_mask) loss crf.nll(logits, batch_tags, batch_mask) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0) optimizer.step()逻辑说明loss 是 CRF 的负对数似然一个 batch 一个标量。梯度裁剪 clip 到 5.0防止 LSTM 梯度爆炸。训练完保存模型时把 vocab.json、tag2idx.json 和权重一起存预测代码读取同一份映射避免标签对不上。5. 中文 NER 避坑与排查清单现象、原因、处理办法5.1 坑一loss 变 NaN先查 embedding 对齐现象训练几步后 loss 直接变成 NaN验证集上所有字都预测成 O。原因常见是学习率过高把 embedding 参数冲爆另一个更隐蔽的原因是 vocab 里混入了空字符串或者 Noneembedding 查表时拿到脏数据。如果嵌入的是预训练词向量对齐阶段出现 key 数量对不上也可能让部分向量变成随机初始化的大数值。解决先把学习率压到 1e-3 以下再把vocab里所有空字符过滤干净检查word2idx里有没有这个键。用预训练词向量时先统计vocab和词表 key 的重合率低于 80% 就别声称用了预训练老实随机初始化反而更稳。5.2 坑二模型只会输出 O实体全被吞掉现象训练 loss 在降验证集 F1 很低打印预测结果发现所有字都输出 O。原因中文 NER 数据里 O 类占比通常超过 80%交叉熵优化下模型把所有样本推到 O 类就能拿到很低 lossBiLSTM 又没有全局约束输出端自然偏向多数类。这本质上是类别不平衡问题。解决最直接的办法是换 BiLSTMCRFCRF 的动态规划会让“全是 O”的路径和“包含实体”的路径做全局比较实体的转移得分能拉回来一部分。另一个手段是给 loss 加类别权重按N_total / N_class归一化后喂进 CrossEntropyLoss 的 weight 参数。我的经验是 CRF 的收益最明显类别权重只是辅助。5.3 坑三训练用 BIO、预测用 BIOES映射对不上现象训练时 F1 挺高换到测试集或者接下游评估时分数掉 10 个点以上检查标签发现预测结果里出现训练时没见过的组合。原因最常见的情况是训练数据是 BIO你跑了一次 BIOES 转换再训练但预测代码里标签映射还是按 BIO 写死的或者多个数据集混用标签体系不一致也没做对齐。这类问题不会报错只会默默掉分。解决把所有标签映射写进一个tag2idx.json训练和预测都从文件读取代码里不允许硬编码标签名。保存权重时把 vocab 和 tag 映射一起落盘加载模型时必须用同一份映射。这样即使标签体系混用至少能在加载阶段报出 key 不存在的错误而不是静默预测错误。5.4 坑四数据集切分不当实体跨句被切断现象验证集 F1 虚高到不合理的程度上线后真实数据效果差一截。原因切分的时候直接对句子随机 shuffle同一个文档里的实体边界信息被分到训练集和测试集模型在测试集上“见过”了相似上下文。人名、机构名在长文里重复出现模型学会了记住而不是泛化。解决按文档或段落为粒度切分保证同一文档的所有句子只进训练集或只进测试集。另外在构建 batch 时注意不要把同一来源的句子硬凑到一个 batch虽然影响不如切分大但能减少 padding 带来的噪声传播。6. 模型选型与上线验证最后一公里的对比和检查到这里四个模型的代码路径都通了最后用一张表收束选型判断。模型数据量需求训练耗时特征依赖中文 NER 效果参考HMM几千句可训秒级无基线水平边界错误多CRF一万句左右分钟级人工特征模板比 HMM 高 5 到 10 个点BiLSTM需要万句级GPU 分钟到小时级无需人工特征接近 CRF泛化略好BiLSTMCRF万句级GPU 小时级无需人工特征传统模型里的最优选择验证时别只看 token 级准确率用 span 级评估实体边界和类型完全匹配才算一个正确的实体识别结果。同样一份数据HMM 可能单字对不少但完整 span 对得少BiLSTMCRF 在这类指标上的优势才是真实的。我习惯在评估脚本里按实体类型拆开统计看 PER、LOC、ORG 各自的准确率和召回率定位模型到底偏在哪一类上。部署层面如果服务端只有 CPUCRF 是首选单条文本毫秒级出结果特征模板固定后非常好维护只有 GPU 资源充足时才考虑 BiLSTMCRF否则推理时延会让人难受。导出模型时注意 CRF 的维特比解码逻辑要跟着权重一起固化别在线上重新实现一套解码逻辑。这算是我的一点血泪经验在这套模型上踩过最大的坑不是模型本身而是数据、标签映射和评估脚本这三个口径没钉死。三者只要有一个不一致后面所有模型对比都是白费。先把数据切分规则、标签映射文件和评估脚本写好并固定下来再开始调模型路会顺很多。希望帮到你。本文还有配套的精品资源点击获取
简介这套面向中文命名实体识别NER任务的Python资源包集成了HMM、CRF、BiLSTM、BiLSTMCRF等经典模型的完整实现并配有包含人名、地名、机构名及“其它”类别的标注数据集。数据标签基于B/M/E位置标记形成10种类别可直接用于序列标注模型的训练与评测。压缩包共28个文件包体约625KB以Python脚本、Jupyter Notebook演示、模型定义文件和网页可视化模块为主3个.ipynb分别演示HMM、BiLSTM-CRF、ALBERT的训练流程models目录下存放可复用代码前端页面支持交互式识别展示。目前已有90人学习下载适合自然语言处理初学者及高校计算机、人工智能相关专业学生用于毕设、课设等项目参考代码按notebooks、models、static等目录划分便于逐模块理解与二次开发。项目还提供了网页面板与模型性能对比图HMM、BiLSTM-CRF、ALBERT等训练效果一目了然统一入口脚本可快速启动演示节省环境配置时间降低复现门槛。1. 中文命名实体识别模型选型从 HMM 到 BiLSTMCRFPython 里能复现到什么程度中文命名实体识别NER要解决的核心问题是给定一句中文把里面的人名PER、地名LOC、机构名ORG按边界和类型抽出来。上过 NLP 课的人都知道有 HMM、CRF、BiLSTM、BiLSTMCRF 这些模型名字但真正在 Python 里把它们全部跑通、再在数据集上分出高低大多数人会卡在数据格式、标签对齐和解码细节上。这篇笔记直接按一条能落地的路线来先准备数据集和标签体系再实现 HMM、CRF 两个统计基线接着上 BiLSTM 和 BiLSTMCRF最后给出我实际踩过的坑和选型建议。适合正在做毕设、或者要在业务里快速出一版中文实体抽取结果的人。2. 数据准备与标签体系中文 NER 用什么数据集、怎么定标签2.1 三个常见数据集怎么选MSRA、人民日报语料、CLUENER2020中文 NER 的第一个坑通常不在模型而在数据。公开的中文标注语料没有统一格式有的给实体偏移量有的直接给“字 标签”两列还有的是整段 doc 文本需要自己解析。先选对数据集后面所有对比才有意义。数据集实体类型规模口径适合做什么MSRA 语料PER、LOC、ORG 三类常用版本约 5 万句经典三分类评测做 HMM/CRF 基线最省事1998 人民日报标注语料人名、地名、机构名、时间等原始 doc 需自行转换文本风格贴近新闻量大但清洗成本高CLUENER202010 类细粒度实体约 1.2 万条短文本稀疏类别多考验模型泛化能力MSRA 语料是微软亚洲研究院的中文 NER 评测集公开版本大多已经带 BIO 标注拿来即用适合先把流程跑通。人民日报语料常见版本是 1998 年 1 月标注文本除了实体还有词性等额外信息转换脚本要处理不少噪声。CLUENER2020 的类别覆盖地址、书名、公司、游戏、政府、电影、姓名、组织机构、职位、景点分布极不均衡用来检验模型在低频实体上的表现很合适。选数据集时我一般看两个硬指标实体类别数量和单条文本长度。类别超过 5 类HMM 基本就不够看文本长度超过 200 字CRF 的特征窗口会变得很弱这时候神经网络路线更值得投入。2.2 BIO 还是 BIOES标签集设计是第一个影响 F1 的决策选定数据集后第一个决策不是模型而是标签方案。BIO 用 B 表示实体开头、I 表示实体内部、O 表示非实体BIOES 在 BIO 基础上多了 E 和 S分别表示实体结尾和单字实体。BIOES 在序列模型上的表现普遍更好因为模型能学到“I-PER 后面必须跟 E-PER 或 I-PER”这类边界约束而 BIO 里 I 后面既可以接 O 也可以接 B边界信息不够紧凑。转换规则不复杂单字实体 B 直接变 S多字实体里第一个 B 保留最后一个 I 变 EBIO 里没有单独成词的 I遇到孤立 I 要回溯修正。中文里单字姓氏、二字名很常见S 标签能显著减少边界混淆。def bio_to_bioes(bio_tags): 把 BIO 标注序列转换为 BIOES 序列 n len(bio_tags) bioes [O] * n i 0 while i n: tag bio_tags[i] if tag O: i 1 continue prefix, etype tag.split(-, 1) j i 1 while j n and bio_tags[j] I- etype: j 1 if j - i 1: bioes[i] S- etype else: bioes[i] B- etype for k in range(i 1, j - 1): bioes[k] I- etype bioes[j - 1] E- etype i j return bioes这段代码按实体块扫描把连续的同类型 I 合并成一个 span 再分配标签。逻辑说明j - i 1表示实体只有一个字直接标 S否则首字 B、中间 I、尾字 E。参数说明输入必须是合法的 BIO 序列如果原始语料本身就标得乱转换前先做合法性校验否则 B 后面跟了不同类型的 I这段转换会直接跳过错误块。2.3 从原始语料到字-标签序列转换脚本和三个注意点不管数据集长什么样最后都要转换成语料里最常见的“字 标签”两列格式。下面的函数把实体偏移量转成 BIO 序列这是最通用的中间表示。def spans_to_bio(text, entities): 根据实体区间生成 BIO 标签序列 entities: [(start, end, entity_type), ...] 字符级闭区间 tags [O] * len(text) for start, end, etype in entities: if end - start 1: tags[start] B- etype else: tags[start] B- etype for i in range(start 1, end): tags[i] I- etype return [(ch, tag) for ch, tag in zip(text, tags)]注意点有三个。第一全角空格和换行符必须过滤掉否则会把 padding 和“字”混在一起vocab 里会出现空字符串后面 embedding 查表直接翻车。第二中文 NER 用字粒度是标准做法分词会把实体内部结构打散错误会顺着词边界传播。第三数据切分按文档或段落切不要按句子随机 shuffle跨句实体虽然少但人名在正文和引文里重复出现会让模型“记住”而不是“学会”。环境准备这一步也提一下。建议 Python 3.8 以上用 venv 或 conda 隔离依赖。需要安装 sklearn-crfsuite 和 PyTorchLinux 上装 Python 时顺手把虚拟环境建好后面 CRF 的 lbfgs 求解和 CUDA 版本互不干扰能少很多莫名其妙的依赖问题。3. 统计基线实现用 Python 把 HMM 和 CRF 跑通3.1 HMM 中文 NER 实现计数统计加维特比解码HMM 是生成式模型假设当前标签只依赖上一个标签转移概率和当前字发射概率。中文 NER 里把字当作观测标签当作隐状态训练就是在统计频次。from collections import defaultdict class HMMNER: def __init__(self, smooth1.0): self.smooth smooth self.pi defaultdict(float) self.trans defaultdict(lambda: defaultdict(float)) self.emit defaultdict(lambda: defaultdict(float)) self.total_emit defaultdict(float) self.states set() def fit(self, sentences, tags_list): for sent, tags in zip(sentences, tags_list): for i, (ch, tag) in enumerate(zip(sent, tags)): self.states.add(tag) self.emit[tag][ch] 1.0 self.total_emit[tag] 1.0 if i 0: self.pi[tag] 1.0 else: self.trans[tags[i-1]][tag] 1.0 # 拉普拉斯平滑 归一化 total sum(self.pi.values()) self.smooth * len(self.states) for s in self.states: self.pi[s] (self.pi.get(s, 0.0) self.smooth) / total for s in self.states: total_t sum(self.trans[s].values()) self.smooth * len(self.states) for t in self.states: self.trans[s][t] (self.trans[s].get(t, 0.0) self.smooth) / total_t for ch in self.emit[s]: self.emit[s][ch] (self.emit[s][ch] self.smooth) / (self.total_emit[s] self.smooth) def decode(self, sent): # 维特比解码返回标签列表 n, states len(sent), list(self.states) dp, back [dict() for _ in range(n)], [dict() for _ in range(n)] for s in states: e self.emit[s].get(sent[0], self.smooth / (self.total_emit[s] self.smooth)) dp[0][s] self.pi[s] * e for i in range(1, n): for s in states: e self.emit[s].get(sent[i], self.smooth / (self.total_emit[s] self.smooth)) best_p, best_score None, -1.0 for p in states: v dp[i-1][p] * self.trans[p][s] * e if v best_score: best_p, best_score p, v dp[i][s], back[i][s] best_score, best_p last max(states, keylambda s: dp[n-1][s]) path [last] for i in range(n-1, 0, -1): path.append(back[i][path[-1]]) return list(reversed(path))逻辑说明fit 阶段统计三组概率——初始状态概率、状态转移概率、发射概率然后做拉普拉斯平滑防止测试集里出现训练集没见过的字导致概率直接为零。decode 阶段用维特比算法动态规划dp[i][s]表示走到第 i 个字符且当前状态为 s 的最大连乘概率back记录最优路径回溯。参数说明smooth是拉普拉斯平滑系数取值 1.0 表示加一平滑。系数越大低频标签的概率越被拉平对只有几千句的小数据集有帮助但会牺牲实体边界精度。这段代码用乘法累乘概率长句场景下有下溢风险实际工程里建议改成对数加法效果一样且数值更安全。状态集合在这里是 7 个左右三类实体的 B/I 加 O或 BIOES 的 7 个标签viterbi 的复杂度是 O(n times state^2)CPU 秒级算完。3.2 CRF 中文 NER 实现特征模板和 sklearn-crfsuiteCRF 是判别式模型直接对条件概率 P(标签序列 | 句子) 建模它的优势在于可以塞入任意特征而不只是 HMM 里那个“只看当前字”的发射概率。中文 NER 里最常用的是线性链 CRF配合人工设计的特征模板。# crf_ner.py import sklearn_crfsuite def word2features(sent, i): 特征模板窗口字、前后缀、数字字母标记 return { w: sent[i], w-1: sent[i-1] if i 0 else BOS, w1: sent[i1] if i len(sent)-1 else EOS, w-1w: (sent[i-1] if i 0 else BOS) : sent[i], ww1: sent[i] : (sent[i1] if i len(sent)-1 else EOS), is_digit: sent[i].isdigit(), is_alpha: sent[i].isalpha(), prefix2: sent[i:i2], suffix2: sent[max(0, i-2):i1], } def sent2features(sent): return [word2features(sent, i) for i in range(len(sent))] def sent2labels(tags): return tags crf sklearn_crfsuite.CRF( algorithmlbfgs, c10.1, c20.1, max_iterations200, all_possible_transitionsTrue, ) crf.fit( [sent2features(s) for s in train_sents], [sent2labels(t) for t in train_tags] )特征模板构造逻辑每个位置的样本是一个 dict包含当前字、左右各一个字、前后组合特征、是否数字/字母、前后二字窗口。CRF 的学习目标是自动权衡这些特征的权重比 HMM 硬编码的概率组合灵活得多。prefix2和suffix2这种局部窗口特征对中文地名和机构名的后缀“公司”“大学”“集团”特别有效。参数说明algorithmlbfgs是拟牛顿求解器比默认的梯度下降收敛快c1、c2是 L1/L2 正则系数习惯从 0.1 起调数据量小就调大到 0.5防止特征权重过拟合all_possible_transitionsTrue让模型为所有标签对学习转移权重相比只学数据中出现过的转移能避免预测阶段遇到“没见过的转移直接禁掉”的尴尬。训练完预测用crf.predict([sent2features(s) for s in test_sents])返回的就是每个字的标签列表。3.3 两个统计模型的效果边界什么时候该换神经网络HMM 和 CRF 的差距主要来自特征。HMM 只能看到当前字CRF 能看到左右上下文、前后缀和字型特征。在同一份 MSRA 类数据集上CRF 的 span-F1 通常比 HMM 高 5 到 10 个点hmm 的边界错误集中在人名和地名上因为人名没有稳定的字面规律只能靠上下文猜。我的选型判断比较直白数据不到 5000 句、实体 3 类以内CRF 优先训练只要几分钟特征可解释性也强业务方问起来能一条条说清楚数据上万句、类别超过 5 类CRF 的特征模板开始顾不过来直接上 BiLSTMCRF如果只是想先跑一条完整 pipeline 验证数据标注质量HMM 就够了它的下限最低但跑得最快。4. Pytorch 实现 BiLSTM 与 BiLSTMCRF4.1 数据批次构建字索引、Padding 与掩码神经网络训练需要固定长度的 batch中文句子长短不一所以要做 padding。0 号位置留给 PAD1 号位置留给 OUNK 也单独占一个 ID。标签的 padding 位置用 -1 填充PyTorch 的 CrossEntropyLoss 设置ignore_index-1后会忽略这些位置。import torch from torch.utils.data import Dataset class NERDataset(Dataset): def __init__(self, sentences, tags, word2idx, tag2idx, max_len128): self.data [] for sent, tag_list in zip(sentences, tags): ids [word2idx.get(ch, word2idx[UNK]) for ch in sent[:max_len]] tids [tag2idx[t] for t in tag_list[:max_len]] self.data.append((ids, tids)) def __len__(self): return len(self.data) def __getitem__(self, i): return torch.tensor(self.data[i][0]), torch.tensor(self.data[i][1]) def collate_fn(batch): ids, tids zip(*batch) max_len max(len(x) for x in ids) pad_ids, pad_tids, mask [], [], [] for x, y in zip(ids, tids): pad_len max_len - len(x) pad_ids.append(x [0] * pad_len) pad_tids.append(y [-1] * pad_len) mask.append([1] * len(x) [0] * pad_len) return (torch.tensor(pad_ids), torch.tensor(pad_tids), torch.tensor(mask, dtypetorch.bool))逻辑说明word2idx和tag2idx是全局映射表在训练前构建并保存成 json。collate_fn把一个 batch 内的序列补到相同长度同时生成布尔掩码标记真实 token 位置。CRF 层计算路径得分时要用掩码跳过 padding 位置。参数说明max_len128是中文 NER 里比较稳妥的截断长度超过 128 的句子丢失尾部内容在多数业务场景可接受。tag2idx里必须包含PAD和UNK的映射否则预测阶段遇到新字直接 KeyError。padding 标签用 -1 而不是 0是为了让 loss 计算时明确排除。4.2 BiLSTM 序列标注模型双向编码加线性分类头BiLSTM 把每个字的向量编码成融合左右上下文的信息再经过线性层输出每个位置的标签分数。它比 CRF 强的点是不用手工设计特征弱点是输出层没有全局约束可能出现“B-PER 后面直接接 B-LOC”这种不合法序列。class BiLSTMNER(nn.Module): def __init__(self, vocab_size, num_tags, embed_dim128, hidden_dim256, dropout0.5): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.drop nn.Dropout(dropout) self.lstm nn.LSTM(embed_dim, hidden_dim // 2, batch_firstTrue, bidirectionalTrue) self.fc nn.Linear(hidden_dim, num_tags) def forward(self, x, mask): emb self.drop(self.embedding(x)) # [batch, seq, embed_dim] out, _ self.lstm(emb) # [batch, seq, hidden_dim] logits self.fc(self.drop(out)) # [batch, seq, num_tags] return logits逻辑说明padding_idx0让 PAD 位置的 embedding 全程是零向量不参与梯度更新。LSTM 设置bidirectionalTrue后输出维度是 hidden_dim两个方向各占一半。mask在这种结构里没有直接使用因为 BiLSTM 天然对 padding 位置只编码零向量但后续接 CRF 时 mask 必须传进去。参数说明embed_dim128对中文 NER 够用预训练词向量一般也是这个量级hidden_dim256是双向 LSTM 的常见设置再大容易过拟合dropout0.5在序列标注里算偏高的小数据集靠它压过拟合但训练集上万句时建议降到 0.3。这层的输出是 logits不加 softmax因为 loss 函数内部处理。只用 BiLSTM 训练时loss 用nn.CrossEntropyLoss(ignore_index-1)对每个 token 独立计算。预测时对每个位置取 argmax然后再把相邻同类型标签合并成实体。4.3 CRF 层实现转移矩阵、前向得分与维特比解码BiLSTMCRF 的增强点在于 CRF 层学习一个可训练的转移矩阵给“上一标签到下一标签”的转移打分同时用维特比解码保证输出序列全局最优。这个实现比 torchcrf 库版本啰嗦但能看清内部逻辑。class CRF(nn.Module): def __init__(self, num_tags): super().__init__() self.num_tags num_tags self.trans nn.Parameter(torch.randn(num_tags, num_tags) * 0.1) self.start nn.Parameter(torch.randn(num_tags) * 0.1) self.end nn.Parameter(torch.randn(num_tags) * 0.1) def score_tags(self, emissions, tags, mask): 给定路径的总得分发射得分 转移得分 起止得分 batch_size tags.size(0) score self.start[tags[:, 0]] emissions[torch.arange(batch_size), 0, tags[:, 0]] length mask.sum(dim1) for t in range(1, emissions.size(1)): valid mask[:, t].bool() step (self.trans[tags[:, t-1], tags[:, t]] emissions[torch.arange(batch_size), t, tags[:, t]]) score torch.where(valid, step, torch.zeros_like(score)) last tags[torch.arange(batch_size), length - 1] score self.end[last] return score def forward(self, emissions, mask): 前向算法计算 log Z用循环累计便于阅读 batch, seq, tags_n emissions.shape alpha emissions[:, 0, :] self.start.unsqueeze(0) for t in range(1, seq): alpha_t torch.logsumexp( alpha.unsqueeze(2) self.trans.unsqueeze(0), dim1 ) emissions[:, t, :] alpha_t torch.where(mask[:, t].bool().unsqueeze(1), alpha_t, alpha) alpha alpha_t return torch.logsumexp(alpha, dim1) def nll(self, emissions, tags, mask): return self.forward(emissions, mask) - self.score_tags(emissions, tags, mask) def decode(self, emissions, mask): 维特比解码返回每个 batch 的标签路径 batch, seq, tags_n emissions.shape result [] for b in range(batch): length int(mask[b].sum()) dp emissions[b, 0] self.start back [] for t in range(1, length): scores dp.unsqueeze(1) self.trans # [i, j] dp, prev scores.max(dim0) dp dp emissions[b, t] back.append(prev.tolist()) last int(dp.argmax()) path [last] for prev in reversed(back): path.append(int(prev[path[-1]])) result.append(list(reversed(path))) return result逻辑说明score_tags计算一条真实标签路径的总得分由发射得分、转移得分、起始和结束得分四部分组成。forward用前向算法计算所有可能路径的 log-sum-exp因为发射分数来自 BiLSTM 的 logits路径得分要在对数空间求和。nll返回负对数似然训练时最小化它等价于最大化真实路径在全部路径中的占比。decode是标准的维特比在每一步记录使当前得分最大的上一个标签最后回溯整条路径。参数说明转移矩阵初始化用torch.randn * 0.1把初始转移得分压小避免训练初期路径得分被转移矩阵主导。num_tags必须和 BiLSTM 的fc输出维度一致否则拼接时直接报错。训练时把 BiLSTM 的 logits 传给 CRF 层model BiLSTMNER(len(word2idx), len(tag2idx)) crf CRF(len(tag2idx)) optimizer torch.optim.Adam(model.parameters(), lr1e-3) for epoch in range(20): for batch_ids, batch_tags, batch_mask in loader: logits model(batch_ids, batch_mask) loss crf.nll(logits, batch_tags, batch_mask) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0) optimizer.step()逻辑说明loss 是 CRF 的负对数似然一个 batch 一个标量。梯度裁剪 clip 到 5.0防止 LSTM 梯度爆炸。训练完保存模型时把 vocab.json、tag2idx.json 和权重一起存预测代码读取同一份映射避免标签对不上。5. 中文 NER 避坑与排查清单现象、原因、处理办法5.1 坑一loss 变 NaN先查 embedding 对齐现象训练几步后 loss 直接变成 NaN验证集上所有字都预测成 O。原因常见是学习率过高把 embedding 参数冲爆另一个更隐蔽的原因是 vocab 里混入了空字符串或者 Noneembedding 查表时拿到脏数据。如果嵌入的是预训练词向量对齐阶段出现 key 数量对不上也可能让部分向量变成随机初始化的大数值。解决先把学习率压到 1e-3 以下再把vocab里所有空字符过滤干净检查word2idx里有没有这个键。用预训练词向量时先统计vocab和词表 key 的重合率低于 80% 就别声称用了预训练老实随机初始化反而更稳。5.2 坑二模型只会输出 O实体全被吞掉现象训练 loss 在降验证集 F1 很低打印预测结果发现所有字都输出 O。原因中文 NER 数据里 O 类占比通常超过 80%交叉熵优化下模型把所有样本推到 O 类就能拿到很低 lossBiLSTM 又没有全局约束输出端自然偏向多数类。这本质上是类别不平衡问题。解决最直接的办法是换 BiLSTMCRFCRF 的动态规划会让“全是 O”的路径和“包含实体”的路径做全局比较实体的转移得分能拉回来一部分。另一个手段是给 loss 加类别权重按N_total / N_class归一化后喂进 CrossEntropyLoss 的 weight 参数。我的经验是 CRF 的收益最明显类别权重只是辅助。5.3 坑三训练用 BIO、预测用 BIOES映射对不上现象训练时 F1 挺高换到测试集或者接下游评估时分数掉 10 个点以上检查标签发现预测结果里出现训练时没见过的组合。原因最常见的情况是训练数据是 BIO你跑了一次 BIOES 转换再训练但预测代码里标签映射还是按 BIO 写死的或者多个数据集混用标签体系不一致也没做对齐。这类问题不会报错只会默默掉分。解决把所有标签映射写进一个tag2idx.json训练和预测都从文件读取代码里不允许硬编码标签名。保存权重时把 vocab 和 tag 映射一起落盘加载模型时必须用同一份映射。这样即使标签体系混用至少能在加载阶段报出 key 不存在的错误而不是静默预测错误。5.4 坑四数据集切分不当实体跨句被切断现象验证集 F1 虚高到不合理的程度上线后真实数据效果差一截。原因切分的时候直接对句子随机 shuffle同一个文档里的实体边界信息被分到训练集和测试集模型在测试集上“见过”了相似上下文。人名、机构名在长文里重复出现模型学会了记住而不是泛化。解决按文档或段落为粒度切分保证同一文档的所有句子只进训练集或只进测试集。另外在构建 batch 时注意不要把同一来源的句子硬凑到一个 batch虽然影响不如切分大但能减少 padding 带来的噪声传播。6. 模型选型与上线验证最后一公里的对比和检查到这里四个模型的代码路径都通了最后用一张表收束选型判断。模型数据量需求训练耗时特征依赖中文 NER 效果参考HMM几千句可训秒级无基线水平边界错误多CRF一万句左右分钟级人工特征模板比 HMM 高 5 到 10 个点BiLSTM需要万句级GPU 分钟到小时级无需人工特征接近 CRF泛化略好BiLSTMCRF万句级GPU 小时级无需人工特征传统模型里的最优选择验证时别只看 token 级准确率用 span 级评估实体边界和类型完全匹配才算一个正确的实体识别结果。同样一份数据HMM 可能单字对不少但完整 span 对得少BiLSTMCRF 在这类指标上的优势才是真实的。我习惯在评估脚本里按实体类型拆开统计看 PER、LOC、ORG 各自的准确率和召回率定位模型到底偏在哪一类上。部署层面如果服务端只有 CPUCRF 是首选单条文本毫秒级出结果特征模板固定后非常好维护只有 GPU 资源充足时才考虑 BiLSTMCRF否则推理时延会让人难受。导出模型时注意 CRF 的维特比解码逻辑要跟着权重一起固化别在线上重新实现一套解码逻辑。这算是我的一点血泪经验在这套模型上踩过最大的坑不是模型本身而是数据、标签映射和评估脚本这三个口径没钉死。三者只要有一个不一致后面所有模型对比都是白费。先把数据切分规则、标签映射文件和评估脚本写好并固定下来再开始调模型路会顺很多。希望帮到你。本文还有配套的精品资源点击获取
