这一篇继续NLP学习系列的笔记主题是三个经常被放在一起聊、但实际上层次完全不同的东西词向量怎么评估、skip-gram到底有哪些硬伤、以及subword技术是怎么解决其中一部分问题的。做NLP实验到了静态词向量这个阶段很多人会碰到一种很尴尬的情况模型训练完了loss降了词向量也保存下来了结果下游任务一跑效果纹丝不动或者是同一套代码换一个语料指标波动大到让人怀疑自己改错了参数。这背后往往不是实现有bug而是缺少一套能复现、能比较的评估流程同时也没有认真审视skip-gram这类经典模型本身的假设边界到底在哪里。这一篇就把这三件事串起来聊透。1. 评估、缺点、subword为什么必须放在一起理解1.1 先搞清楚评估到底在评什么很多刚接触词向量的同学对“词向量质量”的理解就是“找一个词看看最近邻是不是语义相近的词”。这个直觉没错但远远不够。因为“语义相近”本身就不是一个客观定义apple和banana相近apple和fruit相近apple和iPhone也相近到底哪个算对不同任务对向量空间的要求完全不同。词向量评估因此分成两条路线内部评估和外部评估。内部评估直接检查向量空间本身的几何性质比如词相似度任务、词类比任务它不看下游模型开销小、稳定、可复现适合在调参阶段快速筛选候选配置。外部评估则是把词向量作为特征喂给下游模型比如文本分类、序列标注、NER它贴近真实业务需求但训练成本高、结果受下游模型和随机种子影响大噪声明显。成熟的实践通常是两条腿走路先用内部评估做粗筛再用一两个轻量下游任务做最终验证。这里有一个容易被忽视的点内部评估指标高不代表下游任务就好。原因很简单内部评估测的是向量空间里的相似度排序和人工标注的一致性它默认“语义相似”是一个静态属性但真实任务往往需要区分上下文里的具体含义比如bank在“river bank”和“investment bank”里的区别静态向量的内部评估完全测不出这种能力。1.2 skip-gram的短板是subword出现的真正入口skip-gram的基本思想是用中心词预测窗口内的上下文词训练结束后把隐藏层权重当作词向量。这个思路在2013年前后是革命性的但它有一个根深蒂固的假设词是语义的最小单位每个词天然拥有一个独立向量。这个假设在真实语言面前漏洞百出。最典型的问题是未登录词OOV。任何词表都是有限集合语料里总会出现词表外的词而skip-gram的向量查找表根本不存在这个词直接无解。第二个典型问题是形态学信息丢失run、runs、running这三个词在skip-gram里是三个完全独立的向量彼此之间没有任何参数共享这在英文这种形态丰富的语言里是一种巨大的浪费。第三个问题是低频词因为训练本质上还是靠共现统计低频词见过的上下文太少向量质量很差。这些问题不是靠调参能解决的因为它们的根源是“把词当成不可分割的整体”这一建模假设。subword技术恰恰从这里切入让向量表示的粒度从整词下沉到子词或者字符n-gram每个词由一组更小单元的组合来表示。这样一来OOV词也能通过组合已知子词得到向量形态相关的词也能共享一部分参数。所以这一篇把评估、缺点、subword放在一起逻辑链条是先用评估方法看清模型表现再分析skip-gram为什么会有这些表现最后用subword去修正其中一部分缺陷。2. 词向量评估方法详解与实操套路2.1 基于词相似度的内部评估怎么跑才可信词相似度评估的核心流程非常简单准备一个公开评测集里面是一对一对的词以及人工打出的相似度分数然后用你的词向量计算每对词的余弦相似度最后算人工分数和余弦相似度之间的相关性。常见的评测集有WordSim-353、SimLex-999、MEN、RG-65这几个。但实际操作里有三个坑必须注意。第一个坑是评测集里的词可能不在你的词表里覆盖率直接决定指标可信度。如果一个评测集有50%的词对在你的词表中缺失那算出来的相关系数根本没有统计意义。我一般的处理方式是同时报告两个数字相关系数和覆盖率覆盖率低于70%的评估结果我会直接标为不可信。第二个坑是相关性指标的选择我建议用斯皮尔曼等级相关系数而不是皮尔逊相关系数。原因是人工评分大多是排序意义上的分数不是严格的等距标度辛曼等级相关的计算方式正好是“看排序是否一致”更稳健。第三个坑是embedding向量的归一化很多预训练向量的文件里向量未做归一化计算余弦相似度前最好先统一做L2归一化否则个别高范数向量会主导结果。一个可以直接改来用的评估脚本大概是这个思路import numpy as np from scipy.stats import spearmanr from gensim.models import KeyedVectors def evaluate_similarity(vector_path, data_path, binaryTrue): wv KeyedVectors.load_word2vec_format(vector_path, binarybinary) gold, pred [], [] missing 0 total 0 with open(data_path, encodingutf-8) as f: for line in f: parts line.strip().split() if len(parts) ! 3: continue total 1 w1, w2, score parts[0], parts[1], float(parts[2]) if w1 in wv and w2 in wv: gold.append(score) pred.append(wv.similarity(w1, w2)) else: missing 1 rho, _ spearmanr(gold, pred) coverage (total - missing) / total return rho, coverage rho, coverage evaluate_similarity(vectors.bin, wordsim353.tsv) print(fSpearman rho: {rho:.4f}, coverage: {coverage:.2%})这里用gensim加载词向量是为了方便但如果你是自己训练的模型直接从模型参数里取向量也一样。还有一个小细节评测集里的词对如果存在重复词比如“cat cat”这种同一词的词对有些评测集故意不包含有些包含处理时最好显式过滤掉因为同一词的相似度必然是1会拉高相关系数造成虚高。2.2 类比推理评估的细节和坑类比评估是另一个经典内部评估方法形式是a:b::c:d典型例子是king:man::queen:woman。做法也很直观用向量运算vec(king) - vec(man) vec(woman)在词表里找与结果向量最接近的词如果找到queen就说明模型学会了某种语义关系。实际操作中第一个要注意的是必须把a、b、c这三个输入词本身从候选列表里排除否则模型直接输出a或c就能得高分指标完全失真。第二个问题是评估集的划分公开类比数据集通常分成语义类和语法类语法类比如“run:running::walk:walking”这种形态变换类问题在skip-gram类模型上得分通常比较高因为词的形态变化往往伴随相似的分布上下文语义类比如“国家-首都”这种难度更大。报告结果时分开展示语义和语法准确率比只看总准确率更有参考价值。朴素的向量加减可以写成这样def analogy(wv, a, b, c, topn10): vec wv[a] - wv[b] wv[c] candidates [] for word in wv.index_to_key: if word in {a, b, c}: continue score np.dot(wv[word], vec) / (np.linalg.norm(wv[word]) * np.linalg.norm(vec) 1e-8) candidates.append((word, score)) candidates.sort(keylambda x: x[1], reverseTrue) return candidates[:topn]不过朴素的3CosAdd在部分场景下不够稳定尤其当向量没有归一化或者词表很大时会有一些高频词因为范数大而持续排在最前面。改进版的3CosMul用点积的幂次做加权对高频词有一定抑制作用很多论文里提到在小训练集上3CosMul比3CosAdd更稳定。我在实际使用中会两个都算取一致的结果作为最终判断。2.3 下游任务评估的实操建议内部评估再全面也不如一个真实下游任务有说服力。但下游任务的选择有讲究我建议选一两个轻量级、训练快的任务比如情感二分类、词性标注或者NER。重点是统一配置所有对比模型必须用同一个下游模型结构、同一套超参数、同一组随机种子只改变嵌入层输入的词向量。否则你根本分不清效果差异是来自词向量还是来自下游模型的波动。还有一个很实用的技巧评估时做个多组随机种子的实验跑5到8次报均值和标准差。词向量的下游效果在小数据集上波动非常大只跑一次的结论基本不可信。基线设置也不能省至少要设置两个一个随机初始化向量作为下界一个成熟预训练向量作为上界这样你自训的向量到底处在什么水平才一目了然。另外冻结嵌入层和微调嵌入层的结果差异也要记录有时候冻结的静态向量在任务上反而更好说明任务本身并不需要大幅度调整语义空间。3. skip-gram的缺点逐条拆解3.1 不可回避的未登录词和低频词困境skip-gram本质上是一个查表模型词表是在训练前根据语料统计确定的。任何词表外的词训练完根本拿不到向量。这在真实场景里非常麻烦比如新闻语料里不断出现的新词、专有名词、表情符号组合它们的词向量直接缺失下游模型只能随机初始化或统一放到一个unk向量里信息损失严重。低频词的问题是另一回事。skip-gram训练依赖词和上下文的共现一个只出现几次的词它的上下文样本太少向量更新次数不够最后学出来的向量位置几乎是随机漂移的结果和语义基本无关。更隐蔽的是负采样机制会进一步放大低频词的劣势因为负采样抽样概率与词频相关低频词被当成负样本的概率很低这虽然保证了梯度不被海量低频负样本主导但也意味着模型见到低频词的机会更少。常用对策是min_count过滤设一个阈值低于阈值的词直接并入unk但这只是牺牲掉低频词的信息并没有解决本质问题。3.2 静态向量的多义词缺陷skip-gram给每个词只分配一个向量一个词的多种含义被强行压缩到同一个空间位置上。拿bank这个词来说河流岸和金融机构两种含义在语料里都会出现模型学到的是两种语义的加权平均。直观表现是bank的最近邻列表里既有river、shore这类词又有finance、loan这类词看起来“都像”实际上每种含义都不准确。这个缺陷在多义词占比高的语料里尤其严重。针对这个问题后续研究中出现了ELMo、BERT这类上下文相关表示思路是让同一个词在不同句子中动态生成不同的向量。但subword技术并不能直接解决多义词问题它的贡献在另一个维度把形态相关的词拉近。理解这个边界很重要否则你会误以为用了fastText或者BPE之后静态向量的多义词问题就消失了实际上并没有。3.3 训练机制带来的效率和偏差问题skip-gram的训练目标是对窗口内的上下文词做预测这里的窗口是一个固定范围比如5到10个词。这个设定直接把“长距离依赖”排除在外了一个词可能和距离20个词之外的另一个词存在强语法关系但在窗口内完全看不到。窗口太大会引入太多噪声窗口太小又捕获不了长距离信息这个平衡点严重依赖语料特性没有通用的最优值。另一个训练层面的问题是高频词的过度训练。像the、of这类功能词出现频率太高几乎出现在所有窗口里它们会获得大量梯度更新占用大量训练时间但学出来的向量对语义任务帮助不大。虽然subsampling策略会按概率丢弃高频词但它引入了新的随机性丢弃概率设置不当会让整个语义空间变得不稳定。我自己调参时通常会让“被丢弃概率并不低的词保留一定上下文”同时把负采样数量控制在5到10之间太高反而会学出一些假阴性规律。3.4 只利用局部共现忽略全局统计skip-gram的窗口机制决定了它看到的是局部上下文语料里那些跨度较大的共现规律比如跨段落、跨文档的共现它根本不在建模范围内。与之相对GloVe的思想是直接利用全局共现矩阵通过共现概率比来刻画词与词之间的相关性。在很多评测集上GloVe和skip-gram的性能互有胜负但它们的失败模式不太一样skip-gram更擅长捕捉语义相似性GloVe在类比任务上有时表现更好。从信息利用角度理解skip-gram的过程是微观的、逐样本的它通过海量局部预测来隐式地逼近全局统计量GloVe则把全局统计信息直接放进了目标函数。这类缺点不是“完全没用”而是“信息利用不够充分”。如果你手里的语料规模不大局部共现统计噪声很严重skip-gram很可能比GloVe更不稳定。3.5 缺失形态与词法信息对于英语这类形态相对丰富的语言run、runs、running、ran在skip-gram里是完全不同的向量形态学上的关联完全没有被利用。这在数据稀疏问题上尤其致命一个新词如果是某个常见词的不规则变体模型无法借助已有形态知识来估算它的向量只能靠这个新词自己可怜的共现信息。这也是subword技术出现的最直接动机之一。用字符n-gram表示词让有相同前缀或后缀的词共享一部分子词向量run、runs、running就能通过共享run字符序列的表示而呈现出天然的向量相似性。注意这种共享并不是简单地“算字符重叠度”而是在训练中真正让这些词的梯度同时更新共享的n-gram参数从而把形态信息编码进向量空间。3.6 超参数敏感换语料就变脸skip-gram的超参数太多而且相互影响严重窗口大小、负采样数、下采样率、迭代次数、学习率、min_count、维度。同一个参数组合在一个语料上效果很好换到另一个领域语料上可能直接崩。比如新闻语料的合适窗口是8但在短文本社交媒体语料上可能5更合适因为句子本身就短。这里我个人的习惯是不要一上来就追求全局最优参数先用小规模子集做一次网格搜索聚焦在窗口大小和负采样数量两个参数上其他保持默认找到大概不错的位置再用全量语料训练。这样既节省时间又避免过拟合到验证集。评估过程中一定要内部评估和外部评估配合只用某一个评测集选参很容易选出专攻该集的参数。4. subword技术从字符n-gram到BPE再到SentencePiece4.1 fastText的字符n-gram实现细节fastText对skip-gram的核心改造是把每个词表示成一组字符n-gram向量的加和。具体来说给每个词加上边界符号然后取出长度在[minn, maxn]之间的所有字符片段。以app为例如果minn2、maxn3那么字符n-gram集合就是ap、app、pp这三个边界符号记作和实际实现里通常会保留整个词本身作为特殊n-gram。训练时中心词的向量由这些n-gram向量求和得到上下文还是正常的整词。这个设计的巧妙之处在于一个未登录词只要它的字符n-gram在训练时出现过就能拼出一个向量。比如训练语料里有app测试时遇到applet字符trigram可能覆盖到app和let的部分即使没有完整词向量也能得到一个有语义的初始化向量。这在真实场景里帮了我很多次尤其是处理专业术语和产品名时OOV词的向量效果远好于随机初始化。用fastText自带的工具训练非常方便import fasttext model fasttext.train_unsupervised( corpus.txt, modelskipgram, dim100, epoch5, lr0.05, minn2, maxn5, min_count2, wordNgrams1 ) # 即使词表里没有的词也可以尝试获取向量 vec model.get_word_vector(未登录词示例)需要记住一点minn和maxn的选择直接影响向量质量和内存占用。n-gram范围太小比如minn1你基本是把字符本身作为基本单元语义噪声很大n-gram范围太大词表会急剧膨胀内存和训练时间都会翻倍。一般英文语料minn2、maxn5是经验值但如果你处理中文或者日文这类没有空格分隔的语言还需要先做分词字符n-gram的意义会弱很多。4.2 BPE算法的原理与实操步骤BPEByte Pair Encoding最初是数据压缩算法后来被引入NLP做子词切分。它的核心逻辑特别朴素从一个字符序列出发不断统计相邻符号对的出现频率每次把频率最高的一对合并成新符号重复这个过程直到达到目标词表大小。最终留下的是若干合并规则编码一个新词时按同样的规则依次合并词就被切成子词序列。举个例子如果语料里unhappiness出现频率高模型很可能会先学出合并“un”和“hap”再学出合并“happy”和“ness”最终切分结果是un happy ness而不是逐个字符。这比整词切分细又比纯字符切分粗正好在词表大小和语义完整性之间取了一个折中。用tokenizers库训练BPE是现在最常见的方式from tokenizers import ByteLevelBPETokenizer tokenizer ByteLevelBPETokenizer() tokenizer.train( files[corpus.txt], vocab_size10000, min_frequency2, special_tokens[unk, s, /s] ) output tokenizer.encode(unhappiness) print(output.tokens) # 可能是 [un, happiness] 或类似结果这里vocab_size是关键超参数。太小词被切得太碎语义信息被拆散太大又退化成接近整词表低频子词出现大量冗余。一个可参考的经验是先统计语料里不同词的数量vocab_size设置在词数量的三分之一到二分之一左右再根据下游任务效果微调。4.3 WordPiece、Unigram和SentencePiece的差异BPE之外还有几个相似的子词方案最常被拿来比较的是WordPiece和Unigram。WordPiece的思想和BPE类似但合并标准不一样它选择的是让语言模型似然增加最大的相邻对而不是频率最高的相邻对。BERT类的预训练模型用的就是WordPiece风格的分词。Unigram则走的是另一条路初始时给一个超大词表通过EM算法迭代剪枝每次去掉让整体概率损失最小的子词最后得到一个小而精的词汇表。SentencePiece的工作方式更底层它把输入文本里的空格也当作普通字符处理这样就不依赖语言自带的空格分隔天然适合中文、日文这种不分词的语言。它内部可以选择BPE或者Unigram作为底层算法同时自带字节回退机制任何字符序列最后都能被编码出来。实际做多语言任务时我一般直接选SentencePiece的Unigram模式它对多语言混合文本的适配能力更稳。简单对比一下方法合并/选择标准输入粒度典型使用场景BPE相邻符号对频率最高字节/字符/词机器翻译、GPT类模型WordPiece语言模型似然增益最大词##片段BERT类预训练模型UnigramEM算法迭代剪枝空格被当作字符处理SentencePiece多语言fastText n-gram固定长度字符片段字符n-gram静态词向量OOV兜底4.4 subword超参数对向量质量的直接影响很多人以为subword只要用了就万事大吉其实它的超参数同样很挑剔。fastText里的minn和maxn我在前面提过这里是BPE侧的vocab_size和min_frequency。min_frequency太低会出现大量只出现过一两次的子词这些子词本身没有可靠语义模型还得分出参数去表示它们min_frequency太高低频词会被切得特别碎OOV词反而更难拼出完整语义。另一个容易被忽视的点是语料清洗的先后顺序。BPE是从字符统计开始的如果语料里残留大量噪声字符比如URL的乱码、重复的标点、HTML标签残留这些都会进入字符频率统计让模型学出一堆没意义的合并规则。我一般会先做一轮规则清洗把URL、邮箱、连续标点、多余空白统一处理掉再做BPE训练。这样得到的词表虽然看起来少了一些“特色”但下游任务效果一般更稳健。5. 常见问题与排查技巧实录5.1 评估指标远低于预期先查覆盖率而不是模型很多人训练完词向量兴冲冲跑去跑WordSim-353发现Spearman系数只有0.3第一反应是模型没训好。但实际上更常见的原因是覆盖率太低评测集里一半的词不在你的词表里剩下能算的那些词对又缺乏代表性相关系数自然被拉垮。排查方法很简单打印覆盖率。如果覆盖率低于70%不要相信这个指标如果低于50%基本说明词表和评测集领域不匹配或者min_count设得太高把太多低频词过滤掉了。5.2 相似词结果看起来离谱先怀疑窗口和语料噪声比如你训练一个领域语料发现apple的最近邻里有application第一时间别觉得模型错了先检查自己用的语料是不是混杂了太多跨领域文本或者窗口设得太大。窗口大时同一段落里距离较远的词也会被拉进上下文容易把主题相关但不相似的词混在一起。如果你想要更纯粹的语义相似窗口可以适当减小到3到5如果更关注主题相关再调大窗口。5.3 BPE训练出来的词表出现大量碎词根如果你发现编码结果像u##n##h##appiness这样一个明显的信号是BPE合并轮数不够或者min_frequency设置太高导致很多本可以合并的pair没有进入规则。解决办法是提高vocab_size或者把min_frequency调低一点同时检查语料大小和vocab_size的比例。语料只有几十MB但vocab_size设到3万以上很容易出现大量只对应单一词的子词这其实和整词表没什么区别。5.4 静态向量在某个任务上怎么都不涨点这种情况我也会遇到内部评估分数不错相似度和类比都达标但文本分类任务成绩就是上不去。复盘之后通常会发现两类原因一是任务本身对语境依赖极高比如判断某个词在句子里是褒义还是贬义静态向量天然不擅长需要上下文表示二是下游模型太简单没有能力从静态向量里抽取有效特征换个稍微强一点的模型可能就有明显提升。遇到这种场景老老实实去试试上下文相关的预训练模型不要死磕静态向量。写在最后的一点经验把评估、skip-gram缺点和subword放在一篇笔记里讲是因为它们在实操中是环环相扣的。没有评估手段你连模型好坏都说不清只看skip-gram的优点你会在OOV和低频词上反复吃亏理解了subword但不知道它解决什么、不解决什么你又会在错误的任务里对它抱有不切实际的期望。我个人强烈建议任何训练词向量的项目第一件事先写好评估脚本和覆盖率统计再开始碰模型参数。这一套流程跑通之后你再看fastText、BPE这些方案心里会非常踏实你知道它们在解决哪些具体问题也知道哪些问题它们其实解决不了。
这一篇继续NLP学习系列的笔记主题是三个经常被放在一起聊、但实际上层次完全不同的东西词向量怎么评估、skip-gram到底有哪些硬伤、以及subword技术是怎么解决其中一部分问题的。做NLP实验到了静态词向量这个阶段很多人会碰到一种很尴尬的情况模型训练完了loss降了词向量也保存下来了结果下游任务一跑效果纹丝不动或者是同一套代码换一个语料指标波动大到让人怀疑自己改错了参数。这背后往往不是实现有bug而是缺少一套能复现、能比较的评估流程同时也没有认真审视skip-gram这类经典模型本身的假设边界到底在哪里。这一篇就把这三件事串起来聊透。1. 评估、缺点、subword为什么必须放在一起理解1.1 先搞清楚评估到底在评什么很多刚接触词向量的同学对“词向量质量”的理解就是“找一个词看看最近邻是不是语义相近的词”。这个直觉没错但远远不够。因为“语义相近”本身就不是一个客观定义apple和banana相近apple和fruit相近apple和iPhone也相近到底哪个算对不同任务对向量空间的要求完全不同。词向量评估因此分成两条路线内部评估和外部评估。内部评估直接检查向量空间本身的几何性质比如词相似度任务、词类比任务它不看下游模型开销小、稳定、可复现适合在调参阶段快速筛选候选配置。外部评估则是把词向量作为特征喂给下游模型比如文本分类、序列标注、NER它贴近真实业务需求但训练成本高、结果受下游模型和随机种子影响大噪声明显。成熟的实践通常是两条腿走路先用内部评估做粗筛再用一两个轻量下游任务做最终验证。这里有一个容易被忽视的点内部评估指标高不代表下游任务就好。原因很简单内部评估测的是向量空间里的相似度排序和人工标注的一致性它默认“语义相似”是一个静态属性但真实任务往往需要区分上下文里的具体含义比如bank在“river bank”和“investment bank”里的区别静态向量的内部评估完全测不出这种能力。1.2 skip-gram的短板是subword出现的真正入口skip-gram的基本思想是用中心词预测窗口内的上下文词训练结束后把隐藏层权重当作词向量。这个思路在2013年前后是革命性的但它有一个根深蒂固的假设词是语义的最小单位每个词天然拥有一个独立向量。这个假设在真实语言面前漏洞百出。最典型的问题是未登录词OOV。任何词表都是有限集合语料里总会出现词表外的词而skip-gram的向量查找表根本不存在这个词直接无解。第二个典型问题是形态学信息丢失run、runs、running这三个词在skip-gram里是三个完全独立的向量彼此之间没有任何参数共享这在英文这种形态丰富的语言里是一种巨大的浪费。第三个问题是低频词因为训练本质上还是靠共现统计低频词见过的上下文太少向量质量很差。这些问题不是靠调参能解决的因为它们的根源是“把词当成不可分割的整体”这一建模假设。subword技术恰恰从这里切入让向量表示的粒度从整词下沉到子词或者字符n-gram每个词由一组更小单元的组合来表示。这样一来OOV词也能通过组合已知子词得到向量形态相关的词也能共享一部分参数。所以这一篇把评估、缺点、subword放在一起逻辑链条是先用评估方法看清模型表现再分析skip-gram为什么会有这些表现最后用subword去修正其中一部分缺陷。2. 词向量评估方法详解与实操套路2.1 基于词相似度的内部评估怎么跑才可信词相似度评估的核心流程非常简单准备一个公开评测集里面是一对一对的词以及人工打出的相似度分数然后用你的词向量计算每对词的余弦相似度最后算人工分数和余弦相似度之间的相关性。常见的评测集有WordSim-353、SimLex-999、MEN、RG-65这几个。但实际操作里有三个坑必须注意。第一个坑是评测集里的词可能不在你的词表里覆盖率直接决定指标可信度。如果一个评测集有50%的词对在你的词表中缺失那算出来的相关系数根本没有统计意义。我一般的处理方式是同时报告两个数字相关系数和覆盖率覆盖率低于70%的评估结果我会直接标为不可信。第二个坑是相关性指标的选择我建议用斯皮尔曼等级相关系数而不是皮尔逊相关系数。原因是人工评分大多是排序意义上的分数不是严格的等距标度辛曼等级相关的计算方式正好是“看排序是否一致”更稳健。第三个坑是embedding向量的归一化很多预训练向量的文件里向量未做归一化计算余弦相似度前最好先统一做L2归一化否则个别高范数向量会主导结果。一个可以直接改来用的评估脚本大概是这个思路import numpy as np from scipy.stats import spearmanr from gensim.models import KeyedVectors def evaluate_similarity(vector_path, data_path, binaryTrue): wv KeyedVectors.load_word2vec_format(vector_path, binarybinary) gold, pred [], [] missing 0 total 0 with open(data_path, encodingutf-8) as f: for line in f: parts line.strip().split() if len(parts) ! 3: continue total 1 w1, w2, score parts[0], parts[1], float(parts[2]) if w1 in wv and w2 in wv: gold.append(score) pred.append(wv.similarity(w1, w2)) else: missing 1 rho, _ spearmanr(gold, pred) coverage (total - missing) / total return rho, coverage rho, coverage evaluate_similarity(vectors.bin, wordsim353.tsv) print(fSpearman rho: {rho:.4f}, coverage: {coverage:.2%})这里用gensim加载词向量是为了方便但如果你是自己训练的模型直接从模型参数里取向量也一样。还有一个小细节评测集里的词对如果存在重复词比如“cat cat”这种同一词的词对有些评测集故意不包含有些包含处理时最好显式过滤掉因为同一词的相似度必然是1会拉高相关系数造成虚高。2.2 类比推理评估的细节和坑类比评估是另一个经典内部评估方法形式是a:b::c:d典型例子是king:man::queen:woman。做法也很直观用向量运算vec(king) - vec(man) vec(woman)在词表里找与结果向量最接近的词如果找到queen就说明模型学会了某种语义关系。实际操作中第一个要注意的是必须把a、b、c这三个输入词本身从候选列表里排除否则模型直接输出a或c就能得高分指标完全失真。第二个问题是评估集的划分公开类比数据集通常分成语义类和语法类语法类比如“run:running::walk:walking”这种形态变换类问题在skip-gram类模型上得分通常比较高因为词的形态变化往往伴随相似的分布上下文语义类比如“国家-首都”这种难度更大。报告结果时分开展示语义和语法准确率比只看总准确率更有参考价值。朴素的向量加减可以写成这样def analogy(wv, a, b, c, topn10): vec wv[a] - wv[b] wv[c] candidates [] for word in wv.index_to_key: if word in {a, b, c}: continue score np.dot(wv[word], vec) / (np.linalg.norm(wv[word]) * np.linalg.norm(vec) 1e-8) candidates.append((word, score)) candidates.sort(keylambda x: x[1], reverseTrue) return candidates[:topn]不过朴素的3CosAdd在部分场景下不够稳定尤其当向量没有归一化或者词表很大时会有一些高频词因为范数大而持续排在最前面。改进版的3CosMul用点积的幂次做加权对高频词有一定抑制作用很多论文里提到在小训练集上3CosMul比3CosAdd更稳定。我在实际使用中会两个都算取一致的结果作为最终判断。2.3 下游任务评估的实操建议内部评估再全面也不如一个真实下游任务有说服力。但下游任务的选择有讲究我建议选一两个轻量级、训练快的任务比如情感二分类、词性标注或者NER。重点是统一配置所有对比模型必须用同一个下游模型结构、同一套超参数、同一组随机种子只改变嵌入层输入的词向量。否则你根本分不清效果差异是来自词向量还是来自下游模型的波动。还有一个很实用的技巧评估时做个多组随机种子的实验跑5到8次报均值和标准差。词向量的下游效果在小数据集上波动非常大只跑一次的结论基本不可信。基线设置也不能省至少要设置两个一个随机初始化向量作为下界一个成熟预训练向量作为上界这样你自训的向量到底处在什么水平才一目了然。另外冻结嵌入层和微调嵌入层的结果差异也要记录有时候冻结的静态向量在任务上反而更好说明任务本身并不需要大幅度调整语义空间。3. skip-gram的缺点逐条拆解3.1 不可回避的未登录词和低频词困境skip-gram本质上是一个查表模型词表是在训练前根据语料统计确定的。任何词表外的词训练完根本拿不到向量。这在真实场景里非常麻烦比如新闻语料里不断出现的新词、专有名词、表情符号组合它们的词向量直接缺失下游模型只能随机初始化或统一放到一个unk向量里信息损失严重。低频词的问题是另一回事。skip-gram训练依赖词和上下文的共现一个只出现几次的词它的上下文样本太少向量更新次数不够最后学出来的向量位置几乎是随机漂移的结果和语义基本无关。更隐蔽的是负采样机制会进一步放大低频词的劣势因为负采样抽样概率与词频相关低频词被当成负样本的概率很低这虽然保证了梯度不被海量低频负样本主导但也意味着模型见到低频词的机会更少。常用对策是min_count过滤设一个阈值低于阈值的词直接并入unk但这只是牺牲掉低频词的信息并没有解决本质问题。3.2 静态向量的多义词缺陷skip-gram给每个词只分配一个向量一个词的多种含义被强行压缩到同一个空间位置上。拿bank这个词来说河流岸和金融机构两种含义在语料里都会出现模型学到的是两种语义的加权平均。直观表现是bank的最近邻列表里既有river、shore这类词又有finance、loan这类词看起来“都像”实际上每种含义都不准确。这个缺陷在多义词占比高的语料里尤其严重。针对这个问题后续研究中出现了ELMo、BERT这类上下文相关表示思路是让同一个词在不同句子中动态生成不同的向量。但subword技术并不能直接解决多义词问题它的贡献在另一个维度把形态相关的词拉近。理解这个边界很重要否则你会误以为用了fastText或者BPE之后静态向量的多义词问题就消失了实际上并没有。3.3 训练机制带来的效率和偏差问题skip-gram的训练目标是对窗口内的上下文词做预测这里的窗口是一个固定范围比如5到10个词。这个设定直接把“长距离依赖”排除在外了一个词可能和距离20个词之外的另一个词存在强语法关系但在窗口内完全看不到。窗口太大会引入太多噪声窗口太小又捕获不了长距离信息这个平衡点严重依赖语料特性没有通用的最优值。另一个训练层面的问题是高频词的过度训练。像the、of这类功能词出现频率太高几乎出现在所有窗口里它们会获得大量梯度更新占用大量训练时间但学出来的向量对语义任务帮助不大。虽然subsampling策略会按概率丢弃高频词但它引入了新的随机性丢弃概率设置不当会让整个语义空间变得不稳定。我自己调参时通常会让“被丢弃概率并不低的词保留一定上下文”同时把负采样数量控制在5到10之间太高反而会学出一些假阴性规律。3.4 只利用局部共现忽略全局统计skip-gram的窗口机制决定了它看到的是局部上下文语料里那些跨度较大的共现规律比如跨段落、跨文档的共现它根本不在建模范围内。与之相对GloVe的思想是直接利用全局共现矩阵通过共现概率比来刻画词与词之间的相关性。在很多评测集上GloVe和skip-gram的性能互有胜负但它们的失败模式不太一样skip-gram更擅长捕捉语义相似性GloVe在类比任务上有时表现更好。从信息利用角度理解skip-gram的过程是微观的、逐样本的它通过海量局部预测来隐式地逼近全局统计量GloVe则把全局统计信息直接放进了目标函数。这类缺点不是“完全没用”而是“信息利用不够充分”。如果你手里的语料规模不大局部共现统计噪声很严重skip-gram很可能比GloVe更不稳定。3.5 缺失形态与词法信息对于英语这类形态相对丰富的语言run、runs、running、ran在skip-gram里是完全不同的向量形态学上的关联完全没有被利用。这在数据稀疏问题上尤其致命一个新词如果是某个常见词的不规则变体模型无法借助已有形态知识来估算它的向量只能靠这个新词自己可怜的共现信息。这也是subword技术出现的最直接动机之一。用字符n-gram表示词让有相同前缀或后缀的词共享一部分子词向量run、runs、running就能通过共享run字符序列的表示而呈现出天然的向量相似性。注意这种共享并不是简单地“算字符重叠度”而是在训练中真正让这些词的梯度同时更新共享的n-gram参数从而把形态信息编码进向量空间。3.6 超参数敏感换语料就变脸skip-gram的超参数太多而且相互影响严重窗口大小、负采样数、下采样率、迭代次数、学习率、min_count、维度。同一个参数组合在一个语料上效果很好换到另一个领域语料上可能直接崩。比如新闻语料的合适窗口是8但在短文本社交媒体语料上可能5更合适因为句子本身就短。这里我个人的习惯是不要一上来就追求全局最优参数先用小规模子集做一次网格搜索聚焦在窗口大小和负采样数量两个参数上其他保持默认找到大概不错的位置再用全量语料训练。这样既节省时间又避免过拟合到验证集。评估过程中一定要内部评估和外部评估配合只用某一个评测集选参很容易选出专攻该集的参数。4. subword技术从字符n-gram到BPE再到SentencePiece4.1 fastText的字符n-gram实现细节fastText对skip-gram的核心改造是把每个词表示成一组字符n-gram向量的加和。具体来说给每个词加上边界符号然后取出长度在[minn, maxn]之间的所有字符片段。以app为例如果minn2、maxn3那么字符n-gram集合就是ap、app、pp这三个边界符号记作和实际实现里通常会保留整个词本身作为特殊n-gram。训练时中心词的向量由这些n-gram向量求和得到上下文还是正常的整词。这个设计的巧妙之处在于一个未登录词只要它的字符n-gram在训练时出现过就能拼出一个向量。比如训练语料里有app测试时遇到applet字符trigram可能覆盖到app和let的部分即使没有完整词向量也能得到一个有语义的初始化向量。这在真实场景里帮了我很多次尤其是处理专业术语和产品名时OOV词的向量效果远好于随机初始化。用fastText自带的工具训练非常方便import fasttext model fasttext.train_unsupervised( corpus.txt, modelskipgram, dim100, epoch5, lr0.05, minn2, maxn5, min_count2, wordNgrams1 ) # 即使词表里没有的词也可以尝试获取向量 vec model.get_word_vector(未登录词示例)需要记住一点minn和maxn的选择直接影响向量质量和内存占用。n-gram范围太小比如minn1你基本是把字符本身作为基本单元语义噪声很大n-gram范围太大词表会急剧膨胀内存和训练时间都会翻倍。一般英文语料minn2、maxn5是经验值但如果你处理中文或者日文这类没有空格分隔的语言还需要先做分词字符n-gram的意义会弱很多。4.2 BPE算法的原理与实操步骤BPEByte Pair Encoding最初是数据压缩算法后来被引入NLP做子词切分。它的核心逻辑特别朴素从一个字符序列出发不断统计相邻符号对的出现频率每次把频率最高的一对合并成新符号重复这个过程直到达到目标词表大小。最终留下的是若干合并规则编码一个新词时按同样的规则依次合并词就被切成子词序列。举个例子如果语料里unhappiness出现频率高模型很可能会先学出合并“un”和“hap”再学出合并“happy”和“ness”最终切分结果是un happy ness而不是逐个字符。这比整词切分细又比纯字符切分粗正好在词表大小和语义完整性之间取了一个折中。用tokenizers库训练BPE是现在最常见的方式from tokenizers import ByteLevelBPETokenizer tokenizer ByteLevelBPETokenizer() tokenizer.train( files[corpus.txt], vocab_size10000, min_frequency2, special_tokens[unk, s, /s] ) output tokenizer.encode(unhappiness) print(output.tokens) # 可能是 [un, happiness] 或类似结果这里vocab_size是关键超参数。太小词被切得太碎语义信息被拆散太大又退化成接近整词表低频子词出现大量冗余。一个可参考的经验是先统计语料里不同词的数量vocab_size设置在词数量的三分之一到二分之一左右再根据下游任务效果微调。4.3 WordPiece、Unigram和SentencePiece的差异BPE之外还有几个相似的子词方案最常被拿来比较的是WordPiece和Unigram。WordPiece的思想和BPE类似但合并标准不一样它选择的是让语言模型似然增加最大的相邻对而不是频率最高的相邻对。BERT类的预训练模型用的就是WordPiece风格的分词。Unigram则走的是另一条路初始时给一个超大词表通过EM算法迭代剪枝每次去掉让整体概率损失最小的子词最后得到一个小而精的词汇表。SentencePiece的工作方式更底层它把输入文本里的空格也当作普通字符处理这样就不依赖语言自带的空格分隔天然适合中文、日文这种不分词的语言。它内部可以选择BPE或者Unigram作为底层算法同时自带字节回退机制任何字符序列最后都能被编码出来。实际做多语言任务时我一般直接选SentencePiece的Unigram模式它对多语言混合文本的适配能力更稳。简单对比一下方法合并/选择标准输入粒度典型使用场景BPE相邻符号对频率最高字节/字符/词机器翻译、GPT类模型WordPiece语言模型似然增益最大词##片段BERT类预训练模型UnigramEM算法迭代剪枝空格被当作字符处理SentencePiece多语言fastText n-gram固定长度字符片段字符n-gram静态词向量OOV兜底4.4 subword超参数对向量质量的直接影响很多人以为subword只要用了就万事大吉其实它的超参数同样很挑剔。fastText里的minn和maxn我在前面提过这里是BPE侧的vocab_size和min_frequency。min_frequency太低会出现大量只出现过一两次的子词这些子词本身没有可靠语义模型还得分出参数去表示它们min_frequency太高低频词会被切得特别碎OOV词反而更难拼出完整语义。另一个容易被忽视的点是语料清洗的先后顺序。BPE是从字符统计开始的如果语料里残留大量噪声字符比如URL的乱码、重复的标点、HTML标签残留这些都会进入字符频率统计让模型学出一堆没意义的合并规则。我一般会先做一轮规则清洗把URL、邮箱、连续标点、多余空白统一处理掉再做BPE训练。这样得到的词表虽然看起来少了一些“特色”但下游任务效果一般更稳健。5. 常见问题与排查技巧实录5.1 评估指标远低于预期先查覆盖率而不是模型很多人训练完词向量兴冲冲跑去跑WordSim-353发现Spearman系数只有0.3第一反应是模型没训好。但实际上更常见的原因是覆盖率太低评测集里一半的词不在你的词表里剩下能算的那些词对又缺乏代表性相关系数自然被拉垮。排查方法很简单打印覆盖率。如果覆盖率低于70%不要相信这个指标如果低于50%基本说明词表和评测集领域不匹配或者min_count设得太高把太多低频词过滤掉了。5.2 相似词结果看起来离谱先怀疑窗口和语料噪声比如你训练一个领域语料发现apple的最近邻里有application第一时间别觉得模型错了先检查自己用的语料是不是混杂了太多跨领域文本或者窗口设得太大。窗口大时同一段落里距离较远的词也会被拉进上下文容易把主题相关但不相似的词混在一起。如果你想要更纯粹的语义相似窗口可以适当减小到3到5如果更关注主题相关再调大窗口。5.3 BPE训练出来的词表出现大量碎词根如果你发现编码结果像u##n##h##appiness这样一个明显的信号是BPE合并轮数不够或者min_frequency设置太高导致很多本可以合并的pair没有进入规则。解决办法是提高vocab_size或者把min_frequency调低一点同时检查语料大小和vocab_size的比例。语料只有几十MB但vocab_size设到3万以上很容易出现大量只对应单一词的子词这其实和整词表没什么区别。5.4 静态向量在某个任务上怎么都不涨点这种情况我也会遇到内部评估分数不错相似度和类比都达标但文本分类任务成绩就是上不去。复盘之后通常会发现两类原因一是任务本身对语境依赖极高比如判断某个词在句子里是褒义还是贬义静态向量天然不擅长需要上下文表示二是下游模型太简单没有能力从静态向量里抽取有效特征换个稍微强一点的模型可能就有明显提升。遇到这种场景老老实实去试试上下文相关的预训练模型不要死磕静态向量。写在最后的一点经验把评估、skip-gram缺点和subword放在一篇笔记里讲是因为它们在实操中是环环相扣的。没有评估手段你连模型好坏都说不清只看skip-gram的优点你会在OOV和低频词上反复吃亏理解了subword但不知道它解决什么、不解决什么你又会在错误的任务里对它抱有不切实际的期望。我个人强烈建议任何训练词向量的项目第一件事先写好评估脚本和覆盖率统计再开始碰模型参数。这一套流程跑通之后你再看fastText、BPE这些方案心里会非常踏实你知道它们在解决哪些具体问题也知道哪些问题它们其实解决不了。
