简介这份资源是面向具备一定Python与Web开发基础的学习者和高校学生设计的深度学习文本相似度检测系统完整项目包采用BERT模型与Django框架实现可作为毕业设计参考或课程实践案例。压缩包为zip格式整体约75.86MB内含项目源码、数据库脚本、说明文档、LW论文及PPT等材料覆盖从模型调用、后端接口到数据持久化的完整链路便于读者理解文本相似度计算在真实Web系统中的落地方式。目前已有164人学习下载说明该方案在同类毕设选题中具有一定参考价值。通过研读源码与文档读者可掌握BERT文本向量化、相似度匹配算法、Django视图与数据库集成等关键技能并借助论文与PPT快速梳理系统架构与设计思路为后续开发或答辩准备提供可复用的实践模板。1. 从一句“这两句话像不像”说起PythonBERT 文本相似度检测到底在做什么很多人第一次接触文本相似度是因为一个很朴素的需求手里有两段文字想知道它们是不是在说同一件事。比如客服工单去重、论文查重初筛、题库里找重复题目、商品标题归一化甚至社区里判断两条评论是不是互相抄袭。传统做法是算编辑距离、Jaccard 系数或者 TF-IDF 余弦相似度这些方法在词面重合度高的时候够用但一旦换成“手机没电了”和“电池耗尽自动关机”字面几乎不重叠分数就掉得很难看。BERT 这类预训练语言模型的价值就在于它把句子映射成一个带语义的向量让“意思相近”这件事在向量空间里真的靠近。这个标题对应的是一套完整的工程交付物Python 实现的 BERT 文本相似度检测系统配套数据库脚本、说明文档、论文和答辩 PPT。它适合三类人正在做课程设计或毕业设计的学生需要一套能跑通、能讲清楚原理的完整方案想快速验证语义匹配能力的算法初学者以及要把相似度检测接进自己业务系统的后端工程师。核心链路其实就四步文本预处理、BERT 编码、向量相似度计算、阈值判定与结果落库。后面几章我会把这四步拆开讲清楚每一步的参数怎么设、代码怎么写、坑在哪。2. BERT 做相似度检测的原理与选型为什么不用 TF-IDF 硬扛2.1 从词向量到句向量BERT 到底输出了什么要理解 BERT 怎么做相似度先得知道它输出的是什么。BERT 的输入是一串 token输出是每个 token 对应一个 768 维base 版的隐藏状态向量。问题在于句子级相似度需要的是“一个句子一个向量”而不是“一个词一个向量”。常见做法有三种取 [CLS] 位置的向量、对所有 token 向量做平均池化、对 token 向量做最大池化。实践中 [CLS] 向量在未经微调时语义表达能力偏弱因为它原本是为分类任务训练的平均池化更稳但会被高频无意义词拉偏最大池化对关键词敏感适合短文本。我一般会先用平均池化跑一版基线再对比 [CLS] 的效果。如果业务文本很短比如标题、标签最大池化往往更占优。这里有个容易忽略的点BERT 输出的向量默认没有做归一化直接算余弦相似度虽然不影响排序但如果你要用欧氏距离或者做阈值卡点最好先 L2 归一化让所有向量落在单位球面上距离才有可比性。2.2 相似度计算方式与阈值策略拿到句向量之后计算相似度就是数学问题了。余弦相似度是最常用的取值在 -1 到 1 之间实际语义相似的句子通常落在 0.7 以上。欧氏距离适合向量已归一化的情况距离越小越相似。还有一种做法是把两个句向量拼接后送进一个全连接层做二分类这属于交互式模型精度更高但推理慢适合对准确率要求极高的场景。阈值怎么定是落地时最头疼的事。我的经验是不要拍脑袋定 0.8而是拿一批标注好的正负样本对画出相似度分布找正负样本重叠最少的那个点作为初始阈值。如果业务允许误报但不能漏报阈值就往下压反之往上提。这个阈值不是一次性的上线后要定期用新数据回归。2.3 环境搭建Python、PyTorch 与 transformers 的最小可用组合动手之前先把环境理顺。Python 建议 3.8 到 3.10太新的版本有时候和 PyTorch 的 wheel 对不上。PyTorch 按你的显卡选 CUDA 版本没显卡就用 CPU 版只是推理会慢很多。transformers 库负责加载 BERT版本不要太旧否则一些模型权重加载会报错。# 创建虚拟环境避免污染全局包 python -m venv bert_sim_env source bert_sim_env/bin/activate # Windows 用 bert_sim_env\Scripts\activate # 安装核心依赖torch 按官网选择对应 CUDA 版本 pip install torch2.0.1 transformers4.30.2 pip install numpy pandas scikit-learn flask pymysql这段命令做了三件事建独立环境、装深度学习框架、装 Web 和数据库依赖。参数上torch 版本要和你的 CUDA 驱动匹配用nvidia-smi看驱动支持的最高 CUDA 版本再去 PyTorch 官网找对应安装命令。transformers 版本我锁在 4.30 附近是因为再新的版本对某些中文预训练模型的兼容性会有波动。装完用python -c import torch; print(torch.cuda.is_available())验证 GPU 是否可用返回 True 才算环境通了。2.4 模型选型中文场景该用哪个 BERT英文场景用bert-base-uncased没问题但中文必须换。常见选择有bert-base-chinese、hfl/chinese-roberta-wwm-ext、hfl/chinese-bert-wwm-ext。全词掩码whole word masking版本在中文上通常比原版好因为它不会把一个词拆成单字分别掩码语义学习更完整。如果算力有限可以用pytorch版的bert-base-chinese体积小、加载快追求精度就上 RoBERTa-wwm-ext。选型时还要考虑一个现实问题模型文件从哪来。国内直接拉 HuggingFace 有时候会卡可以提前把模型权重下载到本地目录加载时传本地路径。这一步在离线部署时是必须的别等到上线才发现拉不动。3. 把系统跑起来从文本预处理到相似度接口的完整实现3.1 文本预处理与分词器配置BERT 用的是 WordPiece 分词中文会被拆成单字或子词。你不需要自己分词但需要控制最大长度。max_length设多少取决于你的文本分布短文本 64 够用长文本 128 或 256再长就要考虑截断策略。截断时保留头部还是尾部要看关键信息在哪。标题类文本关键信息通常在前半段用默认的头部截断即可如果是段落匹配可能需要滑窗切分再聚合。from transformers import BertTokenizer import torch # 加载本地中文 BERT 分词器 tokenizer BertTokenizer.from_pretrained(./models/bert-base-chinese) def encode_text(text, max_len128): # padding 到固定长度truncation 超长截断 encoded tokenizer( text, paddingmax_length, truncationTrue, max_lengthmax_len, return_tensorspt ) return encoded # 测试 sample 手机电池耗尽自动关机了 out encode_text(sample) print(out[input_ids].shape) # torch.Size([1, 128])这段代码把任意文本转成 BERT 能吃的 input_ids 和 attention_mask。paddingmax_length保证批量推理时形状一致truncationTrue防止超长报错。注意return_tensorspt返回 PyTorch 张量如果你用 TensorFlow 就改成 tf。实际批量处理时把多条文本组成 list 传进去分词器会自动 batch比一条条跑快得多。3.2 句向量生成池化策略的代码实现拿到 token 级输出后要把它压成句向量。下面这段实现了三种池化方便你对比效果。from transformers import BertModel import torch.nn.functional as F model BertModel.from_pretrained(./models/bert-base-chinese) model.eval() def get_sentence_embedding(text, pool_typemean): encoded encode_text(text) with torch.no_grad(): outputs model(**encoded) last_hidden outputs.last_hidden_state # [1, seq_len, 768] attention_mask encoded[attention_mask].unsqueeze(-1) # [1, seq_len, 1] if pool_type cls: emb last_hidden[:, 0, :] elif pool_type mean: # 只对真实 token 求平均忽略 padding summed (last_hidden * attention_mask).sum(dim1) count attention_mask.sum(dim1).clamp(min1e-9) emb summed / count elif pool_type max: # padding 位置设为极小值避免影响 max last_hidden[attention_mask.squeeze(-1) 0] -1e9 emb last_hidden.max(dim1)[0] # L2 归一化方便后续用余弦或欧氏距离 emb F.normalize(emb, p2, dim1) return emb关键点在 mean 池化那几行直接用last_hidden.mean(dim1)会把 padding 的零向量也算进去句子越长被稀释得越厉害。正确做法是用 attention_mask 加权求和再除以真实长度。max 池化同理要把 padding 位置设成极小值。最后统一做 L2 归一化这样余弦相似度就等价于点积计算更快。3.3 相似度计算与批量推理优化单条对比很简单难的是批量。假设你有 1 万条文本要两两比对那就是 5000 万对逐对跑 BERT 会慢到无法接受。正确做法是先离线把所有文本编码成向量存起来线上只做向量检索。import numpy as np from sklearn.metrics.pairwise import cosine_similarity def batch_encode(texts, batch_size32): all_emb [] for i in range(0, len(texts), batch_size): batch texts[i:ibatch_size] encoded tokenizer( batch, paddingTrue, truncationTrue, max_length128, return_tensorspt ) with torch.no_grad(): outputs model(**encoded) mask encoded[attention_mask].unsqueeze(-1) summed (outputs.last_hidden_state * mask).sum(dim1) count mask.sum(dim1).clamp(min1e-9) emb F.normalize(summed / count, p2, dim1) all_emb.append(emb.cpu().numpy()) return np.vstack(all_emb) # 批量编码后算相似度矩阵 texts [手机没电了, 电池耗尽自动关机, 今天天气不错] embs batch_encode(texts) sim_matrix cosine_similarity(embs) print(sim_matrix)batch_size根据显存调CPU 上 16 到 32 比较稳GPU 上可以到 64 或 128。paddingTrue在这里是动态 padding按 batch 内最长句子补齐比固定 max_length 省算力。编码完存成 npy 文件线上用 faiss 或 sklearn 的 NearestNeighbors 做近邻检索响应能压到毫秒级。3.4 数据库落库与 Flask 接口封装系统要能对外服务得有个接口层。下面是一个最小的 Flask 接口接收两段文本返回相似度同时把结果写进 MySQL。from flask import Flask, request, jsonify import pymysql app Flask(__name__) def save_result(text1, text2, score): conn pymysql.connect( hostlocalhost, userroot, passwordyour_pwd, databasebert_sim, charsetutf8mb4 ) cursor conn.cursor() sql INSERT INTO sim_record (text1, text2, score) VALUES (%s, %s, %s) cursor.execute(sql, (text1, text2, float(score))) conn.commit() cursor.close() conn.close() app.route(/similarity, methods[POST]) def similarity(): data request.get_json() t1, t2 data[text1], data[text2] emb1 get_sentence_embedding(t1) emb2 get_sentence_embedding(t2) score torch.cosine_similarity(emb1, emb2).item() save_result(t1, t2, score) return jsonify({similarity: round(score, 4)}) if __name__ __main__: app.run(host0.0.0.0, port5000)数据库脚本里sim_record表至少要有 id、text1、text2、score、create_time 五个字段text 字段用 TEXT 类型score 用 FLOAT。接口层注意两点一是模型要全局加载一次不要每次请求都重新加载二是并发高的时候 Flask 自带的开发服务器扛不住换 gunicorn 加多 worker。参数上host0.0.0.0是为了容器外能访问生产环境记得加鉴权和限流。4. 避坑与排查那些让相似度结果“玄学”的细节4.1 现象明明意思一样相似度却只有 0.5原因通常出在池化方式或模型选择上。如果你用的是 [CLS] 向量且没有微调语义表达能力确实有限。另一个常见原因是文本长度差异过大短句被 padding 稀释。解决办法是换成 mean 池化并确认 attention_mask 加权生效同时检查两条文本的长度是否悬殊。如果业务文本普遍很短考虑换 max 池化或直接用 SimCSE 这类对比学习模型。4.2 现象GPU 显存爆了batch_size 调到 1 还是 OOM这多半是 max_length 设太大。128 的序列长度在 base 模型上单条约 200MB 显存batch 32 就是 6GB 以上。先把 max_length 降到 64 试试再检查是不是模型没设 eval 模式导致梯度被保留。model.eval()和torch.no_grad()两个都要加少一个都会让显存翻倍。如果还不行用 fp16 推理显存能省近一半。4.3 现象接口第一次请求特别慢后面就快了这是模型懒加载的典型表现。第一次请求触发权重加载和 CUDA 初始化耗时可能十几秒。解决办法是在服务启动时预热加载模型后随便跑一条文本把计算图和数据都初始化好。另外 Flask 多 worker 模式下每个 worker 都会加载一份模型显存占用翻倍建议用 gunicorn 的 preload 模式或者单独起一个模型服务。4.4 现象相似度分数普遍偏高什么都像BERT 句向量有个已知问题叫“各向异性”就是所有向量都挤在一个窄锥形区域里导致任意两句的余弦相似度都不低。解决办法有两种一是做白化处理用一批语料算均值和协方差把向量分布拉均匀二是换用 SimCSE 或 BGE 这类经过对比学习训练的模型它们的向量分布更均匀区分度更好。如果不想换模型至少要把阈值从 0.8 提到 0.9 以上再观察。4.5 现象数据库写入中文乱码建库时字符集没设对。MySQL 建库要指定CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci连接时也要加charsetutf8mb4。注意是 utf8mb4 不是 utf8后者在 MySQL 里只有三字节存不了 emoji 和部分生僻字。如果表已经建好了用ALTER TABLE sim_record CONVERT TO CHARACTER SET utf8mb4改但已有数据可能已经损坏最好重建。5. 进阶技巧用对比学习微调让相似度真正可用预训练 BERT 直接拿来做相似度只能算“能用”离“好用”还有距离。真正让效果上一个台阶的是微调尤其是对比学习式的微调。思路很简单构造正样本对语义相同的句子和负样本对语义不同的句子训练时拉近正样本、推远负样本。SimCSE 是无监督版本把同一句话过两次 dropout 得到两个向量作为正样本batch 内其他句子作为负样本不需要标注数据就能训。有标注数据的话用 Sentence-BERT 的 siamese 结构共享 BERT 权重接一个 pooling 层用 cosine 距离做回归或分类。from transformers import BertModel, BertTokenizer import torch.nn as nn class SentenceBert(nn.Module): def __init__(self, model_path): super().__init__() self.bert BertModel.from_pretrained(model_path) self.pooling nn.AdaptiveAvgPool1d(1) def forward(self, input_ids, attention_mask): out self.bert(input_idsinput_ids, attention_maskattention_mask) token_emb out.last_hidden_state # mask 掉 padding 后做平均池化 mask attention_mask.unsqueeze(-1).float() summed (token_emb * mask).sum(dim1) count mask.sum(dim1).clamp(min1e-9) return nn.functional.normalize(summed / count, p2, dim1)训练时用MultipleNegativesRankingLoss或者简单的 cosine embedding loss正样本对标签为 1负样本对标签为 -1。学习率设 2e-5 到 5e-5batch_size 尽量大因为对比学习依赖 batch 内负样本数量。训练数据哪怕只有几千对效果也比不微调强很多。验证方法是拿一批人工标注的相似/不相似句对看 AUC 或准确率别只看 loss。微调完之后阈值要重新标定因为向量分布变了。我一般会保留一个验证集每次模型更新都重新跑一遍阈值搜索。另外微调后的模型体积不变但推理速度和原来一样所以线上部署不用改架构只换权重文件即可。这套流程跑下来相似度检测才算从“玩具”变成“工具”。希望这些经验能帮你在自己的项目里少走点弯路。本文还有配套的精品资源点击获取
简介这份资源是面向具备一定Python与Web开发基础的学习者和高校学生设计的深度学习文本相似度检测系统完整项目包采用BERT模型与Django框架实现可作为毕业设计参考或课程实践案例。压缩包为zip格式整体约75.86MB内含项目源码、数据库脚本、说明文档、LW论文及PPT等材料覆盖从模型调用、后端接口到数据持久化的完整链路便于读者理解文本相似度计算在真实Web系统中的落地方式。目前已有164人学习下载说明该方案在同类毕设选题中具有一定参考价值。通过研读源码与文档读者可掌握BERT文本向量化、相似度匹配算法、Django视图与数据库集成等关键技能并借助论文与PPT快速梳理系统架构与设计思路为后续开发或答辩准备提供可复用的实践模板。1. 从一句“这两句话像不像”说起PythonBERT 文本相似度检测到底在做什么很多人第一次接触文本相似度是因为一个很朴素的需求手里有两段文字想知道它们是不是在说同一件事。比如客服工单去重、论文查重初筛、题库里找重复题目、商品标题归一化甚至社区里判断两条评论是不是互相抄袭。传统做法是算编辑距离、Jaccard 系数或者 TF-IDF 余弦相似度这些方法在词面重合度高的时候够用但一旦换成“手机没电了”和“电池耗尽自动关机”字面几乎不重叠分数就掉得很难看。BERT 这类预训练语言模型的价值就在于它把句子映射成一个带语义的向量让“意思相近”这件事在向量空间里真的靠近。这个标题对应的是一套完整的工程交付物Python 实现的 BERT 文本相似度检测系统配套数据库脚本、说明文档、论文和答辩 PPT。它适合三类人正在做课程设计或毕业设计的学生需要一套能跑通、能讲清楚原理的完整方案想快速验证语义匹配能力的算法初学者以及要把相似度检测接进自己业务系统的后端工程师。核心链路其实就四步文本预处理、BERT 编码、向量相似度计算、阈值判定与结果落库。后面几章我会把这四步拆开讲清楚每一步的参数怎么设、代码怎么写、坑在哪。2. BERT 做相似度检测的原理与选型为什么不用 TF-IDF 硬扛2.1 从词向量到句向量BERT 到底输出了什么要理解 BERT 怎么做相似度先得知道它输出的是什么。BERT 的输入是一串 token输出是每个 token 对应一个 768 维base 版的隐藏状态向量。问题在于句子级相似度需要的是“一个句子一个向量”而不是“一个词一个向量”。常见做法有三种取 [CLS] 位置的向量、对所有 token 向量做平均池化、对 token 向量做最大池化。实践中 [CLS] 向量在未经微调时语义表达能力偏弱因为它原本是为分类任务训练的平均池化更稳但会被高频无意义词拉偏最大池化对关键词敏感适合短文本。我一般会先用平均池化跑一版基线再对比 [CLS] 的效果。如果业务文本很短比如标题、标签最大池化往往更占优。这里有个容易忽略的点BERT 输出的向量默认没有做归一化直接算余弦相似度虽然不影响排序但如果你要用欧氏距离或者做阈值卡点最好先 L2 归一化让所有向量落在单位球面上距离才有可比性。2.2 相似度计算方式与阈值策略拿到句向量之后计算相似度就是数学问题了。余弦相似度是最常用的取值在 -1 到 1 之间实际语义相似的句子通常落在 0.7 以上。欧氏距离适合向量已归一化的情况距离越小越相似。还有一种做法是把两个句向量拼接后送进一个全连接层做二分类这属于交互式模型精度更高但推理慢适合对准确率要求极高的场景。阈值怎么定是落地时最头疼的事。我的经验是不要拍脑袋定 0.8而是拿一批标注好的正负样本对画出相似度分布找正负样本重叠最少的那个点作为初始阈值。如果业务允许误报但不能漏报阈值就往下压反之往上提。这个阈值不是一次性的上线后要定期用新数据回归。2.3 环境搭建Python、PyTorch 与 transformers 的最小可用组合动手之前先把环境理顺。Python 建议 3.8 到 3.10太新的版本有时候和 PyTorch 的 wheel 对不上。PyTorch 按你的显卡选 CUDA 版本没显卡就用 CPU 版只是推理会慢很多。transformers 库负责加载 BERT版本不要太旧否则一些模型权重加载会报错。# 创建虚拟环境避免污染全局包 python -m venv bert_sim_env source bert_sim_env/bin/activate # Windows 用 bert_sim_env\Scripts\activate # 安装核心依赖torch 按官网选择对应 CUDA 版本 pip install torch2.0.1 transformers4.30.2 pip install numpy pandas scikit-learn flask pymysql这段命令做了三件事建独立环境、装深度学习框架、装 Web 和数据库依赖。参数上torch 版本要和你的 CUDA 驱动匹配用nvidia-smi看驱动支持的最高 CUDA 版本再去 PyTorch 官网找对应安装命令。transformers 版本我锁在 4.30 附近是因为再新的版本对某些中文预训练模型的兼容性会有波动。装完用python -c import torch; print(torch.cuda.is_available())验证 GPU 是否可用返回 True 才算环境通了。2.4 模型选型中文场景该用哪个 BERT英文场景用bert-base-uncased没问题但中文必须换。常见选择有bert-base-chinese、hfl/chinese-roberta-wwm-ext、hfl/chinese-bert-wwm-ext。全词掩码whole word masking版本在中文上通常比原版好因为它不会把一个词拆成单字分别掩码语义学习更完整。如果算力有限可以用pytorch版的bert-base-chinese体积小、加载快追求精度就上 RoBERTa-wwm-ext。选型时还要考虑一个现实问题模型文件从哪来。国内直接拉 HuggingFace 有时候会卡可以提前把模型权重下载到本地目录加载时传本地路径。这一步在离线部署时是必须的别等到上线才发现拉不动。3. 把系统跑起来从文本预处理到相似度接口的完整实现3.1 文本预处理与分词器配置BERT 用的是 WordPiece 分词中文会被拆成单字或子词。你不需要自己分词但需要控制最大长度。max_length设多少取决于你的文本分布短文本 64 够用长文本 128 或 256再长就要考虑截断策略。截断时保留头部还是尾部要看关键信息在哪。标题类文本关键信息通常在前半段用默认的头部截断即可如果是段落匹配可能需要滑窗切分再聚合。from transformers import BertTokenizer import torch # 加载本地中文 BERT 分词器 tokenizer BertTokenizer.from_pretrained(./models/bert-base-chinese) def encode_text(text, max_len128): # padding 到固定长度truncation 超长截断 encoded tokenizer( text, paddingmax_length, truncationTrue, max_lengthmax_len, return_tensorspt ) return encoded # 测试 sample 手机电池耗尽自动关机了 out encode_text(sample) print(out[input_ids].shape) # torch.Size([1, 128])这段代码把任意文本转成 BERT 能吃的 input_ids 和 attention_mask。paddingmax_length保证批量推理时形状一致truncationTrue防止超长报错。注意return_tensorspt返回 PyTorch 张量如果你用 TensorFlow 就改成 tf。实际批量处理时把多条文本组成 list 传进去分词器会自动 batch比一条条跑快得多。3.2 句向量生成池化策略的代码实现拿到 token 级输出后要把它压成句向量。下面这段实现了三种池化方便你对比效果。from transformers import BertModel import torch.nn.functional as F model BertModel.from_pretrained(./models/bert-base-chinese) model.eval() def get_sentence_embedding(text, pool_typemean): encoded encode_text(text) with torch.no_grad(): outputs model(**encoded) last_hidden outputs.last_hidden_state # [1, seq_len, 768] attention_mask encoded[attention_mask].unsqueeze(-1) # [1, seq_len, 1] if pool_type cls: emb last_hidden[:, 0, :] elif pool_type mean: # 只对真实 token 求平均忽略 padding summed (last_hidden * attention_mask).sum(dim1) count attention_mask.sum(dim1).clamp(min1e-9) emb summed / count elif pool_type max: # padding 位置设为极小值避免影响 max last_hidden[attention_mask.squeeze(-1) 0] -1e9 emb last_hidden.max(dim1)[0] # L2 归一化方便后续用余弦或欧氏距离 emb F.normalize(emb, p2, dim1) return emb关键点在 mean 池化那几行直接用last_hidden.mean(dim1)会把 padding 的零向量也算进去句子越长被稀释得越厉害。正确做法是用 attention_mask 加权求和再除以真实长度。max 池化同理要把 padding 位置设成极小值。最后统一做 L2 归一化这样余弦相似度就等价于点积计算更快。3.3 相似度计算与批量推理优化单条对比很简单难的是批量。假设你有 1 万条文本要两两比对那就是 5000 万对逐对跑 BERT 会慢到无法接受。正确做法是先离线把所有文本编码成向量存起来线上只做向量检索。import numpy as np from sklearn.metrics.pairwise import cosine_similarity def batch_encode(texts, batch_size32): all_emb [] for i in range(0, len(texts), batch_size): batch texts[i:ibatch_size] encoded tokenizer( batch, paddingTrue, truncationTrue, max_length128, return_tensorspt ) with torch.no_grad(): outputs model(**encoded) mask encoded[attention_mask].unsqueeze(-1) summed (outputs.last_hidden_state * mask).sum(dim1) count mask.sum(dim1).clamp(min1e-9) emb F.normalize(summed / count, p2, dim1) all_emb.append(emb.cpu().numpy()) return np.vstack(all_emb) # 批量编码后算相似度矩阵 texts [手机没电了, 电池耗尽自动关机, 今天天气不错] embs batch_encode(texts) sim_matrix cosine_similarity(embs) print(sim_matrix)batch_size根据显存调CPU 上 16 到 32 比较稳GPU 上可以到 64 或 128。paddingTrue在这里是动态 padding按 batch 内最长句子补齐比固定 max_length 省算力。编码完存成 npy 文件线上用 faiss 或 sklearn 的 NearestNeighbors 做近邻检索响应能压到毫秒级。3.4 数据库落库与 Flask 接口封装系统要能对外服务得有个接口层。下面是一个最小的 Flask 接口接收两段文本返回相似度同时把结果写进 MySQL。from flask import Flask, request, jsonify import pymysql app Flask(__name__) def save_result(text1, text2, score): conn pymysql.connect( hostlocalhost, userroot, passwordyour_pwd, databasebert_sim, charsetutf8mb4 ) cursor conn.cursor() sql INSERT INTO sim_record (text1, text2, score) VALUES (%s, %s, %s) cursor.execute(sql, (text1, text2, float(score))) conn.commit() cursor.close() conn.close() app.route(/similarity, methods[POST]) def similarity(): data request.get_json() t1, t2 data[text1], data[text2] emb1 get_sentence_embedding(t1) emb2 get_sentence_embedding(t2) score torch.cosine_similarity(emb1, emb2).item() save_result(t1, t2, score) return jsonify({similarity: round(score, 4)}) if __name__ __main__: app.run(host0.0.0.0, port5000)数据库脚本里sim_record表至少要有 id、text1、text2、score、create_time 五个字段text 字段用 TEXT 类型score 用 FLOAT。接口层注意两点一是模型要全局加载一次不要每次请求都重新加载二是并发高的时候 Flask 自带的开发服务器扛不住换 gunicorn 加多 worker。参数上host0.0.0.0是为了容器外能访问生产环境记得加鉴权和限流。4. 避坑与排查那些让相似度结果“玄学”的细节4.1 现象明明意思一样相似度却只有 0.5原因通常出在池化方式或模型选择上。如果你用的是 [CLS] 向量且没有微调语义表达能力确实有限。另一个常见原因是文本长度差异过大短句被 padding 稀释。解决办法是换成 mean 池化并确认 attention_mask 加权生效同时检查两条文本的长度是否悬殊。如果业务文本普遍很短考虑换 max 池化或直接用 SimCSE 这类对比学习模型。4.2 现象GPU 显存爆了batch_size 调到 1 还是 OOM这多半是 max_length 设太大。128 的序列长度在 base 模型上单条约 200MB 显存batch 32 就是 6GB 以上。先把 max_length 降到 64 试试再检查是不是模型没设 eval 模式导致梯度被保留。model.eval()和torch.no_grad()两个都要加少一个都会让显存翻倍。如果还不行用 fp16 推理显存能省近一半。4.3 现象接口第一次请求特别慢后面就快了这是模型懒加载的典型表现。第一次请求触发权重加载和 CUDA 初始化耗时可能十几秒。解决办法是在服务启动时预热加载模型后随便跑一条文本把计算图和数据都初始化好。另外 Flask 多 worker 模式下每个 worker 都会加载一份模型显存占用翻倍建议用 gunicorn 的 preload 模式或者单独起一个模型服务。4.4 现象相似度分数普遍偏高什么都像BERT 句向量有个已知问题叫“各向异性”就是所有向量都挤在一个窄锥形区域里导致任意两句的余弦相似度都不低。解决办法有两种一是做白化处理用一批语料算均值和协方差把向量分布拉均匀二是换用 SimCSE 或 BGE 这类经过对比学习训练的模型它们的向量分布更均匀区分度更好。如果不想换模型至少要把阈值从 0.8 提到 0.9 以上再观察。4.5 现象数据库写入中文乱码建库时字符集没设对。MySQL 建库要指定CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci连接时也要加charsetutf8mb4。注意是 utf8mb4 不是 utf8后者在 MySQL 里只有三字节存不了 emoji 和部分生僻字。如果表已经建好了用ALTER TABLE sim_record CONVERT TO CHARACTER SET utf8mb4改但已有数据可能已经损坏最好重建。5. 进阶技巧用对比学习微调让相似度真正可用预训练 BERT 直接拿来做相似度只能算“能用”离“好用”还有距离。真正让效果上一个台阶的是微调尤其是对比学习式的微调。思路很简单构造正样本对语义相同的句子和负样本对语义不同的句子训练时拉近正样本、推远负样本。SimCSE 是无监督版本把同一句话过两次 dropout 得到两个向量作为正样本batch 内其他句子作为负样本不需要标注数据就能训。有标注数据的话用 Sentence-BERT 的 siamese 结构共享 BERT 权重接一个 pooling 层用 cosine 距离做回归或分类。from transformers import BertModel, BertTokenizer import torch.nn as nn class SentenceBert(nn.Module): def __init__(self, model_path): super().__init__() self.bert BertModel.from_pretrained(model_path) self.pooling nn.AdaptiveAvgPool1d(1) def forward(self, input_ids, attention_mask): out self.bert(input_idsinput_ids, attention_maskattention_mask) token_emb out.last_hidden_state # mask 掉 padding 后做平均池化 mask attention_mask.unsqueeze(-1).float() summed (token_emb * mask).sum(dim1) count mask.sum(dim1).clamp(min1e-9) return nn.functional.normalize(summed / count, p2, dim1)训练时用MultipleNegativesRankingLoss或者简单的 cosine embedding loss正样本对标签为 1负样本对标签为 -1。学习率设 2e-5 到 5e-5batch_size 尽量大因为对比学习依赖 batch 内负样本数量。训练数据哪怕只有几千对效果也比不微调强很多。验证方法是拿一批人工标注的相似/不相似句对看 AUC 或准确率别只看 loss。微调完之后阈值要重新标定因为向量分布变了。我一般会保留一个验证集每次模型更新都重新跑一遍阈值搜索。另外微调后的模型体积不变但推理速度和原来一样所以线上部署不用改架构只换权重文件即可。这套流程跑下来相似度检测才算从“玩具”变成“工具”。希望这些经验能帮你在自己的项目里少走点弯路。本文还有配套的精品资源点击获取
